Как определить птицу по пению в яндекс браузере
Обновлено: 07.07.2024
Петербургский орнитолог Олег Кенунен создал приложение, которое при помощи нейронных сетей распознает птиц по их пению. Пока в базе 20 голосов: среди них, например, соловей, дрозд и зяблик.
Как нейронная сеть отличает синицу от вороны, после каких доработок «Shazam для птиц» может стать доступен для всех и чем работа с птичьими голосами похожа на изучение иностранного языка? Кенунен рассказал «Бумаге», как разрабатывал сервис и что с ним будет.
Олег Кенунен
Я орнитолог по образованию. Раньше я пробовал обрабатывать изображения, анализировал картинки, делал всякие эксперименты с нейронными сетями. Потом отложил это дело на довольно длительный срок. Недавно пошел на переквалификацию на матмехе, где мне надо было написать дипломную работу. Я решил, что [распознавание птичьих голосов с помощью нейросетей] это интересная тема. Тем более, моя магистерская работа была связана с голосами птиц, поэтому я выбрал такую смежную область.
Занимался приложением я где-то с середины лета. В первую очередь мне было самому интересно посмотреть, насколько это вообще реально и выполнимо. Мне было важно проверить саму идею и создать платформу, которую можно дорабатывать. То, что есть сейчас, это ни в коему случае не продакшн — это демо-версия.
Приложение состоит из нескольких компонентов: это серверная часть и клиентская. Серверная часть получает файл, анализирует при помощи нейронной сети и отправляет ответ обратно клиенту.
Демонстрация работы приложения
Можно сказать, что приложение напоминает Shazam, только Shazam не совсем так устроен: он определяет сходство с теми записями, которые есть в базе. Кроме этого, речь о музыкальных файлах, то есть записях, сделанных в студии. А тут очень большая изменчивость голосов внутри одного вида. Птицы же друг друга узнают — как мы друг друга узнаем по голосу.
Нейронная сеть — это черный ящик. На вход подается много образцов, а дальше идет поиск каких-то скрытых закономерностей. Возможно, люди [у себя в голове] это делают по другим параметрам. В отличие от классических методов анализа, где изучаются частота, амплитуда, тембр, гармоника, здесь это происходит невидимо для человека, не формализовано. Определить, по каким параметрам [нейронная сеть разделяет птичьи голоса], теоретически можно, но для этого надо препарировать то, что там происходит.
Результат зависит от обучающей выборки. Я взял [файлы с голосами птиц] из открытых источников, которые разрешены для академической работы, потому что мне столько было бы не записать. Преимущественно c сайта Xeno-canto — это сообщество любителей, которые загружают туда записи. Там голоса по большей части правильно определены, но есть проблема с качеством записей: они не очень чистые, и нейронная сеть в них путается. Так что их нужно отбирать. Поэтому я пока опробовал [приложение] на местных видах, которые я сам могу четко отличить и сам в них не запутаюсь.
Стандартный метод тестирования нейросети такой: есть выборка, на которой происходит обучение, и еще маленькая тестовая выборка, на которой проверяется правильно или нет [работает сеть] — у меня в нее было внесено 10 % всего [объема данных]. Тестовую выборку во время обучения нейронная сеть не видит, поэтому по ней можно более или менее адекватно сказать, насколько верный результат получается.
Пока в приложении голоса 20 видов. Наверное, в ближайших планах у меня даже не увеличить количество птиц, а доработать архитектуру нейронной сети. Потому что подбор архитектуры самой сети тоже делается методом тыка: подбираешь разные варианты и смотришь, какой даст лучший результат на тестовой выборке. Я попробовал несколько десятков вариантов.
Потом стоит сделать возможность авторизации пользователя и попробовать уже альфа-версию с несколькими тестерами. Сейчас у меня еще нет базы данных пользователей, поэтому пока что я могу использовать приложение только для себя. Но если всё будет хорошо, она появится.
Аналоги мне неизвестны. На Google Play есть одно похожее приложение, но, по всей видимости, оно не использует нейронные сети. Помимо этого есть около полутора десятков научных статей о возможности распознавания голосов птиц с помощью нейронных сетей. Эти статьи, наверное, показывают даже лучшие результаты, чем у меня, но они носят академический характер — это не рабочие приложения. Кроме того, лаборатория орнитологии Корнеллского университета в Америке, у которой самая большая в мире фонотека, выпустила приложение для определения птиц — но по фотографиям.
В целом [научиться распознавать голоса птиц на слух] можно, но надо тренироваться. Желательно найти человека, который в этом разбирается, и с ним походить по лесу, чтобы он при этом спрашивал и проверял. Мне кажется, это самый эффективный способ. Можно ли этому обучиться по фонотекам — я не уверен. Это как с изучением языка: можно попробовать учить их по сериалам, но лучше найти учителя.
Проще всего отличить голоса синиц, зябликов — самых фоновых видов, которые есть в любом парке. Или, например, все определят ворону. Это те виды, с которыми люди много встречаются и часто слышат.
Приложение Shazam, которое помогает определить, что за музыкальная композиция играет в данный момент, давно завоевало популярность у многих пользователей. И некоторые разработчики захотели распространить эту технологию на другие аудиообъекты, в частности на голоса птиц.
Конечно, идентифицировать звуки животных во всей их дикой красоте гораздо сложнее, чем распознать конкретную запись популярной песни. Однако некоторые из существующих на сегодняшний день приложений действительно способны узнать птицу по её песне с небольшой помощью со стороны человека.
Song Sleuth
Самое приятное в использовании и наиболее хорошо проработанное приложение. Если вы хотите узнать всё или почти всё о птицах, которых вы идентифицируете, то это приложение для вас.
Как только программа загрузится, она начнёт захватывать звук, отображая его на спектрограмме. Нажмите «Record», когда птица запоёт, а затем «Stop», когда собранного аудиоматериала будет достаточно.
Вы можете записывать бесконечно долго, хотя приложение рекомендует ограничиваться короткими фрагментами. Не забывайте своевременно удалять длинные записи, чтобы сэкономить место.
Song Sleuth позволяет редактировать вашу запись, чтобы выделить голос птицы, что особенно актуально при наличии посторонних шумов. Процесс редактирования немного сложный, хотя разобраться без учебника, на интуитивном уровне, вам будет под силу.
Затем приложение анализирует сделанную запись, и на основании вашей записи и вашего местоположения выдаёт список возможных вариантов, а также воспроизводимые образцы для сравнения. Если приложение не смогло идентифицировать вашу птицу, у вас всё равно остаётся возможность осуществить ручной поиск в базе данных, в которую входят даже звуки, издаваемые белками и бурундуками, голоса людей и кваканье лягушек. Помимо образцов звуков, база данных включает карты распространения, изображения и описания.
После того как вы определили свою птицу и сделали заметки, Song Sleuth сохранит данные на карте всех ваших записей. Вы можете редактировать, экспортировать или обмениваться полученными аудиофайлами с другими пользователями, а также повторно анализировать свои старые записи.
ChirpOMatic
Простейшее приложение и лучший распознаватель. Если вам нужны только максимально правдоподобные догадки, а не куча информации о птицах, то эта программа — ваш лучший выбор.
ChirpOMatic открывается на экране записи, но сама запись начнётся только после нажатия большой красной кнопки. Нажмите на кнопку ещё раз, чтобы остановить процесс. Впрочем, через 12 секунд запись остановится автоматически.
ChirpOMatic не содержит много информации о птицах: для этого вам понадобится сопутствующее приложение — Chirp! , в котором имеются короткие записи о разных птицах, а также ссылки на информацию о них в Википедии и на сайте Лаборатории орнитологии Корнеллского университета. Chirp! вам понадобится и для того, чтобы воспользоваться полной базой данных о птицах, если догадки ChirpOMatic вас не удовлетворили.
В ChirpOMatic имеется «безопасный для птиц» бесшумный режим, позволяющий избежать громкого воспроизведения записей, чтобы не сбивать с толку настоящих птиц вокруг вас.
Bird Song Id
Неплохой запасной вариант. Используйте только в том случае, если первые два приложения не удовлетворяют все ваши потребности.
Bird Song Id имеет несколько «уродливый», но функциональный интерфейс. В целом программа справляется со своей задачей немного хуже, чем предыдущие два варианта, но надо признать, были случаи, когда ей удавалось распознать голоса птиц, которые вызвали затруднение у ChirpOMatic.
На главном экране выберите «Auto Rec» и попытайтесь получить как минимум 30-секундную запись пения птицы. По окончании записи нажмите «Stop» и затем «Automatic Recognition».
На странице с результатами для каждой птицы, предложенной программой в качестве возможного варианта, указывается оценка доверия. Вы можете запускать воспроизведение образцов голоса возможных птиц прямо со страницы результатов.
В разделе «My Recordings» отображаются ваши предыдущие записи с сортировкой по дате или по местоположению на карте. Опять же, интерфейс некрасивый, но богатый данными.
Если вам не удалось получить качественную запись, попробуйте ответить на вопросы в разделе «Manual Id», указав высоту звука, прерывистость, громкость и т.д. Чтобы программа начала обрабатывать ваши ответы, нажмите на галочку, а не на непонятно зачем размещённую здесь кнопку «Quiz», которая автоматически запускает записи голосов различных птиц, чтобы вы могли тренироваться в их распознавании.
SongBird
Голубиный помёт. Небольшой урок для тех, кто хочет приобрести программу.
Мы включили SongBird в этот список только в качестве предостережения. Не платите за приложения, не почитав предварительно отзывы о них и не получив хоть какие-то доказательства того, что они работают. Даже компании Apple с её, по общему мнению, строгими требованиями к своим разработкам не удалось довести это приложение до ума. Как ни странно, на пользовательском форуме Product Hunt это приложение набрало более 400 голосов, несмотря на то, что разработчик непрерывно «воевал» с недовольными пользователями в комментариях.
Заключение
Если вы решили приобрести только одно приложение для идентификации голосов птиц, отдайте предпочтение Song Sleuth. Автоматическая запись, богатые возможности редактирования и всеобъемлющая база данных птиц делают его самым мощным инструментом.
В заключение напомним, что не стоит воспроизводить образцы голосов птиц в лесу, пока вы не закончите все свои записи. Некоторые звуки животные издают в особых ситуациях, когда речь идёт о спасении жизни, и если настоящие птицы услышат что-то подобное в ваших записях, это может повлиять на их поведение.
Приложение было разработано Технологическим университетом Хемница и Корнельским университетом (США), и оно может определять 3000 видов птиц на основе их пения с использованием алгоритма искусственного интеллекта.
BirdNET скачали из магазина Google Play более миллиона раз. Оно имеет более 5200 отзывов и оценку 4,6 из 5.
Приложение было запущено еще в 2018 году, за год его скачали 180 тысяч раз, и в дальнейшем оно только набирало популярность.
Ядро приложения — алгоритм на базе искусственного интеллекта, подключенный к серверу в Технологическом университете Хемница. Искусственная нейронная сеть определяет записанный голос птицы после запроса.
Поэтому разработчики должны были убедиться, что скорость работы приложения не пострадает из-за увеличения количества пользователей — и, следовательно, поисковых запросов. Стефан Каль, главный разработчик BirdNET, уверяет, что им это удалось.
Среди прочего, разработчики приложения недавно успешно завершили тестовый запуск с исследовательской группой из Индии. В этой стране уровень идентификации местных видов птиц составлял от 80 до 85 процентов.
«Это отличное значение. Мы вряд ли сможем его увеличить, потому что при записи криков птиц на открытом воздухе часто играют роль различные окружающие шумы», — Стефан Каль.Приложение анализирует короткие аудиозаписи, которые присылают пользователи. Оно сверяет голос птицы с соответствующей звуковой волной, а также учитывает местоположение и дату, определяя, можно ли услышать ту или иную птицу в конкретной местности и в данное время.
После определения вида BirdNET предоставляет пользователю сведения о данной птице. Каждое наблюдение регистрируется анонимно и оценивается в исследовательских целях.
Как говорят разработчики, приложение создано, чтобы помочь людям лучше узнать окружающую их среду и, в идеале, повысить их экологическую осведомленность.
Первоначально исследовательская группа ограничила первую фазу программирования приложения наиболее распространенными видами в Европе и Северной Америке, а количество определяемых видов составляло тысячу. Теперь BirdNET охватывает птичью фауну всей планеты.
Более 2000 работ уже подано на всероссийский фотоконкурс «Широка моя страна»
Полезная рассылка «Мела» два раза в неделю: во вторник и пятницу1. Bird Record 3.0
Для кого: для орнитологов.
Единственное российское приложение в нашей подборке. Разработано для учёта птиц на местности и записи даты и места, где это произошло. Передает данные онлайн-базе Зоомузея МГУ для учета птиц. Программа позволяет просматривать отчеты по местности и видам, встречавшимся на территории. Заметки можно делать даже в офлайн-режиме и потом выгрузить одним кликом данные в онлайн-программу.
Минусы: не подойдет для маленького ребенка. Нет фото и звуков.
Плюсы: бесплатное. Российское.
2. BirdsEye
Для кого: для начинающих и продвинутых любителей бердвотчинга. Для студентов-биологов, для ребенка с интересом к биологии.
Одно из нескольких приложений всемирного проекта — базы данных птиц eBird, разрабатываемых Орнитологической лабораторией Корнелльского университета в США. Изначально он был задуман как североамериканский, но с 2010 года стал всемирным.
eBird — обновляемая онлайн и поддерживаемая база наблюдений за птицами, которая дает ученым, исследователям и натуралистам-любителям данные о распределении и численности птиц в режиме реального времени по всему миру.
Чтобы начать пользоваться приложением, зарегистрируйтесь и выберите в меню «около меня». Затем разрешите геолокацию на время использования приложения; совсем скоро у вас появится список 100 самых часто наблюдаемых в вашей местности птиц. С фото, картой последнего/ближайшего наблюдения поблизости и месяцами миграции (птица пролетает мимо вас, гнездится, зимует). Звуки доступны за дополнительную плату, равно как и список самых редких птиц мира и другие фишки: например, можно побродить по лучшим местам для наблюдения за птицами и посмотреть на всяких редких и интересных особей.
Плюсы: даже в базовой бесплатной версии интересно. Платная версия дает возможность узнавать птиц и способствовать их сохранению.
Минусы: нет русских названий птиц. Наблюдений русских натуралистов не так много. Интерфейс не совсем понятный — маленькому ребенку надо будет показать, как работать в приложении.
3. Birds Near Me
Для кого: путеводитель по птицам для всех. Работает на основании данных eBird, обновляя список птиц, которые были недавно замечены в вашем районе.
Это приложение — тоже часть проекта eBird, всемирной базы данных онлайн-наблюдений за птицами. Указываете на карте, где вы находитесь, и расстояние, на котором хотите вести поиск, и сразу видите:
- в базе данных больше 10 000 птиц по всему миру;
- если рядом с вами никаких птиц никто не наблюдал, можно перейти в крутые места для наблюдений по всему миру;
- для всех птиц есть описания, фото, информация о миграции, образе жизни и прочем.
Плюсы: огромная база данных. Приложение бесплатное.
Минусы: только на английском.
4. SongSleuth
Для кого: для начинающих орнитологов и любителей птиц, которые владеют английским.
SongSleuth дает возможность c помощью телефона или планшета распознавать голоса и песни и определять, каким птицам они принадлежат.
Что можно делать в приложении:
- записывать птичьи голоса и понимать, кому они принадлежат (внимание! требуется достаточно громкая запись);
- вести записи встреч и наблюдений за птицами;
- ну и лучшее — просматривать список обитателей вашего района и слушать их записи (образцы птичьих песен — замечательные).
Записи сохраняются, и их можно редактировать (обрезать, фильтровать частотность диапазона). Распознает записи профессиональное биоакустическое программное обеспечение. Правда, узнать можно только птичьи песни и призывы; птиц-имитаторов вроде пересмешника приложение не понимает.
Впадают ли змеи в спячку, зачем ёлкам иголки и другие интересные вопросы из ЕГЭ по биологии
Слышите пение — включаете запись, выключаете — и приложение предлагает на выбор: скворец, черный дрозд или болотный крапивник. В SongSleuth более 1000 образцов пения различных видов птиц.
Плюсы: красивое и простое в использовании. Все изображения птиц — высококлассные рисунки орнитолога и иллюстратора Дэвида Сибли. Отличное качество записи и иллюстраций.
Минусы: приложение платное. Нет русской версии, и даже если вы распознаете птицу, придется лезть в переводчик, чтобы узнать, как называется по-русски jackdaw (это галка). Из предложенного геоположения можно выбрать только Северную Америку (пользуйтесь им, если из курса географии помните, в какой природной зоне живете и насколько она похожа, скажем, на Висконсин или Орегон).
5. Merlin Bird ID
Для кого: определитель видов птиц для натуралистов всех уровней. Нужно залогиниться в проекте eBird и разрешить геолокацию.
Еще одно приложение Орнитологической лаборатории Корнельского университета, часть проекта eBird. Указываете на карте, где вы находитесь, и расстояние, на котором хотите вести поиск. После этого вам станет доступен список обычных видов для вашего региона.
По фото или звуку можно определить, кого вы встретили — загрузить образчик фото или звука, и Мерлин с помощью ИИ предложит вид птицы. Можно смотреть на отмеченные наблюдения других орнитологов по всему свету и участвовать в международном проекте — всемирной базе данных о птицах.
Плюсы: бесплатное.
Минусы: нет поддержки русского, хотя другие языки доступны. Не самые очевидный интерфейс.
6. BirdGenie
Для кого: для обычного любителя природы, любопытного человека или ребенка-натуралиста.
Распознавать с этим приложением птиц очень просто: включаете приложение в телефоне или планшете. Оно тут же готовится к записи, записывает, выделяет самый важный кусок птичьей песни и выдает результат распознавания. BirdGenie умеет определять до двухсот типов птичьего пения для сотни видов, преимущественно североамериканских. Кроме того, в приложении есть фотографии всех видов расцветки и образцы разных песен, информация о среде обитания и поведении. Программу надо скачать, зато она умеет работать без интернета.
Плюсы: очень понятный и простой интерфейс.
Минусы: приложение платное. Конечно, на английском и птицы в основном североамериканские.
Читайте также: