Имеют ли сходство искусственные компьютерные нейросети с нейронной сетью нервной системы человека

Обновлено: 06.07.2024

Сложные нейросети порой довольно точно имитируют активность человеческого мозга. Но это происходит не потому, что ученые копируют «биологию»: просто устройство нашей нервной системы оказывается наиболее эффективным и с точки зрения машин. О том, как это обстоятельство приближает нас к разгадке самого сложного органа в мире, рассказывает журналист Quanta Magazine.

Зимой 2011 года Дэн Яминс, специалист по вычислительной нейробиологии из Массачусетского технологического института, часто засиживался на работе до полуночи, занимаясь своим проектом — системой, распознающей объекты на изображениях, несмотря на различия в размере, положении и прочих характеристиках. Это была глубокая нейросеть — компьютерная модель, построенная по принципу организации человеческого мозга.

«Я отчетливо помню момент, когда нам удалось создать нейросеть, которая справилась с задачей», — рассказывает он. Было два часа ночи, слишком рано, чтобы будить научного руководителя Джеймса ДиКарло или других коллег, поэтому взволнованный Яминс решил пойти прогуляться.

Находка Яминса стала прорывом в области искусственного интеллекта, но конечной целью ученых было создание компьютерной модели мозга.

ДиКарло и Яминс (который сейчас руководит собственной лабораторией в Стэнфордском университете) — представители узкого круга нейробиологов, изучающих устройство мозга при помощи глубоких нейросетей. Ученым долгое время не давал покоя вопрос функциональной специализации отделов мозга.

Они не могли понять, почему в мозге есть специальный участок для каждой отдельной функции — например, область, отвечающая за распознавание объектов в целом, и область, отвечающая конкретно за распознавание лиц. Благодаря глубоким нейросетям теперь известно, что такая специализация — наиболее эффективный способ решения задач.

Ученые также обнаружили, что глубокие нейросети, успешно обрабатывающие речь, музыку и запахи, имеют схожее устройство с системами слуха и обоняния в человеческом мозге.

Эти успехи стали неожиданностью, так как нейробиологи прежде скептически относились к сравнению мозга и нейросетей.

«Еще недавно никто в моей лаборатории не работал с глубокими нейросетями, говорит нейробиолог из МИТ Нэнси Кэнвишер, — а теперь они используются почти ежедневно».


Обработка зрительной информации

Компьютерные нейросети состоят из взаимосвязанных компонентов, называемых перцептронами , которые представляют собой упрощенные цифровые модели нейронов. Нейросеть содержит как минимум два слоя перцептронов — входящий и исходящий. Если поместить между этими слоями один или более скрытых слоев, мы получим глубокую нейронную сеть — чем больше скрытых слоев, тем глубже нейросеть.

Глубокие нейросети можно обучить находить закономерности в данных, например идентифицировать изображения котов и собак. Обучение осуществляется при помощи алгоритма, который регулирует связи между перцептронами так, чтобы распознать в определенных входящих данных (пикселях изображения) объект (кота или собаку). Обученная глубокая нейросеть может категоризировать изображения, которые никогда раньше не видела.

Нейробиологи не раз указывали на один существенный недостаток нейросетевых моделей мозга: настоящие нейроны обрабатывают информацию более тщательно, чем перцептроны.

Кроме того, в основе глубоких сетей часто лежит так называемый метод обратного распространения ошибки , который не применяется в настоящей нервной системе.


И всё же глубокие сети — это лучший способ моделирования мозга.

Исследователи использовали знания о распознавании людей и мест, а также гипотезу о двух потоках обработки зрительной информации ( вентральный поток отвечает за обработку предметной информации, дорсальный — пространственной) для разработки компьютерной модели зрительной системы. У людей вентральный поток начинается с сетчатки и заканчивается в латеральном коленчатом теле — расположенной в таламусе структуры, которая играет роль ретрансляционной станции. Латеральное коленчатое тело связывается с первичной зрительной корой (V1), зонами V2 и V4 и в конечном итоге с нижней височной корой.

Главное открытие нейробиологов состоит в том, что зрительная информация обрабатывается в определенном порядке: на более ранних стадиях происходит обработка общих деталей визуального поля — контуров, очертаний, форм и цветов; тогда как более сложные данные — целые объекты и лица — обрабатываются позже в нижней височной коре.


Это открытие легло в основу глубокой нейросети, разработанной Яминсом и его коллегами.

Их сеть содержит скрытые сверточные слои, каждый из которых отвечает за обработку разных ключевых характеристик изображения. Более общие детали обрабатываются на ранних этапах, а более сложные — на поздних, как в мозге человека.

Когда сверточная нейронная сеть учится категоризировать изображения, то поначалу использует для своих фильтров случайные значения и постепенно усваивает значения, необходимые для конкретной задачи.

Четырехслойная сверточная нейросеть Яминса успешно распознала восемь категорий объектов (животные, лодки, машины, стулья, лица, фрукты, самолеты и столы) на 5760 реалистичных трехмерных изображениях. Несмотря на различия в положении и масштабе объектов, нейросети удалось распознать их не хуже, чем это сделал бы человек.

Яминс не знал, что новые открытия в области компьютерного зрения подтвердили правильность его подхода.

Вскоре после того, как он завершил работу над своей нейросетью, громко заявила о себе другая сверточная нейросеть AlexNet. Также созданная по принципу иерархической обработки информации и обученная на 1,2 миллиона аннотированных изображений, содержащих тысячу разных категорий объектов, в 2012 году на соревновании по распознаванию изображений AlexNet обошла всех своих соперников. Коэффициент ошибок AlexNet составил всего 15,3% (по сравнению с 26,2% у ее ближайшего конкурента). Благодаря победе AlexNet глубокие нейросети стали конкурентоспособными в области искусственного интеллекта и машинного обучения.

Но Яминса и других членов команды ДиКарло больше интересовала нейробиология. Раз их сверточная нейросеть (СНС) имеет аналогичную со зрительной системой архитектуру, может ли она спрогнозировать реакцию нейронов на совершенно новое изображение?

Чтобы ответить на этот вопрос, они сначала сопоставили активность искусственных нейронов их СНС с процессами, происходящими в вентральной зрительной системе двух макак-резусов. Затем с помощью СНС смоделировали реакцию определенных участков мозга макак на изображения, которых те раньше не видели.

«Сделанные нами прогнозы оказались верными, — говорит Яминс. — Более того, обнаружилось, что ранние и поздние стадии обработки в СНС соответствуют ранним и поздним стадиям в структуре мозга».

Кэнвишер хорошо помнит, как ее впечатлили результаты исследования, опубликованные в 2014 году.

«Это не доказывает, что отдельные составляющие глубокой нейросети ведут себя так же, как нейроны, — говорит она. — Тем не менее это совпадение поражает».

Обработка звука

После того, как Яминс и ДиКарло опубликовали результаты своего эксперимента, начались поиски новых и более эффективных глубоких нейросетевых моделей мозга, особенно менее изученных его областей.

По словам Джоша Макдермотта, нейробиолога из МИТ, ученым до сих пор мало известно о слуховой коре, в особенности у человека. Он надеется, что глубокие сети предоставят новые данные о том, как мозг обрабатывает звук.

Команда Макдермотта, в которую также вошли Александер Келл и Яминс, приступила к разработке глубоких нейросетей для классификации двух типов звуков: речи и музыки.

Сначала они создали компьютерную модель ушной улитки — части внутреннего уха, отвечающей за восприятие и распознавание звуков, — которая должна была обрабатывать звук и распределять его по каналам разной частоты. СНС обучили распознавать слова на аудиозаписи и отличать музыку от фонового шума. Команда пыталась создать архитектуру глубокой нейросети, которая бы успешно выполняла обе задачи и при этом не требовала значительных ресурсов.

У них было три возможных варианта:

  • входной слой выполняет обе задачи, а дальше сеть разделяется на две части;
  • обе задачи выполняются вместе всей нейросетью, и разделение происходит только на выходе;
  • или же на некоторых стадиях обе задачи выполняются вместе, а на некоторых — по отдельности.

Как можно было предположить, нейросети с отдельными путями для обработки речи и музыки превзошли нейросети, в которых речь и музыка обрабатывались одним и тем же путем. Однако гибридная нейросеть с семью объединенными слоями и пятью парами отдельных слоев оказалась почти настолько же эффективной. Макдермотт и его коллеги решили выбрать последнюю, так как она расходовала меньше всего ресурсов.

Гибридная нейросеть показала хорошие результаты в соревновании с людьми. Кроме того, она согласуется с данными других исследований, которые говорят о том, что непервичная слуховая кора имеет отдельные области для обработки музыки и речи. А в ходе решающего теста, результаты которого были опубликованы в 2018 году, модель успешно спрогнозировала мозговую активность участников эксперимента и доказала свое превосходство над моделями, не основанными на глубоком обучении.

Кэнвишер изначально скептически относилась к возможности использования глубокого обучения в собственных исследованиях, но и ее впечатлили полученные Макдермоттом результаты.

Кэнвишер приобрела известность в 1990-х годах, когда ей удалось доказать, что область нижней височной коры — веретенообразная извилина — отвечает за распознавание лиц. Активность веретенообразной извилины намного выше, когда человек смотрит на изображения лиц, чем когда он смотрит на изображения объектов. Но зачем мозгу отдельные области для распознавания лиц и объектов?

Нейробиологам всегда было трудно отвечать на вопросы «зачем?» и «почему?». Заручившись помощью Катарины Добс и других своих коллег, Кэнвишер разработала сверхточную нейросеть VGG, более глубокий аналог AlexNet, и обучила одну нейросеть распознавать лица, а другую — объекты.

Оказалось, что глубокая сеть, обученная распознавать лица, плохо справлялась с распознаванием объектов, и наоборот. А когда ученые обучили одну нейросеть выполнять обе задачи, то обнаружили, что сеть самоорганизовалась таким образом, чтобы на более поздних этапах обрабатывать лица и объекты отдельно.

Это согласуется с принципом работы зрительной системы человека. «Мы обнаружили, что в глубоких нейросетях, умеющих выполнять обе задачи, спонтанно происходило разделение функций обработки лиц и объектов», — говорит Добс, которая сейчас работает в Гиссенском университете имени Юстуса Либиха в Германии.

«Больше всего меня радует то, что мы наконец можем ответить на вопрос, почему мозг организован именно так», — говорит Кэнвишер.

Обработка запахов

Также есть новые интересные данные о восприятии запахов. В прошлом году специалист по вычислительной нейробиологии Роберт Янг вместе со своими коллегами из Колумбийского университета разработал глубокую нейросеть, моделирующую обонятельную систему мухи-дрозофилы.

Обонятельная система мухи-дрозофилы достаточно хорошо изучена.

Первый слой, отвечающий за обработку запахов, состоит из обонятельных сенсорных нейронов, каждый из которых содержит только один из 50 видов обонятельных рецепторов. Все сенсорные нейроны одного типа (в среднем около 10 штук) соединены с одним кластером нервных клеток, расположенным на следующем слое. Кластеры нервных клеток, в свою очередь, произвольным образом соединены с нейронами следующего слоя, который называется слоем Кеньона и состоит из примерно 2500 нейронов. Последний слой, состоящий из 20 нейронов, отвечает за реакцию на запах.

Прежде чем приступить к разработке компьютерной модели, имитирующей этот процесс, Янг и его коллеги создали набор данных, имитирующих запахи. Нейроны реагируют на запахи иначе, чем на изображения. Если наложить друг на друга два изображения котов, результат может оказаться совсем не похожим на кота. Но если смешать запахи двух яблок, в итоге всё равно получится яблочный запах.

Ученые создали глубокую сеть из четырех слоев: трех слоев для обработки запахов и одного выходного слоя. Обучив нейросеть классифицировать симулированные запахи, Янг и его коллеги обнаружили, что связи в ней были такими же, как и в мозге мухи-дрозофилы. Это совпадение указывает на то, что и эволюция, и глубокая нейросеть нашли оптимальное решение.

Но Янг не спешит с выводами. «Возможно, нам просто повезло», — говорит он.

Следующий шаг — разработка глубоких сетей, способных спрогнозировать устройство обонятельной системы еще не изученного животного. «Это будет настоящим испытанием для нас», — говорит Янг.


Нейросети — больше не черные ящики

Глубокие нейросети часто называют черными ящиками из-за того, что полученные с их помощью результаты невозможно спрогнозировать на основе изучения миллионов или даже миллиардов отдельных параметров. Не станет ли глубокая нейросетевая модель мозга лишь заменой одного неизвестного другим?

«Не совсем. Нейросеть изучать всё же легче, чем мозг», — говорит Янг.

В прошлом году команда ДиКарло опубликовала результаты исследования, которые опровергают утверждение о непрозрачности глубоких нейросетей. При помощи AlexNet ученые смоделировали вентральный зрительный поток макаки и обнаружили, что группы искусственных нейронов и нервные узлы зрительной зоны V4 у макак совпадают.

Затем, используя компьютерную модель, они сгенерировали изображения, которые, по их прогнозам, должны были вызвать очень высокую активность нейронов. В ходе одного такого эксперимента активность нервных узлов повысилась на 68% относительно обычного уровня; в ходе еще одного испытания демонстрируемые изображения вызывали повышение активности одного нейрона одновременно с понижением активности соседних нейронов.

Оба этих исхода были спрогнозированы нейросетью.

Полученные результаты указывают на то, что глубокие нейросети в определенной степени прозрачны и отражают реальную активность мозга.

Стоит отметить, что совпадения в структуре и работе глубоких сетей и мозга еще не означают, что они функционируют одинаково. Однако вполне возможно, что они следуют одним и тем же принципам.

Недостатки нейросетевых моделей

Макдермотт считает, что последние исследования с применением глубоких нейросетей потенциально могут помочь в решении проблем, связанных с потерей слуха. В большинстве случаев глухота связана с повреждениями уха. Как следствие, слуховая система вынуждена адаптироваться к проблемам с входными данными. «Если бы у нас была точная модель слуховой системы, мы бы представляли, как можно улучшить слух», — говорит он.

В то же время Макдермотт осторожно относится к возможностям глубоких сетей. «Мы очень стараемся понять ограничения нейросетевых моделей», — говорит он.

Аспирантка Дженелл Фэзер вместе с другими исследователями из лаборатории Макдермотта продемонстрировала ограничения нейросетей на примере метамеров — отличающихся сигналов, которые воспринимаются системой как идентичные. Два аудиометамера, например, имеют разную форму волны, но кажутся человеку одинаковыми.

Используя глубокую нейросетевую модель слуховой системы, команда создала метамеры естественных аудиосигналов, которые активировали разные фрагменты нейросети так же, как аудиозаписи. Ученые предположили, что если нейросеть является точной моделью слуховой системы человека, то метамеры также должны звучать одинаково.

Но этого не произошло. Люди смогли распознать метамеры, которые активировали первые части нейросети; те же метамеры, которые активировали более глубокие части, звучали как шум.

«В определенных ситуациях нейросетевые модели очень точно имитируют поведение человека, но всё же им нельзя полностью доверять», — говорит Макдермотт.

В Стэнфорде Яминс занимается изучением расхождений в работе нейросетей и функционировании мозга. Нейросети часто нуждаются в большом количестве аннотированных данных для обучения, в то время как мозгу бывает достаточно лишь одного примера.

Сейчас ведется разработка глубоких нейросетей, которые смогут обучаться самостоятельно и при этом эффективно.

Кроме того, глубокие нейросети обучаются с помощью алгоритма, называемого методом обратного распространения ошибки , который, по мнению большинства нейробиологов, не может работать в настоящей нервной системе из-за отсутствия необходимых связей.

«Нам удалось достичь определенного прогресса в разработке более реалистичных с биологической точки зрения механизмов обучения, которые действительно работают», — говорит Яминс.

Джош Тененбаум, когнитивный нейробиолог из МИТ, говорит, что, хотя глубокие нейросети и являются шагом вперед, они по большей части выполняют задачи по классификации и категоризации.

Однако мозг делает намного больше. Благодаря нашей зрительной системе мы можем судить о геометрии поверхностей и трехмерной структуре пространства, а также делать выводы в реальном времени — например, осознавать, что дерево исчезло просто потому, что перед ним проехала машина.

Чтобы понять это свойство мозга, Илькер Йылдырым из Йельского университета совместно с Тененбаумом и его коллегами разработал так называемую инверсионную графическую модель. Эта модель создает 3D-сцену на основании заданных параметров рендеринга, а затем — двухмерные изображения сцены с разных точек наблюдения. Используя 3D- и 2D-данные модели, исследователи обучили модифицированную версию AlexNet прогнозировать параметры 3D-сцены на основе двухмерного изображения.

«Система учится двигаться в обратном направлении, от следствия к причине, от двухмерного изображения к трехмерной сцене», — говорит Тененбаум.

Команда испытала свою модель, проверив ее прогнозы касательно активности в нижней височной коре макак-резусов. Ученые показали макакам 175 картинок, изображающих 25 людей в семи разных позах, и зарегистрировали активность участков мозга, отвечающих за распознавание лиц. Затем они показали те же изображения глубокой сети, в которой искусственные нейроны первого слоя активировались, когда демонстрировалось двухмерное изображение, а нейроны последнего слоя — когда трехмерное. Оказалось, что последние три слоя нейросети полностью соответствуют последним трем слоям системы распознавания лиц у макак.

Это говорит о том, что мозг использует сочетание генеративной и распознавательной моделей не только чтобы идентифицировать и категоризировать объекты, но и чтобы мгновенно делать выводы. Тененбаум признает, что успех созданной его командой модели еще не доказывает, что мозг работает именно так. «Но теперь мы лучше понимаем, какие вопросы нужно задавать», — говорит он.

Сегодняшняя статья будет посвящена достаточно сложной теме - что такое искусственные нейронные сети и зачем они нужны. Я расскажу вам историю создания нейронных сетей, как развивалась эта наука о сетях и что сейчас она может предложить человечеству. Тема сложная для понимания и сразу вникнуть в тему вряд ли получится, однако я постараюсь изложить информацию как можно проще.

Тема нейронных сетей актуальна сейчас, как никогда - то и дело в сети встречается масса сайтов, на которых эти самые сети забавно совмещают картинки, разукрашивают ч/б фотографии, распознают рукописный текст, речь и т.д. Это лишь малая часть того, что на самом деле умеет ИНС (искусственная нейронная сеть). В теории, возможности ИНС безграничны, однако сейчас они существенно уступают тому, что умеет человеческий мозг. По сравнению с нейронными сетями, мы спокойно можем разобрать речь собеседника в шумном помещении, узнать человека среди сотен других людей и т.д.

ИНС умеет все то же самое, но работает намного медленнее и сравнивая нейросеть с живым существом, ее мощность пока находится на уровне мухи. Все же наш мозг добился отличной работоспособности спустя 50 000 лет эволюции (если мы говорим о Homo sapiens), а нейросети существуют не более 65 лет. Современные технологии сильно шагнули вперед и нет никаких сомнений, что через 10-15 лет нейрокомпьютеры вплотную приблизятся по своим возможностям к человеческому мозгу благодаря стремительному развитию нейросетей и искусственного интеллекта в целом.

Содержание:

  • История создания ИНС
  • Что такое нейросеть
  • Как работают нейронные сети
  • Где эффективны ИНС
  • Преимущества нейросети
  • Недостатки нейронной сети
  • Виды ИНС
  • Нейросети в реальной жизни

Искусственные нейронные сети - история создания

Впервые о нейронных сетях начали говорить в далеких 50-х годах прошлого века. В период с 1943 по 1950 год были представлены миру первые две основополагающие ученые работы. Одна из них - статья 1943 года от двух выдающихся ученых Уорена Маккалока и Уолтера Питтса освещала математическую модель нейронной сети, а в 1949 году канадский нейропсихолог Дональд Хебб выпустил книгу "Организация поведения" , в которой было подробное описание процесса самообучения ИНС.

Позднее, в 1957 году известный американский ученый Фрэнк Розенблатт изобрел перцептрон - математическую (компьютерную) модель обработки информации человеческим мозгом. Данная разработка уже в те годы умела прогнозировать погоду и распознавать образы, однако вскоре перцептрон жестко раскритиковали из-за скандальной работы Марвина Минского. В 1969 году он выпустил статью, в которой разъяснялось, какие задачи перцептроном не могут быть решены и при каких условиях его работа неэффективна. После этого интерес к нейросетям угас, но не на долго.

В 1974 году Пол Вербос разработал алгоритм обратного распространения ошибки, который используется и по сей день для обучения ИНС. Начиная с 1985 года Джон Хопфилд предлагает миру свое виденье устройства и работы нейросети, которая способна решать некоторые виды задач. Именно работы Джона Хопфилда вновь разогревают нешуточный интерес мировой общественности к искусственным нейронным сетям. В 90-е годы прошлого века алгоритм обратного распространения ошибки получил существенное развитие, за счет чего былая критика Минского касательно неработоспособности сетей была окончательно опровергнута. На сегодняшний день ИНС является главным подразделом машинного обучения.

Нейросеть - в целом об ИНС

Как я уже говорил, в этой статье все будет упрощено. Важно, чтобы каждый хотя бы в общих чертах понимал, что такое нейронные сети.

Итак, что же такое ИНС? Вспомните уроки биологии - каждое существо в нашем мире имеет нервную систему, а более продвинутые жители Земли еще и мозг. Биологические нейронные сети и есть наши с вами мозги. Органы чувств передают информацию о раздражителе нейронным сетям, а те в свою очередь обрабатывают ее, благодаря чему мы чувствуем тепло и холод, ветер, влагу, можем распознать образы, запомнить информацию и т.д.

Вот так выглядит наш с вами нейрон - очень сложная биологическая система.

Искусственный нейрон - это тот же биологический нейрон, но только сильно упрощенный. Нам ведь не нужны оболочки, мембраны, ядра, рибосомы и прочее, чтобы математический нейрон смог жить. Требуется лишь алгоритм работы биологического нейрона, чтобы осуществлять задуманное - самообучение компьютеров и их систем . Вот как выглядит упрощённый биологический нейрон в математическом виде.

А вот как выглядит наш с вами мозг, упрощенный до ИНС.

Нейронные сети - почему они работают?

Для начала - принцип работы ИНС в точности повторяет алгоритм работы биологических нейронных сетей. Чаще всего ответ на вопрос, "почему нейросети работают", звучит так: каждый нейрон из сети умеет обрабатывать сигнал, а поскольку их миллиарды, то входящая информация на входе преобразуется в правильный сигнал на выходе.

Важно учитывать то, что алгоритм работы каждого нейрона одинаков, поэтому возникает вопрос: если все нейроны работают по одинаковому примеру, то почему нейросети могут выдавать разные ответы, а не один и тот же постоянно? Дело в том, что помимо самих нейронов существуют еще и синапсы.

Синапс - это место соединения выхода одного нейрона и входа другого, при этом сигнал при прохождении через синапс либо усиливается, либо ослабляется.

На картинке можно увидеть, как соединяются биологические нейроны друг с другом - красный цвет отображает главный нейрон, а желтый выходы близлежащих нейронов. Каждый из биологических нейронов обладает тысячами входов для других нейронов, а значит и синапсов также тысячи. Умножим наши тысячи на миллиарды нейронов ( у человека около 85 млрд. нейронов в головном мозге ) и получаем громадно число синапсов.

Каждый синапс индивидуален, он либо усиливает, либо ослабляет сигнал нейрона, проходящий через него. В течение жизни синапсы меняются, а значит и изменяются проходящие через них сигналы. Именно совместная работа нейрона и синапса преобразуют входящие сигналы в верные решения на выходе.

Вот как выглядит математический вид нейрона. Он состоит из входов , на которые подаются числа, весов (аналоги синапсов) и сумматора . Поступающие на входы числа умножаются на соответствующие веса, после чего произведения суммируются. Сумма всех результатов не является окончательным решением, и для выдачи готового результата используется функция активации. Функция активации вычисляет выходной сигнал сумматора в правильное решение. Всего существует три вида функции возбуждения:

  • пороговая функция;
  • гистерезис;
  • сигмоид.

Уровень сложности нейросетей

Ученые давно уже разработали алгоритм работы ИНС, однако даже сейчас технологии не позволяют моделировать слишком большое количество нейронов. Насколько их меньше, чем у человека? Внимание на картинку.

Это условное представление того, насколько ИНС отстают от человека. Возможности обычного ПК находятся около пиявки, а вот специальные реализации нейросетей уже приближаются к возможностям обычной мухи. Да, пока ИНС не внушают доверия, но прогресс не стоит на месте и даже маленькое смещение по диагонали на графике дает существенное увеличение синапсов, а как следствие правильности и скорости работы нейросети.

Когда эффективны ИНС?

Вы уже ознакомились с принципом работы нейронных сетей, теперь разберемся с тем, где их можно и нужно применять. По ходу жизни нам предстоит решать множество как легких, так и сложных задач. ИНС призвана помочь каждому человеку упростить его жизнь. Ниже опишу примеры задач и с помощью чего их можно решить - обычного ПК или нейронных сетей.

Простые и средние по сложности, принцип решения которых известен:

Нейросети: путь прогресса или бомба замедленного действия?

Человеческий мозг — восхитительное устройство. Он вдохновляет современных исследователей, которые создают искусственные нейроны, словно ученики скульптора, копирующие бюст Сократа. И результат тому — искусственная нейронная сеть (ИНС), одно из самых обсуждаемых явлений современности.

Почему нейронная, почему сеть

Глубокое понимание нейросетей предполагает, что вы в курсе понятий математическая функция, перцептрон и матрица весов. Мы же предлагаем поговорить про это явление на общечеловеческом языке, чтобы всем было понятно.

Искусственная нейронная сеть неспроста получила такое название, ссылаясь к работе нейронов головного мозга. Под нейросетью понимается система вычислительных единиц — искусственных нейронов, функционирующих подобно нейронам мозга живых существ. Как и биологические, искусственные нейроны получают и обрабатывают информацию, после чего передают ее дальше. Взаимодействуя друг с другом, нейроны решают сложные задачи.Среди них:

  • определение класса объекта,
  • выявление зависимостей и обобщение данных,
  • разделение полученных данных на группы на основе заданных признаков,
  • прогнозирование и т. д.


Нейронная сеть воспроизводит психические процессы, например, речь, распознавание образов, творческий выбор, мышление. Те области, которые еще вчера мыслились нами как возможности исключительно человеческого разума, становятся доступными искусственному интеллекту. Другое преимущество нейросетей перед традиционным ПО — возможность обучаться. Нейронные сети апгрейдятся на основе поступающих данных о мире людей, опыта и ошибок. И, надо сказать, они уже здорово эволюционировали.

Кому это выгодно

Термин «нейронная сеть» появился еще в 1943 году, но популярность эта технология обрела только в последние годы: посредством магазинов приложений стало распространяться ПО, созданное при помощи нейросетей, в колонках новостей запестрели заголовки о фантастических возможностях искусственного интеллекта. Сегодня нейронные сети используются во множестве сфер.

Нейросети для развлечений

Искусственными нейронными сетями сейчас пользуются люди, далекие от сложных математических моделей. Когда создатели ПО поняли, что нейросети — это как минимум весело, рынок приложений для смартфонов наводнился программами для работы с изображениями на основе искусственных нейронных сетей. ПО для обработки изображений (DeepDream, Prisma, Mlvch), «старения»,замены лиц на фотографиях и видео моментально стало вирусным. На самом деле, это весомое оружие в век соцсетей. Приложения типа знаменитого FaceApp могут не только позабавить — с ними можно здорово изменить внешность: нанести профессиональный мейкап, изменить волосы, скорректировать черты лица и даже добавить эмоции и мимику. Причем сейчас все это выглядит настолько натуралистично, что едва ли с первого взгляда заподозришь подвох.


Нейросети знают многое о человеческих лицах: по фотографии они могут определить возраст, пол, настроение, спрогнозировать, как лицо будет выглядеть в старости, анимировать статическое изображение, заставив Барака Обаму говорить то, что он не говорил, и оживить знаменитую Мону Лизу. По фотографии теперь можно найти человека, а китайские нейросети Megvii даже ищут собак по изображению носа. Причем ИНС работает не только с изображениями, но и со звуком. Массачусетский технологический институт недавно представил нейросеть (Speech2Face), определяющую национальность, пол и возраст человека по голосу.

Звучит впечатляюще и пугающе. Конечно, мы можем развлекаться, играя со своей фотографией, но только представьте, какой отнюдь не развлекательный потенциал у этой технологии. Уже сейчас можно найти любого человека по фото, создать реалистичные несуществующие лица для рекламы, модельного бизнеса или кино, заставить статичные изображения говорить и двигаться. Нетрудно представить, что нейросети скоро станут целой индустрией.

Нейросети на службе правительства

Нейросети способны помогать правоохранительным органам искать преступников, бороться с наркобизнесом и терроризмом, быстро находить в интернете противозаконный контент. Как и при использовании камер наблюдения, здесь есть свои сложности, ведь нейросети можно применять как для поиска пропавших детей в отряде «Лиза Алерт», так и для ужесточения контроля над населением.


Уже есть несколько примеров проектов внедрения искусственных нейронных сетей в России. В ГИБДД хотят научить нейросеть обнаруживать факт кражи автомобильных номеров. По изображению автомобиля ИНС сможет установить, соответствует ли машина своему номеру. Это поможет своевременно выявлять подделку или кражу номеров. Руководитель Департамента транспорта Москвы Максим Ликсутов подтвердил, что данная программа сейчас проходит тестирование.

Еще один пример возможностей нейросетей в распознавании изображений – эксперимент Департамента информационных технологий Москвы по созданию сервиса для передачи показаний приборов учета воды. Возможно, вскоре нам не придется вводить показания вручную, достаточно будет лишь сфотографировать свой счетчик, а нейросеть сама распознает цифры с изображения.

Нейросети и бизнес

Нейросети — настоящий подарок для бизнеса и горе для работников. Мы живем в эпоху, когда данные имеют огромную ценность. Поверьте, мировые корпорации уже проанализировали ваш профиль в соцсетях и предоставляют вам персонализированную рекламу. Только представьте, что способности сетей искусственных нейронов к анализу и обобщению можно использовать для получения еще большего массива знаний о потребителях. Например, в 2019 году компания McDonald’s наняла специалистов по разработке нейросетей для создания индивидуальной рекламы. Потом не удивляйтесь, откуда бизнес знает о том, какую еду, одежду и косметику вы предпочитаете.

В банковской сфере нейросети уже применяются для анализа кредитной истории клиентов и принятия решений о выдаче кредита. Так, в 2018 году «Сбербанк» уволил 14 тысяч сотрудников, которых заменила «Интеллектуальная система управления» на основе нейросети. Вместо людей рутинные операции теперь выполняет обучаемый искусственный интеллект. По словам Германа Грефа, подготовку исковых заявлений нейросети проводят лучше штатных юристов. Также финансисты обращаются к прогностическим способностям искусственного интеллекта для работы с плохо предсказуемыми биржевыми индексами.

Нейросети в сфере искусства

Что будет, если нейросеть познакомить с шедеврами мировой живописи и предложить написать картину? Будет новое произведение искусства. Предложите нейросети сочинения Баха, и она придумает похожую мелодию, книги Джоан Роулинг – она напишет книгу «Гарри Поттер и портрет того, что похоже на большую кучу золы». Книга «День, когда Компьютер написал роман», созданная японской нейросетью, даже получила премию HoshiShinichiLiteraryAward.

Специалисты компании OpenAI заявляют, что их программа по созданию текстов пишет любые тексты без человеческого вмешательства. Тексты за авторством нейросети не отличаются от тех, что написаны человеком. Однако в общественный доступ программа не попала, авторы опасаются, что ее будут использовать для создания фейк-ньюс.

В 2018 году на аукционе «Сотбис» за полмиллиона долларов был продан необыкновенный лот: «Эдмонд де Белами, из семьи де Белами. Состязательная нейронная сеть, печать на холсте, 2018. Подписана функцией потерь модели GAN чернилами издателем, из серии одиннадцати уникальных изображений, опубликованных Obvious Art, Париж, в оригинальной позолоченной деревянной раме». Робби Баррат, художник и программист, научил нейросети живописи настолько, что теперь она уходит с молотка как шедевры искусства.


Появились нейросети-композиторы и даже сценаристы. Уже снят короткометражный фильм по сценарию, написанному искусственным интеллектом («Sunspring») — вышло бессмысленно и беспощадно, как заправский артхаус. Тем временем нейросеть от Яндекса произвела на свет пьесу для симфонического оркестра с альтом и альбом «Нейронная оборона» в стиле группы «Гражданская оборона», а позже начала писать музыку в стиле известных исполнителей, например группы Nirvana. А нейросеть под названием Dadabots имеет свой канал на YouTube, где генерируется deathmetal музыка.

Удивительно, как органично нейросети вписались в мир современного искусства. Получим ли мы робота-Толстого через пару лет? Сможет ли нейросеть постигнуть все глубины человеческих проблем и чувств, чтобы творить не компиляцию, а настоящее искусство? Пока эти вопросы остаются открытыми.

Нейросети в медицине

Нейросети уже помогают улучшить качество диагностики различных заболеваний. Анализируя данные пациентов, искусственный интеллект способен выявлять риск развития сердечно-сосудистых заболеваний, об этом заявляют ученые Ноттингемского университета. По данным исследования, обученная нейросеть прогнозирует вероятность инсульта точнее, чем обычный врач по общепринятой шкале.

В открытом доступе появились даже приложения для диагностики на основе нейросетей, например SkinVision, которое работает с фотографиями родинок и определяет доброкачественность или злокачественность вашего невуса. Точность приложения — 83 %.


Скайнет готовится к атаке?

Все ли так оптимистично в применении нейросетей? Есть ли сценарии, при которых эта технология может нанести вред человечеству? Вот несколько самых актуальных проблем на сегодняшний день.

  • Фейки. Благодаря возможностям нейросетей появились программы для замены лиц и даже времени года на фото и видео. Как, например, нейросеть Nvidia на основе генеративной состязательной сети (GAN). Страшно представить, какие фото и видео можно получить, если применять подобные программы с целью создания убедительных фейков. Также нейросеть может на основе короткого фрагмента голоса создать синтетический голос, полностью идентичный оригиналу. Подделать чью-то речь? Легко. Подделать чью-то фотографию? Проще простого.
  • Трудности понимания. Когда процесс обучения нейросети завершается, человеку становится трудно понять, на каких основаниях она принимает решения. До сих пор непонятно, как у ИНС получилось обыграть лучшего игрока мира в Го. В этом смысле нейросеть — ящик Пандоры.


  • Оружие хакеров и мошенников. Считается, что хакеры могут использовать возможности нейросетей для преодоления систем антивирусной защиты и создания нового поколения вредоносных программ. Также нейросети соблазнительны для мошенников, например, искусственный интеллект, способный имитировать общение с живым человеком и заполучать доверие.

Безработица. Уже сейчас в сети можно встретить немало тестов а-ля «заменят ли роботы и нейросети вашу профессию». С одной стороны, забавно, с другой — пугающе. Нейросети способны оставить без работы дизайнеров, художников, моделей, копирайтеров, административных служащих среднего звена — и это только малый перечень того, где искусственный интеллект показывает сейчас вполне впечатляющие результаты.

  • Злой суперкомпьютер. Создание искусственного интеллекта, превышающего возможности человеческого разума чревато последствиями. Об этом уже создано множество научно-фантастических книг и фильмов. Может, конечно, все не будет так страшно и фантастично, как в фильме «Превосходство», но оценить риски заранее практически невозможно, а соблазн развивать нейросети все больше и больше слишком велик.

Выводы и прогнозы

Нейросети стремятся сделать мир более персонализированным: каждому из нас будут предлагаться блюда, музыка, фильмы и литература по вкусу. В сериалах мы сможем выбирать развитие сюжета, кстати, Netflix уже экспериментирует с такими решениями.

Однако искусственный интеллект по-прежнему не может заменить человеческий мозг. В вопросах ответственности, норм морали и нравственности, а также критических систем безопасности нам не следует доверять нейросети безраздельно, пусть она и умнее нас. Доверяй, но проверяй.

Если вы попробуете самостоятельно разобраться и для начала откроете Википедию на статье, например, про перцептрон, то скорее всего вас ждет разочарование – вроде и по-русски написано, но ничего не понятно! Если только вам не повезло изучать математику в университете, но тогда и заметка вам не нужна.

Тем не менее, опираясь на здравый смысл, даже из беглого просмотра статей по ИИ в Википедии один полезный вывод можно сделать сразу. Искусственный интеллект и нейронные сети, однослойные и многослойные, сверточные и рекуррентные, обучение с учителем и без, глубокое и неглубокое – это все чертовски сложно! Значит, должно быть очень мало людей, которые действительно разбираются в предмете, и еще меньше тех, кто может применить математические абстракции на практике. Отсюда следует, что большинство «экспертов в области ИИ» на самом деле таковыми не являются, – их просто не может столько быть физически, поэтому весьма высок риск нарваться на шарлатанов или далеких от жизни романтиков (что может быть и хуже). Будьте осторожны, лапши для ушей по теме ИИ на рынке фантастически много!

Нейросеть и искусственный интеллект: разница есть, или это одно и то же?

Строго говоря, есть. Существует множество концепций и попыток реализации ИИ. Термин artificial intelligence (AI) был впервые предложен в 1956 году в Стэнфорде и относится к широкой области научных исследований по созданию разумных машин. Первый «подход к снаряду» по созданию искусственного интеллекта на основе нейронных сетей в 70-80-х годах XX века потерпел фиаско, в основном из-за недостаточности вычислительных мощностей. С тех пор попытки не прекращаются, но о полном успехе говорить рано.

Нейросеть – это не искусственный интеллект, но сейчас именно они захватили всеобщее внимание. Теперь если какой-то стартап или мегакорпорация говорит о применении в своих решениях искусственного интеллекта, то с вероятностью, очень близкой к 100%, они подразумевают нейросети.

Машинное обучение и нейронные сети: разница в контексте маркетинга неочевидна

Когда кто-то загадочным тоном произносит слова «machine learning», то он имеет в виду обучение нейронной сети на основе статистической выборки, то есть, слова «нейросеть» и «машинное обучение» в маркетинговом контексте можно считать синонимами.

Методов обучения и архитектур сетей разработано огромное количество, так что неспециалисту оценить преимущества того или иного подхода нет никакой возможности. Как же быть? Бизнесу следует держать в уме, что не все нейросети одинаково полезны для решения конкретных задач, поэтому к выбору партнера надо подходить очень тщательно – так же, как к выбору стоматолога, а то потом обойдется себе дороже.

А что же тогда deep learning? Глубокое обучение – это разновидность машинного обучения, причем четкой границы между ними не существует. Пишут, что глубокое обучение имитирует абстрактное мышление человека. Чушь, не верьте. Ибо механизм мышления достоверно не изучен. Никакой магии в глубоком обучении нет, работает просто статистика – но действительно, не всегда понятно, как обученная нейросеть приходит к своим выводам. И еще не факт, что все ее решения правильные.

О терминологии: «глубокое» или «глубинное»?

Говорит профессор ВШЭ, Константин Воронцов, один из настоящих экспертов в области ИИ: «Я считаю, что слово “глубинное” имеет в русском языке другой смысл: глубинным бывает залегание нефти, бомбометание, отложение и т. д. “Глубокое” – это более математичный термин, потому что суперпозиция функций может быть глубокой, но не глубинной, а нейронная сеть – это именно суперпозиция функций». Так что не путайте, говорите правильно!

Кстати, по-русски было бы логичнее говорить «обучение машин», что передает суть процесса – обучение нейросети. Но прижилось странное словосочетание «машинное обучение». Чем непонятнее, тем дороже.


Котик или собачка? Применение сверточных нейросетей для компьютерного зрения

Компьютер Deep Blue стоимостью в $10 млн, в котором было 480 специализированных шахматных процессоров и 30 обычных, обыграл чемпиона мира Каспарова еще в 1997 году. Но простая задача, с которой справляется маленький ребенок, – отличить котика от собачки – долго была машинам не под силу. Пока на сцену не вышли сверточные нейронные сети.

Дело, конечно, не в котиках – хотя по количеству публикаций на эту тему может сложиться мнение, что распознавание котиков и есть главная задача современной науки. На самом деле программисты и математики решали проблему компьютерного зрения, чтобы научить машины «видеть» с помощью нейронных сетей. Это нужно в робототехнике, беспилотных автомобилях, медицинской диагностике, системах безопасности и много еще где. А котики – ну просто так повелось, это был один из первых примеров на распознавание образов.


Чтобы подогреть интерес разработчиков, с 2010 года проводится конкурс ILSVRC (ImageNet Large Scale Visual Recognition Challenge), в рамках которого различные программные продукты соревнуются в классификации и распознавании объектов и сцен в самой большой в мире базе аннотированных изображений ImageNet. (На август 2017 года в ней было 14 197 122 изображения, разбитых на 21 841 категорию.)

Первые два года дела шли ни шатко ни валко, хорошим результатом считалась ошибка распознавания 25%, что с научной стороны может и хорошо, но для практических целей применения нейронных сетей совершенно непригодно. Представьте себе беспилотное такси, которое в одном случае из четырех не понимает, дерево перед ним или человек. И вот в 2012 году неожиданно с двукратным отрывом от остальных участников побеждает система глубокого обучения на основе сверточной нейронной сети, которая смогла достичь 16% ошибки! В следующие годы ошибка упала до нескольких процентов.

Именно с этого момента и начался бум глубокого обучения.

Обманчивая простота применения нейронных сетей

«А давайте мы скормим ваши данные нейросети, она сама обучится и решит все ваши проблемы!» – так обычно говорят энтузиасты-неофиты, уверовавшие во всемогущество подхода deep learning. «Мы заменим роботами юристов, врачей, чиновников, водителей и так далее», – продолжают они.

Искусственный интеллект и нейронная сеть, как гениальный Шерлок Холмс, мгновенно находит решения самых разных задач, а туповатому доктору Ватсону только и остается восклицать: «Холмс! Но черт возьми, как?» Но нейро-Холмс не снисходит до объяснений, он просто выдает результат, который считает правильным по одному ему ведомым причинам.

И, как ни странно, люди верят. Первыми на эту иглу подсели водители, которые совсем перестали знать город и едут исключительно по навигатору. Это еще можно понять, поскольку цена ошибки невелика – ну, свернули с помощью нейронной сети не туда, сделаете лишний крюк и все равно как-то доедете до места назначения. А если вопрос касается буквально жизни и смерти? Возьмем хотя бы широко раскрученный проект IBM Watson for Oncology (он так назван отнюдь не в честь спутника знаменитого детектива, а в честь первого CEO компании IBM Томаса Уотсона).

Так вот, оказалось, что искусственный интеллект и нейронные сети тоже совершают врачебные ошибки. Одним из примеров является случай 65-летнего мужчины с диагнозом рак легкого, у которого также было сильное кровотечение. Watson предложил мужчине назначить химиотерапию и препарат «Бевацизумаб». Но препарат может привести к «тяжелому или смертельному кровотечению», согласно предупреждению, и поэтому не должен назначаться людям с сильным кровотечением. Хорошо, что это выявилось в процессе тестирования системы, а не в «боевой» эксплуатации. Ведь врачи – тоже люди, ничуть не лучше таксистов. Как только система из разряда диковины перейдет в повседневное использование, ей станут безоговорочно доверять. И кто тогда будет в ответе за вашу жизнь? Программа? На текущем этапе развития и применения нейронных сетей это слишком опасно.

Схемы организации нейронных сетей


Возможно, именно поэтому мы наблюдаем поток новостей обуспешных примерах нейронных сетей в таких безопасных (и бесполезных в смысле развития цивилизации) областях, как маркетинг, оптимизация продаж, индустрия моды и так далее. Ну что за беда, если в виртуальной примерочной платье сядет не по фигуре какой-то покупательнице? Или якобы точно таргетированное персональное предложение, подготовленное с учетом 100-500 ваших лайков и комментариев в соцсети, выстрелит мимо цели? Никто же не пострадает.

Главное, что бизнес верит в deep learning и готов за это платить. Будем надеяться, что инвестиции пойдут на пользу индустрии и позволят создать действительно полезные ИИ-системы в области здравоохранения, беспилотников всех видов и мастей, роботов различного назначения.

Неудачный пример нейронной сети: урок Google Flu

В стародавние времена, в 2008 году, когда еще не было вокруг разговоров про нейронные сети и искусственный интеллект, а была только одна сплошная Big Data, компания Google запустила амбициозный проект Google Flu Trends (GFT), который, по уверениям разработчиков, мог обнаруживать наступление эпидемии гриппа в каком-то регионе на основе анализа поисковых запросов. На первый взгляд, все казалось логичным – почувствовав недомогание, люди должны искать в интернете информацию о лекарствах или о медицинских услугах.

Первоначально заявлялось, что прогнозы Google Flu Trends на 97% точнее по сравнению с данными официальной медицинской статистики. Затем GFT потерпел неудачу, и весьма эффектную, – ошибся с определением пика сезона гриппа 2013 года на 140%. Почти знаменитые 146%.


Почему это произошло? Если не вдаваться в мелкие подробности, то суть проста: вы не можете полагаться на данные, когда речь идет о действиях и мнениях людей. В голове у каждого из нас по 100 миллиардов нейронов, которые взаимодействуют непредсказуемым образом, и что наша нейросеть выдаст в очередной раз, никому неизвестно. Примитивные гипотезы типа «мы сейчас покажем клиенту нашу рекламу, потому что он лайкнул определенный пост» не работают.

Запомните: психология – не физика. Здесь сколько ученых, столько и теорий. Представьте, если бы у вас было двадцать методик расчета траектории ракеты для полета к Луне, дающих разные результаты, то какую бы вы выбрали? Сегодня нет сколько-нибудь стройной теории работы мозга и процесса мышления, так что все игры с данными о поведении людей являются не более чем спекуляциями.

Применение нейронных сетей: сферических коней в вакууме не существует

Это факт – в вакууме коней нет. Сферический конь – это абстракция, над которой почему-то принято смеяться. Но физика полна этими абстракциями – материальная точка, абсолютно черное тело, идеальный газ… Все физические теории оперируют такими отвлеченными понятиями и при этом весьма неплохо описывают реальный мир.

Нейросеть же, для обучения которой используются, допустим, фотографии лошадей, в принципе неспособна прийти к такой абстракции, как сферический конь. А человек может. Именно это отличает фундаментальную науку от статистических обобщений, которыми занимаются нейросети. Благодаря гениальным догадкам ученых, которые затем проходят экспериментальную проверку, мы получаем новые знания об окружающем мире.

Ноам Хомский так говорил в одном из интервью о невозможности научных открытий только при помощи статистических методов: «Просто работать с сырыми данными – вы никуда с этим не придете, и Галилей бы не пришел. Фактически, если к этому вернуться, в XVII веке людям, таким как Галилей и другим великим ученым, было непросто убедить Национальный научный фонд тех времен – аристократов, – в том что в их работах был смысл. Я имею в виду: зачем изучать, как шар катится по идеально ровной плоскости без трения, ведь их не существует… Важно помнить, что в когнитивной науке мы еще в до-Галилеевой эпохе, мы только начинаем делать открытия».


Представьте: если бы искусственный интеллект и нейросети были во времена Ньютона, и вместо того, чтобы размышлять об устройстве мироздания лежа под яблоней, сэр Исаак стал бы «скармливать» своей нейросетке видеозаписи падения разных предметов – перышка, шишки, чугунного ядра, куска материи, пылинки… Узнали бы мы тогда о законе всемирного тяготения? Вряд ли. Не верите? Вот описание одного эксперимента XVII века, которое приводит Ноам Хомский в том же интервью:

«Один из основных экспериментов в истории химии в 1640 году или около того, когда кто-то доказал, к удовольствию всего научного мира вплоть до Ньютона, что воду можно превратить в живую материю. Вот как они это делали — конечно, никто ничего не знал о фотосинтезе, — они брали кучу земли и нагревали ее так, чтобы вся вода испарялась. Землю взвешивали, вставляли в нее ветку ивы и поливали сверху водой, измерив объем этой воды. Когда ивовое дерево выросло, вы опять берете землю, выпариваете из нее воду — так же, как и раньше. Таким образом, вы показали, что вода может превратиться в дуб или что-то еще. Это эксперимент, и он вроде бы даже верный, но вы не знаете, что вы ищете. И это было неизвестно до тех пор, пока Пристли не открыл, что воздух — это компонент мира, в нем есть азот и так далее, и вы узнавали про фотосинтез и прочее. Тогда вы можете повторить эксперимент и понять, что происходит. Но вас легко может увести не в ту сторону эксперимент, который кажется успешным из-за того, что вы недостаточно хорошо понимаете, что вам следует искать. И вы еще больше уйдете не в ту сторону, если попробуете изучать рост деревьев так: просто взять массив данных о том, как деревья растут, скормить его мощному компьютеру, провести статистический анализ и получить аппроксимацию того, что произошло».

Читайте также: