Ведущий эксперт искусственному интеллекту Педро Домингос написал любопытную книгу о том, как машинное обучение может изменить и уже меняет наш мир. Нейронные сети опутывают нас все плотнее, алгоритмы управляют нашей жизнью: они находят книги, фильмы, работу и партнеров для нас, управляют инвестициями и разрабатывают лекарства, самостоятельно обучаясь. Алгоритмы как маленькие любознательные дети: смотрят на нас, повторяют за нами и экспериментируют.
А самое удивительное, что ученые уже работают над Верховным алгоритмом, который будет способен решать любые задачи еще до того, как мы их сформулируем (не напоминает Дугласа Адамса?), и извлекать знания обо всем на свете из данных. Любопытно, правда?
Как устроен наш мозг и как он учится?
Канадский психолог Дональд Хебб в 1949 году сформулировал правило обучения, которое сейчас лежит в основе множества искусственных нейронных сетей: «нейроны, которые срабатывают вместе, связываются друг с другом». В правиле Хебба слились идеи психологии, нейробиологии и, что интересно, немалая доля домыслов. Примерно в то же время испанский нейробиолог Сантьяго Рамон-и-Кахаль провел первые подробные исследования мозга, окрашивая нейроны. Он каталогизировал свои наблюдения, как ботаники классифицируют новые виды деревьев.
Ко времени Хебба нейробиологи в общих чертах понимали, как работают нейроны, однако именно он первым предложил механизм, согласно которому нейроны могут кодировать ассоциации. Каждое понятие представлено множеством нейронов. И эти нейроны, которые возбуждают друг друга, образуют, в терминологии Хебба, «ансамбли клеток».
С помощью таких собраний в головном мозге представлены понятия и воспоминания. В каждый ансамбль могут входить нейроны из разных областей мозга, ансамбли могут пересекаться. Так, клеточный ансамбль для понятия «нога» включает ансамбль для понятия «ступня», в который, в свою очередь, входят ансамбли для изображения ступни и звучания слова «ступня».
Тем не менее для имитации работы мозга одного правила Хебба мало: сначала надо разобраться с устройством головного мозга. Каждый нейрон напоминает крохотное деревце с огромной корневой системой из дендритов и тонким волнистым стволом — аксоном. Мозг в целом похож на лес из миллиардов таких деревьев, однако лес этот необычный: ветви деревьев соединены в нем с корнями тысяч других деревьев (такие соединения называются синапсами), образуя колоссальное, невиданное хитросплетение.
Если расположить аксоны мозга друг за другом, они займут расстояние от Земли до Луны.
Эти джунгли потрескивают от электрических разрядов. Искры бегут по стволам и порождают в соседних деревьях еще больший сонм искр. Время от времени лес неистово вспыхивает, потом снова успокаивается. Работа мозга похожа на симфонию таких электрических разрядов. Если бы можно было посмотреть изнутри на то, что происходит в тот момент, когда вы читаете эту страницу, сцена затмила бы самые оживленные мегаполисы из фантастических романов. Этот невероятно сложный узор нейронных искр в итоге порождает человеческое сознание. Следующий шаг — превратить работу синапсов в алгоритм.
Нейросети. Начало
Первая формальная модель нейрона была предложена в 1943 году Уорреном Маккаллоком и Уолтером Питтсом. Она была во многом похожа на логические вентили, из которых состоят компьютеры с И, ИЛИ и НЕ. Нейронные сети могут совершать все операции, которые умеет делать компьютер. Поначалу компьютер часто называли электронным мозгом, и это была не просто аналогия.
Однако нейрон Маккаллока–Питтса не умеет учиться. Это стало шагом к изобретению перцептронов. Харизматичный оратор и очень живой человек, психолог Фрэнк Розенблатт сделал для зарождения машинного обучения больше, чем кто бы то ни было. Своим названием перцептроны обязаны его интересу к применению своих моделей в проблемах восприятия (перцепции), например распознавания речи и символов.
А вот это штука уже посовременнее: тактильный интерфейс, меняющий форму, разработанный в Массачусетском технологическом институте, – источник.
Перцептрон похож на крохотный парламент, в котором побеждает большинство (хотя, наверное, не такой уж и крохотный, учитывая, что в нем могут быть тысячи членов). Но при этом парламент не совсем демократический, поскольку в целом не все имеют равное право голоса. Нейронная сеть в этом отношении больше похожа на Facebook, потому что несколько близких друзей стоят тысячи френдов, — именно им вы больше всего доверяете, и они больше всего на вас влияют. Если друг порекомендует вам фильм, вы посмотрите его и вам понравится, в следующий раз вы, вероятно, снова последуете его совету. С другой стороны, если подруга постоянно восторгается фильмами, которые не доставляют вам никакого удовольствия, вы начнете игнорировать ее мнение (и не исключено, что дружба поостынет).
Перцептрон вызвал восторг в научном сообществе. Он был простым, но при этом умел узнавать печатные буквы и звуки речи: для этого требовалось только обучение на примерах.
Но затем перцептрон уперся в стену. Инженеров знаний раздражали заявления Розенблатта: они завидовали вниманию и финансированию, которое привлекали нейронные сети в целом и перцептроны в частности. Одним из таких критиков был Марвин Минский, который опубликовал книгу с критикой перцептронов: он описал простые вещи, которым алгоритм не в состоянии научиться. (Хотя надо сказать, что спустя 20 лет это оказалось не так.)
Мозг и компьютер: принципиальное различие
В случае обратной дедукции мы шаг за шагом разбираемся, какое правило необходимо ввести, чтобы от посылок прийти к желаемым выводам. Однако согласно правилу Хебба, все нейроны учатся одновременно. В этом нашли отражение различия между компьютерами и мозгом.
- Компьютеры даже совершенно обычные операции — например, сложение двух чисел или переключение выключателя — делают маленькими шажочками, поэтому им нужно много этапов. При этом шаги могут быть очень быстрыми, потому что транзисторы способны включаться и выключаться миллиарды раз в секунду.
- Мозг же умеет выполнять большое количество вычислений параллельно благодаря одновременной работе миллиардов нейронов. При этом нейроны могут стимулироваться в лучшем случае тысячу раз в секунду, и каждое из этих вычислений медленное.
Количество транзисторов в компьютере приближается к количеству нейронов в головном мозге человека, однако мозг безусловно выигрывает в количестве соединений.
Типичный транзистор в микропроцессоре непосредственно связан лишь с немногими другими, и применяемая технология планарных полупроводников жестко ограничивает потенциал совершенствования работы компьютера. А у нейрона — тысячи синапсов. Если вы идете по улице и увидели знакомую, вам понадобится лишь десятая доля секунды, чтобы ее узнать.
Это не значит, что с помощью компьютера нельзя симулировать работу мозга: в конце концов, именно это делают коннекционистские алгоритмы. Поскольку компьютер — универсальная машина Тьюринга, он может выполнять вычисления, происходящие в мозге, как и любые другие, при условии, что у него есть достаточно памяти и времени. В частности, недостаток связности можно компенсировать скоростью: использовать одно и то же соединение тысячу раз, чтобы имитировать тысячу соединений.
На самом деле сегодня главный недостаток компьютеров заключается в том, что в отличие от мозга они потребляют энергию: ваш мозг использует примерно столько мощности, сколько маленькая лампочка, а для некоторых сложных машин нужно столько электричества, что им можно осветить целый бизнес-центр.
Что умеют нейронные сети
Ученые Терри Сейновски и Чарльз Розенберг обучали многослойный перцептрон читать вслух. Их система NETtalk сканировала текст, подбирала фонемы согласно контексту и передавала их в синтезатор речи. NETtalk не только делал правильные обобщения для новых слов, чего не умели системы, основанные на знаниях, но и научился говорить очень похоже на человека. Сейновски любил очаровывать публику на научных мероприятиях, пуская запись обучения NETtalk: сначала лепет, затем что-то более внятное и наконец вполне гладкая речь с отдельными ошибками. (Поищите примеры на YouTube по запросу sejnowski nettalk.)
Первым большим успехом нейронных сетей стало прогнозирование на фондовой бирже. Поскольку сети умеют выявлять маленькие нелинейности в очень зашумленных данных, они приобрели популярность. Типичный инвестиционный фонд тренирует сети для каждой из многочисленных ценных бумаг, затем позволяет выбрать самые многообещающие, после чего люди-аналитики решают, в какую из них инвестировать.
Беспилотные автомобили — тоже пример того, как хорошо нейронные сети обучаются. А совсем недавно Google рассказали о том, что научили нейросети «писать» картины, опираясь на загруженные в них изображения.
Сегодня мы обучаем более глубокие сети, чем когда бы то ни было, и они задают новые стандарты в зрении, распознавании речи, разработке лекарственных средств и других сферах. И, конечно, меняют мир. По мере того как мы будем лучше понимать мозг, ситуация может измениться. Вдохновленная проектом «Геном человека», новая дисциплина — коннектомика — стремится составить карту всех мозговых синапсов. Возможно, это то самое окно в будущее.
P.S.: Понравилось? Подписывайтесь на нашу новую рассылку. Раз в две недели будем присылать 10 самых интересных и полезных материалов из блога МИФа.
По материалам книги «Верховный алгоритм»
Обложка поста: desiringgod.org
