Нейросети, нейроны, мозг. Обзор.

Биологическая нейронная сеть

Биологическая нейронная сеть — совокупность нейронов головного и спинного мозга центральной нервной системы (ЦНС) и ганглия периферической нервной системы (ПНС), которые связаны или функционально объединены в нервной системе, выполняют специфические физиологические функции.

Нейронная сеть состоит из группы или групп химически или функционально связанных нейронов. Один нейрон может быть связан со многими другими нейронами, а общее количество нейронов и связей в сети может быть достаточно большим. Место контакта нейронов называется синапсом, типичный синапс — аксо-дендритический химический. Передача импульсов осуществляется химическим путём с помощью медиаторов или электрическим путём посредством прохождения ионов из одной клетки в другую.

Представление о нейронных сетях оказало значительное влияние на технологии искусственного интеллекта, в попытке построить  математическую  модель нейронной сети был создан обширный инструментарий искусственных нейронных сетей, широко используемый в прикладной математике и информатике.

«Текстура нервной системы человека и в позвоночных» по Сантьяго Рамон-и-Кахаль. На рисунке показано, разнообразие нейронов морфологии в слуховой коре

Искусственная нейронная сеть

Искусственная нейронная сеть (ИНС) — математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. Первой такой попыткойбыли нейронные сети У. Маккалока и У. Питтса. После разработки алгоритмов обучения получаемые модели стали использовать в практических целях: в задачах прогнозирования, для распознавания образов, в задачах управления и др.

Схема простой нейросети. Зелёным цветом обозначены входные нейроны, голубым — скрытые нейроны, жёлтым — выходной нейрон

ИНС представляет собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты (особенно в сравнении с процессорами, используемыми в персональных компьютерах). Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И, тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие по отдельности простые процессоры вместе способны выполнять довольно сложные задачи.

• С точки зрения машинного обучения, нейронная сеть представляет собой частный случай методов распознавания образов, дискриминантного анализа, методов кластеризации и т. п.
• С математической точки зрения, обучение нейронных сетей — это многопараметрическая задача нелинейной оптимизации.
• С точки зрения кибернетики, нейронная сеть используется в задачах адаптивного управления и как алгоритмы для робототехники.
• С точки зрения развития вычислительной техники и программирования, нейронная сеть — способ решения проблемы эффективного  параллелизма.
• А с точки зрения искусственного интеллекта, ИНС является основой  философского течения коннективизма и основным направлением в структурном подходе по изучению возможности построения (моделирования) естественного интеллекта с помощью  компьютерных  алгоритмов.

Робот Kismet с искусственным интеллектом в Музее Массачусетского технологического института, 2006 год.

Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что в случае успешного обучения сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или «зашумленных», частично искажённых данных.

Название «искусственные нейронные сети» говорит о том, что эти структуры ведут себя примерно как мозговые структуры человека. Составная единица такой сети — это узел обработки, который, как и нейрон, сам по себе может совершать простейшие операции. Мощь появляется, когда множество узлов объединяется в одну огромную сеть. Большая часть неизвестной работы происходит в нейроне. Это он — черный ящик. Данные на входе и выходе можно узнать. Во время обучения, операции, производимые отдельными узлами, постоянно меняются с целью получения хороших результатов по всему набору примеров для обучения. К окончанию процесса программист сети не знает, какие у узлов сейчас параметры. Даже если бы эти данные и были, то было бы сложно понять эту низкоуровневую информацию так, чтобы смочь перевести ее на понятный человеку язык.

В процессе глубокого обучения данные поступают во входные узлы сети, которые преобразуют их и передают следующим узлам. Последнее действие повторяется многократно. Процесс останавливается, когда значения поступают в выходные узлы сети. Информация коррелируется с областью данных, в которой и происходит обучение.

Мозг

Рис.1

Рис.2

Рис.3

Рис.4

Мозг дрозофилы

Характеристики многих частей мозга уже определены, поняты соотношение задач мозга и деятельности мозга. Память, весьма вероятно, представлена формами активации сетей нейронов. Но как эти представления формируются, извлекаются и достигают сознания, это пока не полностью понятно. Когнитивные процессы, которые характеризуют человеческий интеллект, главным образом приписываются возникающим свойствам динамических характеристик в сложных системах, каковыми являются нейронные сети. Таким образом, исследование и моделирование этих сетей привлекает широкий интерес, что породило разные парадигмы и теории для того, чтобы объяснить различные аспекты их поведения. Одним из них — субъектом нескольких теорий — считается особое свойство нейронной сети: возможность узнать сложные узоры.

Пример нейронной сети в мозге человека

Биологический нейрон

Эта конструкция нас особо-то не интересует, как и мозг.  Нам важно осознать функциональную анлогию искусственных сетей с естественными и разобратся, как это достигается технически. Так что и здесь ограничимся иллюстрациями.

Рис.5

Рис.6

Рис.7

Рис.8

Рис.9.

Схема процесса передачи нервного сигнала в химическом синапсе

Искусственный нейрон

[Здесь нам интересно понять, что нейрон может быть смоделирован как на дискретных логических интегральных схемах, так и на аналоговых операционных усилителях. Заметим, что «мозг», построенный из интегральных схем, работает намного быстрее и точнее, чем мозг человека. Как и манипуляторы робота намного сильнее и точнее мускулов человека.

Не так давно в сети появилась, наконец, замечательная книга Майкла Арбиба «Мозг, машина, математика» (я качал с торрента: http://rutracker.org/forum/viewtopic.php?t=3184725 ). Еще года два назад ее найти не удавалось. Несмотря на «древность» ее издания, она, на мой взгляд, до сих пор может служить образцом введения в проблематику соотношения естественного мозга и искусственного.

Была еще одна классическая работа: «От нейрона — к искусственному мозгу» Быкова и Вейнца. К сожалению, пока ее в свободном скачивании я не нашел. — МИБ.]

Схема искусственного нейрона
1.Нейроны, выходные сигналы которых поступают на вход данному
2.Сумматор входных сигналов
3.Вычислитель передаточной функции
4.Нейроны, на входы которых подаётся выходной сигнал данного
5. w_i — веса входных сигналов

Искусственный нейрон (Математический нейрон   Маккалока — Питтса,   Формальный нейрон) — узел искусственной нейронной сети, являющийся упрощённой моделью естественного нейрона. Математически, искусственный нейрон обычно представляют как некоторую нелинейную функцию от единственного аргумента — линейной комбинации всех входных сигналов. Данную функцию называют функцией активации или функцией срабатывания, передаточной функцией. Полученный результат посылается на единственный выход. Такие искусственные нейроны объединяют в сети — соединяют выходы одних нейронов с входами других. Искусственные нейроны и сети являются основными элементами идеального  нейрокомпьютера.

Связи между искусственными нейронами

Связи, по которым выходные сигналы одних нейронов поступают на входы других, часто называют синапсами по аналогии со связями между биологическими нейронами. Каждая связь характеризуется своим весом. Связи с положительным весом называются возбуждающими, а с отрицательным — тормозящими. Нейрон имеет один выход, часто называемый аксоном по аналогии с биологическим прототипом. С единственного выхода нейрона сигнал может поступать на произвольное число входов других нейронов.

Математическая модель

Математически нейрон представляет собой взвешенный сумматор, единственный выход которого определяется через его входы и матрицу весов следующим образом:

y = f(u),

где

 Здесь  x_i и  w_i — соответственно сигналы на входах нейрона и веса входов, функция u называется индуцированным локальным полем, а f(u) — передаточной функцией. Возможные значения сигналов на входах нейрона считают заданными в интервале  [0,1]. Они могут быть либо дискретными (0 или 1), либо аналоговыми. Дополнительный вход  x₀ и соответствующий ему вес  w₀ используются для инициализации нейрона. Под инициализацией подразумевается смещение активационной функции нейрона по горизонтальной оси, то есть формирование порога чувствительности нейрона. Кроме того, иногда к выходу нейрона специально добавляют некую случайную величину, называемую сдвигом. Сдвиг можно рассматривать как сигнал на дополнительном, всегда нагруженном, синапсе.

Передаточная функция f(u) определяет зависимость сигнала на выходе нейрона от взвешенной суммы сигналов на его входах. В большинстве случаев она является монотонно возрастающей и имеет область значений [-1,1] или [0,1], однако существуют исключения. Также для некоторых алгоритмов обучения сети необходимо, чтобы она была непрерывно дифференцируемой на всей числовой оси. Искусственный нейрон полностью характеризуется своей передаточной функцией. Использование различных передаточных функций позволяет вносить нелинейность в работу нейрона и в целом нейронной сети.

Линейная функция активации с насыщением

Пороговая функция активации (функция Хевисайда)

Сигмоидальная функция активации

Один из самых часто используемых, на данный момент, типов передаточных функций. Введение функций сигмоидального типа было обусловлено ограниченностью нейронных сетей с пороговой функцией активации нейронов — при такой функции активации любой из выходов сети равен либо нулю, либо единице, что ограничивает использование сетей не в задачах классификации. Использование сигмоидальных функций позволило перейти от бинарных выходов нейрона к аналоговым. Функции передачи такого типа, как правило, присущи нейронам, находящимся во внутренних слоях нейронной сети.

Моделирование формальных логических функций

Нейрон с пороговой передаточной функцией может моделировать различные логические функции. Изображения иллюстрируют, каким образом можно, задав веса входных сигналов и порог чувствительности, заставить нейрон выполнять конъюнкцию (логическое «И») и дизъюнкцию (логическое «ИЛИ») над входными сигналами, а также логическое отрицание входного сигнала. Этих трех операций достаточно, чтобы смоделировать абсолютно любую логическую функцию любого числа аргументов.

Схема нейрона, настроенного на моделирование логического «И»

Схема нейрона, настроенного на моделирование логического «ИЛИ»

Схема нейрона, настроенного на моделирование логического «НЕ»

Пример принципиальной схемы нейрона:

Искусственные нейросети

 

IBM провела симуляцию нейрокомпьютера, сопоставимого с мозгом человека

[Вот как обстоят дела на 2012 год. — МИБ.]

На конференции Supercomputing 2012 компания IBM представила результаты работы нейросимулятора Compass на суперкомпьютере Sequoia (второе место в мировом рейтинге суперкомпьютеров). Впервые был достигнут масштаб, соответствующий человеческому мозгу — 530 миллиардов нейронов и 137 триллионов синапсов. Симуляция происходила в 1542 раза медленнее реального времени. В ней были задействованы все 1 572 864 ядер и полтора петабайта памяти.

Compass — система симуляции новой компьютерной архитектуры TrueNorth, которую в IBM называют «старшим братом Watson». В отличие от привычных нам компьютеров, основанных на архитектуре фон Неймана, TrueNorth построен по образу и подобию мозга, на базе разработанных IBM “нейросемантических ядер” — чипов, содержащих кремниевые нейроны и синапсы. Каждый чип содержит 256 нейронов, 1024 аксона и 256х1024 синапса. Площадь чипа, произведённого по 45-нанометровой технологии — 4.5 мм². В рекордной симуляции была смоделирована работа 2084 миллиардов таких ядер.

Эта работа была проделана в рамках программы DARPA SyNAPSE, конечная цель которой — создать нейрокомпьютер, сравнимый с мозгом высших млекопитающих как по быстродействию и когнитивным способностям, так и по компактности и энергоёмкости. То есть фактически речь идёт о создании мозга для «терминаторов». Вот некоторые его характеристики:

• 10 миллиардов нейронов
• 100 триллионов синапсов
• энергопотребление в пределах 1 кВт
• занимаемый объём — меньше 2 дм³
• интерфейсы для сенсорного восприятия и моторных функций

IBM работает над созданием «когнитивного компьютера» для DARPA уже несколько лет. Так, в 2009 году были представлены результаты нейорсимуляции в масштабах мозга кошки. Пока рано говорить о реалистичной имитации человеческого мозга, ведь кроме достаточного количества нейронов необходимо ещё знать схему их соединения и, самое главное, программу, которая управляет работой мозга. В этом направлении тоже есть прогресс. Одна из симуляций в рамках DARPA SyNAPSE была основана на схеме соединений нейронных комплексов в мозгу макаки, полученной в рамках проекта CoCoMac.