|
|
|
|
|
|
|
|
|
|
|
страницы:
1
2
3
Текущая страница: 1
|
|
Формальный нейрон Мак-Каллока - Питтса
Модель отражает единственный атрибут биологического нейрона -его способность генерировать импульсы “все, или нечего” в ответ на достаточно сильное воздействие. Нейрон Мак-Каллока - Питтса функционирует в дискретном времени. Он имеет входов -синапсов и единственный выход. Значение выходного сигнала соответствует генерации спайка (состояние возбуждения). В состоянии покоя выходной сигнал . В момент времени выходной сигнал формируется в зависимости от сигналов , поступивших на синапсы в момент времени . Последние также могут принимать значения ноль или единица. Если синаптический сигнал равен нулю, то говорят, что синапс находится в состоянии покоя. Единичное значение соответствует состоянию возбуждения синапса. Сигнал на синапс поступает либо от выхода другого нейроны, либо от сенсора -специального входа для внешних сигналов. Первоначально правила формирования выходного сигнала были введены авторами модели в виде ряда аксиом. Приведем две из них.
Для возбуждения нейрона в момент времени необходимо в момент времени возбудить определенное, фиксированное число синапсов, которое не зависит ни от предыдущей истории, ни от состояния нейрона.
Нейрон имеет особые входы -тормозящие синапсы. Возбуждение любого из них в момент времени исключает возбуждение нейрона в момент времени .
Первая аксиома отражает пороговые свойства нейрона, а вторая - подчеркивает особую роль торможения (на сетях “без запретов” нельзя реализовать произвольный алгоритм).
Впоследствии модель изменилась. Синаптические сигналы ( не обязательно бинарные) стали взвешивать и формировать суммарный входной сигнал . Здесь -числа, которые называют синаптическими весами. Синапс называют возбудительным, если , и тормозным, если . Договорились, что в момент времени нейрон находится в возбужденном состоянии , если суммарный входной сигнал в момент времени превысил некоторое пороговое значение , т.е. . Пусть -функция Хевисайта. Она принимает нулевое значение при и единичное при . Тогда можно записать:
. (12)
Описанный объект есть то, что в настоящее время называют формальным нейроном Мак-Каллока - Питтса.
Функция в (12) получила название функции активации. Часто рассматривают нейроны с другими функциями активации. Нулевое значение выходного сигнала означает, что в соответствующий момент времени нейрон не действует на другие нейроны (он как бы искючен из сети). Представляется разумным, что в любой момент времени выходное значение не равно нулю и зависит от величины . В связи с этим, часто берут в качестве функции активации знак числа. Формула для выходного сигнала приобретает вид:
. (13)
Здесь при и при . Отметим, что в данном случае поделить нейроны на возбудительные и тормозные в принципе невозможно (напомним, что для биологических нейронов такая классификация производится).
Еще один подход к выбору функции активации связан с биологическим фактом, что на более сильное воздействие нейрон отвечает пачкой спайков. Число спайков (или частоту их следования) можно принять за характеристику выходного сигнала. В связи с этим рассматривают нейрон, у которого выходной сигнал задается формулой:
. (14)
Здесь -монотонно растущая функция, имеющая предел при . Дополнительно предполагают, что при , либо при (сигмоидная функция). Широко используется так называемая логистическая функция: . Другой вариант: при , например, .
Иногда в качестве функции выбирают линейный трехзвенный сплайн (ломаную, состоящую из трех частей): при , , где и , для . Тогда на восходящем участке функции активации нейрон работает как линейный сумматор входных сигналов.
Рассмотрим нейрон Мак-Каллока - Питтса, выходной сигнал которого задается формулой (12). Вектор , состоящий из входных сигналов (не обязательно бинарных), назовем входным, а вектор -синаптическим. Обычным образом введем скалярное произведение: . Гиперплоскость разбивает пространство на два полупространства и . В первом из них , а во втором . Если входной вектор , то выходной сигнал нейрона , если же , то . Тем самым, нейрон относит каждый из входных векторов к одному из двух классов.
Для того, чтобы нейрон мог осуществлять “правильную” в каком -то смысле классификацию, должны быть соответствующим образом выбраны вектор синаптических весов и пороговое значение . Процедура выбора этих параметров называется обучением нейрона. Различают обучение с “учителем” и “без учителя”.
Задача обучения с учителем ставится следующим образом. Задаются два набора входных векторов и . Они называются эталонными векторами или паттернами, а также образами. Требуется определить вектор синаптических весов и порог так, чтобы выходной сигнал нейрона в ответ на входные векторы был равен единице, а на векторы -нулю. Тем самым, обучение с учителем предполагает, что для каждого эталонного входного вектора заведомо известен ответ нейрона. Эталон и желаемый ответ называются обучающей парой.
Текущая страница: 1
|
|
|
|
|
|
|
|
|
|
|
|
|
|
