Материалы сайта
Это интересно
Математические модели естествознания
Однослойный персептрон - простейшая модель ассоциативной памяти Однослойным персептроном назовем множество нейронов Мак-Каллока - Питтса, которые имеют общие входы. Пусть [pic] - входные сигналы, а [pic] - выходной сигнал [pic] -ого нейрона, [pic], где [pic] - число нейронов. Тогда [pic]. Здесь [pic] - общий вектор входных сигналов, [pic] - синаптический вектор [pic] - ого нейрона, [pic]- его пороговое значение. Выходные сигналы принимают либо нулевое, либо единичное значения (бинарны). Предположения о бинарности вектора [pic]делать не будем. Персептрон формирует вектор выходных сигналов [pic]. Обозначим через [pic] - матрицу, в строках которой находятся синаптические векторы [pic]. Ее назовем синаптической. Введем также вектор [pic], который назовем пороговым. Тогда выходной вектор персептрона суть [pic], где функция [pic] вычисляется покоординатно. Множество бинарных векторов (координаты равны либо нулю, либо единице) обозначим через [pic]. Пусть [pic] - некоторый набор входных векторов, а [pic] - множество выходных векторов. Поставим задачу об обучении персептрона. Требуется выбрать синаптическую матрицу [pic] и пороговый вектор [pic] так, чтобы для входных векторов [pic] [pic] персептрон формировал выходные векторы [pic], т.е. [pic]. Если обучение удалось произвести, то персептрон выполняет функции ассоциативной памяти. По входному вектору [pic] генерирует связанный с ним выходной вектор [pic]. При этом если входной вектор [pic] слегка искажен, выходным вектором все равно будет вектор [pic] (функция [pic] непрерывна). Часто пары векторов [pic] называют ассоциативными парами. Пусть [pic] и векторы [pic] линейно независимы. Тогда задача об обучении однослойного персептрона разрешимы. В силу того, что нейроны слоя не связаны между собой, достаточно решить задачу обучения для произвольного [pic]-ого нейрона (персептрон из одного нейрона). Его ассоциативные пары имеют вид: [pic] [pic], где [pic] - координата с номером [pic] вектора [pic], которая принимает либо нулевое, либо единичное значения. Таким образом, нейрон осуществляет классификацию входных векторов: одним “ приписывает” нулевое, а другим - единичное значения признака. Выше показано, что в рамках сделанных предположений о векторах [pic] [pic] задача классификации разрешима. Описан алгоритм выбора синаптического вектора [pic] и порогового значения [pic], для которых [pic]. Задача об обучении персептрона часто оказывается неразрешимой даже в простых случаях. Рассмотрим персептрон, состоящий из одного нейрона, который имеет два синаптических входа, т.е. входной вектор суть [pic]. Поставим задачу найти синаптический вектор и пороговое значение такими, чтобы для входных векторов [pic] и [pic]выходной сигнал был равен единице, а для векторов [pic] и [pic] - нулю? Данный нейрон должен реализовать логическую операцию “исключающее или”. Выпуклые оболочки векторов [pic] и [pic] очевидно пересекаются в точке [pic]. Следовательно, поставленная задача в принципе не разрешима. Нерешенная простейшая задача сильно уменьшает энтузиазм. Однако, оказывается, что она разрешима на двухслойном персептроне. Рассмотрим конструкцию из трех нейронов. Первые два из них имеют общие входы и образуют первый слой. Выходные сигналы этих нейронов являются входными сигналами для третьего нейрона. Пусть [pic] и [pic] входной и выходной векторы первого слоя, а [pic] - выходной сигнал третьего нейрона. Положим для нейронов [pic], [pic], [pic].Простым перебором доказывается, что описанный персептрон реализует операцию “исключающее или”. Рассмотренный пример - решение задачи классификации на множестве бинарных векторов. Оказывается, что теоретически двухслойный персептрон решает задачу классификации бинарных векторов в общем случае. Однако, это утверждение имеет лишь теоретическое значение, поскольку доказывается оно, когда число нейронов в первом слое равно [pic], где [pic] - размерность входного вектора.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16