Искусственные нейронные сети. основные термины и общие понятия

Основные термины для нейронных сетей

Представим перечень основных терминов, используемых в теории и практике нейронных сетей.

Нейрон – neuron – базовый элемент нейронных сетей. Имеет входы, снабженные весами, смещение, суммирующий элемент и выходную активационную функцию. Является аналогом биологического нейрона.

Нейрон выполняет функцию адаптивного сумматора с варьируемыми входными весовыми коэффициентами, суммарный выходной сигнал которого подвергается линейной или нелинейной обработке, образуя итоговый выходной сигнал.

Адалина – ADALINE (ADAptive LINear Element) – одно из наименований для линейного нейрона,  для которого активационная функция – линейная.

Мадалина – простейшая однослойная линейная искусственная нейронная сеть, состоящая из  адалин.

Смещение – bias – параметр нейрона, который суммируется со взвешенными входами нейрона, образуя текущее состояние нейрона – входную величину (аргумент) для функции активации нейрона.

Активационная (передаточная) функция – activation (transfer) function – функция линейного или нелинейного преобразования состояния нейрона. Эта функция преобразует сумму взвешенных входов нейрона в его выход.

Синапс – synapse – однонаправленная линейная связь, характерная для каждого из сумматоров, служащая для обозначения направления распространения сигнала, который умножается на заданный синаптический весовой коэффициент.

Аксон – axon – выходная связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов.

Архитектура – architecture – описание числа слоев в нейронной сети, передаточных (активационных) функций каждого слоя, числа нейронов в каждом слое и связей между слоями.

Узел – unit – отдельный нейрон в нейронной сети, имеющий, как правило, несколько сигналов на входе и лишь один выходной сигнал. Термин «узел» используется обычно для обозначения и представления единичного нейрона в структуре нейронной сети; в рамках графовой модели нейронной сети эквивалентен вершине графа.

Слой – layer – множество нейронов (узлов), имеющих общие входные или выходные сигналы.

Входной слой – input layer – слой нейронов (узлов), образованный совокупностью элементов, на входы которых подаются входные данные нейронной сети.

Скрытый (промежуточный) слой – hidden layer – слой, содержащий нейроны (узлы), на которые не поступают входные данные и с которых не считываются выходные данные нейронной сети.

Выходной слой – output layer – слой нейронов (узлов), выходные сигналы которых образуют выходной сигнал нейронной сети.

Нейронная сеть – neural network – структура соединенных между собой нейронов, которая характеризуется топологией, свойствами узлов, а также правилами обучения или тренировки для получения желаемого выходного сигнала.

Персептрон – perceptron – простейшая форма нейронной сети.

В основном под перcептроном понимают элементарный нейрон, представляющий собой линейный сумматор, каждый из входных сигналов которого умножается на некоторый весовой множитель, а выходной суммарный сигнал является ненулевым, если сумма превышает некоторое пороговое значение.

Обратите внимание

Иногда перcептроном называют любую НС слоистой структуры. Однако здесь и далее под перcептроном понимается только однослойная (single-layer perceptron) или многослойная (multilayer perceptron) сеть, состоящая из нейронов с активационными функциями единичного скачка (бинарная сеть).

Сеть с прямыми связями (сеть без обратных связей) – feedforward network – многослойная сеть, в которой каждый слой своими входами имеет выходы только предшествующих слоев.

Сеть с обратной связью – feedback network – сеть с соединениями с выхода сети на ее вход.

Соединение обратной связи может охватывать различные слои.

Рекуррентная нейронная сеть – recurrent neural network – нейронная сеть, которая отличается от сети с прямыми связями (feedforward network) наличием, по крайней мере, одной петли обратной связи.

Обучение (тренировка) – learning (training) – этап функционирования нейронной сети, в процессе которого на ее вход поочередно поступают данные из обучающего набора с целью корректировки весовых коэффициентов синаптических связей для получения наиболее адекватного сигнала на выходе нейронной сети.

Обучение в режиме реального времени – on-line training – модификация алгоритма обучения, когда веса и смещения сети корректируются после предъявления каждого нового образа (вектора) обучающей последовательности.

Обучение в предварительном режиме – off-line training – разновидность алгоритма обучения, когда коррекция весов и смещений производится один раз за период обучения – после предъявления всех векторов обучающей последовательности («пачки» векторов, batch).

Образец (эталон) – pattern – «правильный» результат на выходе нейронной сети. Совокупность всех эталонов вместе с входным набором данных (фактов) образует обучающее множество данных.

Обучение с учителем – supervised learning – процесс обучения нейронной сети, непременным требованием которого является существование готового обучающего набора данных.

Обучение без учителя – unsupervised learning – процесс обучения нейронной сети, при котором наличие набора эталонов отсутствует.

Обратное распространение – backpropagation – наиболее применяемый способ управляемого обучения, при котором сигнал ошибки на выходе нейронной сети распространяется в обратном направлении: от нейронов выходного слоя к нейронам входного слоя с последующей корректировкой синаптических весов нейронной сети для достижения минимальной выходной погрешности.

Обратное распространение в автономном режиме – backpropagation batch – разновидность алгоритма обучения с обратным распространением ошибки, когда коррекция весов и смещений производится один раз за период обучения – после предъявления всех векторов обучающей последовательности («пачки» векторов, batch).

Обратное распространение в режиме реального времени – backpropagation on-line – модификация алгоритма обучения по методу обратного распространения ошибки, когда веса и смещения сети корректируются после предъявления каждого нового образа (вектора) обучающей последовательности.

Тестирование – testing – этап проверки работоспособности нейронной сети, в течение которого на вход сети подаются данные, которые не были использованы в процессе обучения, но входные эталоны для которых известны, что позволяет оценить выходную погрешность обученной нейронной сети. В процессе тестирования весовые коэффициенты нейронной сети не изменяются.

Обобщение – generalization – способность нейронной сети давать статистически корректный ответ для входных сигналов, которые принадлежат классу обучающих данных, но не были использованы ни на этапе обучения, ни на этапе тестирования.

Запоминание – storing – способность нейронной сети при увеличении ее размерности выделять случайные особенности в данных, которые, тем не менее, могут не отражать истинный характер отображения «вход-выход». Нейронные сети, обладающие высокой способностью запоминания, могут иметь пониженные возможности обобщения.

Переобучение – overfitting – ситуация, когда на обучающей последовательности ошибки сети были очень малы, но на новых данных становятся большими.

Источник: http://libraryno.ru/osnovnye-terminy-dlya-neyronnyh-setey-iis/

Информационные технологии

Термины и определения Теории искусственных нейронных сетей

Обзор глоссария по алфавиту
Специальные | А | Б | В | Г | Д | Е | Ё | Ж | З | И | К | Л | М | Н | О | П | Р | С | Т | У | Ф | Х | Ц | Ч | Ш | Щ | Э | Ю | Я | A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | Все

Страница:  1  2  3  4  5  6  (Далее)
  Все

Нейроны типа WTA (англ. Winner-take-all)  имеют входной модуль в виде стандартного сумматора, рассчитывающего сумму входных сигналов с соответствующими весами. Группа конкурирующих между собой нейронов получает одни и те же входные сигналы. В зависимости от фактических значений весовых коэффициентов суммарные сигналы отдельных нейронов могут различаться. По результатам сравнения этих сигналов, победителем признается нейрон, у которого значение суммарного сигнала оказалось наибольшим (См: Осовский С. Нейронные сети для обработки информации. – М.: Финансы и статистика, 2002. С. 37-40)
Самый длинный отросток, утолщенный в своем основании называется аксоном (axon). Аксон представляет собой выходное нервное волокно клетки, передающее нервный импульс (сигнал активности) от сомы другим нейронам.  Аксон служит выходом, по которому проводится сигналы от нервной клетки и передает вы­ходные сигналы нейрона на дендриты других нейронов. 
Читайте также:  Ученые создали робота-бактерию
Алгоритм  Кохонена принадлежит к классу алгоритмов векторного кодирования (vector-coding algorithm). Эта модель реализует топологическое отображение, которое оптимально размещает фиксированное количество векторов (т.е. кодовых слов) во входное пространство более высокой размерности и, таким образом, облегчает сжатие данных. Исходя из этого, модель Кохонена можно вывести двумя способами. Можно использовать базовые идеи самоорганизации, обусловленные нейробиологическими наблюдениями. Это —обычный подход. А можно  использовать подход векторного квантования, включающий кодирование и декодирование. Этот подход основывается на положениях теории коммуникаций (См: Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. М. : И.Д. Вильяме, 2006. — С. 577)
Эвристический алгоритм, демонстрирующий высокую эффективность обучения, разработан М. Ридмилером и Х. Брауном. В этом алгоритме при уточнении весов учитывается только знак градиентной составляющей, а ее значение игнорируется (См: Осовский С. Нейронные сети для обработки информации. – М.: Финансы и статистика, 2002. С. 73)
В 1986 г. Д. Румельхар (D.E.Rumelhart), Г. Хинтон (G.E.Hinton) и Р. Вильямс (R.J.Williams) предложили алгоритм обратного распространения ошибки (error back propagation). Согласно этому алгоритму сигнал ошибки распространяется по сети сначала в прямом направлении (от входов к выходам), а затем в обратном направлении (от выходов к входам). Такая особенность алгоритма позволяет контролировать весовые коэффициенты на всех слоях сети, в том числе и промежуточных. Данный алгоритм является наиболее известным и популярным, реализован практически во всех известных нейропакетах.<\p>

Процедура, используемая для процесса обучения (learning algorithm). Эта процедура выстраивает в определенном порядке синаптические веса нейронной сети для обеспечения необходимой структуры взаимосвязей нейронов.  (См: Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. М. : И.Д. Вильяме, 2006. — 1104 с.)

Главная задача ассоциативной памяти сводится в запоминанию входных (обучающих) выборок, таким образом, чтобы при изменении новой выборки система смогла сгенерировать ответ – какая из ранее запомненные выборок наиболее близка к вновь поступившему образу. Наиболее часто в качестве меры близости отдельных множеств применяется мера Хэминга.(См: Осовский С. Нейронные сети для обработки информации.- М.: Финансы и статистика, 2002. С.177).

Гессиан, или матрица Гессе (Hessian matrix), функции стоимости E(w),  обозначаемая символом Н, определяется как вторая производная E(w) по вектору весов w Гессиан играет важную роль в изучении нейронных сетей и характеризуется свойствами:1. Собственные числа Гессиана оказывают определяющее влияние на динамикуобучения методом обратного распространения.2. На основе матрицы, обратной Гессиану, можно выделить несущественные синаптические веса многослойного персептрона и отключить их.3. Гессиан составляет основу методов оптимизации второго порядка, применяемых в качестве альтернативы алгоритма обратного распространения (См: Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. — М. : И.Д. Вильяме, 2006. — С. 276)

Согласно гипотезе ковариации  предсинаптический и постсинаптические сигналы заменяются отклонениями от этих сигналов от средних значений на данном отрезке времени(См: Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. — М. : И.Д. Вильяме, 2006. — С. 200)
Градиент некоторой функции есть вектор, который указывает направление наискорейшего возрастания функции, модуль равен наибольшей скорости изменения в некоторой точке. Градиент является направленным отрезком с координатами в определенной системе. Процесс поиска экстремального значения функции называют оптимизацией. Методы многомерной оптимизации делятся на два класса: градиентные и безградиентные. Градиентом скалярного поля u (x, y, z) называется векторная функция и обозначается grad 

Страница:  1  2  3  4  5  6  (Далее)
  Все

Пропустить Навигация

Источник: http://sdo.nsuem.ru/mod/glossary/view.php?id=22109&mode=&hook=ALL&sortkey=&sortorder=&fullsearch=0&page=-1

Простыми словами о сложном: что такое нейронные сети?

Искусственный интеллект, нейронные сети, машинное обучение — что на самом деле означают все эти нынче популярные понятия? Для большинства непосвященных людей, коим являюсь и я сам, они всегда казались чем-то фантастическим, но на самом деле суть их лежит на поверхности.

У меня давно созревала идея написать простым языком об искусственных нейронных сетях. Узнать самому и рассказать другим, что представляет собой эта технология, как она работает, рассмотреть ее историю и перспективы.

В этой статье я постарался не залезать в дебри, а просто и популярно рассказать об этом перспективном направление в мире высоких технологий.

Немного истории

Впервые понятие искусственных нейронных сетей (ИНС) возникло при попытке смоделировать процессы головного мозга. Первым серьезным прорывом в этой сфере можно считать создание модели нейронных сетей МакКаллока-Питтса в 1943 году.

Учеными впервые была разработана модель искусственного нейрона. Ими также была предложена конструкция сети из этих элементов для выполнения логических операций. Но самое главное, учеными было доказано, что подобная сеть способна обучаться.

Следующим важным шагом стала разработка Дональдом Хеббом первого алгоритма вычисления ИНС в 1949 году, который стал основополагающем на несколько последующих десятилетий.

В 1958 году Фрэнком Розенблаттом был разработан парцептрон — система, имитирующая процессы головного мозга. В свое время технология не имела аналогов и до сих пор является основополагающей в нейронных сетях.

В 1986 году практически одновременно, независимо друг от друга американскими и советскими учеными был существенно доработан основополагающий метод обучения многослойного перцептрона. В 2007 году нейронные сети перенесли второе рождение.

Британский информатик Джеффри Хинтоном впервые разработал алгоритм глубокого обучения многослойных нейронных сетей, который сейчас, например, используется для работы беспилотных автомобилей.

Коротко о главном

В общем смысле слова, нейронные сети — это математические модели, работающие по принципу сетей нервных клеток животного организма. ИНС могут быть реализованы как в программируемые, так и в аппаратные решения.

Для простоты восприятия нейрон можно представить, как некую ячейку, у которой имеется множество входных отверстий и одно выходное. Каким образом многочисленные входящие сигналы формируются в выходящий, как раз и определяет алгоритм вычисления.

Важно

На каждый вход нейрона подаются действенные значения, которые затем распространяются по межнейронным связям (синопсисам). У синапсов есть один параметр — вес, благодаря которому входная информация изменяется при переходе от одного нейрона к другому.

Легче всего принцип работы нейросетей можно представить на примере смешения цветов. Синий, зеленый и красный нейрон имеют разные веса. Информация того нейрона, вес которого больше будет доминирующей в следующем нейроне.

Сама нейросеть представляет собой систему из множества таких нейронов (процессоров). По отдельности эти процессоры достаточно просты (намного проще, чем процессор персонального компьютера), но будучи соединенными в большую систему нейроны способны выполнять очень сложные задачи.

В зависимости от области применения нейросеть можно трактовать по-разному,  Например, с точки зрения машинного обучения ИНС представляет собой метод распознавания образов.

С математической точки зрения — это многопараметрическая задача. С точки зрения кибернетики — модель адаптивного управления робототехникой.

Для искусственного интеллекта ИНС — это основополагающее составляющее для моделирования естественного интеллекта с помощью вычислительных алгоритмов.

Основным преимуществом нейросетей над обычными алгоритмами вычисления является их возможность обучения.

В общем смысле слова обучение заключается в нахождении верных коэффициентов связи между нейронами, а также в обобщении данных и выявлении сложных зависимостей между входными и выходными сигналами.

Фактически, удачное обучение нейросети означает, что система будет способна выявить верный результат на основании данных, отсутствующих в обучающей выборке.

Сегодняшнее положение

Источник: https://gagadget.com/another/27575-prostyimi-slovami-o-slozhnom-chto-takoe-nejronnyie-seti/

Основы искусственных нейронных сетей

Аннотация: В лекции рассматриваются общие положения теории искусственных нейронных сетей. Описана структура однослойных и многослойных нейронных сетей, введено понятие обучения нейронной сети и дана классификация алгоритмов обучения.

Развитие искусственных нейронных сетей вдохновляется биологией. То есть, рассматривая сетевые конфигурации и алгоритмы, исследователи применяют термины, заимствованные из принципов организации мозговой деятельности. Но на этом аналогия заканчивается.

Наши знания о работе мозга столь ограничены, что мало бы нашлось точно доказанных закономерностей для тех, кто пожелал бы руководствоваться ими.

Совет

Поэтому разработчикам сетей приходится выходить за пределы современных биологических знаний в поисках структур, способных выполнять полезные функции.

Во многих случаях это приводит к необходимости отказа от биологического правдоподобия, мозг становится просто метафорой, и создаются сети, невозможные в живой материи или требующие неправдоподобно больших допущений об анатомии и функционировании мозга.

Несмотря на то, что связь с биологией слаба и зачастую несущественна, искусственные нейронные сети продолжают сравнивать с мозгом. Их функционирование часто имеет внешнее сходство с человеческим познанием, поэтому трудно избежать этой аналогии. К сожалению, такие сравнения неплодотворны и создают неоправданные ожидания, неизбежно ведущие к разочарованию.

Нервная система человека, построенная из элементов, называемых нейронами, имеет ошеломляющую сложность. Околонейронов участвуют в примернопередающих связях, имеющих длину метр и более.

Каждый нейрон обладает многими свойствами, общими с другими органами тела, но ему присущи абсолютно уникальные способности: принимать, обрабатывать и передавать электрохимические сигналы по нервным путям, которые образуют коммуникационную систему мозга.

увеличить изображение
Рис. 1.1.

На рис. 1.1 показана структура пары типичных биологических нейронов. Дендриты идут от тела нервной клетки к другим нейронам, где они принимают сигналы в точках соединения, называемых синапсами. Принятые синапсом входные сигналы передаются к телу нейрона. Здесь они суммируются, причем одни входы стремятся возбудить нейрон, другие — воспрепятствовать его возбуждению.

Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается, посылая по аксону сигнал другим нейронам. У этой основной функциональной схемы много усложнений и исключений, тем не менее, большинство искусственных нейронных сетей моделируют лишь эти простые свойства.

Источник: http://www.intuit.ru/studies/courses/88/88/lecture/20527

2. Нейронные сети

В данной главе мы обсуждаем известные модели НС: модель Маккалоха и Питтса; модель Розенблата; модели Хопфилда и Больцмана; модель на основе обратного распространения.

Рассмотрена структура и особенности каждой из моделей. Перечислены основные задачи решаемые на основе НС, описаны способы реализации НС.

Проведен анализ известных моделей НС с точки зрения решения решения задачи прогнозирования.

2.1. Нейронные сети – основные понятия и определения

В основу искусственных нейронных сетей положены следующие черты живых нейронных сетей, позволяющие им хорошо справляться с нерегулярными задачами:

– простой обрабатывающий элемент – нейрон; – очень большое число нейронов участвует в обработке информации; – один нейрон связан с большим числом других нейронов (глобальные связи); – изменяющиеся по весу связи между нейронами;

– массированная параллельность обработки информации.

Прототипом для создания нейрона послужил биологический нейрон головного мозга. Биологический нейрон имеет тело, совокупность отростков – дендридов, по которым в нейрон поступают входные сигналы, и отросток – аксон, передающий выходной сигнал нейрона другим клеткам. Точка соединения дендрида и аксона называется синапсом. Упрощенно функционирование нейрона можно представить следующим образом:

1) нейрон получает от дендридов набор (вектор) входных сигналов;

2) в теле нейрона оценивается суммарное значение входных сигналов. Однако входы нейрона неравнозначны. Каждый вход характеризуется некоторым весовым коэффициентом, определяющим важность поступающей по нему информации. Таким образом, нейрон не просто суммирует значения входных сигналов, а вычисляет скалярное произведение вектора входных сигналов и вектора весовых коэффициентов;

3) нейрон формирует выходной сигнал, интенсивность которого зависит от значения вычисленного скалярного произведения. Если оно не превышает некоторого заданного порога, то выходной сигнал не формируется вовсе – нейрон “не срабатывает”;

4) выходной сигнал поступает на аксон и передается дендридам других нейронов.

Обратите внимание

Поведение искусственной нейронной сети зависит как от значения весовых параметров, так и от функции возбуждения нейронов.

Известны три основных вида функции возбуждения: пороговая, линейная и сигмоидальная. Для пороговых элементов выход устанавливается на одном из двух уровней в зависимости от того, больше или меньше суммарный сигнал на входе нейрона некоторого порогового значения.

Для линейных элементов выходная активность пропорциональна суммарному взвешенному входу нейрона. Для сигмоидальных элементов в зависимости от входного сигнала, выход варьируется непрерывно, но не линейно, по мере изменения входа.

Сигмоидальные элементы имеют больше сходства с реальными нейронами, чем линейные или пороговые, но любой из этих типов можно рассматривать лишь как приближение.

Нейронная сеть представляет собой совокупность большого числа сравнительно простых элементов – нейронов, топология соединений которых зависит от типа сети.

Чтобы создать нейронную сеть для решения какой-либо конкретной задачи, мы должны выбрать, каким образом следует соединять нейроны друг с другом, и соответствующим образом подобрать значения весовых параметров на этих связях.

Может ли влиять один элемент на другой, зависит от установленных соединений. Вес соединения определяет силу влияния.

2.2. Модели нейронных сетей

2.2.1. Модель Маккалоха

Теоретические основы нейроматематики были заложены в начале 40-х годов. В 1943 году У. Маккалох и его ученик У. Питтс сформулировали основные положения теории деятельности головного мозга. Ими были получены следующие результаты:

– разработана модель нейрона как простейшего процессорного элемента, выполняющего вычисление переходной функции от скалярного произведения вектора входных сигналов и вектора весовых коэффициентов;

– предложена конструкция сети таких элементов для выполнения логических и арифметических операций;

– сделано основополагающее предположение о том, что такая сеть способна обучаться, распознавать образы, обобщать полученную информацию.

Несмотря на то, что за прошедшие годы нейроматематика ушла далеко вперед, многие утверждения Макклоха остаются актуальными и поныне. В частности, при большом разнообразии моделей нейронов принцип их действия, заложенный Макклохом и Питтсом, остается неизменным.

Недостатком данной модели является сама модель нейрона – “пороговой” вид переходной функции. В формализме У. Маккалоха и У. Питтса нейроны имеют состояния 0, 1 и пороговую логику перехода из состояния в состояние.

Важно

Каждый нейрон в сети определяет взвешенную сумму состояний всех других нейронов и сравнивает ее с порогом, чтобы определить свое собственное состояние. Пороговый вид функции не предоставляет нейронной сети достаточную гибкость при обучении и настройке на заданную задачу.

Если значение вычисленного скалярного произведения, даже незначительно, не достигает до заданного порога, то выходной сигнал не формируется вовсе и нейрон “не срабатывает”.

Это значит, что теряется интенсивность выходного сигнала (аксона) данного нейрона и, следовательно, формируется невысокое значение уровня на взвешенных входах в следующем слое нейронов.

2.2.2. Модель Розенблата

Серьезное развитие нейрокибернетика получила в работах американского нейрофизиолога Френсиса Розенблата (Корнелльский университет). В 1958 году он предложил свою модель нейронной сети.

Розенблат ввел в модель Маккаллока и Питтса способность связей к модификации, что сделало ее обучаемой. Эта модель была названа персептроном [11, 12, 46, 47].

Первоначально персептрон представлял собой однослойную структуру с жесткой пороговой функцией процессорного элемента и бинарными или многозначными входами. Первые персептроны были способны распознавать некоторые буквы латинского алфавита.

Впоследствии модель персептрона была значительно усовершенствована [47].

Персептрон применялся для задачи автоматической классификации, которая в общем случае состоит в разделении пространства признаков между заданным количеством классов. В двухмерном случае требуется провести линию на плоскости, отделяющую одну область от другой. Персептрон способен делить пространство только прямыми линиями (плоскостями).

Алгоритм обучения персептрона выглядит следующим образом:

1) системе предъявляется эталонный образ;

2) если выходы системы срабатывают правильно, весовые коэффициенты связей не изменяются;

3) если выходы срабатывают неправильно, весовым коэффициентам дается небольшое приращение в сторону повышения качества распознавания.

Серьезным недостатком персептрона является то, что не всегда существует такая комбинация весовых коэффициентов, при которой имеющееся множество образов будет распознаваться данным персептроном. Причина этого недостатка состоит в том, что лишь небольшое количество задач предполагает, что линия, разделяющая эталоны, будет прямой.

Обычно это достаточно сложная кривая, замкнутая или разомкнутая. Если учесть, что однослойный персептрон реализует только линейную разделяющую поверхность, применение его там, где требуется нелинейная, приводит к неверному распознаванию (эта проблема называется линейной неразделимостью пространства признаков).

Выходом из этого положения является использование многослойного персептрона, способного строить ломаную границу между распознаваемыми образами.

Совет

Описанная проблема не является единственной трудностью, возникающей при работе с персептронами – также слабо формализован метод обучения персептрона.

Персептрон поставил ряд вопросов, работа над решением которых привела к созданию более “разумных” нейронных сетей и разработке методов, нашедших применение не только в нейрокибернетике (например, метод группового учета аргументов, применяемый для идентификации математических моделей).

2.2.3. Модель Хопфилда

В 70-е годы интерес к нейронным сетям значительно упал, однако работы по их исследованию продолжались. Был предложен ряд интересных разработок, таких, например, как когнитрон, способный хорошо распознавать достаточно сложные образы (иероглифы и т.п.) независимо от поворота и изменения масштаба изображения. Автором когнитрона является японский ученый И. Фукушима.

Новый виток быстрого развития моделей нейронных сетей, который начался 8-9 лет тому назад, связан с работами Амари, Андерсона, Карпентера, Кохена  и других, и в особенности, Хопфилда, а также под влиянием обещающих успехов оптических технологий  и зрелой фазы развития СБИС для реализации новых архитектур.

Начало современному математическому моделированию нейронных вычислений было положено работами Хопфилда в 1982 году, в которых была сформулирована математическая модель ассоциативной памяти на нейронной сети с использованием правила Хеббиана [36] для программирования сети.

Но не столько сама модель послужила толчком к появлению работ других авторов на эту тему, сколько введенная Хопфилдом функция вычислительной энергии нейронной сети. Это аналог функции Ляпунова в динамических системах.

Показано, что для однослойной нейронной сети со связями типа “все на всех” характерна сходимость к одной из конечного множества равновесных точек, которые являются локальными минимумами функции энергии, содержащей в себе всю структуру взаимосвязей в сети. Понимание такой динамики в нейронной сети было и у других исследователей.

Однако, Хопфилд и Тэнк показали как конструировать функцию энергии для конкретной оптимизационной задачи и как использовать ее для отображения задачи в нейронную сеть. Этот подход получил развитие и для решения других комбинаторных оптимизационных задач.

Привлекательность подхода Хопфилда состоит в том, что нейронная сеть для конкретной задачи может быть запрограммирована без обучающих итераций. Веса связей вычисляются на основании вида функции энергии, сконструированной для этой задачи.

Обратите внимание

Развитием модели Хопфилда для решения комбинаторных оптимизационных задач и задач искусственного интеллекта является машина Больцмана, предложенная и исследованная Джефери Е. Хинтоном и Р. Земелом.

В ней, как и в других моделях, нейрон имеет состояния 1, 0 и связь между нейронами обладает весом. Каждое состояние сети характеризуется определенным значением функции консенсуса (аналог функции энергии).

Максимум функции консенсуса соответствует оптимальному решению задачи.

Имеется следующая информация о результатах моделирования на ЭВМ работы нейронной сети. Моделировалась асинхронная работа сети Хопфилда. Сеть работает хорошо, т.е. без ошибок восстанавливает эталонные образы из случайных, если в нее записывается не более 15 % эталонных образов.

Испытания проводились для 30 нейронов и для 100 нейронов в сети. Бралось некоторое количество случайных векторов в качестве эталонных и строилась соответствующая матрица весов связей.

Моделирование при 100 нейронах было существенно более медленным процессам, чем при 30 нейронах, хотя качественная картина и в том и в другом случаях была одна и та же. Приблизительно 88 % испытаний заканчивались в эталонных состояниях, 10 % – в устойчивых состояниях, близких к эталонным.

При расстоянии выходное состояние} постепенно подбираются веса всех связей так, чтобы каждое входное состояние вызывало соответствующее выходное. Обучающие алгоритмы представляют собою итерационные процедуры с медленным приближением к окончательным значениям весов связей.

Этот способ впервые был реализован в персептроне Розенблата и локальных правилах обучения на основе модели Хебба. В последующие годы этот подход получил дальнейшее развитие в алгоритмах типа обратного распространения.

В однослойных сетях часто удается выразить веса связей через параметры задачи (так обстоит дело с моделью Хопфилда и однослойной машиной Больцмана).

Важно

Подход состоит в вычислении значений синаптический весов на основе заданного описания функционирования нейронной сети как “черного ящика”.

Если сеть должна реализовать заданную функцию, ее рассматривают как набор элементов пороговой логики и задача сводится к кусочно-линейной аппроксимации этой зависимости и синтезу соответствующего автомата.

Для общего случая, когда описание поведения сети задано в виде набора векторов возможных состояний, поиск синаптических весов сводится к решению соответствующей системы нелинейных уравнений. Такое решение было впервые найдено Хопфилдом.

Появление этой работы около 10 лет назад продемонстрировало эффективность применения аналитических методов для интерпретации поведения нейронных сетей и привело к разработке проекционного алгоритма, позволяющего вычислять значения синаптических весов, сократив тем самым затраты времени на обучение.

Исследования проекционного алгоритма показывают, что при очевидных достоинствах ему свойственен ряд недостатков, в частности склонность сети к ложным реакциям и низкая эффективность при доучивании, когда необходимо ввести новые данные, не разрушая информации, запомненной ранее.

Кроме того, до настоящего времени принято считать, что данный алгоритм пригоден лишь для полносвязных нейронных сетей и неприменим в сетях другой архитектуры.

Указанные недостатки и малая изученность таких вопросов, как структура и частота появления ложных реакций, реализация итеративных процедур доучивания и применение в неполносвязных сетях, затрудняет использование проекционного алгоритма в исследованиях по нейробионике и при проектировании нейропроцессоров.

Недостатком проекционного алгоритма с точки зрения решения задачи прогнозирования является то, что при обучении необходимо с начала сформировать эталоны распознаваемых образов. В задаче прогнозирования это либо вовсе невозможно, либо чрезвычайно затруднено. Эталоны должны формироваться в самой сети на основе анализа исторических данных.

Совет

Исходя из вышеизложенного, можно заключить, что для решения задач прогнозирования наиболее подходит сеть с обратным распространением. Она позволяет формальным образом обучить сеть прогнозировать изменение требования на основе исторических данных о требовании.

© Реферат плюс

Источник: http://referatplus.ru/programmer/dprognoz3.php

Ссылка на основную публикацию
Adblock
detector