Нейронные сети на основе радиально-симметричных функций

Нейронные сети с радиальными базисными функциями

Министерство образования и науки Российской Федерации Федеральное агентство по образованию Амурский гуманитарно-педагогический государственный университет Физико-математический факультет Кафедра информатики

ЛАБОРАТОРНАЯ РАБОТА №2

по дисциплине «Искусственные нейронные сети»

на тему «Нейронные сети с радиальными базисными функциями»

2007

Цель лабораторной работы: освоить основные принципы решения задачи нейронных сетей с радиальными базисными функциями.

Задание: Используя встроенные функции пакета нейронных сетей математической среды Matlab, построить нейронную сеть с радиальными базисными функциями.

1 Теоретические сведения

Сети РБФ имеют ряд преимуществ перед рассмотренными многослойными сетями прямого распространения. Во-первых, они моделируют произвольную нелинейную функцию с помощью всего одного промежуточного слоя, тем самым, избавляя разработчика от необходимости решать вопрос о числе слоев.

Во-вторых, параметры линейной комбинации в выходном слое можно полностью оптимизировать с помощью хорошо известных методов линейной оптимизации, которые работают быстро и не испытывают трудностей с локальными минимумами, так мешающими при обучении с использованием алгоритма обратного распространения ошибки.

Поэтому сеть РБФ обучается очень быстро — на порядок быстрее, чем с использованием алгоритма ОР (обратного распространения).

Недостатки сетей РБФ: данные сети обладают плохими экстраполирующими свойствами и получаются весьма громоздкими при большой размерности вектора входов.

Обратите внимание

На рис. 1 представлена структурная схема нейронной сети с радиальными базисными функциями.

Нейронная сеть радиальных базисных функций содержит в наиболее простой форме три слоя: обычный входной слой, выполняющий распределение данных образца для первого слоя весов; слой скрытых нейронов с радиально симметричной активационной функцией, каждый j -й из которых предназначен для хранения отдельного эталонного вектора в виде вектора весов wj (h); выходной слой Для построения сети РБФ необходимо выполнение следующих условий.

Во-первых, наличие эталонов, представленных в виде весовых векторов нейронов скрытого слоя. Во-вторых, наличие способа измерения расстояния входного вектора от эталона. Обычно это стандартное евклидово расстояние.

В-третьих, специальная функция активации нейронов скрытого слоя, задающая выбранный способ измерения расстояния. Обычно используется функция Гаусса, существенно усиливающая малую разницу между входным и эталонным векторами.

Выходной сигнал эталонного нейрона скрытого слоя aj- это функция (гауссиан) только от расстояния pj между входным и эталонным векторами.

Рис. 1. Сеть с радиальными базисными функциями

Таким образом, выходной сигнал шаблонного нейрона — это функция только от расстояния между входным вектором х и сохраненным центром w v

Обучение слоя образцов-нейронов сети подразумевает предварительное проведение кластеризации для нахождения эталонных векторов и определенных эвристик для определения значений -.

Нейроны скрытого слоя соединены по полносвязной схеме с нейронами выходного слоя, которые осуществляют взвешенное суммирование Для нахождения значения весов w от нейронов скрытого к выходному слою используется линейная регрессия.

Важно

В общем случае активационные функции нейронов скрытого слоя могут отражать законы распределения случайных величин (вероятностные нейронные сети) либо характеризовать различные аналитические зависимости между переменными (регрессионные нейронные сети).

К недостаткам сетей РБФ можно отнести то, что заранее должно быть известно число эталонов, а также эвристики для построения активационных функций нейронов скрытого слоя.

В моделях РБФ могут быть использованы различные способы измерения расстояния между векторами, а также функции активации нейронов скрытого слоя.

Радиальная, базисная сеть общего вида — это двухслойная нейронная сеть с R входами, каждый из которых может состоять из нескольких элементов. Передаточной функцией нейронов входного слоя является колоколообразная симметричная функция следующего вида:

Эта функция имеет максимум, равный 1, при n = 0 и плавно убывает при увеличении n, достигая значения 0.5 при n = ±0.833. Передаточной функцией нейронов выходного слоя является линейная функция perelin.

Функция взвешивания для входного слоя вычисляет евклидово расстояние между каждой строкой матрицы весов и каждым столбцом матрицы входов:

Затем эта величина умножается на смещение нейрона и поступает на вход передаточной функции, так что

a{i} = radbas (net.prod (dist (net.IW{1, 1}, p).net.b{i})).

Для нейронов выходного слоя функцией взвешивания является скалярное произведение dotprod, а функцией накопления — функция суммирования взвешенных входов и взвешенного смещения netsum.

Совет

Для того чтобы понять поведение радиальной базисной сети общего вида, необходимо проследить прохождение вектора входа p. При задании значений элементам вектора входа каждый нейрон входного слоя выдает значение в соответствии с тем, как близок вектор входа к вектору весов каждого нейрона.

Таким образом, нейроны с векторами весов, значительно отличающимися с вектором входа p, будут иметь выходы, близкие к , и их влияние на выходы линейных нейронов выходного слоя будет незначительное.

Напротив, входной нейрон, веса которого близки к вектору p, выдаст значение, близкое к единице.

https://www.youtube.com/watch?v=CjcbNCWUS8g

Для построения радиальных базисных сетей общего вида и автоматической настройки весов и смещений используются две функции newrbe и newrb. Первая позволяет построить радиальную базисную сеть с нулевой ошибкой, вторая позволяет управлять количеством нейронов входного слоя. Эти функции имеют следующие параметры:

net = newrbe (P, T, SPREAD),

net = newrb (P, T, GOAL, SPREAD),

где P — массив размера RxQ входных векторов, причем R — число элементов вектора входа, а Q — число векторов в последовательности;

T — массив размера SxQ из Q векторов цепи и S классов;

SPREAD — параметр влияния, определяющий крутизну функции radbas, значение по умолчания которого равно единице;

GOAL — средняя квадратичная ошибка, при этом значение по умолчанию равно 0.0.

Параметр влияния SPREAD существенно влияет на качество аппроксимации функции: чем больше его значение, тем более гладкой будет аппроксимация.

Слишком большое его значение приведет к тому, что для получения гладкой аппроксимации быстро изменяющейся функции потребуется большое количество нейронов: слишком малое значение параметра SPREAD потребует большего количества нейронов для аппроксимации гладкой функции.

Обычно параметр влияния SPREAD выбирается большим, чем шаг разбиения интервала задания обучающей последовательности, но меньшим размера самого интервала |www.westud.ru, 17|.

Функция newrbe устанавливает веса первого слоя равным P., а смещения — равными 0.8326/ SPREAD, в результате радиальная базисная функция пересекает значение 0.

5 при значениях евклидового расстояния ±SPREAD.

Веса второго слоя LW{2,1} и смещения b{2} определяются путем моделирования выходов первого слоя A{1} и последующего решения системы линейных уравнений:

[LW{2,1} b{2}]*[A{1}; ones] = T.

Обратите внимание

Функция newrb формирует сеть следующим образом. Изначально первый слой не имеет нейронов. Сеть моделируется и определяется вектор входа с самой большой погрешностью, добавляется нейрон с функцией активации radbas и весами, равными вектору входа, затем вычисляются весовые коэффициенты линейного слоя, чтобы не превысить средней допустимой квадратичной ошибки.

2 Методика выполнения лабораторной работы

Задача. Используя встроенные функции пакета нейронных сетей математической среды Matlab, построить нейронную сеть с радиальными базисными функциями.

P = zeros (1,20);

for i = 1:20

P (i) = i*0.1;

end

Обратите внимание

T=[-2.09 -1.66 -1.06 -0.65 -0.25 0.10 0.56 0.85 1.07 1.16 1.52 1.63 1.78 2.07 2.09 2.10 2.12 2.17 2.21 2.31]

[net, tr] = newrb (P, T);

y = sim (net, P);

figure (1);

hold on;

xlabel ('P');

ylabel ('T');

plot (P, T, P, y,'o'), grid;

Работа сети представлена на рис.1

Формы обучения НС.

Существует три основные парадигмы (формы) обучения нейроных сетей:

— обучение с учителем

— обучение с критиком — усиленное, подкрепленное обучение;

— обучение без учителя) — самоорганизующееся обучение, самообучение.

В первом случае обучение осуществляется под наблюдением внешнего «учителя». Нейронной сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей.

Во втором случае обучение включает использование «критика», с помощью которого производится обучение на основе метода проб и ошибок.

В третьем случае выходы нейронной сети формируются самостоятельно, а веса и смещения изменяются по алгоритму, учитывающему только входные и производные от них сигналы. Здесь за основу взяты принципы самоорганизации нервных клеток.

Для обучения без учителя не нужно знания требуемых ответов на каждый пример обучающей выборки.

В этом случае происходит распределение образцов по категориям (кластерам) в соответствии с внутренней структурой данных или степенью корреляции между образцами.

Рассматривают также и смешанное обучение, при котором весовые коэффициенты одной группы нейронов настраиваются посредством обучения с учителем, а другой группы — на основе самообучения.

Важно

Основные правила обучения нейронных сетей Известны четыре основных правила обучения, обусловленные связанными с ними архитектурами сетей: коррекция ошибки, правило Больц-мана, правило Хебба и метод соревнования.

1) Коррекция ошибки Для каждого входного примера задан требуемый выход и, который может не совпадать с реальным у. Правило обучения при коррекции по ошибке состоит в использовании разницы (с? — у) для изменения весов, с целью уменьшения ошибки рассогласования. Обучение производится только в случае ошибочного результата. Известны многочисленные модификации этого правила обучения.

2) Правило Больцмана Правило Больцмана является стохастическим правилом обучения, обусловленным аналогией с термодинамическими принципами.

В результате его выполнения осуществляется настройка весовых коэффициентов нейронов в соответствии с требуемым распределением вероятностей.

Обучение правилу Больцмана может рассматриваться как отдельный случай коррекции по ошибке, в котором под ошибкой понимается расхождение корреляций состояний в двух режимах.

3) Правило Хебба Правило Хебба является самым известным алгоритмом обучения нейронных сетей, суть которого заключается в следующем: если нейроны с обеих сторон синапса возбуждаются одновременно и регулярно, то сила синаптической связи возрастает.

Важной особенностью является то, что изменение синаптического веса зависит только от активности связанных этим синапсом нейронов. Предложено большое количество разновидностей этого правила, различающихся особенностями модификации синап-тических весов.

4) Метод соревнования В отличие от правила Хебба, в котором множество выходных нейронов могут возбуждаться одновременно, здесь выходные нейроны соревнуются между собой.

Совет

И выходной нейрон с максимальным значением взвешенной суммы является «победителем» («победитель забирает все»). Выходы же остальных выходных нейронов устанавливаются в неактивное состояние.

При обучении модифицируются только веса нейрона — «победителя» в сторону увеличения близости к данному входному примеру.

В состав пакета ППП Neural Network Toolbox входит М-функция hardlim, реализующая функцию активации с жесткими ограничениями.

Линейная функция активации purelin. Эта функция описывается соотношением, а = purelin (n) = n

Логистическая функция активации logsig. Эта функция описывается соотношением, а = logsig (n) = 1/(1 + ехр (-n)). Она принадлежит к классу сигмоидальных функций, и ее аргумент может принимать любое значение в диапазоне от — до +, а выход изменяется в диапазоне от 0 до 1. В пакете ППП Neural Network Toolbox она представлена М-функцией logsig.

Благодаря свойству дифференцируемости эта функция часто используется в сетях с обучением на основе метода обратного распространения ошибки.

Источник: https://westud.ru/work/226770/nejronnye-seti-s-radial-nymi

Нейронные сети с радиальными базисными функциями

Министерство образования и науки Российской Федерации Федеральное агентство по образованию

Амурский гуманитарно-педагогический государственный университет

Физико-математический факультет

Кафедра информатики

ЛАБОРАТОРНАЯ РАБОТА №2

по дисциплине Искусственные нейронные сети

на тему Нейронные сети с радиальными базисными функциями

2007

Введение

Цель лабораторной работы: освоить основные принципы решения задачи нейронных сетей с радиальными базисными функциями.

Задание: Используя встроенные функции пакета нейронных сетей математической среды Matlab, построить нейронную сеть с радиальными базисными функциями.

1 Теоретические сведения

Сети РБФ имеют ряд преимуществ перед рассмотренными многослойными сетями прямого распространения. Во-первых, они моделируют произвольную нелинейную функцию с помощью всего одного промежуточного слоя, тем самым, избавляя разработчика от необходимости решать вопрос о числе слоев.

Читайте также:  Компания baidu объявила о старте работ над проектом собственного беспилотного автомобиля

Во-вторых, параметры линейной комбинации в выходном слое можно полностью оптимизировать с помощью хорошо известных методов линейной оптимизации, которые работают быстро и не испытывают трудностей с локальными минимумами, так мешающими при обучении с использованием алгоритма обратного распространения ошибки.

Поэтому сеть РБФ обучается очень быстро — на порядок быстрее, чем с использованием алгоритма ОР (обратного распространения).

Недостатки сетей РБФ: данные сети обладают плохими экстраполирующими свойствами и получаются весьма громоздкими при большой размерности вектора входов.

Обратите внимание

На рис. 1 представлена структурная схема нейронной сети с радиальными базисными функциями.

Нейронная сеть радиальных базисных функций содержит в наиболее простой форме три слоя: обычный входной слой, выполняющий распределение данных образца для первого слоя весов; слой скрытых нейронов с радиально симметричной активационной функцией, каждый j -й из которых предназначен для хранения отдельного эталонного вектора в виде вектора весов wj(h); выходной слой

Для построения сети РБФ необходимо выполнение следующих условий.

Во-первых, наличие эталонов, представленных в виде весовых векторов нейронов скрытого слоя. Во-вторых, наличие способа измерения расстояния входного вектора от эталона. Обычно это стандартное евклидово расстояние.

Обратите внимание

В-третьих, специальная функция активации нейронов скрытого слоя, задающая выбранный способ измерения расстояния. Обычно используется функция Гаусса, существенно усиливающая малую разницу между входным и эталонным векторами.

Выходной сигнал эталонного нейрона скрытого слоя aj- это функция (гауссиан) только от расстояния pj между входным и эталонным векторами.

Рис. 1. Сеть с радиальными базисными функциями

Таким образом, выходной сигнал шаблонного нейрона — это функция только от расстояния между входным вектором х и сохраненным центром w v

Обучение слоя образцов-нейронов сети подразумевает предварительное проведение кластеризации для нахождения эталонных векторов и определенных эвристик для определения значений -.

Нейроны скрытого слоя соединены по полносвязной схеме с нейронами выходного слоя, которые осуществляют взвешенное суммирование

Важно

Для нахождения значения весов w от нейронов скрытого к выходному слою используется линейная регрессия.

В общем случае активационные функции нейронов скрытого слоя могут отражать законы распределения случайных величин (вероятностные нейронные сети) либо характеризовать различные аналитические зависимости между переменными (регрессионные нейронные сети).

К недостаткам сетей РБФ можно отнести то, что заранее должно быть известно число эталонов, а также эвристики для построения активационных функций нейронов скрытого слоя.

Важно

В моделях РБФ могут быть использованы различные способы измерения расстояния между векторами, а также функции активации нейронов скрытого слоя.

Радиальная, базисная сеть общего вида это двухслойная нейронная сеть с R входами, каждый из которых может состоять из нескольких элементов. Передаточной функцией нейронов входного слоя является колоколообразная симметричная функция следующего вида:

Эта функция имеет максимум, равный 1, при n = 0 и плавно убывает при увеличении n, достигая значения 0.5 при n = 0.833. Передаточной функцией нейронов выходного слоя является линейная функция perelin.

Функция взвешивания для входного слоя вычисляет евклидово расстояние между каждой строкой матрицы весов и каждым столбцом матрицы входов:

Затем эта величина умножается на смещение нейрона и поступает на вход передаточной функции, так что

a{i} = radbas(net.prod(dist(net.IW{1, 1}, p).net.b{i})).

Совет

Для нейронов выходного слоя функцией взвешивания является скалярное произведение dotprod, а функцией накопления функция суммирования взвешенных входов и взвешенного смещения netsum.

Для того чтобы понять поведение радиальной базисной сети общего вида, необходимо проследить прохождение вектора входа p. При задании значений элементам вектора входа каждый нейрон входного слоя выдает значение в соответствии с тем, как близок вектор входа к вектору весов каждого нейрона. Таки�

Источник: https://www.studsell.com/view/89336/

Лабораторная работа- Нейронные сети с радиальными базисными функциями

Работа добавлена на сайт samzan.ru: 2015-07-05

Министерство образования и науки Российской Федерации Федеральное агентство по образованию

Амурский гуманитарно-педагогический государственный университет

Физико-математический факультет

Кафедра информатики

ЛАБОРАТОРНАЯ РАБОТА №2

по дисциплине «Искусственные нейронные сети»

на тему «Нейронные сети с радиальными базисными функциями»

2007

Введение

Цель лабораторной работы: освоить основные принципы решения задачи нейронных сетей с радиальными базисными функциями.

Задание: Используя встроенные функции пакета нейронных сетей математической среды Matlab, построить нейронную сеть с радиальными базисными функциями.

1 Теоретические сведения

Сети РБФ имеют ряд преимуществ перед рассмотренными многослойными сетями прямого распространения. Во-первых, они моделируют произвольную нелинейную функцию с помощью всего одного промежуточного слоя, тем самым, избавляя разработчика от необходимости решать вопрос о числе слоев.

Во-вторых, параметры линейной комбинации в выходном слое можно полностью оптимизировать с помощью хорошо известных методов линейной оптимизации, которые работают быстро и не испытывают трудностей с локальными минимумами, так мешающими при обучении с использованием алгоритма обратного распространения ошибки.

Поэтому сеть РБФ обучается очень быстро — на порядок быстрее, чем с использованием алгоритма ОР (обратного распространения).

Недостатки сетей РБФ: данные сети обладают плохими экстраполирующими свойствами и получаются весьма громоздкими при большой размерности вектора входов.

Обратите внимание

На рис. 1 представлена структурная схема нейронной сети с радиальными базисными функциями.

Нейронная сеть радиальных базисных функций содержит в наиболее простой форме три слоя: обычный входной слой, выполняющий распределение данных образца для первого слоя весов; слой скрытых нейронов с радиально симметричной активационной функцией, каждый j -й из которых предназначен для хранения отдельного эталонного вектора в виде вектора весов wj(h); выходной слой

Для построения сети РБФ необходимо выполнение следующих условий.

Во-первых, наличие эталонов, представленных в виде весовых векторов нейронов скрытого слоя. Во-вторых, наличие способа измерения расстояния входного вектора от эталона. Обычно это стандартное евклидово расстояние.

Обратите внимание

В-третьих, специальная функция активации нейронов скрытого слоя, задающая выбранный способ измерения расстояния. Обычно используется функция Гаусса, существенно усиливающая малую разницу между входным и эталонным векторами.

Выходной сигнал эталонного нейрона скрытого слоя aj- это функция (гауссиан) только от расстояния pj между входным и эталонным векторами.

Рис. 1. Сеть с радиальными базисными функциями

Таким образом, выходной сигнал шаблонного нейрона — это функция только от расстояния между входным вектором х и сохраненным центром w v

Обучение слоя образцов-нейронов сети подразумевает предварительное проведение кластеризации для нахождения эталонных векторов и определенных эвристик для определения значений -.

Нейроны скрытого слоя соединены по полносвязной схеме с нейронами выходного слоя, которые осуществляют взвешенное суммирование

Важно

Для нахождения значения весов w от нейронов скрытого к выходному слою используется линейная регрессия.

В общем случае активационные функции нейронов скрытого слоя могут отражать законы распределения случайных величин (вероятностные нейронные сети) либо характеризовать различные аналитические зависимости между переменными (регрессионные нейронные сети).

К недостаткам сетей РБФ можно отнести то, что заранее должно быть известно число эталонов, а также эвристики для построения активационных функций нейронов скрытого слоя.

Важно

В моделях РБФ могут быть использованы различные способы измерения расстояния между векторами, а также функции активации нейронов скрытого слоя.

Радиальная, базисная сеть общего вида – это двухслойная нейронная сеть с R входами, каждый из которых может состоять из нескольких элементов. Передаточной функцией нейронов входного слоя является колоколообразная симметричная функция следующего вида:

Эта функция имеет максимум, равный 1, при n = 0 и плавно убывает при увеличении n, достигая значения 0.5 при n = ±0.833. Передаточной функцией нейронов выходного слоя является линейная функция perelin.

Функция взвешивания для входного слоя вычисляет евклидово расстояние между каждой строкой матрицы весов и каждым столбцом матрицы входов:

Затем эта величина умножается на смещение нейрона и поступает на вход передаточной функции, так что

a{i} = radbas(net.prod(dist(net.IW{1, 1}, p).net.b{i})).

Для нейронов выходного слоя функцией взвешивания является скалярное произведение dotprod, а функцией накопления – функция суммирования взвешенных входов и взвешенного смещения netsum.

Для того чтобы понять поведение радиальной базисной сети общего вида, необходимо проследить прохождение вектора входа p. При задании значений элементам вектора входа каждый нейрон входного слоя выдает значение в соответствии с тем, как близок вектор входа к вектору весов каждого нейрона.

Таким образом, нейроны с векторами весов, значительно отличающимися с вектором входа p, будут иметь выходы, близкие к 0, и их влияние на выходы линейных нейронов выходного слоя будет незначительное. Напротив, входной нейрон, веса которого близки к вектору p, выдаст значение, близкое к единице.

Совет

Для построения радиальных базисных сетей общего вида и автоматической настройки весов и смещений используются две функции newrbe и newrb. Первая позволяет построить радиальную базисную сеть с нулевой ошибкой, вторая позволяет управлять количеством нейронов входного слоя. Эти функции имеют следующие параметры:

net = newrbe(P, T, SPREAD),

net = newrb(P, T, GOAL, SPREAD),

где P – массив размера RxQ входных векторов, причем R – число элементов вектора входа, а Q – число векторов в последовательности;

T – массив размера SxQ из Q векторов цепи и S классов;

SPREAD – параметр влияния, определяющий крутизну функции radbas, значение по умолчания которого равно единице;

GOAL – средняя квадратичная ошибка, при этом значение по умолчанию равно 0.0.

Параметр влияния SPREAD существенно влияет на качество аппроксимации функции: чем больше его значение, тем более гладкой будет аппроксимация.

Слишком большое его значение приведет к тому, что для получения гладкой аппроксимации быстро изменяющейся функции потребуется большое количество нейронов: слишком малое значение параметра SPREAD потребует большего количества нейронов для аппроксимации гладкой функции.

Обычно параметр влияния SPREAD выбирается большим, чем шаг разбиения интервала задания обучающей последовательности, но меньшим размера самого интервала.

Функция newrbe устанавливает веса первого слоя равным P., а смещения – равными 0.8326/ SPREAD, в результате радиальная базисная функция пересекает значение 0.5 при значениях евклидового расстояния ±SPREAD. Веса второго слоя LW{2,1} и смещения b{2} определяются путем моделирования выходов первого слоя A{1} и последующего решения системы линейных уравнений:

[LW{2,1} b{2}]*[A{1}; ones] = T.

Функция newrb формирует сеть следующим образом. Изначально первый слой не имеет нейронов. Сеть моделируется и определяется вектор входа с самой большой погрешностью, добавляется нейрон с функцией активации radbas и весами, равными вектору входа, затем вычисляются весовые коэффициенты линейного слоя, чтобы не превысить средней допустимой квадратичной ошибки.

Читайте также:  Отчего роботы лезут на стену

2 Методика выполнения лабораторной работы

Задача. Используя встроенные функции пакета нейронных сетей математической среды Matlab, построить нейронную сеть с радиальными базисными функциями.

P = zeros(1,20);

for i = 1:20

P(i) = i*0.1;

end

Обратите внимание

T=[-2.09 -1.66 -1.06 -0.65 -0.25 0.10 0.56 0.85 1.07 1.16 1.52 1.63 1.78 2.07 2.09 2.10 2.12 2.17 2.21 2.31]

[net,tr] = newrb(P,T);

y = sim(net,P);

figure (1);

hold on;

xlabel ('P');

ylabel ('T');

plot(P,T,P,y,'o'),grid;

Работа сети представлена на рис.1

Формы обучения НС.

Существует три основные парадигмы (формы) обучения нейроных сетей:

— обучение с учителем

— обучение с критиком — усиленное, подкрепленное обучение;

— обучение без учителя) — самоорганизующееся обучение, самообучение.

В первом случае обучение осуществляется под наблюдением внешнего «учителя». Нейронной сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей.

Во втором случае обучение включает использование «критика», с помощью которого производится обучение на основе метода проб и ошибок.

В третьем случае выходы нейронной сети формируются самостоятельно, а веса и смещения изменяются по алгоритму, учитывающему только входные и производные от них сигналы. Здесь за основу взяты принципы самоорганизации нервных клеток.

Для обучения без учителя не нужно знания требуемых ответов на каждый пример обучающей выборки.

В этом случае происходит распределение образцов по категориям (кластерам) в соответствии с внутренней структурой данных или степенью корреляции между образцами.

Рассматривают также и смешанное обучение, при котором весовые коэффициенты одной группы нейронов настраиваются посредством обучения с учителем, а другой группы — на основе самообучения.

Основные правила обучения нейронных сетей

Известны четыре основных правила обучения, обусловленные связанными с ними архитектурами сетей: коррекция ошибки, правило Больц-мана, правило Хебба и метод соревнования.

1) Коррекция ошибки

Важно

Для каждого входного примера задан требуемый выход и, который может не совпадать с реальным у. Правило обучения при коррекции по ошибке состоит в использовании разницы (с? — у) для изменения весов, с целью уменьшения ошибки рассогласования. Обучение производится только в случае ошибочного результата. Известны многочисленные модификации этого правила обучения.

2) Правило Больцмана

Правило Больцмана является стохастическим правилом обучения, обусловленным аналогией с термодинамическими принципами.

В результате его выполнения осуществляется настройка весовых коэффициентов нейронов в соответствии с требуемым распределением вероятностей.

Обучение правилу Больцмана может рассматриваться как отдельный случай коррекции по ошибке, в котором под ошибкой понимается расхождение корреляций состояний в двух режимах.

3) Правило Хебба

Правило Хебба является самым известным алгоритмом обучения нейронных сетей, суть которого заключается в следующем: если нейроны с обеих сторон синапса возбуждаются одновременно и регулярно, то сила синаптической связи возрастает.

Важной особенностью является то, что изменение синаптического веса зависит только от активности связанных этим синапсом нейронов.

Предложено большое количество разновидностей этого правила, различающихся особенностями модификации синап-тических весов.

4) Метод соревнования

В отличие от правила Хебба, в котором множество выходных нейронов могут возбуждаться одновременно, здесь выходные нейроны соревнуются между собой.

Совет

И выходной нейрон с максимальным значением взвешенной суммы является «победителем» («победитель забирает все»). Выходы же остальных выходных нейронов устанавливаются в неактивное состояние.

При обучении модифицируются только веса нейрона — «победителя» в сторону увеличения близости к данному входному примеру.

В состав пакета ППП Neural Network Toolbox входит М-функция hardlim, реализующая функцию активации с жесткими ограничениями.

Линейная функция активации purelin. Эта функция описывается соотношением, а = purelin(n) = n

Логистическая функция активации logsig. Эта функция описывается соотношением, а = logsig(n) = 1/(1 + ехр(-n)). Она принадлежит к классу сигмоидальных функций, и ее аргумент может принимать любое значение в диапазоне от — до + , а выход изменяется в диапазоне от 0 до 1. В пакете

ППП Neural Network Toolbox она представлена М-функцией logsig.

Благодаря свойству дифференцируемости эта функция часто используется в сетях с обучением на основе метода обратного распространения ошибки.

Источник: http://samzan.ru/173951

Нейросетевые технологии в обработке и защите данных Обработка данных искусственными нейронными сетями (ИНС). Лекция 8. РАДИАЛЬНЫЕ БАЗИСНЫЕ СЕТИ 1. — презентация

1 Нейросетевые технологии в обработке и защите данных Обработка данных искусственными нейронными сетями (ИНС). Лекция 8. РАДИАЛЬНЫЕ БАЗИСНЫЕ СЕТИ 1<\p>

2 ОСОБЕННОСТИ ПРИМЕНЕНИЯ МНОГОСЛОЙНЫХ НЕЙРОННЫХ СЕТЕЙ Для распознавания объектов изображений по форме применяют, как правило, многослойные персептроны, обучающиеся на основе метода обратного распространения ошибки с импульсом и адаптивным шагом обучения, по параметрам – радиальные базисные сети. Теоретическим обоснованием возможности использования многослойной нейронной сети прямого распространения сигнала для распознавания образов изображений служит теорема Хехт–Нильсена, доказывающая представимость функции многих переменных общего вида с помощью такой сети с ограниченными сигмоидными функциями активации. 2<\p>

3 РАДИАЛЬНЫЕ БАЗИСНЫЕ СЕТИ Особое семейство нейронных сетей образуют сети с радиальной базисной функцией (РБФ-сети), в которых скрытые нейроны реализуют функции, радиально изменяющиеся вокруг выбранного центра с и принимающие ненулевые значения только в окрестности этого центра. Подобные функции, определяемые в виде называются радиальными базисными функциями 3<\p>

Обратите внимание

4 РАДИАЛЬНЫЕ БАЗИСНЫЕ СЕТИ В таких сетях роль скрытого нейрона заключается в отображении радиального пространства вокруг одиночной заданной точки либо вокруг группы таких точек, образующих кластер. Суперпозиция сигналов, поступающих от всех скрытых нейронов, которая выполняется выходным нейроном, позволяет получить отображение всего многомерного пространства. Сети радиального типа представляют собой естественное дополнение сигмоидальных сетей. 4<\p>

5 РАДИАЛЬНЫЕ БАЗИСНЫЕ СЕТИ Структура типичной радиальной сети включает входной слой, на который подаются сигналы, описываемые входным вектором x, скрытый слой с нейронами радиального типа и выходной слой, состоящий, как правило, из одного или нескольких линейных нейронов. Функция выходного нейрона сводится исключительно к взвешенному суммированию сигналов, генерируемых скрытыми нейронами. 5<\p>

6 Использование в разложении p базисных функций, где p – это количество обучающих выборок, недопустимо с практической точки зрения, поскольку количество этих выборок может быть велико, и в результате вычислительная сложность обучающего алгоритма может стать чрезмерной. Поэтому ищется субоптимальное решение в пространстве меньшей размерности, которое с достаточной точностью аппроксимирует точное решение. 6<\p>

7 Если ограничится K базисными функциями, то аппроксимирующее решение можно представить в виде (*), где K < p, а c i (i = 1, 2, …, K) – множество центров, которые необходимо определить. В особом случае, если принять K = p, то можно получить точное решение c i = x i. 7<\p>

8 Задача аппроксимации радиальной базисной сетью состоит в подборе соответствующего количества радиальных функций и их параметров, а также в таком подборе весов (i = 1, 2, …, K), чтобы решение уравнения (*) было наиболее близким к точному. 8<\p>

9 Проблему подбора параметров радиальных функций и значений весов сети можно свести к минимизации целевой функции, которую можно записать в такой форме:. В этом уравнении K представляет количество радиальных нейронов, а p – количество обучающих пар (x, t), где x – это входной вектор, а t – соответствующая ему ожидаемая величина. 9<\p>

10 Радиальная базисная функция Чаще всего в качестве радиальной функции применяется функция Гаусса. При размещении ее центра в точке с i она может быть определена как. В этом выражении i – параметр, от значения которого зависит ширина размаха функции. Архитектура радиальных сетей имеет структуру, аналогичную многослойной структуре сигмоидальных сетей с одним скрытым слоем 10<\p>

11 Архитектура радиальных сетей 11<\p>

12 Радиальная сеть имеет фиксированную структуру с одним скрытым слоем и линейными выходными нейронами, тогда как сигмоидальная сеть может содержать различное количество слоев, а выходные нейроны бывают как линейными, так и нелинейными. Одним из простейших, хотя и не самым эффективным, способом определения параметров базисных функций считается случайный выбор. В этом случае центры с i базисных функций выбираются случайным образом на основе равномерного распределения. Такой подход допустим применительно к классическим радиальным сетям при условии, что равномерное распределение обучающих данных хорошо соответствует специфике задачи. 12<\p>

Важно

13 Нейронные сети с радиальными базисными функциями находят применение как при решении задач классификации или аппроксимации функции многих переменных, так и при прогнозировании, то есть в тех прикладных областях, в которых сигмоидальные сети используются в течение многих лет. Они выполняют те же функции, что и сигмоидальные сети, однако реализуют иные методы обработки данных, связанные с локальными отображениями. Благодаря этой особенности обеспечивается значительное упрощение и, следовательно, ускорение процесса обучения. 13<\p>

14 Величина влияния или протяжения (spread) радиальной базисной функции определяет ширину «колпаков» гауссовых функций с центром в каждом обучающем наблюдении. Малая величина протяжения приводит к функции с резкими пиками и малой ошибкой аппроксимации, но такая сеть не способна к обобщению и может плохо аппроксимировать наблюдения контрольного множества. Процесс обучения радиальных базисных сетей включает две стадии: процесс настройки центров базисных функций и обучение нейронов в скрытом слое, поэтому РБФ-сети обучаются достаточно быстро. 14<\p>

15 АППРОКСИМАЦИЯ ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ С ИСПОЛЬЗОВАНИЕМ РБФ-СЕТИ Для создания сетей, используемых при аппроксимации экспериментальных данных, в пакете NNT системы MatLab имеются функции: net=newrbe(P,T,SPREAD) – для радиальной базисной сети с нулевой ошибкой, число нейронов радиального слоя которой совпадает с числом образов входа. Входными аргументами являются массивы входных векторов P и целей T, а также параметр влияния SPREAD, значение которого устанавливается тем большее, чем больший диапазон входных значений должен быть принят во внимание; 15<\p>

16 АППРОКСИМАЦИЯ ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ С ИСПОЛЬЗОВАНИЕМ РБФ-СЕТИ net=newrb(P,T,GOAL,SPREAD) – для радиальной базисной сети с аналогичными входными аргументами и параметром GOAL, допустимой среднеквадратичной ошибкой сети; net=newgrnn(P,T) – для обобщенно- регрессионной сети. 16<\p>

17 Обобщенно-регрессионные сети также имеют радиальные базисные слои с числом нейронов, равным числу элементов или менее обучающего множества, но в отличие от обычной РБФ-сети включают еще соответственно линейный и конкурирующий слои. Для обобщенно-регрессионной сети в качестве начального приближения матрицы весов второго линейного слоя выбирается целевой массив, на выходе формируется вектор, соответствующий среднему нескольких целевых векторов, связанных с входными векторами, близкими к данному вектору входа. 17<\p>

18 Величина влияния или протяжения (spread) или коэффициент сглаживания радиальной базисной функции определяет ширину «колпаков» гауссовых функций с центром в каждом обучающем наблюдении. Малая величина протяжения приводит к функции с резкими пиками и малой ошибкой аппроксимации, но такая сеть не способна к обобщению и может плохо аппроксимировать наблюдения контрольного множества. 18<\p>

19 АППРОКСИМАЦИЯ ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ С ИСПОЛЬЗОВАНИЕМ РБФ-СЕТИ Количество нейронов скрытого слоя после задания входных аргументов можно вывести на экран, если использовать операторы: net=newrb(P,T,GOAL,SPREAD); disp(net.layers{1}.size) Число входов нейронной сети определяется числом независимых переменных. Выходом сети, как правило, является скалярная величина – значение функции. В общем случае входные и выходные величины могут быть векторными. Если мерой отклонения служит средне- квадратичная ошибка, то полученная аналитическая зависимость называется линией регрессии. 19<\p>

20 Нейросетевое сглаживание геофизических данных В статье Васильева В. И. и Нугаева И. Ф. рассмотрена задача повышения точности измерений геофизических данных, используемых для формирования траектории ствола бурящейся нефтегазовой скважины, приведен пример сглаживания геонавигационных данных на основе синтезированной RBF-сети. В.И. Васильев — д.т.н., профессор, зав. кафедрой вычислительной техники и защиты информации, Уфимский государственный авиационный технический университет (УГАТУ) И.Ф. Нугаев — к.т.н., доцент кафедры «Промышленная электроника», УГАТУ 20<\p>

Совет

21 Одной из важнейших задач, решаемых при строительстве нефтегазовых скважин, является непрерывный контроль состояния забоя скважины. Для решения данной задачи выполняется непрерывное измерение ряда геофизических параметров, таких как азимутальный и зенитный углы касательной к траектории ствола скважины в точке забоя, уровень естественного радиационного фона, удельное электрическое сопротивление разбуриваемой породы и др. Особенностью измерения указанных параметров является наличие искажений и шумов измерений, вызываемых интенсивными ударно-вибрационными нагрузками, которые испытывают глубинные измерительные преобразователи в процессе бурения. 21<\p>

22 Постановка задачи Важнейшей задачей является оценка реальных геофизических параметров по данным, полученным в результате замеров. Способ оценки геофизических параметров основан на принципе сглаживания измеренных данных. 22<\p>

23 Проводится анализ ряда измерений, произведенных последовательно по длине траектории скважины: х изм (l i ), i =1,…, n, где х изм — измеренное значение пара­метра; l — длина траектории; i — номер замера. Задача сглаживания по отдельному параметру х имеет следующую постановку. Дано: ряд измерений х изм (l i ), содержащих в себе информацию о параметре х(l i ) и искажениях и шумах ɛ (t i ), вносимых при измерениях: х изм (l i ) = х(l i ) + ɛ (l i ), i =1,…, n. 23<\p>

24 Требуется: на основе измеренной последовательности х изм (l i ) реконструировать закон изме­нения оцениваемого параметра х(l) в форме непрерывной сглаживающей модели х сглаж (l). В результате, в качестве оцененных используются значения параметров, рассчитанные на основе сглаживающей модели: х сглаж (l i ) х(l i ), i =1,…, n. 24<\p>

25 Эффективным подходом к построению сглаживающей модели является использование обобщающих свойств нейронных сетей, таких как многослойный персептрон (Multi Layer Perceptron ) или радиально-базисная сеть (RBF-сеть) При этом одной из основных трудностей является неоднозначность решения, вызванная наличием в исходных данных неопределенной составляющей ɛ (t), что относит данную задачу к классу некорректных. Классическим подходом к преодолению данной проблемы является использование принципа регуляризации, заключающегося в учете некоторых априорных предположений о характере искомого решения 25<\p>

26 Принцип регуляризации Применительно к нейронным сетям принцип регуляризации сводится к ее обучению путем оптимизации критерия, представляющего собой взвешенную сумму двух критериев : J = J П + l J Р (х сглаж (l)), где J П — критерий правдоподобия (стандартная ошибка), представляющий собой сумму квадратов отклонений сглаженных данных х(l i ) от исходных х изм (l i ) : 26<\p>

27 Принцип регуляризации (х сглаж (l)) — регуляризирующий функционал, характеризующий степень отклонения модели от априорной гипотезы, в качестве которой, как правило, применяется гипотеза о максимальной гладкости модели х сглаж (l), значение функционала уменьшается по мере улучшения свойств гладкости модели. В простейшем случае критерий может представлять собой сумму квадратов весов синаптических связей сети; λ — параметр регуляризации, определяющий степень значимости составляющих J П и J Р критерия. 27<\p>

28 Принцип регуляризации Решением задачи регуляризации является линейная суперпозиция п функций Грина G(l, l i ), частным случаем которых является радиально-базисная функция : х сглаж (l) =, где G(l, l i ) — функция Грина (РБФ); w i — весовые коэффициенты. Очевидна естественность реализации решения на основе RBF-сети, традиционный подход к обучению которой связан с определением значений весов w i при априорно заданных функциях G(l, l i ) и параметре λ. 28 х сглаж (l) =,<\p>

Обратите внимание

29 Недостатки: 1) процедура регуляризации не предполагает выбора типа и параметров функций Грина (РБФ), чем существенно ограничивает обобщающую способность сети, другими словами, выбор сглаживающей модели ограничивается регуляризацией параметров модели априорно заданного класса, не используя возможности выбора самого класса моделей; 2)высокая чувствительность решения к значениям параметра регуляризации λ и связанная с этим необходимость привлечения критериев более высокого уровня, оценивающих относительную значимость критериев J П и J Р ; подходом к решению данной задачи является, например, байесовский, основанный на задании априорной плотности распределения весов связей нейросети или метод прогностической перекрестной оценки 29<\p>

30 Обобщенный алгоритм синтеза сглаживающей нейронной сети на основе многоуровневой регуляризации С целью более полного использования обобщающих способностей нейронной сети предлагается иерархическая процедура ее синтеза. Исходной информацией для синтеза является: множество сглаживаемых данных D и априорная (регуляризирующая) гипотеза h о характере искомой модели. Предлагаемая процедура синтеза включает в себя следующие этапы последовательного сужения множества моделей, которые могут быть реализованы на базе данного типа нейронной сети и выбора: множества классов моделей {M}; класса моделей М {M}; конкретной модели х сглаж (l) {M}; контроля адекватности модели х сглаж (l). 30<\p>

31 Обобщенный алгоритм синтеза сглаживающей нейронной сети на основе многоуровневой регуляризации Для реализации указанной процедуры введем кортеж Р иерархически ранжируемых парамет­ров нейронной сети: Р = (Р 1, Р 2, Р 3 ), где Р 1 — параметры, задающие множество классов моделей {M} Р1, реализуемых данной нейронной сетью; Р 2 — параметры, задающие класс моделей M Р2 {M} Р1, реализуемых данной нейронной се­тью при заданных значениях параметров Р 2 ; Р 3 — параметры, задающие модель х сглаж (l) {M} Р2, реализуемую данной нейронной сетью при заданных значениях параметров Р 1 и Р 2. 31<\p>

32 Структура сглаживающей RBF-сети Особенностью RBF-сети является наличие промежуточного слоя из радиально-базисных элементов (нейронов), каждый из которых воспроизводит гауссову поверхность отклика на основе радиально-базисной функции активации (РБФ). Поскольку РБФ нелинейны, то для моделирования сглаживающей функции произвольного вида достаточно одного промежуточного слоя сети. Выход RBF-сети формируется как линейная комбинация выходов нейронов скрытого слоя, т.е. выходной слой состоит из нейронов с линейными функциями активации. 32<\p>

33 Данная структура обеспечивает вычисление отклонения входа l i от центра t j, умножение полученной величины на параметр наклона РБФ b j и вычисление выходного значения РБФ по формуле: 33<\p>

Источник: http://www.myshared.ru/slide/378284/

Шпаргалка по разновидностям нейронных сетей. Часть первая. Элементарные конфигурации

Новые виды архитектуры нейронных сетей появляются постоянно, и в них можно запутаться. Мы собрали для вас своеобразную шпаргалку, содержащую большую часть существующих видов ИНС. Хотя все они представлены как уникальные, картинки свидетельствуют о том, что многие из них очень похожи. 

Проблема нарисованных выше графов заключается в том, что они не показывают, как соответствующие сети используются на практике.

Например, вариационные автокодировщики (VAE) выглядят совсем как простые автокодировщики (AE), но их процессы обучения существенно различаются.

Важно

Случаи использования отличаются ещё больше, поскольку VAE — это генератор, которому для получения нового образца подаётся новый шум. AE же просто сравнивает полученные данные с наиболее похожим образцом, полученным во время обучения.

Стоит заметить, что хотя большинство этих аббревиатур общеприняты, есть и исключения. Под RNN иногда подразумевают рекурсивную нейронную сеть, но обычно имеют в виду рекуррентную. Также можно часто встретить использование аббревиатуры RNN, когда речь идёт про любую рекуррентную НС.

Автокодировщики также сталкиваются с этой проблемой, когда вариационные и шумоподавляющие автокодировщики (VAE, DAE) называют просто автокодировщиками (AE).

Кроме того, во многих аббревиатурах различается количество букв «N» в конце, поскольку в каких-то случаях используется «neural network», а в каких-то — просто «network».

Для каждой архитектуры будет дано очень краткое описание и ссылка на статью, ей посвящённую. Если вы хотите быстро познакомиться с нейронными сетями с нуля, следуйте переведенному нами руководству, состоящему всего из четырех шагов.

Нейронные сети прямого распространения (feed forward neural networks, FF или FFNN) и перцептроны (perceptrons, P) очень прямолинейны, они передают информацию от входа к выходу. Нейронные сети часто описываются в виде слоёного торта, где каждый слой состоит из входных, скрытых или выходных клеток.

Клетки одного слоя не связаны между собой, а соседние слои обычно полностью связаны. Самая простая нейронная сеть имеет две входных клетки и одну выходную, и может использоваться в качестве модели логических вентилей. FFNN обычно обучается по методу обратного распространения ошибки, в котором сеть получает множества входных и выходных данных.

Этот процесс называется обучением с учителем, и он отличается от обучения без учителя тем, что во втором случае множество выходных данных сеть составляет самостоятельно. Вышеупомянутая ошибка является разницей между вводом и выводом. Если у сети есть достаточное количество скрытых нейронов, она теоретически способна смоделировать взаимодействие между входным и выходными данными.

Практически такие сети используются редко, но их часто комбинируют с другими типами для получения новых.

Читать статью (стр. 386)

Совет

Сети радиально-базисных функций (radial basis function, RBF) — это FFNN, которая использует радиальные базисные функции как функции активации. Больше она ничем не выделяется

Источник: https://tproger.ru/translations/neural-network-zoo-1/

Ссылка на основную публикацию