Нейросетевые модели. классификация

Большая Энциклопедия Нефти и Газа

Cтраница 1

Нейросетевая модель ориентирована на то, чтобы уметь по текущему и нескольким предыдущим векторам состояния объекта [ призабойной зоны скважины, участка газоносного пласта ] предсказывать его следующие состояния. Нейронная сеть способна запомнить, а затем воспроизвести динамическое поведение объекта в ситуациях, которые ей известны.  [1]

Да, нейросетевые модели динамических объектов могут быть настолько точными, что нейроконтроллер, синтезированный с использованием нейроэмулятора, оказывается способным управлять самим объектом без каких-либо дополнительных настроек.  [2]

Внешняя структуранейросетевой модели полностью определяется регрессором и набором параметров, значение которых необходимо прогнозировать, т.е. число входов ( число нейронов во входном слое МНС) определяется количеством элементов регрессора, число выходов ( число нейронов в выходном слое) определяется количеством прогнозируемых величин.  [3]

Обратите внимание

При обучениинейросетевой модели в соответствии с регуляризован-ным критерием требуется определить оценку значения дисперсии шумов.  [4]

Итогом построениянейросетевой модели является функция Р ( П), обеспечивающая наилучшую аппроксимацию G ( ff) как на обучающем множестве S, так и на всей области ее определения.  [5]

Схема получения множества экспериментальных данных.  [6]

В случае использованиянейросетевых моделей значительную роль играет не только выбор регрессора, но и задание внутренней структуры НС – числа скрытых слоев и количества нейронов в каждом скрытом слое.  [7]

Непосредственно процессу созданиянейросетевой модели предшествует процедура сбора, анализа и обработки исходных данных с целью наиболее адекватного представления моделируемого процесса.  [8]

Первым этапом построениянейросетевой модели является тщательный отбор входных данных, влияющих на ожидаемый результат. Из исходной информации необходимо исключить все сведения, не относящиеся к исследуемой проблеме. В то же время следует располагать достаточным количеством примеров для обучения ИНС.  [9]

Следует отметить, чтонейросетевые модели, все-таки, сильно отличаются от того, что обычно понимают под математической моделью. Не зря поэтому их называют эмуляторами, они имитируют динамические характеристики объекта и не более того.  [10]

Незначительные изменения внутренней структурынейросетевой модели, как правило, не оказывают существенного влияния на ее качество, тогда выбор глубины регрессии, т.е. числа отсчетов сигналов в предыдущие моменты времени, играет решающую роль.  [11]

Для реализации процедуры обучениянейросетевой модели рекомендуется использовать метод Левенберга – Маркардта.

Этот метод, разработанный специально для решения задач безусловной минимизации среднеквадратичного критерия, обладает высокой скоростью сходимости, вычислительной робастностью и простотой применения.

Важно

Так как минимизируемая функция имеет в общем случае несколько локальных минимумов, рекомендуется проводить обучение НС 5 – 7 раз, изменяя начальные значения весовых коэффициентов.  [12]

Значительное число весовых коэффициентовнейросетевой модели и медленная сходимость градиентного метода оптимизации затрудняют использование принципа регулирования на основе инверсных нейросетевых моделей, обучаемых в режиме реального времени.

Вычислительные ( временные) затраты на обучение нейросетевой модели могут быть уменьшены путем применения обобщенного метода обучения на предварительном этапе инициализации настраиваемых параметров нейросетевой модели.

Кроме того, для увеличения скорости сходимости может быть использован метод Гаусса – Ньютона.  [14]

Страницы:      1    2    3    4

Источник: https://www.ngpedia.ru/id160435p1.html

Нейросетевая модель СОК – Энциклопедия по экономике

Мягкие модели, о которых говорит Арнольд, это модели, поддающиеся изменениям, точное значение параметров в них не имеет значения. Эта мягкость и представляет главное достоинство нейросетевых моделей, которые лежат в основе архитектур будущих нейрокомпьютеров.  [c.

12]Итак, мы выяснили, что существует оптимальная сложность сети, зависящая от количества примеров, и даже получили оценку размеров скрытого слоя для двухслойных сетей. Однако в общем случае следует опираться не на грубые оценки а на более надежные механизмы адаптации сложности нейросетевых моделей к данным для каждой конкретной задачи.  [c.

66]

Первая попытка разработки нейросетевой модели прогнозирования конъюнктуры рын-  [c.112]

Рис.2.4.7. Кривая обучения нейросетевой модели прогнозирования недельного темпа

Управляющая нейросетевая модель  [c.129]

Гладков Э.А. Задачи прогнозирования качества и управления формированием шва в процессе сварки с использованием нейросетевых моделей // Сварочное производство, 1996. —№10. — С.36-Ч1.  [c.340]

Выборка обучения для нейросетевой модели S = n,Y , представляющая собой множество пар векторов П и F, осуществляется с помощью достаточно хорошо апробированного ПВК оценки показателей надежности Орион [154].

Для этого ПВК дополнен блоком формирования (методами статистического моделирования) резервов мощности отдельных ЭЭС и пропускных способностей МСС объединения.

Случайные изменения резервов мощности ЭЭС осуществляются в пределах оптимальных значений для условно изолированной системы и для всего объединения, при рассмотрении его как концентрированной ЭЭС (пропускные способности МСС не ограничены).

Для каждого случайного состояния резервов мощности отдельных ЭЭС и пропускной способности МСС по ПВК Орион осуществляется расчет показателей надежности и их запись в специальный файл, необходимый для обучения нейросетевой модели.  [c.157]

Итогом построения нейросетевой модели является функция Р(П), обеспечивающая наилучшую аппроксимацию G(ff) как на обучающем множестве S, так и на всей области ее определения.  [c.158]

Оптимизация средств обеспечения надежности на базе нейросетевой модели.  [c.158]

Время расчета оптимального варианта составляет доли секунды. В табл.2.6 приведено сопоставление результатов нейросетевой модели с результатами оптимизации, выполненной по ПВК Орион . Анализ табл.2.6 указывает на достаточно хорошее совпадение результатов.  [c.160]

Совет

Применение нейросетевых моделей в большинстве случаев позволяет получить более достоверные результаты, так как дает возможность учитывать как достоверные и однозначно определяемые данные, так и неопределенные, мягкие (интенсивность рекламы организации и ее конкурентов, выплаты государственным служащим заработной платы, время года, изменения рыночных долей отраслевых организаций, динамику политической ситуации и т.д.)  [c.241]

Нейросетевые модели состоят из входных, внутренних и выходных нейронов. Количество входных нейронов определяется количеством  [c.241]

Данные модели допускают работу с нелинейными связями между параметрами, что дает им существенное преимущество перед линейными регрессионными моделями. На практике нейросетевые модели наиболее часто используются для прогнозирования перспективных объемов продаж, биржевых цен, обменных курсов, для выявления системных связей.  [c.242]

В общем случае, чем за больший период удается собрать информацию, чем больше факторов учесть и адекватнее выбрать архитектуру нейросетевой модели, тем более достоверными оказываются прогнозы.  [c.242]

Результат прогноза продаж количества телефонов сегмента 1 для 71-ой недели на основе нейросетевой модели равен 155 единиц продукции (рис. 3.8).  [c.29]

Методы, описываемые в этой книге, относятся к общему классу нейросетевых моделей. Нейронные сети представляют собой совокупность математических методов, которые могут быть использованы для обработки сигналов, прогнозирования и кластеризации.

Нейронные сети можно представить себе как нелинейные, многослойные и параллельные методы регрессии. Говоря проще, нейросетевое моделирование подобно проведению линии, плоскости или гиперплоскости через определенный набор информационных точек.

Линию, плоскость или гиперплоскость можно с наилучшим приближением провести через любой набор данных и по выбору пользователя определить взаимосвязи, которые могут существовать между входами и выходами нейросети.

Обратите внимание

Сеть можно также подстроить для представления многомерных данных в меньшей размерности. Существует два класса нейронных сетей сети, обучаемые с учителем и без учителя.  [c.18]

Применение нейронных сетей для обработки экономических данных сопряжено с рядом трудностей. При использовании нейросетевых моделей в отдельных областях экономики (валютные рынки, рыночные индексы и т.п.) входные данные соотносятся с желаемыми выходными данными либо могут быть охарактеризованы с помощью ряда факторов.

Это равносильно априорному предположению о существовании неких законов , управляющих преобразованием исходных временных рядов во множество выходных данных. Все это приводит к проблеме выявления репрезентативных рядов и факторов, существенных с точки зрения характеристики входных данных, а также значимых примеров.  [c.

159]

Если принять во внимание, что основными целями применения нейросетевых моделей являются кластеризация и визуализация данных, необходимо рассмотреть различные альтернативные подходы к визуализации и кластеризации.

Существует несколько традиционных статистических методов кластеризации и визуализации данных (см. введение). Совмещение традиционных статистических методов с СОК может дать лучшие результаты, чем применение СОК самих по себе.

Определить желаемую степень сжатия данных заранее также может оказаться полезным.  [c.275]

Качество самообучающейся нейросетевой модели может и должно измеряться на основании (i) числа кластеров, (ii) качества кластеризации, (ш) устойчивости кластеризации (измеряемой сходством или отсутствием сходства, полученным при изменении множества тестовых данных).

Если мы будем оценивать самообучающиеся нейросетевые модели подобным образом, мы, скорей всего, обнаружим, что между количеством, качеством и устойчивостью кластеров, полученных с помощью СОК, существует множество компромиссных вариантов. Поэтому наилучшая комбинация с точки зрения того или иного исследования должна определяться пользователем самостоятельно.

Важно

В некоторых случаях требуемое сжатие данных может быть максимальным (минимальное число кластеров), и соответствующее низкое качество карты и слабая устойчивость будут вполне приемлемы для пользователя. В других случаях может потребоваться создание более тонко настроенной карты (т.е. карты с четкими границами между кластерами) и хорошая устойчивость без значительного сжатия данных.

Например, при проведении макроэкономического анализа, анализа показателей мирового развития, качества окружающей среды, уровня бедности и в других подобных случаях требуется максимальное сжатие данных, поскольку соответствующие карты предназначаются для использования, главным образом, при определении политики и принятия решений на макроуровне.

Для других задач, таких как картирование опционов и фьючерсных сделок, выбор фондовых управляющих, классификация клиентуры или продукции, анализ рынка, потребуется намного более тонкая дифференциация между кластерами.  [c.283]

Помимо рассмотренной простейшей модели можно привести примеры других в некотором смысле эквивалентных моделей статистики и нейросетевых парадигм  [c.202]

Способность работать с неточными данными является одним из главных достоинств нейронных сетей. Но она же парадоксальным образом является и их недостатком. Действительно, если данные не точны, то сеть в силу своей гибкости и адаптируемости будет подстраиваться к ним, ухудшая свои свойства обобщения. Эта ситуация особенно важна при работе с финансовыми данными.

В последнем случае существует множество источников погрешности. Это и ошибки при вводе числовых значений или неправильная оценка времени действия ценных бумаг (например, они уже не продаются). Кроме того, если даже данные и введены правильно, они могут быть слабыми индикаторами основополагающих экономических процессов, таких как промышленное производство или занятость.

Наконец, возможно, что многие важные параметры не учитываются при обучении сети, что эффективно может рассматриваться как введение дополнительного шума. Данные, далеко выпадающие из общей тенденции, забирают ресурсы нейронной сети. Некоторые из нейронов скрытого слоя могут настраиваться на них. При этом ресурсов для описания регулярных слабо зашумленных областей может и не хватить.

Множество попыток применения нейронных сетей к решению финансовых задач выявило важное обстоятельство контроль гибкости нейросетевой модели является центральной проблемой. Изложим кратко существо процедуры обучения сети, объединенной с исправлением данных. Для простоты рассмотрим сеть с одним входом и одним выходом.

В этом случае минимизируемой величиной является сумма двух слагаемых (Weigend Zimmermann, 1996)  [c.177]

Совет

Заметим, что несмотря на неплохие, в общем-то, результаты, подобные нейросетевые модели весьма компактны. В качестве входных переменных обычно используется от 6 до 10 финансовых индикаторов, являющихся отношением наиболее значимых статей балансов и отчетов о прибылях и убытках корпораций.

Например, в последней из упомянутых выше работ первоначально использовались 10 финансовых индикаторов, отобранных аналитиками одного из крупных американских банков.

Однако по результатам анализа чувствительности нейросетевых предсказаний к входным переменным два из этих индикаторов оказались незначимыми и не использовались в окончательной модели (8-3-1 персептрон с 3 нейронами на скрытом слое и 1 выходным линейным нейроном, дающим численный эквивалент рейтинга).

Качество воспроизведения “тонких” градаций (с учетом субкатегорий, например АА+, АА-) рейтинга агентства Standard Poor s, достигнутое этой моделью, иллюстрирует Рисунок 1.  [c.185]

Нейросетевая модель оценки показателей надежности. Искусственные нейронные сети получили широкое применение как эффективный моделирующий аппарат. Это объясняется свойством нейронных сетей аппроксимировать и экстраполировать непрерывные вектор-функции, а также уникальным их свойством обобщения данных. Среди множест-  [c.155]

Данная модель предполагает формирование Ключевых компетенций организаций, обеспечивающих реализацию программ Стратегического развития конкурентоспособности предприятия, и формирование профессиональных и поведенческих компетенций сотрудников и менеджеров на основе Образования, Совершенствования и Развития.

Формируемые нами библиотеки базы знаний в виде инвариантных фреймов, понятий и рефрейминга основных компетенций и использование имитационной нейросетевой модели позволяют совместно с топ-менеджерами предприятий дополнить должностные инструкции руководителей и специалистов перечнем необходимых компетенций, обеспечивающих поддержку и развитие ключевых компетенций организации, необходимых для реализации программ повышения конкурентоспособности предприятия.  [c.94]

Эти трудности могут быть частично преодолены введением гибкой нейронной структуры. Разработав гибридную нейросетевую модель, совмещающую обучающую процедуру метода СОК с эволюционной моделью, мы создали метод интегральной самоорганизации и генетики (ИСОГ). Сочетание СОК с генетическими алгоритмами может обеспечить получение более полной и осмысленной инфор-  [c.159]

Обратите внимание

С каждым нейроном мы, таким образом, связываем модельный вектор ni(, т.е. координаты узла в пространстве сигналов представляются теперь в виде соответствующего нейрону множества вещественных чисел. В обычных нейросетевых моделях модельный вектор соответствовал бы синаптическим весам, однако в нашем случае конкретизировать природу ni( нет необходимости.  [c.228]

Без надлежащего определения целей разработки нейросетевой модели, обучаемой с учителем или без учителя, оценить эффективность полученных на выходе результатов будет трудно. Нейросетевые модели можно строить для решения множест-  [c.274]

Статистика ошибок. Следующая немаловажная разработка сетевых решений заключается в определении того, что использовать в качестве статистики ошибок (отклонений) для апробации и для тестирования.

Мерой измерения ошибок (отклонений) может служить разность между точно вычисленным каким-то статистическим значением ошибок, например их скользящей средней, и выходными данными нейросети.

Эта разность должна быть определена для каждого из событий в тестовом множестве, просуммирована и затем разделена на число событий в тесте. Это стандартная мера ошибок, которая называется средней ошибкой .

Другие способы вычисления ошибки включают в себя среднее значение абсолютных ошибок, сумму квадратов ошибок или же квадратный корень ошибок (Root-mean-squared — RMS). После того как будет выбрана нейросетевая модель, ее следует апробировать еще раз на определенных временных промежутках. Следующий этап исследования должен заключаться в модификации вхо-  [c.134]

Не следует, однако, обольщаться существованием столь простого рецепта определения значимости входов. Линейная модель может быть легко построена и без привлечения нейросетей. Реальная сила нейроанализа как раз и состоит в возможности находить более сложные нелинейные зависимости.

Более того, для облегчения собственно нелинейного анализа рекомендуется заранее освободиться от тривиальных линейных зависимостей – т.е. в качестве выходов при обучении подавать разность между выходными значениями и их линейным приближением.

Важно

Это увеличит “разрешающую способность” нейросетевого моделирования (см. Рисунок 12).  [c.140]

До сих пор нейросети рассматривались нами лишь как инструмент предсказания, но не понимания. Действительно, классический нейросетевой подход – метод черного ящика -предполагает создание имитационной модели, без явной формулировки правил принятия решений нейросетью.

Вернее, эти правила содержатся в весах обученной нейросети но понять их, переформулировав на язык “если. .. -то. ..” не представлялось возможным. Бэтой главе мы продемонстрируем методику, позволяющую строить подобные правила, объясняющие нейросетевые решения.

Нейросети, таким образом, можно использовать не только для предсказаний, но и для извлечения знаний из баз данных.  [c.167]

Поскольку в настоящее время нейронные сети с успехом используются для анализа данных, уместно сопоставить их со старыми хорошо разработанными статистическими методами.

В литературе по статистике иногда можно встретить утверждение, что наиболее часто применяемые нейросетевые подходы являются ни чем иным, как неэффективными регрессионными и дискриминантными моделями. Мы уже отмечали прежде, что многослойные нейронные сети действительно могут решать задачи типа регрессии и классификации.

Однако, во-первых, обработка данных нейронными сетями носит значительно более многообразный характер – вспомним, например, активную классификацию сетями Хопфилда или карты признаков Кохонена, не имеющие статистических аналогов.

Во-вторых, многие исследования, касающиеся применения нейросетей в финансах и бизнесе, выявили их преимущества перед ранее разработанными статистическими методами. Рассмотрим подробнее результаты сравнения методов нейросетей и математической статистики.  [c.198]

Еще одним существенным различием является то.

Совет

что для методов статистики не имеет значения, каким образам будет минимизироваться невязка – в любом случае модель остается той же самой, в то время как для нейрокомпьютинга главную роль играет именно метод обучения. Иными словам и.

в отличие от нейросетевого подхода оценка параметров модели для статистических методов не зависит от метода минимизации. В то же время статистики будут рассматривать изменения вида невяэки скажем на  [c.201]

В отличие от нейросетевого подхода в котором основное время забирает обучение сетей при статистическом подходе это время тратится на тщательный анализ задачи.

При этом опыт статистиков используется для выбора модели на основе анализа данных и информации, специфичной для данной области.

Использование нейронных сетей – этих универсальных аппроксиматоров – обычно проводится без использования априорных знаний, хотя в ряде случаев оно весьма полезно.

Например для рассматриваемой линейной модели использование именно среднеквадратичной ошибки ведет к получению оптимальной оценки ее параметров, когда величина шума имеет нормальное распределение с одинаковой дисперсией для всех обучающих пар. В то же время если известно, что эти дисперсии различны, то использование взвешенной функции ошибки  [c.201]

Источник: https://economy-ru.info/info/191554/

Классификация, регрессия и другие алгоритмы Data Mining с использованием R

Нейросетевые модели, родившиеся в процессе развития концепции искусственного интеллекта, имеют две вполне прозрачные аналогии – биологическая нейронная система мозга и компьютерная сеть.

Их основная парадигма состоит в том, что решение в сети формируется множеством простых нейроноподобных элементов, образующих граф с взвешенными синаптическими (информационными) связями, которые совместно и целенаправленно работают на получение общего результата.

Таким образом, искусственная нейронная сеть (ИНС) является (Дук, Самойленко, 2001):

  • параллельной системой, поскольку в любой момент времени в активном состоянии могут находиться несколько процессов;
  • распределенной системой, поскольку каждый из процессов может независимо обрабатывать локальные данные;
  • адаптивной системой, наделенной свойствами самообучения и подстройки своих параметров при изменении профиля данных.

Главным строительным блоком ИНС является формальный нейрон, структура которого имеет вид, представленный на рис. 7.10:

Рисунок 7.10: Структура искусственного нейрона (слева) и вид некоторых функций активации (справа); обозначения по тексту

Основная функция искусственного нейрона – cформировать выходной сигнал (y) в зависимости от сигналов (x_1, dots, x_n), поступающих на его входы. Эти значения могут усиливаться или “тормозиться” в зависимости от знака весов синапсов (w_1, dots, w_n).

Входные сигналы обрабатываются адаптивным сумматором (sum_{i=1}^n w_i x_i -T), где (T) – порог нейрона, а затем выходной сигнал сумматора поступает в нелинейный преобразователь (mathbf{F}) с некоторой функцией активации, после чего результат подается на выход (в точку ветвления).

Вид функции активации может иметь различное математическое выражение, выбор которого определяется характером решаемых задач. Например, преобразование может осуществляться функцией, определенной как единичный скачок (а на рис. 7.

10, линейный порог (гистерезис, б), гиперболический тангенс (в) или сигмоид (г).

Обратите внимание

Наиболее распространена нелинейная функция с насыщением – так называемая логистическая функция, или сигмоид – (y = frac{1}{1 + e^{-cS}}), которая имеет много ценных свойств (монотонность и дифференцируемость, устойчивость к выбросам, простое выражение для ее производной и т.д.).

Выходное значение сигмоидального нейрона лежит в диапазоне [0, 1]. При уменьшении коэффициента с сигмоид становится более пологим, вырождаясь в пределе при (c = 0) в горизонтальную линию на уровне 0.5. При увеличении с сигмоид приближается по внешнему виду к функции единичного скачка с порогом T в точке (x = 0).

По способу соединения нейронов выделяют сети с разной архитектурой: персептроны, сети адаптивного резонанса, рециркуляционные, рекуррентные, встречного распространения, ИНС с обратными связями Хэмминга и Хопфилда, с двунаправленной ассоциативной памятью, с радиально-базисной функцией активации, самоорганизующиеся ИНС Кохонена и т.п. Мы будем рассматривать возможности обучения ИНС на примере многослойного персептрона с прямым распространением информации, структура которого представлена на рис. 7.11.

Рисунок 7.11: Структура многослойного персептрона

Нейроны персептрона регулярным образом организованы в слои, причем информация направленно распространяется от предыдущих слоев к последующим.

Входной слой состоит из n нейронов, на которые подаются значения исходных переменных (X_i), никакой обработки информации не совершает и выполняет лишь распределительные функции.

Если сеть настроена на классификацию, то взвешенные комбинации (y) выходного слоя представляют собой прогноз, указывающий на принадлежность распознаваемого объекта к определенной группе.

Если распознаются только два класса, то в выходном слое персептрона находится только один элемент, который обладает двумя реакциями – положительной и отрицательной. Если классов больше двух, то для каждой группы устанавливается свой нейрон, и тогда выход (y_k) каждого такого элемента представляет нелинейную комбинацию его входов, аккумулировавших результаты работы всех предыдущих слоев.

Двухслойный персептрон Розенблата, в принципе, аналогичен логистической регрессии, но добавление произвольного числа промежуточных (скрытых) слоев позволяет существенно усложнить структуру модели и реализовать различные множественные связи нейронов друг с другом с помощью последовательного взятия их линейных комбинаций и применения нелинейных функций активации (f) (Ripley, 1995):

[ y_k = f_0 left( sum_{i
ightarrow k} w_{ik} x_i + sum_{j
ightarrow k} w_{jk} f_h left( sum_{i
ightarrow k} w_{ik} x_i
ight)
ight).]
Важно

В многослойной сети такие функции отклика дают возможность практически точно аппроксимировать любые выпуклые многомерные функциональные зависимости.

Настройка сети представляет достаточно сложную задачу: необходимо подобрать количество промежуточных слоев и число нейронов в каждом из них, установить типы активационной функции и оценить коэффициенты (w_i), (c_i) каждого нейрона, которые бы минимизировали ошибку прогноза, выдаваемого сетью.

Нахождение глобального оптимума аналитическими методами тут невозможно, но разработаны вполне эффективные методы исследования поверхностей ошибок и движения по градиенту. Выбор нейросети “правильной” сложности, как и в рассмотренных ранее случаях, сводится к двум рецептам: использование контрольных выборок и экспериментирование.

Для обучения ИНС в среде R используются два пакета – neuralnet и nnet, – обеспечивающие гибкие функциональные возможности построения моделей классификации и регрессии на основе многослойного персептрона.

Вернемся снова к данным по ирисам Фишера и разделим ее на обучающую и тестовую выборки в соотношении 7:3, а также добавим в исходную таблицу три столбца, содержащих значения TRUE/FALSE для каждого вида растений:

data(iris)
set.seed(101)
ind

Источник: https://ranalytics.github.io/data-mining/076-NN.html

Нейросетевые модели технологических процессов (достоинства и недостатки)

Нейросетевые модели по сути дела предназначены для формализации опыта эксплуатации и создания эмпирической модели управления (в голове технического персонала) по управлению технологическим процессом.

Функциональная модель нейрона

В данной структуре входные сигналы Z0…Zi подаются на синоптические блоки Wki, реализующие функцию синапса.

Каждый из этих блоков характеризуется весовым коэффициентом (синоптическим весом) положительные значения весов Wk способствует возбудительным сигналам, отрицательные тормозными сигналами.

Все сигналы с синапса Wk суммируются в сумматоре и на входе сумматора получаются взвешенные входные сигналы, чтобы на выходе сформировать выходной сигнал Sk, который равен сумме двух сигналов:

Совет

Выход Yu называют выходом линейного сумматора, bk0 сдвиг сигнала во времени. Выходная величина с выхода линейного сумматора подается на вход функции активации. На выходе функции активации формируется сигнал k-го нейрона.

Функция активации предназначена для осуществления процедуры нелинейного преобразования результирующего сигнала линейного сумматора. В качестве функции активации может использоваться набор различных функций, наиболее часто встречается функция гиперболического тангенса

Суть функции активации заключается в масштабировании выходного сигнала Sk. Суть масштабирования — усиление малых сигналов приращения суммы и ослабление больших величин сигнала. Обязательным условием использования функции активации является наличие непрерывной производной на всем интервале существования этой функции.

Архитектура ИНС

Общего принципа формирования структуры ИНС не существует, поэтому формально нейронные сети могут объединяться различными способами, но на практике нашли применение только некоторые типы архитектуры ИНС. Причина в том, что архитектура ИНС непосредственно связана с методом обучения. В инженерной практике наиболее часто используется 4 разновидности архитектуры:

Однослойные прямонаправленные ИНС

Слойной называется ИНС, состоящая из группы нейронов, объединенных в сложные структуры. Считается, что сеть состоит из k слоев, если в каждом k-ом слое происходит преобразование информации. Слой нейронов, в котором не производится преобразование информации, обычно не учитывается.

Если информационные сигналы в ИНС распространяются толь-ко от начала к выходу, то такая сеть называется прямолинейной или прямонаправленной.

Каждый нейрон входного слоя связан с каждым нейроном выходного слоя. Входной слой нейрона называется сенсорным. Выходной слой является результативным.

Представленная структура включает в себя входной слой и выходной слой нейронов. В данном случае нейроны сенсорного слоя обеспечивают только трансляцию входных информационных сигналов Хi.

Все преобразование информации осуществляется в выходном слое и поэтому данная структура может быть названа однослойной.

Многослойные прямонаправленные ИНС (персептроны)

Обратите внимание

Наличие нейронов в скрытых слоях в архитектуре сети обеспечивает возможность осуществления нелинейных преобразований по каналу вход-выход любой сложности. Эти способности особенно эффективно проявляются при большом количестве входных сигналов.

Как правило, в многослойной ИНС нейроны входного слоя просто ретранслируют (повторяют) входные сигналы с умножением на масштабируемые постоянные коэффициенты и передают их на первый скрытый слой ИНС. В скрытых слоях происходит нелинейное преобразование информации с целью достижения требуемого результата.

Сигналы с последнего скрытого слоя поступают на нейроны выходного результативного слоя и формируют реакцию сети на текущее входное воздействия Xi.

Рекуррентная искусственная нейронная сеть

Рекуррентный тип ИНС отличается наличием ОС и элементов временной задержки информационных сигналов. Временная задержка информационных сигналов осуществляется с целью контроля скорости изменения входного параметра, поскольку управление с учетом скорости изменения более эффективно, чем управление по параметру. Она становится более оперативной для решения поставленных задач.

Полностью связанные сети

Характерным признаком является наличие связи между всеми нейронами, входящими в сеть. Наиболее известным типом полностью связанных ИНС является сеть Хопфильда.

В сетях данного типа каждый нейрон имеет двухстороннюю связь со всеми нейронами.

Сеть Хопфильда имеет симметричную кольцевую структуру, в которой нельзя четко выделить скрытый слой нейронов и установить единые направления распространения информационных сигналов.
Достоинства:

  • ИНС — универсальные средства для создания адекватных математических моделей исследуемого технологического процесса.
  • Уникальным, ценным свойством ИНС является возможность автоматической непрерывной коррекции параметров модели в процессе хода технологического процесса. То есть благодаря непрерывной процедуре обучения ИНС всегда оказывается адаптированной к реальным условиям.

Недостатки:

  • Изначально НС модель не обладает даже минимальными знаниями об управляемом объекте, и эти знания приобретаются системой в процессе обучения, на которое требуется определенный интервал времени и этим ИНС отличаются от детерминированных моделей, которые представляются в виде дифференциальных уравнений, определяющих динамику уравнения. Они отличаются и от классической теории стохастического (вероятностного) управления, которое в основе своей имеют плотности вероятности появления событий.
  • При использовании нейро-управления основной проблемой является решение задачи идентификации объекта управления и создание (синтез) системы управления с учетом реальных технических средств и структуры управления для различных существенно нелинейных объектов управления.

Источник: https://metallurgy.zp.ua/nejrosetevye-modeli-tehnologicheskih-protsessov-dostoinstva-i-nedostatki/

Нейросетевые информационные модели сложных инженерных систем

Обратная задача может считаться условно корректной, если в признаковом пространстве выходных переменных имеются области, где обратное отображение однозначно (как в случае системы B с промежуточными значениями скачка h ).

Для рассмотренных в предыдущем пункте однопараметрических систем области корректности могут быть выявлены при графическом представлении экспериментальных данных. Отделение областей условной корректности в многомерных пространствах параметров является качественно более сложной задачей.

В этом разделе предлагается исследовать возможности нейросетевых алгоритмов адаптивной кластеризации данных для дифференциальных оценок областей условной корректности.

При произвольном распределении точек в многомерном пространстве задача таксономии (т.е. разделения всех точек на несколько компактных групп, называемых кластерами) является достаточно сложной, несмотря на то, что имеется целый ряд методов ее решения. Ситуация дополнительно усложняется в важном практическом случае, когда число кластеров заранее не известно.

На классе нейросетевых алгоритмов также предложено несколько подходов [4.5, 4.6, 4.12, 4.13]. Классическим является предложенный Т.Кохоненом [4.

5] алгоритм построения самоорганизующейся карты, которая представляет собой отображение многомерного распределения точек на двумерную решетку с регулярным соседством между узлами.

Важно

При этом близким узлам на карте отвечают близкие вектора в исходном многомерном пространстве, т.е. сохраняется не только структура разбиения точек на кластеры, но и отношения топологической близости между ними.

Если для приложений достаточно только оценки плотности распределения точек по кластерам с сохранением лишь ближнего порядка в кластеризации, то такое разбиение может быть выполнено более эффективно на основе модели ” нейронного газа ” [4.12, 4.

13], в которой соседство узлов не фиксировано, а динамически меняется по мере улучшения кластеризации. В относительно недавней модификации метода, получившей название ” расширяющийся нейронный газ ” [4.

13], переменными являются не только отношения соседства, но и число нейронов-кластеров.

В данной лекции более подробно рассматриваются приложения более часто используемой карты Кохонена.

Основная идея предлагаемого метода дифференциальной оценки степени некорректности обратной или комбинированной задачи состоит в реализации следующего плана:

  • Построить распределение векторов обучающей выборки по кластерам, содержащим близкие по величине параметров наблюдения. Кластеризация ведется по выходным компонентам Y для чисто обратной задачи, или по совокупности входных и выходных компонент (X,Y) для комбинированного отображения (X,Y)=F(X,Y) ;
  • Провести обучение набора (по числу кластеров) малых нейросетей с обратным распространением на данных каждого кластера, оценить ошибку обучения (и, если в распоряжении имеется достаточно данных, ошибку обобщения). Провести набор статистики по результатам обучения нескольких вариантов с различными реализациями случайной инициализации весов. Для получения несмещенных оценок следует учесть, что кластеры могут содержать разное число векторов;
  • Поставить в соответствие каждому кластеру данных количественную степень некорректности отображения в области данного кластера. В качестве нее может выступать величина, пропорциональная локальной ошибке обучения для данного кластера;
  • Выбрать неприемлемый уровень некорректности (в простейшем случае при помощи порогового правила) для построения гибридной системы, аналогичной малым экспертам [4.4], которая дает регуляризованное решение с локальной оценкой точности в областях с “малой” некорректностью, и предупреждает пользователя о плохой обусловленности задачи, если запрос относится к области “сильной” некорректности.

Важно отметить, что в данном подходе пользователь получает для каждого запроса к нейросетевой модели адекватную локальную точность получаемого результата, и корректный отказ в выдаче результата в области высокой нерегулярности задачи.

Поскольку карта Кохонена дает высокую степень наглядности при изучении распределения экспериментальных данных, то распределение степени некорректности по ней представляет богатый материал для понимания особенностей модели и ее параметров. Неоднородности в “раскраске” карты могут отвечать различным режимам поведения инженерной установки или прибора.

При моделировании технических систем это часто может служить указанием на нежелательные (или аварийные!) соотношения параметров при эксплуатации.

Совет

Для иллюстрации предлагаемого метода рассмотрим его применение к уже использовавшимся модельным системам A, B и C. Для простоты рассмотрения (и снижения числа необходимых вычислений) можно применить упрощенный алгоритм получения оценки некорректности.

Для этого вместо использования набора малых экспертов ограничимся одним персептроном (без скрытых слоев), входы которого замкнуты на выходы нейронов карты Кохонена, а число выходов совпадает с размерностью признакового пространства выходов задачи.

Такая гибридная нейроархитектура, называемая сетью встречного распространения , предложена Р.Хехт-Нильсеном [4.7, 4.8].

Каждый кластер соревновательного слоя Кохонена в сети встречного распространения включает в себя несколько векторов обучающего множества.

Предъявление на вход нейросети некоторого вектора вызывает соревнование в слое Кохонена, при этом в результате остается активным лишь один нейрон, возбуждение которого затормозило все остальные нейроны.

Выход победившего нейрона (нормированный на единицу) воспринимается персептроном, в итоге формируется вектор выходов нейросети в целом. Нужно отметить, что все входные вектора в пределах одного кластера неразличимы (т.к.

им всем соответствует один и тот же победитель), поэтому выходы сети встречного распространения не изменятся, если при смене входных векторов не произойдет переход от одного кластера к другому. Таким образом, нейронная сеть встречного распространения дает кусочно-постоянное приближение к моделируемой функции.

Уклонение кусочно-постоянной поверхности от значений выходных векторов обучающей выборки, соответствующих входам в пределах заданного кластера принимается за оценку степени некорректности в области этого кластера11.

Рис. 4.5. Гладкое регуляризованное решение (кружки) сетью с обратным распространением ошибки для слабо некорректной задачи двузначного отображения, заданного дискретным набором примеров (точки).

На Рис. 4.5 и 4.6 приведено сравнения гладкого регуляризованного решения, определяемого многослойной сетью с обратным распространением, и решения, получаемого при помощи нейросети встречного распространения. Расчеты проведены для системы B для случая относительно слабой некорректности с малым значением величины скачка h.

Легко заметить совершенно различный характер регуляризации, даваемый этими моделями. Уклонение решения от точек обучающего множества в многослойной сети с гладкими переходными функциями охватывает более широкую область, чем собственно область некорректности ( 0.4

Источник: http://www.intuit.ru/studies/curriculums/20452/courses/141/lecture/20587?page=6

Модели классификации на основе использования нейронных сетей

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ УКРАИНЫ

ХАРЬКОВСКИЙ НАЦИОНАЛЬНЫЙ ЭКОНОМИЧЕСКИЙ УНИВЕРСИТЕТ

Кафедра экономической кибернетики

ОТЧЕТ ПО ЛАБОРАТОРНОЙ РАБОТЕ № 5

На тему « Модели классификации на основе использования нейронных сетей »

Выполнила: Студентка ф-та МЭО

5 к. 8 гр.

Лисицына И. И.

Проверил: к.т.н., доц. Милов А. В.

ХАРЬКОВ — 2010

Цель работ ы : построить модель классификации банков России и, используя модуль Statistica Neural Networks ППП Statistica, провести распознавание для выборочных данных.

Внесем зависимые и независимые переменные модели. В нашем случае зависимой переменной является переменная BAD (переменная, характеризующая устойчивость банка. 1-, если банк лопнул, 0 – банк устойчивый). Все остальные – независимые.

Далее определяем обучающий, тестирующий и верифицирующий набор.

После этого в тестовой выборке проверяем построенную сеть или сети, (если несколько). Если сеть прошла проверку, ее можно использовать для последующего анализа данных, делать прогноз и проводить классификацию.

Мастер решения задач делит всю выборку на три части: тестовую (красный цвет), контрольную или верифицирующую (синий), обучающую (чёрный цвет).

Из рисунка выше заметно, что значения кое-где стали серого цвета. Это значит, что в группу значимых эти переменные не вошли.

Обратите внимание

Результаты построения модели представлены на рис. 1. Оценка качества классификации (0,9444) показывает, что коэффициент корреляции стремится к единице, что говорит о том, что качество модели высокое.

Рис 1. Окно сообщений

Получили следующую нейронную сеть (рис. 2)

Рис 2. Архитектура сети

Исходя полученной архитектуры сети можно сказать, что количество входов совпадает с количеством значимых переменных, т.е. оно равно 15.

Эти переменные следующие:

· AGE (возраст банка в годах);

· ARREAR (средства на карточных счетах);

· ASSETS (чистые активы банка);

· BANK (привлеченные средства других банков);

· CARITAL (капитал);

· CURRENCY (валютные резервы);

· EQUITY (средства, влож. в недвижимость);

· GOVLIAB (об-ва перед государством);

· LIQUID (ликвидные активы);

· OVERNIGH (об-ва до востребования);

· PERF (рисковые активы);

· PROTECT (защита капитала);

· RETAIL (средства частных лиц);

· TOTLIAB (суммарные об-ва);

· USTAV (уставной капитал).

Примечательно, что в ходе построения модели были исключены как незначимые такие переменные, как PROFIT (прибыль/убыток), CITY (город), и расчетные переменные PROT_CAP, EQ_PERF, OV_LIQ).

На данном рисунке представлены результаты расчетов в ходе построения сети.

В столбце Type указывается тип сетей: Linean – линейный, MLP – многослойный персептрон.

Столбец Error показывает ошибку сети, которая рассчитывается для всех контрольных наблюдений. Чем меньше показатель ошибки, тем надежнее качество сети.

Столбец Inputs отображает число входящих сменных, используемых нейронной сетью.

Hidden указывает число скрытых элементов сети.

Performance указывается качество сети, которое определяется по контрольному произведению.

Для нашей задачи классификации качество – это доля правильно классифицированных наблюдений.

Далее, открываем окно Run One off Case , где рассмотрим возможности работы со структурой.

В данном окне отображаются 2 таблицы.

Важно

В ячейки первой вводим различные значения коэффициентов банка. При этом, в другой таблице при нажатии кнопки Run появится результат. Его значение приближено к номеру класса банка.

В нашем случае мы получили значение 0,1965409. Оно близко к 0. Следовательно, банк с прогнозируемыми значениями относится к классу 0, т.е. является устойчивым.

Ниже представлены общие данные проведенного анализа.

Источник: http://MirZnanii.com/a/309737/modeli-klassifikatsii-na-osnove-ispolzovaniya-neyronnykh-setey

Ссылка на основную публикацию
Adblock
detector