История возникновения нейронных сетей

История происхождения нейронных сетей

За последние 10 лет, благодаря методу так называемого глубокого обучения, мы получили самые лучшие системы искусственного интеллекта — например, распознаватели речи на смартфонах или последний автоматический переводчик Google.

Глубокое обучение, по сути, стало новым течением в уже известных нейронных сетях, которые входили в моду и выходили на протяжении более 70 лет. Впервые нейронные сети предложили Уоррен Маккалоу и Уолтер Питтс в 1994 году, два исследователя Чикагского университета.

В 1952 году они перешли работать в Массачусетский технологический институт, чтобы заложить основу для первой кафедры когнитологии.

Обратите внимание

Нейронные сети были одним из основных направлений исследований как в нейробиологии, так и информатике до 1969 года, когда, если верить легендам, их прикончили математики Массачусетского технологического института Марвин Мински и Сеймур Паперт, которые через год стали соруководителями новой лаборатории искусственного интеллекта MIT.

Возрождение этот метод пережил в 1980-х, слегка ушел в тень в первом десятилетии нового века и с фанфарами вернулся во втором, на гребне невероятного развития графических чипов и их обрабатывающей мощности.«Есть мнение, что идеи в науке — это как эпидемии вирусов», говорит Томазо Поджио, профессор когнитологии и наук о мозге в MIT.

«Существует, по всей видимости, пять или шесть основных штаммов вирусов гриппа, и один из них возвращается с завидной периодичностью в 25 лет. Люди заражаются, приобретают иммунитет и не болеют следующие 25 лет. Затем появляется новое поколение, готовое к тому, чтобы заразиться тем же штаммом вируса. В науке же люди влюбляются в идею, она всех сводит с ума, затем ее забивают до смерти и приобретают иммунитет к ней — устают от нее. У идей должна быть подобная периодичность».

Весомые вопросы

Нейронные сети представляют собой способ машинного обучения, когда компьютер учится выполнять некоторые задачи, анализируя тренировочные примеры. Как правило, эти примеры вручную помечаются заранее.

Система распознавания объектов, например, может впитать тысячи меченых изображений автомобилей, домов, кофейных чашек и так далее, и затем сможет находить визуальные образы в этих изображениях, которые последовательно коррелируют с определенными метками.

Нейронную сеть часто сравнивают с человеческим мозгом, в котором тоже есть такие сети, состоящие из тысяч или миллионов простых обрабатывающих узлов, которые тесно связаны между собой. Большинство современных нейронных сетей организованы в слои узлов, и данные проходят через них только в одном направлении.

Отдельный узел может быть связан с несколькими узлами в слое под ним, из которого он получает данные, и несколькими узлами в слое выше, в которые он данные передает.Каждой из этих входящих связей узел присваивает номер — «вес». Когда сеть активна, узел получает разные наборы данных — разные числа — по каждому из этих соединений и умножает на соответствующий вес.

Затем он суммирует получившиеся результаты, образуя единое число. Если это число ниже порогового значения, узел не передает данные в следующий слой. Если же число превосходит пороговое значение, узел «активируется», посылая число — сумму взвешенных входных данных — на все исходящие соединения.

Когда нейронная сеть тренируется, все ее веса и пороговые значения изначально устанавливаются в случайном порядке. Тренировочные данные подаются в нижний слой — входной — и проходят через последующие слои, умножаясь и суммируясь сложным образом, пока, наконец, не прибудут, уже преобразованные, в выходной слой. Во время обучения веса и пороговые значения постоянно подстраиваются, пока тренировочные данные с одинаковыми метками не станут давать сходные выводы.

Разум и машины

Важно

Нейронные сети, описанные Маккалоу и Питтсом в 1944 году, имели и пороговые значения, и веса, но не были организованы послойно, а ученые не задавали никакого конкретного механизма обучения. Но Маккалоу и Питтс показали, что нейронная сеть могла бы, в принципе, рассчитать любую функцию, как любой цифровой компьютер.

Результат был больше из области нейробиологии, чем информатики: нужно было предположить, что человеческий мозг можно рассматривать как вычислительное устройство.Нейронные сети продолжают оставаться ценным инструментом для нейробиологических исследований.

Например, отдельные слои сети или правила настройки весов и пороговых значений воспроизвели наблюдаемые особенности человеческой нейроанатомии и когнитивных функций, а значит, коснулись того, как мозг обрабатывает информацию.

Первая обучаемая нейронная сеть, «Перцептрон» (или «Персептрон»), была продемонстрирована психологом Корнеллского университета Франком Розенблаттом в 1957 году. Дизайн «Перцептрона» был похож на современную нейронную сеть, за исключением того, что у него был один слой с регулируемыми весами и порогами, зажатый между входным и выходным слоями.

«Перцептроны» активно исследовались в психологии и информатике до 1959 года, когда Мински и Паперт опубликовали книгу под названием «Перцептроны», которая показала, что произведение вполне обычных вычислений на персептронах было непрактичным с точки зрения временных затрат.

«Конечно, все ограничения как бы исчезают, если сделать машины чуть более сложными», например, в два слоя», говорит Поджио. Но в то время книга оказала сдерживающий эффект на исследования нейронных сетей.«Эти вещи стоит рассматривать в историческом контексте», говорит Поджио. «Доказательство строилось для программирования на таких языках, как Lisp.

Незадолго до этого люди спокойно использовали аналоговые компьютеры. Было не совсем ясно на тот момент, к чему вообще приведет программирование. Думаю, они слегка переборщили, но, как и всегда, нельзя делить все на черное и белое. Если рассматривать это как состязание между аналоговым вычислением и цифровым вычислением, тогда они боролись за то, что было нужно».

Периодичность

К 1980-м годам, однако, ученые разработали алгоритмы для модификации весов нейронных сетей и пороговых значений, которые были достаточно эффективны для сетей с больше чем одним слоем, устранив много ограничений, определенных Мински и Папертом. Эта область пережила Ренессанс.

Но с разумной точки зрения в нейронных сетях чего-то недоставало.

Достаточно длительная тренировка могла привести к пересмотру настроек сети до тех пор, что она начнет классифицировать данные полезным образом, но что эти настройки означают? На какие особенности изображения смотрит распознаватель объектов и как он собирает их по частям, чтобы сформировать визуальные сигнатуры машин, домов и чашек кофе? Изучение весов отдельных соединений не даст ответа на этот вопрос.В последние годы компьютерные ученые начали придумывать хитроумные методы для определения аналитических стратегий, принятых нейронными сетями. Но в 1980-х годах стратегии этих сетей были непонятными. Поэтому на рубеже веков нейронные сети были вытеснены векторными машинами, альтернативным подходом к машинному обучению, основанном на чистой и элегантной математике.Недавний всплеск интереса к нейронным сетям — революция глубокого обучения — обязан индустрии компьютерных игр. Сложная графическая составляющая и быстрый темп современных видеоигр требует аппаратного обеспечения, которое сможет угнаться за тенденцией, в результате чего появился GPU (графический процессор) с тысячами относительно простых обрабатывающих ядер на одном чипе. Очень скоро ученые поняли, что архитектура графического процессора прекрасно подходит для нейронных сетей.Современные графические процессоры позволили выстроить сети 1960-х годов и двух- и трехслойные сети 1980-х в букеты из 10-, 15- и даже 50-слойные сети сегодняшнего дня. Вот за что отвечает слово «глубокое» в «глубоком обучении». К глубине сети. В настоящее время глубокое обучение отвечает за наиболее эффективные системы практически во всех областях исследований искусственного интеллекта.

Под капюшоном

Непрозрачность сетей все еще беспокоит теоретиков, но и на этом фронте есть подвижки. Поджио руководит исследовательской программой на тему теоретических основ интеллекта. Не так давно Поджио и его коллеги выпустили теоретическое исследование нейронных сетей в трех частях.

Первая часть, которая была опубликована в прошлом месяце в International Journal of Automation and Computing, адресовано диапазону вычислений, которые могут проводить сети глубокого обучения, и тому, когда глубокие сети имеют преимущества над неглубокими.

Совет

Части два и три, которые были выпущены в виде докладов, адресованы проблемам глобальной оптимизации, то есть гарантирования, что сеть будет находить настройки, которые лучше всего подходят к ее обучающим данным, а также случаев, когда сеть настолько хорошо понимает специфику обучающих ее данных, что не может обобщать другие проявления тех же категорий.

Впереди еще много теоретических вопросов, ответы на которые придется дать. Но есть надежда, что нейронные сети смогут, наконец, разорвать цикл поколений, которые ввергают их то в жар, то в холод.

Источник: http://yenot.net/2017/04/25/istoriya-proisxozhdeniya-nejronnyx-setej/

Нейронные сети: история развития теории

Влияние тональности писем CEO на финансовые показатели компании

Федорова Е. А., Осетров Р. А., Демин И. С. и др. Российский журнал менеджмента. 2017. Т. 15. № 4. С. 441-462.

В статье рассматривается содержание обращений генеральных директоров компаний к акционерам (CEO letter) как инструмент воздействия на ожидания акционеров и потенциальных инвесторов.

Цель исследования — эмпирический анализ взаимосвязи текстовых характеристик CEO letters и финансовых показателей деятельности компании.

Предполагается, что тональность обращений менеджеров, их длина и сложность оказывают влияние на формирование финансовых показателей компании, наличие ошибок в прогнозах финансовых показателей и среднегодовую стоимость акции компании.

Для проверки выдвинутых гипотез была проанализирована выборка из 102 российских компаний с применением методологии «мешок слов» (использование специализированных словарей), а также построением нейросетевых моделей (метод перекрестных проверок). По результатам исследования была подтверждена гипотеза о связи текстовых характеристик CEO letter и стоимости акций компании

Добавлено: 23 октября 2018

Reservoir computing Echo State Network classifier training

Крылов В. В., Крылов С. В. Journal of Physics: Conference Series. 2018. Т. Bigdata Conference.

В этой публикации проведен анализ ESN классификаторов. Найдена причина низкой точности классификации — несбалансированные классы. Предложен метод для решения этой проблемы. Матрицы ошибок до и после применения метода на задаче обнаружения мошенничества показывают, что метод отлично работает.

Добавлено: 15 ноября 2018

Нейросетевые технологии анализа финансовых данных

Коваленко А. П., Звездина Н. В. М.: МЭСИ, 2011.

Обратите внимание

Материал данного учебного пособия предназначен для студентов, специализирующихся по статистике и математическим методам в экономике.

Работа содержит сведения о назначении, разработке, внедрении и сопровождении систем информационного и аналитического обеспечения принятия решений, основанных на нейронных сетях.

С учетом опыта деятельности ведущих консалтинговых фирм у обучаемых развиваются навыки внедрения и практического применении подобных систем.

С помощью этого учебного пособия студенты на конкретных примерах смогут понять преимущества и ограничения нейросетевых технологий, провести их сравнительный анализ с другими технологиями Data Mining и классическими методами многомерного статистического анализа, которые, как предполагается, они уже изучили в курсе прикладной статистики и эконометрики.

Добавлено: 19 октября 2012

Обзор основных достижений квантовой информатики

Зыков С. В., Андрианова Е., Жуков Д. и др. Российский технологический журнал. 2018. Т. 7. № 1. С. 4-45.

Обоснована актуальность научных исследований в области квантовой информатики. Выделены перспективные направления исследований. По иностранным и российским публикациям и материалам сделан обзор основных научных результатов, характеризующих современное состояние квантовой информатики.

Сделаны выводы, что наиболее интенсивно инвестируются знания и средства в разработку квантового компьютера, его архитектуры и элементов, квантовых алгоритмов в области криптографии и искусственного квантового интеллекта.

Читайте также:  Робот-акула отслеживает приливы и отливы

Также активно идут разработки в области моделирования сложных естественных и искусственных явлений и процессов, применения квантовых вычислений в когнитивных и социальных науках

Добавлено: 31 января 2019

Porshnev A., Redkin I. E., Shevchenko A. V. In bk.: 2013 IEEE 13th International Conference on Data Mining Workshops. Los Alamitos: IEEE Computer Society, 2013. Ch. 9.3. P. 440-444.

Важно

Развитие лингвистических технологий и распространение социальных медиа предоставляют мощные возможности для изучения настроений и психологических состояний пользователей интернета. В статье мы обсуждаем возможность исользования данных  об эмоциональных состояниях пользователей Твиттера для повышения точности прогноза цен фондового рынка.

В статье рассматривается применение словарного подхода для определения тональности сообщения по восьми базовым эмоциям и попытка использовать результаты аналаза более 755 миллиона сообщений в Твиттер для повышения точности прогноза фондового рынка.

Обсуждается возможность использования метода опорных векторов и нейронных сетей для предсказания индексов DJIA и S&P500.

Добавлено: 20 февраля 2014

Увайсов С. У., Журавлёва Ю. Н., Палий С. П. В кн.: . С. 532-534.

Рассмотрена задача построения прогноза доходности финансовых инструментов с использованием модели нейронной сети.

Для построения моделей используется предположение о влиянии рыночных факторов, имеющих различную природу. Нейронная модель построена в виде многослойной сети и обучена с помощью процедуры обратного распространения.

Построенные прогнозы нейронной сети для высоколиквидных акций подтвердили высокую точность модели.

Добавлено: 20 декабря 2012

Васин В. А., Ивашов Е. Н., Пак М. М. и др. Кн. 5: Информационная технология в проектировании нейронных сетей и процессов распознавания образов в кластерных системах обработки информации. М.: Издательство ГНУ НИИ ПМТ, 2011.

Рассмотрены основные вопросы создания системы поддержки принятия рациональных решений при проектировании нейронных сетей и процессов распознавания образов в кластерных системах обработки информации, имеющей существенное значение для автоматизации проектирования устройств и систем микро- и наноэлектро-ники, электронного машино- и приборостроения. Предложенный подход позволяет принимать научно обоснованные, технически целесообразные, технологически и экономически выгодные решения с целью последующего совершенствования известных и создания новых нейронных сетей и систем распознавания образов.

Книга предназначена для инженерно-технических и научных работников, занимающихся информационными технологиями в проектировании объектов электронного машино- и приборостроения, в том числе проектированием нейронных сетей на основе твёрдотельных объектов и процессов распознавания образов в кластерных системах обработки информации и может быть рекомендована аспирантам вузов и студентам, обучающимся по специальности 210107 – «Электронное машиностроение» и направлению 210100 – «Электроника и наноэлектроника».

Добавлено: 12 апреля 2012

Многомерное хранение журналов событий для извлечения и анализа процессов

Брейман А. Д., Богословский Е. М. Прикаспийский журнал: управление и высокие технологии. 2014. № 2 (26). С. 127-137.

Журналы событий, сохраняемые современными информационными и техническими системами, как правило, содержат достаточно данных для автоматизированного восстановления моделей соответствующих процессов.

Разработано множество алгоритмов для построения моделей процессов, проверки соответствия фактического поведения системы модельному, сравнения моделей процессов, и т.д. Однако возможность быстрого анализа выбираемых пользователями частей журнала до сих пор не нашла полноценной реализации.

Совет

В статье описан метод многомерного хранения журналов событий для извлечения и анализа процессов, основанный на подходе ROLAP. Результатом анализа журнала является направленный невзвешенный граф, представляющий собою сумму возможных последовательностей событий, упорядоченных по вероятности их возникновения с учетом заданных условий.

Разработанный инструмент позволяет выполнять совместный анализ моделей подпроцессов, восстановленных из частей журнала путем задания критериев отбора событий и требуемого уровня детализации модели.

Добавлено: 27 февраля 2014

Управление жизненным циклом информационных систем

Зараменских Е. П. Новосибирск: Издательство НГТУ, 2014.

В монографии приведены результаты исследования, посвященного управлению жизненным циклом информационных систем, а также анализу стандартов, сводов знаний и корпоративных методик, использующихся в ИТ-проектах. Приведены характеристики фаз ЖЦИС из практики управления ИТ-проектами, а также практические рекомендации по управлению такими проектами.

Книга предназначена для научных работников, сотрудников научно- технических предприятий и работников государственных органов управлений, а также студентов, аспирантов, слушателей бизнес-школ повышения квалификации и переподготовки кадров.

Книга содержит практические рекомендации для руководителей ИТ-проектов, а также сотрудников компаний, занимающихся проектной деятельностью в области ИТ-проектов.

Добавлено: 5 августа 2014

Общий обзор китайского рынка облигаций

Афонина С. Г., Ван Ц., Лапшин В. А. Финансовая инженерия, риск-менеджмент и актуарная наука. WP16. Высшая школа экономики, 2013. № WP16/2013/01.

  Работа посвящена общему описанию китайского рынка облигаций. В ней  содержится обзор западных исследований и история развития китайского рынка облигаций, а также приводится описание структуры, инфраструктуры, регулирования, участников и торгуемых инструментов сегодняшнего  рынка облигаций Китая.

Добавлено: 17 апреля 2013

Sablin I., Kuchinskiy A., Korobeinikov A. et al. Heidelberg: HeiDATA: Heidelberg Research Data Repository, University of Heidelberg, 2015.

Источник: https://publications.hse.ru/books/190627415

Формирование нейронной сети



В статье вопросы истории развития нейроно-сетевых формирование (создание) сети.

Ключевые слова: история, искусственный интеллект, философия, логика, нейронные сети, основные модели нейронных сетей, нейропакет

Современные компьютеры называемой схеме реализующей быстрые большого числа операций. Вероятно, подход отчасти был структурой математики половины XX в., когда разделы математики арифметику, а последняя — на логику. Понятно, что основу было что-то иное, а не алгебра, могли бы существенно иные

В качестве альтернативы подходу Дж. обсуждалась ориентация на принципов работы нейронных сетей. годы, что и первый была создана нейроподобная система — песептрон Розенблатта. время оба направления — Неймана и Ф.

Розенблатта — независимо, затем тронное направление кризис и возродилось уже в годы под именем сетей, при этом на этапе бинарно-логический и принципы стали Интересно, что кризис направления во многом был техническими сложностями и не приложений, а содержательным рассмотрением, проведенным М. С.

Обратите внимание

Пейпертом, — они показали, что не персептрона, способного определять топологические образа, такие, как этого оказалось резкого падения энтузиазма.

Рассмотрим эволюцию разделов тех наук, внесли свой появление искусственного Исторически впервые связанные с процессами начали исследовать в

Принципы, руководящие частью мышления, определены Аристотелем (384-322 годы до н. э.). Он неформализованную систему предназначенную для проведения рассуждений [1].

Гораздо позднее Луллий (умер в году) выдвинул полезные рассуждения фактически проводить с механического устройства. Гоббс (1588–1679) аналогию между рассуждениями и числовым отмечая, что «в наших мыслях мы поневоле вычитаем» [3].

Рене Декарт впервые опубликовал обсуждения различий разумом и материей, а представляющиеся при этом

Философия сформулировала важные положения, рациональной частью формализации требовались фундаментальные исследования в науке — математике. На нескольких столетий эти проводились параллельно, обогащая обе науки. Для интеллекта наибольшее оказало развитие разделов математики как вычисления и вероятность.

Хотя идеи логики зародились еще у древней Греции [5], её основоположником принято Джорджа Буля (1815- который детально логику высказываний, честь него алгеброй [2].

Кроме теории вычислений, величине вклад искусственный интеллект разработке теории

Концепция вероятности впервые сформулирована математиком Джероламо (1501–1576), описал ее в терминах событий с несколькими возникающих в азартных Пьер Ферма (1601-1665), Блез (1623–1662), Джеймс (1654–1705), Пьер (1749–1827) и ученые внесли вклад в эту теорию и новые статистические Томас Байес (1702-1761) предложил обновления вероятностей с новых фактов.

Значительный произошел в 20 веке, он

  1. достижениями в нейрофизиологии, нейроанатомии и
  2. интеграцией различных наук в область науки — интеллект.

В шестидесятые прошлого столетия исследователей в областях нейроанатомии установила, что сотни миллиардов соединенных друг с [6].

Понимание нейрона и его связей исследователям создать модели, которые, в очередь, явились основанием для создания нейронных сетей. такие сети были реализованы в электронных схем.

Позднее, в развитием вычислительной искусственные нейронные стали реализовываться в программ. Поскольку в интеллекте систематизируются и интеллектуальные задачи сферы интеллектуальной человека, искусственный становится поистине научной областью. образом сделаем такое нейронные

Важно

Нейронные сети — математические прототипы (модели), а также их аппаратные реализации, организационному принципу и функционированию биологических нейронных сетей нервных живого организма [5].

В современном нейронных сетей выделить несколько

− 1 этап — области нейроинтеллекта:

− 2 этап —

Причины:

  1. Сети не решать задачи, весьма сходные с которые они успешно
  2. Однослойные теоретически неспособны многие простые числе реализовать «исключающее ИЛИ».
  3. В 1969 исследователь с мировым Минский публикует доказательство ограниченности соответственно, и его неспособность достаточно широкий задач.

Все это вместе приводит к снижению многих исследователей к сетям.

− 3 этап —

Благодаря исследованию ученых, как Кохонен, Андерсон, сформировался фундамент, на основе стало возможно мощных многослойных Однако проблема обучении.

В 1974 г. был разработан П. алгоритм распространения ошибки для многослойных перцептронов, вновь в 1982 г. Д. 1986 году Румельхартом, Дж. Е. Хинтоном и Вильямсом и независимо и С. И. Барцевым и Охониным (Красноярская [4].

Этот систематический обучения многослойных преодолевает ограничения, Минским. Дальнейшие показали, что этот является универсальным, многие успешные результаты. Проблема очень долгом обучения, а в отдельных сеть может обучиться. Последнее двум причинам: сети и попадание в минимум.

Следующей проблемой нейронных сетей проблема стабильности-пластичности, которой в том, что новому образу изменяет результаты обучения. Сети и алгоритмы APT пластичность, необходимую для новых образов, в то же предотвращая изменение запомненных образов.

годы — проблема локальный минимум решена, к примеру, стохастических методов : Больцмановское обучение/ Коши.

В 2007 году Джеффри Хинтон создает в университете Торонто алгоритмы глубокого многослойных нейронных

Успех вызван Хинтон при обучении слоев сети ограниченную машину (RBM — Restricted Machine). На сегодня достаточно много моделей нейронных имеющих свои

Совет

В современном многие проблемы проблемам управления часто и неструктурированными системами. Поэтому перспективы развития сетей можно, определив их место в данной проблемы [4, 7, 5].

Существующие в настоящее системы управления классифицировать следующим

  1. Классическая управления, построенная на теории автоматического различными математическими обрабатывания данных.
  2. Управленческая система, построенная на основе логики и экспертных
  3. Системы основе генетических искусственных нейронных

Для реализации в действительности различных практических задач разные модели сетей. Модель сети определяется нейронов и структурой сети.

Имитирующие программы на основе связей реализуют группы нейронных

  1. Многослойные нейронные сети. В таких нейроны делятся на группы с входным сигналом — Различают несколько связей между слоями:

− последовательные;

− прямые;

− обратные.

Связи между одного слоя латеральными (боковыми).

  1. Полносвязные нейронные сети. Любой отдельно взятый нейрон в связных сетях всеми остальными. На такте функционирования входы нейронов внешний входной выходы нейронов такта [5].
  2. Сети нейронов с связями.Нейроны в таких располагаются в узлах гексагональной решетки. нейрон связан с числом своих соседей, например, 4, 6 или 8.
  3. Неструктурированные нейронные сети. К данной принадлежат все модели сетей, которые отнести ни к одной из групп.

Модели реализуемых нейронов чрезвычайно простейшем случае первого порядка взвешенное суммирование входного вектора и преобразование результата моделях нейронов различные варианты преобразований. Наиболее используются сигмоидальные, пороговые функции сети все нейроны иметь как одинаковые сеть), так и различные активизации (гетерогенная сеть) [6].

Для построения сети, ориентированной на конкретной задачи, процедуры формирования сетей, которые ввод указанных моделей нейронов и устройств нейронных сетей.

Читайте также:  Искусственный интеллект поможет сэкономить время и деньги на разработку лекарств

Группа нейронных сетей быть использована для лишь некоторого класса практических Так, многослойные и связные нейронные сигмоидальными передаточными используются для распознавания адаптивного управления; сети с локальными обработки изображений и других частных решения задач алгебры используются сети с особыми функциями [7].

Лишь для небольшого моделей нейронных существует строгое обоснование возможности их решения конкретных задач. В наибольшей теоретически проработаны нейронные сети с передаточными функциями.

В большинстве предлагаются стандартные обучения нейронных ориентированные на конкретные

Как правило, в реализуется возможность различных типов различных размерностей выходных сигналов в решаемой задачи. В входных данных в выборке могут растровые изображения, чисел, распределения. входных данных — бинарные, биполярные числа, действительные числа из диапазона. Выходные сети — векторы действительных чисел.

Для решения задач часто обучающие выборки объема. Поэтому в нейропакетов предусмотрены облегчающие процесс использования обучающих Однако в настоящее отсутствует универсальная построения обучающих набор обучающих правило, формируется каждой решаемой

В качестве ошибки, численно сходство всех выходных сигналов соответствующих требуемых сигналов обучающей большинстве случаев среднеквадратичное отклонение. ряде нейронных имитаторов либо возможность либо задания функции ошибки.

Осуществляемые в нейропакетах обучения нейронных можно подразделить на три основные

  1. градиентные второго порядков);
  2. стохастические;

Первая группа алгоритмов основана на вычислении частных функции ошибки по сети. В стохастических поиск минимума ошибки ведется образом. Генетические комбинируют свойства градиентных алгоритмов: на аналога генетического реализуют перебор основе аналога отбора — градиентный

При обучении сетей, как правило, следующие критерии

− при достижении малого значения ошибки;

− в случае решения выборки обучения неизменности выходных сети).

В нейроимитаторах наличие специальных инициализации перед сети, т. е. присваивание сети некоторых независимых значений.

Обучение представляет, итерационную процедуру, реализации на персональных требует значительного Скорость сходимости обучения является самых важных программ для моделирования сетей.

Обратите внимание

Для проверки обучения построенной сети в нейроимитаторах специальные средства ее сеть устанавливается сигнал, несовпадающий, как правило, ни с одним из сигналов примеров выборки. Далее получившийся выходной сети.

Тестирование обученной может проводиться одиночных входных либо на тестовой которая имеет аналогичную обучающей также состоит из пар ). Тестовая строится индивидуально для решаемой задачи.

Рассмотрим один из предназначенных для реализации на компьютерах в различных средах, по степени их также с точки простоты использования и представления информации.

NeuroSolutions предназначен для большого набора сетей.

Основное его состоит в гибкости: традиционных нейросетевых (полносвязных и многослойных НС, карт Кохонена) включает в себя редактор визуального нейронных сетей, создавать любые структуры и алгоритмы их также вводить критерии обучения. имеет хорошие визуализации структур, результатов обучения и нейронных сетей. Это данный нейропакет на CAD-систем (систем проектирования) проектирования и

Пакет предназначен для Windows. Помимо взаимодействия с операционной (OLE), нейропакет генератором исходного позволяет использовать модули при создании и нейронной сети.

поддерживает программы, языке C++ для компиляторов Visual C++ и Borland также в виде Таким образом, является гибкой системой, которую необходимости дополнять и Пакет содержит макроязык, позволяющий практически любую конкретную задачу.

В пакете большой перечень включая взвешенный (нейрон первого нейроны высших порядков, а непрерывный интегрирующий Функция активации может быть пяти стандартных функция знака и три сигмоидальных) функций, а предопределена пользователем. между нейронами произвольно на этапе могут быть процессе работы. все, типы прямые, перекрестные и этом хорошо схема организации можно задать векторную связь с весовой матрицей, а не скалярных связей с коэффициентами.

Нейропакет NeuroSolutions мощные средства для обучающих выборок. конверторы данных графические изображения в BMP, текстовые числовыми или символьными также функции аргумента (например, заданные в аналитическом виде выборки Нейропакет позволяет любые внешние данных.

Важно

На этапе может быть широкий круг обучения, как дискретных, так и Помимо этого вводить собственные Можно использовать как алгоритм обучения back-propagation или дельта-правила, так и собственный.

Система процесса обучения проводить анализ весов непосредственно в обучения и вносить Может быть шумовая характеристика как при обучении нейронной Можно задать белый шум, шум природы, а также заданный тип шума белый мультипликативный).

содержит генератор стандартных нейросетевых архитектур (Neural Wizard, с которого быстро архитектура, подбираете» выборка, критерии и обучения нейронной

Литература:

1. В. В. Круглов, М. И. Дли, Нечёткая логика и нейронные сети. 2001.

2. Вестник Волжского имени В. Н. (23) 2015.

3. Г. Э. Яхъяева. Основы нейронных сетей.Интернет-университет информационных изд-во «Открытые системы».

4. Д. А. Тархов. Нейронные Модели и алгоритмы. Радиотехника, 2005.

5. Лохин, В.М. системы управления: определения, принципы В. М. Лохин, Захаров // Мехатроника. — 2001. – №2. – С. 27–35.

6. Цой Ю. Р. подход к настройке и искусственных нейронных Ю. Р. Цой, В. Г. Спицын // Нейроинформатика. — 2006. – Т. 1. – №1. – С. 34-61.

7. Шульговский В. В. Основы Учебное пособие для вузов / В.В.Шульговский. – М.: Аспект Пресс, 2000. – 277 с.

Основные термины (генерируются автоматически): сеть, нейрон, обучение, модель сетей, RBM, OLE, BMP, APT, искусственный интеллект, результат обучения.

Источник: https://moluch.ru/archive/121/33540/

Введение в нейрокомпьютерные системы

Идеи создания машин, использующих свойства нейронов, возникли одновременно с разработкой первых компьютеров общего назначения. Фактически, сопоставления вычислений и работы мозга были на переднем плане во многих ранних работах. Например, Джон фон Нейман в первом отчете по машине EDVAC указал на аналогии между используемыми в машине обрабатывающими элементами и нейронами.

В 1942 году Норберт Винер и его коллеги сформулировали идеи кибернетики, которую определили как науку об управлении и связях в организмах животных и в машинах. Главной была идея рассмотрения биологических процессов с инженерной и математической точек зрения. Наиболее важной считалась идея обратной связи.

В те же годы, когда Винер сформулировал принципы кибернетики, Маккаллок и Питтс опубликовали формальное описание искусственных нейронных сетей. Главная их идея заключалась в том, что любая связь типа «вход-выход» может быть реализована искусственной (формальной) нейронной сетью.

Одной из ключевых черт нейронных сетей является то, что они способны обучаться. В 1949 году Дональд Хебб описал механизм работы мозга животного.

Совет

Согласно этому механизму, синаптические силы (веса) изменяются в соответствии с уровнями активности предсинаптического и постсинаптического нейронов.

На языке искусственных нейронов это означает, что вес входа должен увеличиваться, чтобы отражать корреляцию между входом и выходом нейрона.

Следующей вехой было изобретение персептрона Розенблаттом в 1957 году. Наиболее важным результатом его работы является доказательство того, что простая процедура обучения сходится к решению поставленной задачи.

В 1969 году интерес к нейронным сетям снизился в связи с публикацией Минского и Пайперта, указавших на важный класс задач, которые однослойный персептрон решать не может. При этом задача обучения многослойного персептрона в то время еще не была решена: было неясно, какой вклад в ошибку многослойной сети вносит каждый нейрон.

В 1982 году Джон Хопфилд показал, что высокосвязная сеть нейронов с обратными связями может быть описана как динамическая система, обладающая «энергией». При ассоциативном вызове сеть, стартующая в случайном состоянии, сходится к конечному устойчивому состоянию с минимальной энергией. Новый подход к описанию сетей с обратными связями оказался очень плодотворным.

Подобный прорыв произошел и в связи с многослойными сетями без обратных связей. Для обучения этих сетей был разработан алгоритм обратного распространения ошибки.

Нейронные сети являются нелинейными динамическими системами с коллективными свойствами. Для исследования таких сложных моделей нужна большая вычислительная мощность. Новый интерес к искусственным нейронным сетям обусловлен не только новым математическим подходом, но и существенным прогрессом вычислительной техники.

В модели МакКаллока-Питса нейроны имеют состояния 0,1 и пороговую логику перехода из состояния в состояние. Каждый нейрон в сети определяет взвешенную сумму состояний всех других нейронов и сравнивает ее с порогом, чтобы определить свое собственное состояние.

Обратите внимание

Розенблатт ввел в модель МакКаллока-Питса способность связей к модификации, что сделало ее обучаемой. Эта модель была названа персептроном.

Новый виток быстрого развития нейронных сетей связан с работами ряда авторов, в особенности с работами Хопфилда, а также с успехами технологии развития СБИС.

Нейрокомпьютеры — устройства, основными компонентами которых являются нейронные сети, применяются в ряде областей:

  • для решения задач искусственного интеллекта — распознавания образов, обработки изображений, чтения рукописных символов и т.п.;
  • в системах управления и технического контроля;
  • для создания спецвычислителей параллельного действия;
  • как инструмент изучения человеческого мозга.

Нейронные сети различаются между собой меньше всего моделями нейрона, а в основном топологией связей и правилами определения весов (правилами обучения). По структуре сети делятся на однослойные и многослойные.

К однослойным относятся модель Хопфилда и так называемая машина Больцмана. Многослойная сеть имеет входной, выходной и скрытые слои.

На входной слой подается информация, с выходного снимается результат обработки, а скрытые слои участвуют в обработке информации.

В отличие от традиционных средств обработки информации, программирование нейронных сетей осуществляется неявно в процессе обучения.

Обучение строится следующим образом: существует так называемый задачник, то есть набор примеров с заданными ответами, эти примеры предъявляются системе, нейроны получают условие примера и преобразуют их.

Далее нейроны несколько раз обмениваются преобразованными сигналами и, наконец, выдают ответ в виде набора сигналов. Отклонение от правильного ответа штрафуется. Обучение заключается в минимизации штрафа как неявной функции связей.

В традиционных вычислительных системах:

  1. Необходимо точное описание алгоритма (ориентация на обработку символов).
  2. Данные должны быть точными. Аппаратура легко повреждается. Разрушение основных элементов памяти делает машину неисправной.
  3. Каждый обрабатываемый объект явно указан в памяти.
  4. Трудно построить хороший алгоритм восприятия образов и ассоциативной выборки (неясно, например, как мы распознаем рукописные символы, конкретного написания которых раньше не видели).

В нейрокомпьютере (нейронной сети):

  1. Способ обработки больше похож на обработку сигналов, вместо программы — набор весов нейронов, вместо программирования — обучение нейронов (настройка весов).
  2. Нейронная сеть устойчива к шумам, искажения данных не влияют существенно на результат (в том числе выход из строя отдельных нейронов).
  3. Обрабатываемые объекты представлены весами нейронов неявно. В результате сеть может работать с объектами, которые ей ранее не встречались, и обобщать результаты обучения.
  4. Сети хороши для задач восприятия и ассоциативной выборки.

Источник: http://www.intuit.ru/studies/courses/61/61/lecture/20434?page=3

История развития нейронных сетей

УДК: 004.896

ББК: 32.973.2

Горбачевская Е.Н., Краснов С.С.

ИСТОРИЯ РАЗВИТИЯ НЕЙРОННЫХ СЕТЕЙ

Gorbachevskay E.N., Krasnov S.S.

THE HISTORY OF THE DEVELOPMENT OF NEURAL NETWORKS

Ключевые слова: история, искусственный интеллект, философия, логика, нейронные сети, основные модели нейронных сетей.

Key words: history, artificial intellect, filosofya, logika, neural networks, basic models of neural networks.

Аннотация: в статье рассмотрены вопросы истории становления и развития нейроно-сетевых парадигм, начиная с философии Аристотеля и до наших дней.

Важно

Abstract: the article discusses the history and development of the neural network paradigms, starting with the philosophy of Aristotle to the present day.

Искусственный интеллект, составляющей которого являются нейронные сети, имеет долгую историю, сравнимую с историей всего человечества, поскольку людей всегда интересовал вопрос — как происходит процесс их мышления? Значимость этого вопроса определялась тем, что именно процесс мышления позволял понимать окружающий мир и управлять им.

Читайте также:  Искусственный интеллект научился определять умственную отсталость по фотографии

Рассмотрим эволюцию отдельных разделов тех наук, которые внесли свой вклад в появление искусственного интеллекта.

Исторически впервые вопросы, связанные с процессами мышления, начали исследовать в философии.

Основные вопросы, над которыми размышляли здесь древние философы, сводились к следующим:

— Могут ли использоваться формальные правила для вывода правильных заключений?

— Как такой идеальный объект, как мысль, рождается в таком физическом объекте, как мозг?

— Каково происхождение знаний?

Принципы, руководящие рациональной частью мышления, были сформулированы Аристотелем (384 — 322 годы до н.э.). Он разработал неформализованную систему силлогизмов, предназначенную для проведения правильных рассуждений [2].

Гораздо позднее Раймунд Луллий (умер в 1315 году) выдвинул идею, что полезные рассуждения можно фактически проводить с помощью механического устройства.

Томас Гоббс (1588−1679) проводил аналогию между нашими рассуждениями и числовым расчетам, отмечая, что «в наших неслышимых мыслях мы поневоле складываем и вычитаем» [2].

Совет

Рене Декарт (1596−1650) впервые опубликовал результаты обсуждения различий между разумом и материей, а также возникающие при этом проблемы.

Если предположить, что знаниями манипулирует физический разум, то возникает следующая проблема — установить источник знаний.

Такое научное направление, как эмпиризм, родоначальником которого был Фрэнсис Бекон (1561−1626), автор Нового Органона, можно охарактеризовать высказыванием Джона Локка (1632 — 1704): «В человеческом понимании нет ничего, что не проявлялось бы прежде всего в ощущениях».

Дэвид Юм (1711 — 1776) в своей книге A Treatise of Human Nature (Трактат о человеческой природе) предложил метод, известный теперь под названием принципа индукции.

Основываясь на работе Людвига Виттгенштейна (1889 — 1951) и Бертрана Рассела

(1872 — 1970), знаменитый Венский кружок, возглавляемый Рудольфом Карнапом (18 911 970), разработал доктрину логического позитивизма. Согласно этой доктрине, все знания могут быть охарактеризованы с помощью логических теорий, связанных в конечном итоге с констатирующими предложениями, которые соответствуют входным сенсорным данным [2].

В теории подтверждения Рудольфа Карнапа и Карла Хемпеля (1905 — 1997) предпринята попытка понять, как знания могут быть приобретены из опыта. В книге Карнапа The Logical Structure of the World определена явно заданная вычислительная процедура для извлечения знаний из результатов элементарных опытов. Это можно считать первой теорией мышления как вычислительного процесса [2].

Философия сформулировала наиболее важные положения, управляющие рациональной частью мышления, но для их формализации необходимы были фундаментальные исследования в другой науке — математике.

На протяжении нескольких столетий эти исследования проводились параллельно, взаимно обогащая обе науки.

Для искусственного интеллекта наибольшее влияние оказало развитие таких разделов математики как логика, вычисления и вероятность.

Основными направлениями исследований здесь являлись:

— формальные правила формирования правильных заключений-

— определение пределов вычислимости-

— проведение рассуждения с использованием недостоверной информации.

Хотя идеи формальной логики зародились еще у философов древней Греции [6], ее основоположником принято считать Джорджа Буля (1815 — 1864), который детально разработал логику высказываний, названную в честь него булевой алгеброй [3].

Обратите внимание

В 1879 году Готтлоб Фреге (1848 — 1925) расширил булеву логику, создав логику первого порядка, которая в настоящее время используется как наиболее фундаментальная система представления знаний.

Альфред Тарский (1902 — 1983) впервые ввел в научный обиход теорию ссылок, которая показывает, как связать логические объекты с объектами реального мира.

В 1931 году Гёдель показал, что действительно существуют реальные пределы вычислимости.

Алан Тьюринг (1912 — 1954) попытался точно охарактеризовать, какие функции способны быть вычисленными. Определение дано в тезисе Чёрча-Тьюринга, который указывает, что машина Тьюринга способна вычислить любую вычислимую функцию.

Кроме логики и теории вычислений, третий по величине вклад математиков в искусственный интеллект состоял в разработке теории вероятностей. Идея вероятности была впервые сформулирована итальянским математиком Джероламо Кардано (1501 -1576), который описал ее в терминах результатов событий с несколькими исходами, возникающих в азартных играх.

Пьер Ферма (1601 — 1665), Блез Паскаль (1623−1662), Джеймс Бернулли (1654−1705), Пьер Лаплас (1749 — 1827) и другие ученые внесли большой вклад в эту теорию и ввели новые статистические методы.

Томас Байес (1702 — 1761) предложил правило обновления вероятностей с учетом новых фактов. Правило Байеса и возникшее на его основе научное направление, называемое байесовским анализом, лежат в основе большинства современных подходов к проведению рассуждений с учетом неопределенности в системах искусственного интеллекта.

Достижения в области философии и математики способствовали созданию первых вычислительных устройств.

В 1500 году Леонардо да Винчи (1452 — 1519) спроектировал механический калькулятор.

Первая известная вычислительная машина была создана в 1623 году немецким ученым Вильгельмом Шиккардом (1592 — 1635).

В 1642 году Блез Паскаль (1623 — 1662) построил машину, названную им Паскалина.

Важно

Готтфрид Вильгельм Лейбниц (1646 — 1716) создал механическое устройство, предназначенное для выполнения операций над понятиями, а не над числами.

Несмотря на достаточно длительный период исследований природы мышления, практических результатов было достигнуто мало. Это во многом связано с тем, что методы научных исследований, позволившие получить значительные результаты в таких естествеенно научных областях, как астрономия, физика и химия, оказались не эффективными при изучении человека.

Значительный прорыв произошел в 20 веке, он связан с:

1) достижениями в области нейрофизиологии, нейроанатомии и психологии-

2) интеграцией достижений различных наук в новейшую область науки -искусственный интеллект.

В шестидесятые годы прошлого столетия группа исследователей в областях нейробиологи и нейроанатомии установила, что мозг — это сотни миллиардов нейронов соединенных друг с другом [15].

Понимание функционирования нейрона и его связей позволило исследователям создать математические модели, которые, в свою очередь, явились теоретическим основанием для создания искусственных нейронных сетей.

Первые искусственные нейронные сети были реализованнны в виде электронных схем. Позднее, в связи с развитием вычислительной техники искусственные нейронные сети стали реализовываться в виде программ.

Поскольку в искусственном интеллекте систематизируются и автоматизируются интеллектуальные задачи любой сферы интеллектуальной деятельности человека, искусственный интеллект становится поистине универсальной научной областью.

Для оценки эффективности интеллектуализации Аланом Тьюрингом был разработан специальный тест, основанный на том, что поведение объекта, обладающего искусственным интеллектом, в конечном итоге нельзя будет отличить от поведения человека.

Совет

Искусственные нейронные сети (ИНС) — математические модели, а также их программные или аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма. [13]

В современном развитии нейронных сетей можно выделить несколько этапов.

1 этап — прорыв в области нейроинтеллекта:

— 1943 г. — выходит статья У. Маккалока и У. Питтса о нервной активности, в которой они формулируют понятие нейронной сети и представляют модель нейронной сети на электрических схемах-

— 1948 г.- Норберт Винер публикует работу о кибернетике-

— 1949 г. — Д. Хебб предлагает первый алгоритм обучения-

— 1958 г. — Джон фон Нейман предложил имитацию простых функций нейронов с использованием вакуумных трубок-

— в 1958 г. Ф. Розенблатт изобретает однослойный перцептрон.

На тот момент казалось, что для создания аналога человеческого мозга необходимо лишь спроектировать очень большую нейронную сеть.

2 этап — пессимизм.

Причины:

1. Сети не могли решать задачи, внешне весьма сходные с теми, которые они успешно решали.

2. Однослойные сети теоретически неспособны решить многие простые задачи, в том числе реализовать функцию «исключающее ИЛИ» ( gugn.ru, 17 ).

3. В 1969 году исследователь с мировым именем М. Минский публикует формальное доказательство ограниченности перцептрона, а соответственно, и его неспособность решать достаточно широкий круг задач.

Все это вместе взятое приводит к снижению интереса многих исследователей к нейронным сетям.

3 этап — оптимизм.

Благодаря исследованию таких ученых, как Кохонен, Гроссберг, Андерсон, сформировался теоретический фундамент, на основе которого стало возможно конструирование мощных многослойных сетей. Однако проблема заключалась в их обучении.

1974 г. — П. Вербосом разработан алгоритм обратного распространения ошибки для обучения многослойных перцептронов, переоткрытый заново в 1982 г. Д. Паркером и в 1986 году Дэвидом И. Румельхартом, Дж. Е.

Обратите внимание

Хинтоном и Рональдом Дж. Вильямсом и независимо и одновременно С. И. Барцевым и В. А. Охониным (Красноярская группа) [8].

Этот систематический метод для обучения многослойных сетей преодолевает ограничения, указанные Минским.

Дальнейшие исследования показали, что этот метод не является универсальным, несмотря на многие успешные практические результаты. Проблема заключается в очень долгом процессе обучения, а в некоторых случаях сеть может вообще не обучиться. Последнее возможно по двум причинам: паралич сети и попадание в локальный минимум.

1975 г. — Фукусима представляет Когнитрон — самоорганизующуюся сеть, предназначенную для инвариантного распознавания образов.

1980 г. — в попытках улучшить когнитрон Фукусимой была разработана мощная парадигма, названная неокогнитрон [8].

1982 г. — Дж. Хопфилд разработал нейронную сеть с обратными связями. Хотя сеть имела целый ряд недостатков и не могла быть использована на практике, ученый заложил основы нейронных рекуррентных сетей, после чего об искусственных нейронных сетях стало возможным говорить как об ассоциативной памяти.

1982 г. — Кохоненом представлены модели сети, обучающейся без учителя на основе самоорганизации.

1987 г. — Роберт Хехт-Нильсон, решая временные ограничения сети обратного распространения ошибки, разработал сети встречного распространения (СВР). Время в таких сетях обучения по сравнению с обратным распространением может уменьшаться в сто раз.

Важно

Следующей проблемой искусственных нейронных сетей оказалась проблема стабильности-пластичности, суть, которой в том, что обучение новому образу уничтожает или изменяет результаты предшествующего обучения.

— 1987 г. — Гроссберг создал адаптивную резонансную теорию (APT) и модели нейронных сетей, построенных на ее основе [8].

Сети и алгоритмы APT сохраняют пластичность, необходимую для изучения новых образов, в то же время, предотвращая изменение ранее запомненных образов.

2000-е годы — проблема попадания в локальный минимум была решена, в частности, применением стохастических методов обучения (Больцмановское обучение. Обучение Коши).

2007 г. — Джеффри Хинтоном в университете Торонто созданы алгоритмы глубокого обучения многослойных нейронных сетей. Успех обусловлен тем, что Хинтон при обучении нижних слоев сети использовал ограниченную машину Больцмана (RBM -Restricted Boltzmann Machine).

На сегодня разработано достаточно много других моделей нейронных сетей, имеющих свои особенности.

В современном обществе многие проблемы сводятся к проблемам управления слабоструктурированными, а часто и неструктурированными сложными системами. Поэтому оценить перспективы развития нейронных сетей можно, лишь определив их место в решении данной проблемы [9,10,16].

Существующие в настоящее время системы управления можно классифицировать следующим образом:

1. Классическая система управления, построенная на основе теории автоматического управления с различными математическими методами обработки данных.

2. Система управления, построенная на основе нечеткой логики и экспертных систем.

Совет

3. Системы управления на основе генетических алгоритмов и искусственных нейронных сетей.

Достоинствами метода нейросетевого управления являются:

1. Отсутствие ограничения на линейность системы.

2. Эффективность в условиях шумов.

3. После окончания обучения обеспечивается управление в реальном масштабе времени.

4. Нейросетевые системы управления более адаптивны к реальным условиям.

Однако, при использовании нейронных сетей возникают трудности, связанные с надежностью их работы, так как искусственные нейронные сети могут быть неточны даже при их правильном функционировании. Следовательно, для критических задач использование нейронных сетей необходимо дублировать другими системами.

Таким образом, будущее интеллектуального управления лежит в сочетании традиционного управления с потенциальными возможностями систем, основанных на использовании искусственных нейронных сетей.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Бровкова, М. Б. Системы искусственного интеллекта в машиностроении: Учеб. пособие / М. Б. Бровкова. — Саратов: Сарат. гос. техн. ун-т, 2004. — 119 с.

2. Грицанов, А. А. История философии: Энциклопедия / А. А. Грицанов — Мн.: Интерпрессервис, 2002. — 1376 с.

3. Иванов, Е. А. Логика. Учебник / Е. А. Иванов — М.: Издательство БЕК, 1998. — 309 с.

4. Каллан, Робертс. Основные концепции нейронных сетей / Каллан Робертс — М.: Издательский дом «Вильямс», 2001. — 287 с.

5. Колесников, А. В. Гибридные интеллектуальные системы. Технология разработки / А. В. Колесников — СПб.: Изд-во СПбГТУ, 2001. — 711 с.

Обратите внимание

6. Лохин, В. М. Интеллектуальные системы управления: понятия, определения, принципы построения / В. М. Лохин, В. М. Захаров // Мехатроника. — 2001. — № 2. — С. 27−35.

7. Маковельский, А. О. История логики / А. О. Маковельский — М: Кучково поле, 2004. — 492 с.

8. Мареев, С. Н. История философии (общий курс): Учебное пособие / С. Н. Мареев, Е. В. Мареева — М.: Академический Проект, 2004. — 880 с.

9. Нейрокомпьютеры и их применение: в 18 кн. / под общей ред. А. И. Галушкина, ЯЗ. Цыпкина. — М.: ИПРЖР, 2001. — Кн.5: Нейронные сети: история развития теории: Учеб. пособие для вузов. — 840 с.

Источник: https://gugn.ru/work/1867469/istoria-razvitia-nejronnyh-setej

Ссылка на основную публикацию