MoreKnig.org

Учебное пособие по курсу «Нейроинформатика»: читать книгу онлайн полностью и бесплатно

Автор: Миркес Е.



Шрифт:

Пороговый преобразователь, реализующий функцию определения знака (рис. 12а), не является элементом с непрерывной функцией, и, следовательно, его обратное функционирование не может быть определено из требования вычисления градиента. Однако, при обучении сетей с пороговыми преобразователями полезно иметь возможность вычислять поправки к параметрам. Так как для порогового элемента нельзя определить однозначное поведение при обратном функционировании, предлагается доопределить его, исходя из соображений полезности при конструировании обучаемых сетей. Основным методом обучения сетей с пороговыми элементами является правило Хебба (подробно рассмотрено во второй части главы). Оно состоит из двух процедур, состоящих в изменении «весов связей между одновременно активными нейронами». Для этого правила пороговый элемент при обратном функционировании должен выдавать сигнал обратного функционирования, совпадающий с выданным им сигналом прямого функционирования (рис. 12б). Такой пороговый элемент будем называть зеркальным. При обучении сетей Хопфилда [312], подробно рассмотренном во второй части главы, необходимо использовать «прозрачные» пороговые элементы, которые при обратном функционировании пропускают сигнал без изменения (рис. 12в).

Правила остановки работы сети

При использовании сетей прямого распространения (сетей без циклов) вопроса об остановке сети не возникает. Действительно, сигналы поступают на элементы первого (входного) слоя и, проходя по связям, доходят до элементов последнего слоя. После снятия сигналов с последнего слоя все элементы сети оказываются «обесточенными», то есть ни по одной связи сети не проходит ни одного ненулевого сигнала. Сложнее обстоит дело при использовании сетей с циклами. В случае общего положения, после подачи сигналов на входные элементы сети по связям между элементами, входящими в цикл, ненулевые сигналы будут циркулировать сколь угодно долго.

Существует два основных правила остановки работы сети с циклами. Первое правило состоит в остановке работы сети после указанного числа срабатываний каждого элемента. Циклы с таким правилом остановки будем называть ограниченными.

Второе правило остановки работы сети — сеть прекращает работу после установления равновесного распределения сигналов в цикле. Такие сети будем называть равновесными. Примером равновесной сети может служить сеть Хопфилда [312] (см. разд. «Сети Хопфилда»).

Архитектуры сетей

Как уже отмечалось ранее, при конструировании сетей из элементов можно построить сеть любой архитектуры. Однако и при произвольном конструировании можно выделить наиболее общие признаки, существенно отличающие одну сеть от другой. Очевидно, что замена простого сумматора на адаптивный или даже на квадратичный не приведут к существенному изменению структуры сети, хотя число обучаемых параметров увеличится. Однако, введение в сеть цикла сильно изменяет как структуру сети, так и ее поведение. Таким образом можно все сети разбить на два сильно отличающихся класса: ациклические сети и сети с циклами. Среди сетей с циклами существует еще одно разделение, сильно влияющее на способ функционирования сети: равновесные сети с циклами и сети с ограниченными циклами.

Большинство используемых сетей не позволяют определить, как повлияет изменение какого-либо внутреннего параметра сети на выходной сигнал. На рис. 13 приведен пример сети, в которой увеличение параметра α приводит к неоднозначному влиянию на сигнал x2: при отрицательных x1 произойдет уменьшение x2, а при положительных x1 — увеличение. Таким образом, выходной сигнал такой сети немонотонно зависит от параметра α. Для получения монотонной зависимости выходных сигналов сети от параметров внутренних слоев (то есть всех слоев кроме входного) необходимо использовать специальную монотонную архитектуру нейронной сети. Принципиальная схема сетей монотонной архитектуры приведена на рис. 14.

Основная идея построения монотонных сетей состоит в разделении каждого слоя сети на два — возбуждающий и тормозящий. При этом все связи в сети устроены так, что элементы возбуждающей части слоя возбуждают элементы возбуждающей части следующего слоя и тормозят тормозящие элементы следующего слоя. Аналогично, тормозящие элементы возбуждают тормозящие элементы и тормозят возбуждающие элементы следующего слоя. Названия «тормозящий» и «возбуждающий» относятся к влиянию элементов обеих частей на выходные элементы.

Отметим, что для сетей с сигмоидными элементами требование монотонности означает, что веса всех связей должны быть неотрицательны. Для сетей с Паде элементами требование не отрицательности весов связей является необходимым условием бессбойной работы. Требование монотонности для сетей с Паде элементами приводит к изменению архитектуры сети, не накладывая никаких новых ограничений на параметры сети. На рис. 15 приведены пример немонотонной сети, а на рис. 16 монотонной сети с Паде элементами.

Особо отметим архитектуру еще одного класса сетей — сетей без весов связей. Эти сети, в противовес коннекционистским, не имеют обучаемых параметров связей. Любую сеть можно превратить в сеть без весов связей заменой всех синапсов на умножители. Легко заметить, что получится такая же сеть, только вместо весов связей будут использоваться сигналы. Таким образом в сетях без весов связей выходные сигналы одного слоя могут служить для следующего слоя как входными сигналами, так и весами связей. Заметим, что вся память таких сетей содержится в значениях параметров нелинейных преобразователей. Из разделов «Синапс» и «Умножитель» следует, что сети без весов связей способны вычислять градиент функции оценки и затрачивают на это ровно тоже время, что и аналогичная сеть с весами связей.

Модификация синаптической карты (обучение)

Кроме прямого и обратного функционирования, все элементы должны уметь выполнять еще одну операцию — модификацию параметров. Процедура модификации параметров состоит в добавлении к существующим параметрам вычисленных поправок (напомним, что для сетей с непрерывно дифференцируемыми элементами вектор поправок является градиентом некоторой функции от выходных сигналов). Если обозначить текущий параметр элемента черезα, а вычисленную поправку через Δα, то новое значение параметра вычисляется по формуле α'=h1α+h2Δα.

Параметры обучения h1 и h2 определяются компонентом учитель и передаются сети вместе с запросом на обучение. В некоторых случаях бывает полезно использовать более сложную процедуру модификации карты.

Во многих работах отмечается, что при описанной выше процедуре модификации параметров происходит неограниченный рост величин параметров. Существует несколько различных методов решения этой проблемы. Наиболее простым является жесткое ограничение величин параметров некоторыми минимальным и максимальным значениями. При использовании этого метода процедура модификации параметров имеет следующий вид:

Контрастирование и нормализация сети

В последние годы широкое распространение получили различные методы контрастирования или скелетонизации нейронных сетей. В ходе процедуры контрастирования достигается высокая степень разреженности синаптической карты нейронной сети, так как большинство связей получают нулевые веса (см. например [47, 100, 303, 304]).

Очевидно, что при такой степени разреженности ненулевых параметров проводить вычисления так, как будто структура сети не изменилась, неэффективно. Возникает потребность в процедуре нормализации сети, то есть фактического удаления нулевых связей из сети, а не только из обучения. Процедура нормализации состоит из двух этапов:

1. Из сети удаляются все связи, имеющие нулевые веса и исключенные из обучения.

2. Из сети удаляются все подсети, выходные сигналы которых не используются другими подсетями в качестве входных сигналов и не являются выходными сигналами сети в целом.

В ходе нормализации возникает одна трудность: если при описании нейронной сети все нейроны одинаковы, и можно описать нейрон один раз, то после удаления отконтрастированных связей нейроны обычно имеют различную структуру. Компонент сеть должен отслеживать ситуации, когда два блока исходно одного и того же типа уже не могут быть представлены в виде этого блока с различными параметрами. В этих случаях компонент сеть порождает новый тип блока. Правила порождения имен блоков приведены в описании выполнения запроса на нормализацию сети.

Примеры сетей и алгоритмов их обучения

В этом разделе намеренно допущено отступление от общей методики — не смешивать разные компоненты. Это сделано для облегчения демонстрации построения нейронных сетей обратного распространения, позволяющих реализовать на них большинство известных алгоритмов обучения нейронных сетей.

Сети Хопфилда

Перейти на стр:
Шрифт:
Продолжить читать на другом устройстве:
QR code

Новые книги

Смотреть все
Последняя из рода Громовых 2
Последняя из рода Громовых 2
[Любовное фэнтези / Современная проза / Приключения / Фэнтези]
Я, принцесса Райвен, ставшая Риммой Громовой, успешно пересдала экзамены и зачеты, и даже сумела немного поднять свой уровень магии.Я постепенно осваиваю новую для меня Силу жизни и радуюсь, что
0
Лишняя в Академии
Лишняя в Академии
[Детективы / Приключения / Фантастика]
Как простой девушке из низов выжить среди элиты престижной Академии Паладинов, куда она поступила обманом, да еще и умудриться не вляпаться в новые неприятности? И как заставить самого классного
0
Обретешь не там, где ищешь
Обретешь не там, где ищешь
[Современные любовные романы / Эротика, Секс / Проза / Роман]
Только я могла так вляпаться: познакомиться с парнем моложе себя, переспать с ним в первый же вечер, а на утро выяснить, что он настоящая звезда! Так, спокойно, это очень скоро останется в прошлом, и
0
Сдаюсь сибирскому спецназу
Сдаюсь сибирскому спецназу
[Современные любовные романы / Проза / Современная проза / Роман]
- Ты кто? Эй, говорить умеешь? - Я замержла, – сиплю, принимая на снегу позу пособлазнительнее. – Рот замерж. И жубы. И весь йижик. Там вофк, – показываю назад. – Пуштите погретша. Я ошень бежава.
0
Пол с Терауры
Пол с Терауры
[Научная фантастика]
На маленькой затерянной планете Тераура восьмилетний Пол не родился у своих родителей — они его выбрали. Томас и Анна, инженеры-терраформеры, любили его по-настоящему. Недолгое время мир был тёплым:
0
Добрые сказки Волшебной долины
Добрые сказки Волшебной долины
[Детская литература: прочее / Сказка / Детская проза / Детские приключения]
Дорогой собиратель чудес! Распахни обложку этой книги — и перед тобой раскинется Волшебная долина! В ней живут прекрасные принцы и капризные принцессы, коварный король и заботливая мать-королева,
0
Искатель 29
Искатель 29
[Попаданцы / РеалРПГ (RealRPG)]
ФИНАЛ Умереть, эпично взорвавшись? Могу, умею, практикую. Заинтересовать то ли богиню, то ли непонятно кого любовью к играм? Не вопрос. Попасть в новый мир, где можно встретить как опасности,
0
Развод. Пока я носила твоего сына
Развод. Пока я носила твоего сына
[Дом и семья / Психология / Секс и семейная психология / Современная проза]
Я лежу в роддоме и прошу только об одном: пусть наш сын родится в срок. Мне так нужен муж, его ладонь на моём животе, тихое «мы тебя ждём». Он привозит крошечные носочки для малыша. И целует другую
0
Кровь Отверженных. Пробуждение истинной
Кровь Отверженных. Пробуждение истинной
[Детективы / Триллер / Боевик / Современная проза]
Подпольных аукционов, где женщин и детей продают как товар, не существует. Так считает весь мир. Но дети продолжают исчезать, как когда-то исчезла сестра Эмми. Когда сама героиня становится следующей
0
Расцвет Стальной Розы
Расцвет Стальной Розы
[Юмористическое фэнтези]
Я обрела силу рода Стальной розы и теперь сама могу решать, как мне жить. Но принцы не оставляют попыток получить моё доверие и присвоить магию жизни, которой я обладаю. Им нужна власть, мне –
0
Калиновая мостовая - 13
Калиновая мостовая - 13
[Триллер]
Чернореченск возник на берегу таинственной реки, где древний лес хранил мрачные тайны. Ослушавшись старинных запретов, люди вырубили чащу, и на город обрушилось проклятие. Даже в советскую эпоху
0
Империя пламени и шипов
Империя пламени и шипов
[Эротика, Секс / Любовная фантастика]
Мятежная фейри. Безжалостный дракон-командир. И смертельное испытание, которое перевернет их жизнь с ног на голову. Оказавшись в ловушке Двора Благих из-за тернового леса, Селена Хейл живет во
0

Самые популярные книги

Хорошая, плохая, грешная 3
Хорошая, плохая, грешная 3
[Попаданцы]
У Эвирейл Миардо нет ни единой свободной минутки на грусть и рефлексию! Да и когда? Столько дел, столько дел! Шахту выкопай, лавку открой, артефакты создай, эльфа за попу укуси... Ничего не
12
Последняя Гадина империи
Последняя Гадина империи
[Попаданцы / Бояръ-Аниме / Русское фэнтези / Самиздат]
Пятьсот лет назад я была прославленным зельеваром, матриархом и почтенной основательницей династии. А сегодня очнулась в теле изнеженной барышни на пепелище семейной усадьбы и обнаружила, что весь
10
Те, кто приходит в тишине
Те, кто приходит в тишине
[Альтернативная история / Попаданцы / Самиздат / Боевая фантастика]
Редкий бой бывает похож на предыдущий. Мы учимся. На своих и на чужих ошибках. Стараемся расти над собой. Противник – тоже. Он анализирует наши ошибки, учитывает остроумные решения. То есть
10
Петербургский врач 11
Петербургский врач 11
[Военное дело, спецслужбы / Медицина / Проза / Современная проза]
Вадим – хирург и микробиолог, попавший волей судьбы в Петербург 1904 года, в тело медицинского секретаря, работающего у богатого врача-мошенника. …Во дворах-колодцах тускло горят газовые фонари.
8
Замок над морем
Замок над морем
[Героическая фантастика / Любовное фэнтези]
Волны перемешивают гальку, жизнь перемешивает людские судьбы. Воины и рабы, дети Ардена и слуги Ириона, все равны перед вечностью. Казалось бы, все решено, расставлены фигуры и начата игра. Но
6
Измена. Я тебя (не) любил
Измена. Я тебя (не) любил
[Современные любовные романы]
— Как тебе… — слышу прерывистый голос подруги, — мой подарок в честь твоего дня рождения?По меньшей мере иду я в верном направлении. Но вот предчувствие не из лучших. Голос Светы перемешивается со
6
Наследник $$$ уровня Х
Наследник $$$ уровня Х
[Попаданцы / Книги про волшебников / Городское фэнтези / Самиздат]
Надо судить человека, прежде чем полюбил его, ибо, полюбив, уже не судят.
4
Тени сумрака
Тени сумрака
[Альтернативная история / Попаданцы / Боевая фантастика / Самиздат]
Один известный драматург сказал: вся жизнь – театр. А у Егора вся жизнь сплошное приключение. Вроде и не собирался ни с кем воевать, даже ссоры не искал, а неожиданно для себя вдруг нарвался на
4
Оружейникъ. 1866
Оружейникъ. 1866
[Попаданцы / Альтернативная история / Самиздат]
Умереть в шестьдесят шесть, заслонив собой молодого стажёра, — достойный финал для оружейника. Очнуться в теле семнадцатилетнего подручного на Тульском оружейном заводе в 1866 году — уже второй
4
Ревизор: возвращение в СССР 65
Ревизор: возвращение в СССР 65
[Самиздат / Попаданцы / Альтернативная история]
Продолжение приключений московского аудитора, попавшего из нашего времени в 1971 год. Павел Ивлев буквально завален работой по уши, но его все устраивает. Ведь он видит, как понемножку, но его усилия
4
Без страха и упрёка 7
Без страха и упрёка 7
[Альтернативная история / Попаданцы]
Алексей Штурмин достиг многого, но настоящее восхождение на вершины власти только начинается.
4
Граф поневоле. Книга вторая
Граф поневоле. Книга вторая
[Юмористическая фантастика / Альтернативная история / Попаданцы / Самиздат]
Умереть от пули киллера — обидно. Очнуться в 1827 году — странно. Обнаружить, что я теперь двадцатилетний граф, а моё имение разорено, — перебор. Хотя… Жив, молод, с титулом — уже хорошо. С
4

Самые комментируемые

Замок над морем
Замок над морем
[Героическая фантастика / Любовное фэнтези]
Волны перемешивают гальку, жизнь перемешивает людские судьбы. Воины и рабы, дети Ардена и слуги Ириона, все равны перед вечностью. Казалось бы, все решено, расставлены фигуры и начата игра. Но
6
Семья для брошенки. Вторая жизнь с нуля
Семья для брошенки. Вторая жизнь с нуля
[Любовная фантастика / Самиздат / Попаданцы]
Семь лет унижений, презрения и пустой постели. Герцог Дрейк Ашфорд объявил свою истинную жену бракованной и отправил в ссылку на Ольцег — умирать среди таких же «ненужных». Он думал, что сломал
22
Отбор невест, или Три орешка для темного
Отбор невест, или Три орешка для темного
[Любовная фантастика]
Каждая приличная драконица должна пройти отбор невест, иначе внукам у камина будет нечего рассказать. Так говорила моя маменька, а ей можно верить — за ее спиной аж четыре таких отбора! Так что я
14
Печать Забытой Эпохи
Печать Забытой Эпохи
[Любовная фантастика / Попаданцы]
— Скажи спасибо, что не оставил босой на улице, Верадель. Забирай свои проклятые северные руины и убирайся, — самодовольно бросил мне бывший муж, швырнув на стол бумаги о разводе. Он думал, что
25
Кодекс Магических Зверей XI
Кодекс Магических Зверей XI
[РеалРПГ (RealRPG) / Попаданцы / Городское фэнтези]
Десятки лет спасения жизней и смерть на полу собственной ветеринарной клиники. Только вместо небытия — пробуждение в теле юнца, чья лавка «целителя чудовищ» на грани полного развала. Вот только у
2
Хозяйка Тиховодья. Развод на краю болот
Хозяйка Тиховодья. Развод на краю болот
[Любовное фэнтези / Попаданцы]
- Двадцать четыре года, Веста. Наследника нет. Подпиши, и получишь Тиховодье. - А где это? - На краю Хляби. Тихо, сыро, никого. Утром я собирала клюкву в Мещёре и шагнула в болотное окно. Очнулась в
14
Шахматистка. Выжить на Арене Смерти
Шахматистка. Выжить на Арене Смерти
[Любовное фэнтези / Попаданцы / Книги про волшебников / Самиздат]
Кто-то попадает в имбовых персов: Избранных, Тёмных властелинов и прочих крутых ребят. А я попала в тело бездарной адептки магической академии. Как она сюда поступила-то, без грамма магии? Неважно,
14
Пулеметчик Федя
Пулеметчик Федя
[Альтернативная история / Юмористическая фантастика / Попаданцы / Самиздат]
Пулеметчик — это не звание, это диагноз. Тридцать пять лет, пулемёт «Печенег», рукавица прилипла к раскалённому кожуху — и здравствуйте: июнь сорок первого, чужие двадцать два года, чужие руки,
10
Диагноз
Диагноз
[Самиздат / Детективная фантастика / Городское фэнтези / Юмористическая фантастика]
Некромантия в нашем мире давно стала такой же частью жизни, как радио, кино, телефоны и аэропланы. Но разве могла я подумать, что однажды приду наниматься на службу к лучшему некроманту столицы! Он —
18
Ведьма и Экзорцист. Второй шанс на жизнь
Ведьма и Экзорцист. Второй шанс на жизнь
[Детективы / Триллер / Любовное фэнтези / Фэнтези]
Приказ ясен: отравить Дерека вель Гранна. Последствия – костёр и пепел. Белладонна уже прошла этот круг, сгорела и получила второй шанс. Теперь она знает, что приказ – лишь верхушка заговора, в
4
Последняя Гадина империи
Последняя Гадина империи
[Попаданцы / Бояръ-Аниме / Русское фэнтези / Самиздат]
Пятьсот лет назад я была прославленным зельеваром, матриархом и почтенной основательницей династии. А сегодня очнулась в теле изнеженной барышни на пепелище семейной усадьбы и обнаружила, что весь
10
Железный характер Кристианы Морли
Железный характер Кристианы Морли
[Любовная фантастика / Попаданцы / Классическое фэнтези]
Удар копытом лошади рушит блестящие перспективы дебютантки. По мнению общества, хромота испортила не только плавную поступь девицы, но и характер! Это ж надо умудриться — вместо монастыря или
38

Прямо сейчас читают

Домохозяйки с того света
Домохозяйки с того света
[Иронический детектив / Городское фэнтези]
В тихом и безупречном районе Спелвелли, где соседи знают друг о друге всё, происходит невозможное! Люси Джонс – самая милая и добрая жительница городка – найдена мёртвой в собственном зоомагазине.
0
Полтора аршина
Полтора аршина
[Попаданцы]
Весна 1916 года. Год назад Морозов настоял на том, чтобы четверым обокраденным вернули не вещь, а выбор: приехать, объяснить и предложить решить самим. Один отказался, вдова продала за четыре рубля,
0
Время для мятежника
Время для мятежника
[Научная фантастика]
В ходе рутинной проверки в поле зрения спецслужб неожиданно попадает начальник сверхсекретного объекта полковник Уэсли Мак – Каллох. Его послужной список безупречен, но по непоянтным причинам он
1
Херонейский Лев
Херонейский Лев
[Приключения: прочее / Боевик / Проза / Историческая проза]
Херонея, 338 год до н. э. Жирная точка в истории Классической Греции и отправная веха Эллинистической эпохи. Пока объединенные полисы выставляют стену щитов, чтобы защитить свою свободу, хитрый
0
Зеленая лампа
Зеленая лампа
[Русская классическая проза / Новелла]
"Фантастика 2026-157". Компиляция. Книги 1-26
[Боевая фантастика / Попаданцы / Классическое фэнтези]
Очередной 157-й томик  серии книг "Фантастика 2026", содержащий в себе законченные и полные циклы фантастических романов. В основе своей, романы включённые в эти сборники, есть эксклюзив, так как
0
Архивное дело
Архивное дело
[Детективы]
Мелиораторы, корчуя пни, обнаружили истлевший скелет, пролежавший в земле чуть не полвека. Долгие кропотливые розыски позволили восстановить доброе имя погибшего. ...По заключению судмедэксперта Зуев
0
Мрачная леди на задании
Мрачная леди на задании
[Самиздат]
Мрачные тайны, заносчивые лорды и детективные расследования ! Что может быть более захватывающим для циничной тридцатилетней леди? Думаете, интересные джентльмены, которые не прочь приударить
1
После развода. И даром не нужен
После развода. И даром не нужен
[Современные любовные романы / Самиздат]
Возвращаюсь домой из отпуска и слышу от нашего говорящего попугая странные фразы: «Ксаночка, кубничку будешь? Чьи такие ножки? М-м-м». Тем же вечером муж знакомит меня с красивой брюнеткой лет
2
Отмеченная волком (ЛП)
Отмеченная волком (ЛП)
[Любовная фантастика / Эротика, Секс]
Оборотни охотятся на меня. Я была самой обычной девушкой, работала официанткой в баре маленького городка. И понятия не имела, что магия существует. До того дня, пока я пару раз не переехала своим
1
Белая слива Хуаньхуань
Белая слива Хуаньхуань
[Классическое фэнтези]
Юная Чжэнь Хуань, которая во время отбора произвела большое впечатление на императора и попала в его гарем, оказывается не единственной любимицей Сюаньлина. Статус наложницы дал ей не только
0
Попаданка и ее айдолы
Попаданка и ее айдолы
[Любовная фантастика / Самиздат]
Вы бы хотели коснуться любимого актера? А еще дышать с ним одним воздухом, есть из одной тарелки, ездить в одной машине, таскать на руках и... эх. Вот я — не хотела. А потому слушайте сюда: отдам
1