MoreKnig.org

Учебное пособие по курсу «Нейроинформатика»: читать книгу онлайн полностью и бесплатно

Автор: Миркес Е.



Шрифт:

Таким образом, построение оценки по интерпретатору сводится к следующей процедуре.

1. Определяем множество допустимых точек, то есть таких точек в пространстве выходных сигналов, которые интерпретатор ответа будет интерпретировать как правильный ответ со стопроцентным уровнем уверенности.

2. Находим проекцию выданной сетью точки на это множество. Проекцией является ближайшая точка из множества.

3. Записываем оценку как расстояние от точки, выданной сетью, до ее проекции на множество допустимых точек. Оценка обучающего множества. Вес примера

В предыдущем разделе был рассмотрен ряд оценок, позволяющих оценить решение сетью конкретного примера. Однако, ситуация, когда сеть хотят обучить решению только одного примера, достаточно редка. Обычно сеть должна научиться решать все примеры обучающего множества. Ряд алгоритмов обучения, которые будут рассматриваться в главе «Учитель», требуют возможности обучать сеть решению всех примеров одновременно и, соответственно, оценивать решение сетью всех примеров обучающего множества. Как уже отмечалось, обучение нейронной сети — это процесс минимизации в пространстве обучаемых параметров функции оценки. Большинство алгоритмов обучения используют способность нейронных сетей быстро вычислять вектор градиента функции оценки по обучаемым параметрам. Обозначим оценку отдельного примера через Hi, а оценку всего обучающего множества через HOM. Простейший способ получения HOM из Hi — простая сумма. При этом вектор градиента вычисляется очень просто:

Таким образом, используя способность сети вычислять градиент функции оценки решения одного примера, можно получить градиент функции оценки всего обучающего множества.

Обучение по всему обучающему множеству позволяет задействовать дополнительные механизмы ускорения обучения. Большинство этих механизмов будет рассмотрено в главе «Учитель». В этом разделе будет рассмотрен только один из них — использование весов примеров. Использование весов примеров может быть вызвано одной из следующих причин.

Один из примеров плохо обучается.

Число примеров разных классов в обучающем множестве сильно отличаются друг от друга.

Примеры в обучающем множестве имеют различную достоверность.

Рассмотрим первую причину — пример плохо обучается. Под «плохо обучается» будем понимать медленное снижение оценки данного примера по отношению к снижению оценки по обучающему множеству. Для того чтобы ускорить обучение данного примера, ему можно приписать вес, больший, чем у остальных примеров. При этом оценка по обучающему множеству и ее градиент можно записать в следующем виде: где wi — вес i-го примера. Эту функцию оценки будем называть оценкой взвешенных примеров. При этом градиент, вычисленный по оценке решения сетью этого примера, войдет в суммарный градиент с большим весом, и, следовательно, сильнее повлияет на выбор направления обучения. Этот способ применим также и для коррекции проблем, связанных со второй причиной — разное число примеров разных классов. Однако в этом случае увеличиваются веса всем примерам того класса, в котором меньше примеров. Опыт показывает, что использование весов в таких ситуациях позволяет улучшить обобщающие способности сетей.

В случае различной достоверности примеров в обучающем множестве функция взвешенных примеров не применима. Действительно, если известно, что достоверность ответа в k-ом примере в два раза ниже, чем в l-ом, хотелось бы, чтобы обученная сеть выдавала для k-ого примера в два раза меньший уровень уверенности. Этого можно достичь, если при вычислении оценки k-ого примера будет использоваться в два раза меньший уровень надежности. Оценка обучающего множества в этом случае вычисляется по формуле без весов, а достоверность учитывается непосредственно при вычислении оценки по примеру. Такую оценку будем называть оценкой взвешенной достоверности.

Таким образом, каждый пример может иметь два веса: вес примера и достоверность примера. Кроме того, при решении задач классификации каждый класс может обладать собственным весом. Окончательно функцию оценки по обучающему множеству и ее градиент можно записать в следующем виде:

где wi — вес примера, δi — его достоверность.

Глобальные и локальные оценки

В предыдущих разделах был рассмотрен ряд оценок. Эти оценки обладают одним общим свойством — для вычисления оценки по примеру, предъявленному сети, достаточно знать выходной вектор, выданный сетью при решении этого примера, и правильный ответ. Такие оценки будем называть локальными. Приведем точное определение.

Определение. Локальной называется любая оценка, являющаяся линейной комбинацией произвольных непрерывно дифференцируемых функций, каждая из которых зависит от оценки только одного примера.

Использование локальных оценок позволяет обучать сеть решению как отдельно взятого примера, так и всего обучающего множества в целом. Однако существуют задачи, для которых невозможно построить локальную оценку. Более того, для некоторых задач нельзя построить даже обучающее множество. Использование нелокальных оценок возможно даже при решении задач классификации.

Приведем два примера нелокальных оценки.

Кинетическая оценка для задачи классификации. Пусть в обучающее множество входят примеры k классов. Требуется обучить сеть так, чтобы в пространстве выходных сигналов множества примеров разных классов были попарно линейно разделимы.

Пусть сеть выдает N выходных сигналов. Для решения задачи достаточно, чтобы в ходе обучения все точки в пространстве выходных сигналов, соответствующие примерам одного класса, собирались вокруг одной точки — центра концентрации класса, и чтобы центры концентрации разных классов были как можно дальше друг от друга. В качестве центра концентрации можно выбрать барицентр множества точек, соответствующих примерам данного класса.

Таким образом, функция оценки должна состоять из двух компонентов: первая реализует притяжение между примерами одного класса и барицентром этого класса, а вторая отвечает за отталкивание барицентров разных классов. Обозначим точку в пространстве выходных сигналов, соответствующую m-му примеру, через αm, множество примеров i-го класса через Ii, барицентр точек, соответствующих примерам этого класса, через  Bi (), число примеров в i-ом классе через |Bi|, а расстояние между точками a и b через . Используя эти обозначения, можно записать притягивающий компонент функции оценки для всех примеров i-го класса в виде:

Функция оценки HPi обеспечивает сильное притяжение для примеров, находящихся далеко от барицентра. Притяжение ослабевает с приближением к барицентру. Компонент функции оценки, отвечающий за отталкивание барицентров разных классов, должен обеспечивать сильное отталкивание близких барицентров и ослабевать с удалением барицентров друг от друга. Такими свойствами обладает гравитационное отталкивание. Используя гравитационное отталкивание можно записать второй компонент функции оценки в виде:

Таким образом, оценку, обеспечивающую сближение точек, соответствующих примерам одного класса, и отталкивание барицентров, можно записать в виде:

Вычислим производную оценки по j-му выходному сигналу, полученному при решении i-го примера. Пусть i-ый пример принадлежит l-му классу. Тогда производная имеет вид:

Перейти на стр:
Шрифт:
Продолжить читать на другом устройстве:
QR code

Новые книги

Смотреть все
Шесть лет молчания
Шесть лет молчания
[Современные любовные романы / Современная проза / Роман]
Лекси знает расписание старшеклассника Кита лучше, чем своё. Он оборачивается в коридоре — всего на секунду, — и этого хватает, чтобы она придумала себе историю на шесть лет. Шесть лет тишины.
0
Последняя из рода Громовых 2
Последняя из рода Громовых 2
[Любовное фэнтези / Современная проза / Приключения / Фэнтези]
Я, принцесса Райвен, ставшая Риммой Громовой, успешно пересдала экзамены и зачеты, и даже сумела немного поднять свой уровень магии.Я постепенно осваиваю новую для меня Силу жизни и радуюсь, что
0
Лишняя в Академии
Лишняя в Академии
[Детективы / Приключения / Фантастика]
Как простой девушке из низов выжить среди элиты престижной Академии Паладинов, куда она поступила обманом, да еще и умудриться не вляпаться в новые неприятности? И как заставить самого классного
0
Обретешь не там, где ищешь
Обретешь не там, где ищешь
[Современные любовные романы / Эротика, Секс / Проза / Роман]
Только я могла так вляпаться: познакомиться с парнем моложе себя, переспать с ним в первый же вечер, а на утро выяснить, что он настоящая звезда! Так, спокойно, это очень скоро останется в прошлом, и
0
Сдаюсь сибирскому спецназу
Сдаюсь сибирскому спецназу
[Современные любовные романы / Проза / Современная проза / Роман]
- Ты кто? Эй, говорить умеешь? - Я замержла, – сиплю, принимая на снегу позу пособлазнительнее. – Рот замерж. И жубы. И весь йижик. Там вофк, – показываю назад. – Пуштите погретша. Я ошень бежава.
0
Пол с Терауры
Пол с Терауры
[Научная фантастика]
На маленькой затерянной планете Тераура восьмилетний Пол не родился у своих родителей — они его выбрали. Томас и Анна, инженеры-терраформеры, любили его по-настоящему. Недолгое время мир был тёплым:
0
Добрые сказки Волшебной долины
Добрые сказки Волшебной долины
[Детская литература: прочее / Сказка / Детская проза / Детские приключения]
Дорогой собиратель чудес! Распахни обложку этой книги — и перед тобой раскинется Волшебная долина! В ней живут прекрасные принцы и капризные принцессы, коварный король и заботливая мать-королева,
0
Искатель 29
Искатель 29
[Попаданцы / РеалРПГ (RealRPG)]
ФИНАЛ Умереть, эпично взорвавшись? Могу, умею, практикую. Заинтересовать то ли богиню, то ли непонятно кого любовью к играм? Не вопрос. Попасть в новый мир, где можно встретить как опасности,
0
Развод. Пока я носила твоего сына
Развод. Пока я носила твоего сына
[Дом и семья / Психология / Секс и семейная психология / Современная проза]
Я лежу в роддоме и прошу только об одном: пусть наш сын родится в срок. Мне так нужен муж, его ладонь на моём животе, тихое «мы тебя ждём». Он привозит крошечные носочки для малыша. И целует другую
0
Кровь Отверженных. Пробуждение истинной
Кровь Отверженных. Пробуждение истинной
[Детективы / Триллер / Боевик / Современная проза]
Подпольных аукционов, где женщин и детей продают как товар, не существует. Так считает весь мир. Но дети продолжают исчезать, как когда-то исчезла сестра Эмми. Когда сама героиня становится следующей
0
Расцвет Стальной Розы
Расцвет Стальной Розы
[Юмористическое фэнтези]
Я обрела силу рода Стальной розы и теперь сама могу решать, как мне жить. Но принцы не оставляют попыток получить моё доверие и присвоить магию жизни, которой я обладаю. Им нужна власть, мне –
0
Калиновая мостовая - 13
Калиновая мостовая - 13
[Триллер]
Чернореченск возник на берегу таинственной реки, где древний лес хранил мрачные тайны. Ослушавшись старинных запретов, люди вырубили чащу, и на город обрушилось проклятие. Даже в советскую эпоху
0

Самые популярные книги

Хорошая, плохая, грешная 3
Хорошая, плохая, грешная 3
[Попаданцы]
У Эвирейл Миардо нет ни единой свободной минутки на грусть и рефлексию! Да и когда? Столько дел, столько дел! Шахту выкопай, лавку открой, артефакты создай, эльфа за попу укуси... Ничего не
12
Последняя Гадина империи
Последняя Гадина империи
[Попаданцы / Бояръ-Аниме / Русское фэнтези / Самиздат]
Пятьсот лет назад я была прославленным зельеваром, матриархом и почтенной основательницей династии. А сегодня очнулась в теле изнеженной барышни на пепелище семейной усадьбы и обнаружила, что весь
10
Те, кто приходит в тишине
Те, кто приходит в тишине
[Альтернативная история / Попаданцы / Самиздат / Боевая фантастика]
Редкий бой бывает похож на предыдущий. Мы учимся. На своих и на чужих ошибках. Стараемся расти над собой. Противник – тоже. Он анализирует наши ошибки, учитывает остроумные решения. То есть
10
Петербургский врач 11
Петербургский врач 11
[Военное дело, спецслужбы / Медицина / Проза / Современная проза]
Вадим – хирург и микробиолог, попавший волей судьбы в Петербург 1904 года, в тело медицинского секретаря, работающего у богатого врача-мошенника. …Во дворах-колодцах тускло горят газовые фонари.
8
Замок над морем
Замок над морем
[Героическая фантастика / Любовное фэнтези]
Волны перемешивают гальку, жизнь перемешивает людские судьбы. Воины и рабы, дети Ардена и слуги Ириона, все равны перед вечностью. Казалось бы, все решено, расставлены фигуры и начата игра. Но
6
Измена. Я тебя (не) любил
Измена. Я тебя (не) любил
[Современные любовные романы]
— Как тебе… — слышу прерывистый голос подруги, — мой подарок в честь твоего дня рождения?По меньшей мере иду я в верном направлении. Но вот предчувствие не из лучших. Голос Светы перемешивается со
6
Наследник $$$ уровня Х
Наследник $$$ уровня Х
[Попаданцы / Книги про волшебников / Городское фэнтези / Самиздат]
Надо судить человека, прежде чем полюбил его, ибо, полюбив, уже не судят.
4
Тени сумрака
Тени сумрака
[Альтернативная история / Попаданцы / Боевая фантастика / Самиздат]
Один известный драматург сказал: вся жизнь – театр. А у Егора вся жизнь сплошное приключение. Вроде и не собирался ни с кем воевать, даже ссоры не искал, а неожиданно для себя вдруг нарвался на
4
Оружейникъ. 1866
Оружейникъ. 1866
[Попаданцы / Альтернативная история / Самиздат]
Умереть в шестьдесят шесть, заслонив собой молодого стажёра, — достойный финал для оружейника. Очнуться в теле семнадцатилетнего подручного на Тульском оружейном заводе в 1866 году — уже второй
4
Ревизор: возвращение в СССР 65
Ревизор: возвращение в СССР 65
[Самиздат / Попаданцы / Альтернативная история]
Продолжение приключений московского аудитора, попавшего из нашего времени в 1971 год. Павел Ивлев буквально завален работой по уши, но его все устраивает. Ведь он видит, как понемножку, но его усилия
4
Без страха и упрёка 7
Без страха и упрёка 7
[Альтернативная история / Попаданцы]
Алексей Штурмин достиг многого, но настоящее восхождение на вершины власти только начинается.
4
Граф поневоле. Книга вторая
Граф поневоле. Книга вторая
[Юмористическая фантастика / Альтернативная история / Попаданцы / Самиздат]
Умереть от пули киллера — обидно. Очнуться в 1827 году — странно. Обнаружить, что я теперь двадцатилетний граф, а моё имение разорено, — перебор. Хотя… Жив, молод, с титулом — уже хорошо. С
4

Самые комментируемые

Замок над морем
Замок над морем
[Героическая фантастика / Любовное фэнтези]
Волны перемешивают гальку, жизнь перемешивает людские судьбы. Воины и рабы, дети Ардена и слуги Ириона, все равны перед вечностью. Казалось бы, все решено, расставлены фигуры и начата игра. Но
6
Семья для брошенки. Вторая жизнь с нуля
Семья для брошенки. Вторая жизнь с нуля
[Любовная фантастика / Самиздат / Попаданцы]
Семь лет унижений, презрения и пустой постели. Герцог Дрейк Ашфорд объявил свою истинную жену бракованной и отправил в ссылку на Ольцег — умирать среди таких же «ненужных». Он думал, что сломал
22
Отбор невест, или Три орешка для темного
Отбор невест, или Три орешка для темного
[Любовная фантастика]
Каждая приличная драконица должна пройти отбор невест, иначе внукам у камина будет нечего рассказать. Так говорила моя маменька, а ей можно верить — за ее спиной аж четыре таких отбора! Так что я
14
Печать Забытой Эпохи
Печать Забытой Эпохи
[Любовная фантастика / Попаданцы]
— Скажи спасибо, что не оставил босой на улице, Верадель. Забирай свои проклятые северные руины и убирайся, — самодовольно бросил мне бывший муж, швырнув на стол бумаги о разводе. Он думал, что
25
Кодекс Магических Зверей XI
Кодекс Магических Зверей XI
[РеалРПГ (RealRPG) / Попаданцы / Городское фэнтези]
Десятки лет спасения жизней и смерть на полу собственной ветеринарной клиники. Только вместо небытия — пробуждение в теле юнца, чья лавка «целителя чудовищ» на грани полного развала. Вот только у
2
Хозяйка Тиховодья. Развод на краю болот
Хозяйка Тиховодья. Развод на краю болот
[Любовное фэнтези / Попаданцы]
- Двадцать четыре года, Веста. Наследника нет. Подпиши, и получишь Тиховодье. - А где это? - На краю Хляби. Тихо, сыро, никого. Утром я собирала клюкву в Мещёре и шагнула в болотное окно. Очнулась в
14
Шахматистка. Выжить на Арене Смерти
Шахматистка. Выжить на Арене Смерти
[Любовное фэнтези / Попаданцы / Книги про волшебников / Самиздат]
Кто-то попадает в имбовых персов: Избранных, Тёмных властелинов и прочих крутых ребят. А я попала в тело бездарной адептки магической академии. Как она сюда поступила-то, без грамма магии? Неважно,
14
Пулеметчик Федя
Пулеметчик Федя
[Альтернативная история / Юмористическая фантастика / Попаданцы / Самиздат]
Пулеметчик — это не звание, это диагноз. Тридцать пять лет, пулемёт «Печенег», рукавица прилипла к раскалённому кожуху — и здравствуйте: июнь сорок первого, чужие двадцать два года, чужие руки,
10
Диагноз
Диагноз
[Самиздат / Детективная фантастика / Городское фэнтези / Юмористическая фантастика]
Некромантия в нашем мире давно стала такой же частью жизни, как радио, кино, телефоны и аэропланы. Но разве могла я подумать, что однажды приду наниматься на службу к лучшему некроманту столицы! Он —
18
Ведьма и Экзорцист. Второй шанс на жизнь
Ведьма и Экзорцист. Второй шанс на жизнь
[Детективы / Триллер / Любовное фэнтези / Фэнтези]
Приказ ясен: отравить Дерека вель Гранна. Последствия – костёр и пепел. Белладонна уже прошла этот круг, сгорела и получила второй шанс. Теперь она знает, что приказ – лишь верхушка заговора, в
4
Последняя Гадина империи
Последняя Гадина империи
[Попаданцы / Бояръ-Аниме / Русское фэнтези / Самиздат]
Пятьсот лет назад я была прославленным зельеваром, матриархом и почтенной основательницей династии. А сегодня очнулась в теле изнеженной барышни на пепелище семейной усадьбы и обнаружила, что весь
10
Железный характер Кристианы Морли
Железный характер Кристианы Морли
[Любовная фантастика / Попаданцы / Классическое фэнтези]
Удар копытом лошади рушит блестящие перспективы дебютантки. По мнению общества, хромота испортила не только плавную поступь девицы, но и характер! Это ж надо умудриться — вместо монастыря или
38

Прямо сейчас читают

Домохозяйки с того света
Домохозяйки с того света
[Иронический детектив / Городское фэнтези]
В тихом и безупречном районе Спелвелли, где соседи знают друг о друге всё, происходит невозможное! Люси Джонс – самая милая и добрая жительница городка – найдена мёртвой в собственном зоомагазине.
0
Полтора аршина
Полтора аршина
[Попаданцы]
Весна 1916 года. Год назад Морозов настоял на том, чтобы четверым обокраденным вернули не вещь, а выбор: приехать, объяснить и предложить решить самим. Один отказался, вдова продала за четыре рубля,
0
Херонейский Лев
Херонейский Лев
[Приключения: прочее / Боевик / Проза / Историческая проза]
Херонея, 338 год до н. э. Жирная точка в истории Классической Греции и отправная веха Эллинистической эпохи. Пока объединенные полисы выставляют стену щитов, чтобы защитить свою свободу, хитрый
0
Зеленая лампа
Зеленая лампа
[Русская классическая проза / Новелла]
"Фантастика 2026-157". Компиляция. Книги 1-26
[Боевая фантастика / Попаданцы / Классическое фэнтези]
Очередной 157-й томик  серии книг "Фантастика 2026", содержащий в себе законченные и полные циклы фантастических романов. В основе своей, романы включённые в эти сборники, есть эксклюзив, так как
0
Архивное дело
Архивное дело
[Детективы]
Мелиораторы, корчуя пни, обнаружили истлевший скелет, пролежавший в земле чуть не полвека. Долгие кропотливые розыски позволили восстановить доброе имя погибшего. ...По заключению судмедэксперта Зуев
0
После развода. И даром не нужен
После развода. И даром не нужен
[Современные любовные романы / Самиздат]
Возвращаюсь домой из отпуска и слышу от нашего говорящего попугая странные фразы: «Ксаночка, кубничку будешь? Чьи такие ножки? М-м-м». Тем же вечером муж знакомит меня с красивой брюнеткой лет
2
Отмеченная волком (ЛП)
Отмеченная волком (ЛП)
[Любовная фантастика / Эротика, Секс]
Оборотни охотятся на меня. Я была самой обычной девушкой, работала официанткой в баре маленького городка. И понятия не имела, что магия существует. До того дня, пока я пару раз не переехала своим
1
Регрессор №15 (Условный финал)
Регрессор №15 (Условный финал)
[Попаданцы / Самиздат / Альтернативная история]
«Так, что же со мной? Как такое возможно? Почему я?.. Божественное вмешательство? Безусловно. Только, Боже мой, зачем?! Разве кроме меня других людей на Земле нет? Разве я именно тот, кто достоин...
0
Белая слива Хуаньхуань
Белая слива Хуаньхуань
[Классическое фэнтези]
Юная Чжэнь Хуань, которая во время отбора произвела большое впечатление на императора и попала в его гарем, оказывается не единственной любимицей Сюаньлина. Статус наложницы дал ей не только
0
Попаданка и ее айдолы
Попаданка и ее айдолы
[Любовная фантастика / Самиздат]
Вы бы хотели коснуться любимого актера? А еще дышать с ним одним воздухом, есть из одной тарелки, ездить в одной машине, таскать на руках и... эх. Вот я — не хотела. А потому слушайте сюда: отдам
1
Анархия в школе Прескотт (ЛП)
Анархия в школе Прескотт (ЛП)
[Эротика, Секс / Современные любовные романы]
Одну ошибку в школе Прескотт нельзя совершать. Если не хотите, чтобы я уничтожила вас. Не трогайте моих прекрасно сломленных Парней Хавок. Смерть бродит по коридорам школы Прескотт. Однажды моя
1