MoreKnig.org

Учебное пособие по курсу «Нейроинформатика»: читать книгу онлайн полностью и бесплатно

Автор: Миркес Е.



Шрифт:

3. Сведение параметров нейронной сети к небольшому набору выделенных значений.

4. Снижение требований к точности входных сигналов.

5. Получение явных знаний из данных.

Далее в этом разделе все перечисленные выше задачи рассмотрены более подробно.

Упрощение архитектуры нейронной сети

Стремление к упрощению архитектуры нейронных сетей возникло из попытки ответить на следующие вопрос: «Сколько нейронов нужно использовать и как они должны быть связаны друг с другом?» При ответе на этот вопрос существует две противоположные точки зрения. Одна из них утверждает, что чем больше нейронов использовать, тем более надежная сеть получится. Сторонники этой позиции ссылаются на пример человеческого мозга. Действительно, чем больше нейронов, тем больше число связей между ними, и тем более сложные задачи способна решить нейронная сеть. Кроме того, если использовать заведомо большее число нейронов, чем необходимо для решения задачи, то нейронная сеть точно обучится. Если же начинать с небольшого числа нейронов, то сеть может оказаться неспособной обучиться решению задачи, и весь процесс придется повторять сначала с большим числом нейронов. Эта точка зрения (чем больше — тем лучше) популярна среди разработчиков нейросетевого программного обеспечения. Так, многие из них как одно из основных достоинств своих программ называют возможность использования любого числа нейронов.

Рис. 1. Аппроксимация табличной функции

Вторая точка зрения опирается на такое «эмпирическое» правило: чем больше подгоночных параметров, тем хуже аппроксимация функции в тех областях, где ее значения были заранее неизвестны. С математической точки зрения задачи обучения нейронных сетей сводятся к продолжению функции заданной в конечном числе точек на всю область определения. При таком подходе входные данные сети считаются аргументами функции, а ответ сети — значением функции. На рис. 1 приведен пример аппроксимации табличной функции полиномами 3-й (рис. 1.а) и 7-й (рис. 1.б) степеней. Очевидно, что аппроксимация, полученная с помощью полинома 3-ей степени больше соответствует внутреннему представлению о «правильной» аппроксимации. Несмотря на свою простоту, этот пример достаточно наглядно демонстрирует суть проблемы.

Второй подход определяет нужное число нейронов как минимально необходимое. Основным недостатком является то, что это, минимально необходимое число, заранее неизвестно, а процедура его определения путем постепенного наращивания числа нейронов весьма трудоемка. Опираясь на опыт работы группы НейроКомп в области медицинской диагностики [18, 49–52, 73, 91, 92, 161, 162, 166, 183–188, 191–209, 256, 296–299, 317, 318, 344–349, 354, 364], космической навигации и психологии можно отметить, что во всех этих задачах ни разу не потребовалось более нескольких десятков нейронов.

Подводя итог анализу двух крайних позиций, можно сказать следующее: сеть с минимальным числом нейронов должна лучше («правильнее», более гладко) аппроксимировать функцию, но выяснение этого минимального числа нейронов требует больших интеллектуальных затрат и экспериментов по обучению сетей. Если число нейронов избыточно, то можно получить результат с первой попытки, но существует риск построить «плохую» аппроксимацию. Истина, как всегда бывает в таких случаях, лежит посередине: нужно выбирать число нейронов большим, чем необходимо, но не намного. Это можно осуществить путем удвоения числа нейронов в сети после каждой неудачной попытки обучения. Наиболее надежным способом оценки минимального числа нейронов является использование процедуры контрастирования. Кроме того, процедура контрастирования позволяет ответить и на второй вопрос: какова должна быть структура сети.

Как уже отмечалось ранее, основная сложность в аппаратной реализации нейронных сетей — большое число связей между элементами. В связи с этим, задача уменьшения числа связей (упрощения архитектуры нейронной сети) приобретает особенную важность. Во многих приложениях, выполненных группой НейроКомп [18, 49–52, 65, 73, 91, 92, 161, 162, 166, 183–188, 191–209, 256, 286, 296–299, 300–302, 317, 318, 344–348, 354, 364, 367] в ходе процедуры контрастирования число связей уменьшалось в 5-10 раз. Кроме того, при этом уменьшалось общее число элементов. Такое кардинальное упрощение архитектуры нейронной сети резко упрощает ее аппаратную реализацию.

Уменьшение числа входных сигналов

При постановке задачи для нейронной сети не всегда удается точно определить сколько и каких входных данных нужно подавать на вход. В случае недостатка данных сеть не сможет обучиться решению задачи. Однако гораздо чаще на вход сети подается избыточный набор входных параметров. Например, при обучении сети постановке диагноза в задачах медицинской диагностики на вход сети подаются все данные, необходимые для постановки диагноза в соответствии с существующими методиками. Следует учесть, что стандартные методики постановки диагнозов разрабатываются для использования на большой территории (например, на территории России). Как правило, при диагностике заболеваний населения какого-нибудь небольшого региона (например города) можно обойтись меньшим набором исходных данных. Причем этот усеченный набор будет варьироваться от одного малого региона к другому. Требуется определить, какие данные необходимы для решения конкретной задачи, поставленной для нейронной сети. Кроме того, в ходе решения этой задачи определяются значимости входных сигналов. Следует заметить, что умение определять значимость входных сигналов представляет самостоятельную ценность.

Сведение параметров нейронной сети к выделенным значениям

При обучении нейронных сетей на универсальных компьютерах параметры сети являются действительными числами из заданного диапазона. При аппаратной реализации нейронной сети не всегда возможно реализовать веса связей с высокой точностью (в компьютерном представлении действительных чисел хранятся первые 6–7 цифр мантиссы). Опыт показывает, что в обученной сети веса многих синапсов можно изменять в довольно широком диапазоне (до полуширины интервала изменения веса) не изменяя качество решения сетью поставленной перед ней задачи. Исходя из этого, умение решать задачу замены значений параметров сети на значения из заданного набора приобретает важный практический смысл.

Снижение требований к точности входных сигналов

При обработке экспериментальных данных полезно знать, что измерение с высокой точностью, как правило, дороже измерения с низкой точностью. Причем достаточно часто получение очередной значащей цифры измеряемого параметра стоит на несколько порядков дороже. В связи с этим задача снижения требований к точности измерения входных параметров сети приобретает смысл.

Получение явных знаний из данных

Одной из главных загадок мышления является то, как из совокупности данных об объекте, появляется знание о нем. До недавнего времени наибольшим достижением в области искусственного интеллекта являлось либо воспроизведение логики человека-эксперта (классические экспертные системы), либо построение регрессионных зависимостей и определение степени зависимости одних параметров от других.

С другой стороны, одним из основных недостатков нейронных сетей, с точки зрения многих пользователей, является то, что нейронная сеть решает задачу, но не может рассказать как. Иными словами из обученной нейронной сети нельзя извлечь алгоритм решения задачи. Таким образом нейронные сети позволяют получать неявные знания из данных.

В домашнем задании I Всесоюзной олимпиады по нейрокомпьютингу, проходившей в мае 1991 года в городе Омске, в исследовательской задаче участникам было предложено определить, как нейронная сеть решает задачу распознавания пяти первых букв латинского алфавита (полный текст задания и наиболее интересные варианты решения приведены в [47]). Это была первая попытка извлечения алгоритма решения задачи из обученной нейронной сети.

В 1995 году была сформулирована идея логически прозрачных сетей, то есть сетей на основе структуры которых можно построить вербальное описание алгоритма получения ответа. Это достигается при помощи специальным образом построенной процедуры контрастирования.

Рис. 2. Набор минимальных сетей для решения задачи о предсказании результатов выборов президента США. В рисунке использованы следующие обозначения: буквы «П» и «О» — обозначают вид ответа, выдаваемый нейроном: «П» — положительный сигнал означает победу правящей партии, а отрицательный — оппозиционной; «О» — положительный сигнал означает победу оппозиционной партии, а отрицательный — правящей;

Зададимся классом сетей, которые будем считать логически прозрачными (то есть такими, которые решают задачу понятным для нас способом, для которого легко сформулировать словесное описания в виде явного алгоритма). Например потребуем, чтобы все нейроны имели не более трех входных сигналов.

Зададимся нейронной сетью у которой все входные сигналы подаются на все нейроны входного слоя, а все нейроны каждого следующего слоя принимают выходные сигналы всех нейронов предыдущего слоя. Обучим сеть безошибочному решению задачи.

После этого будем производить контрастирование в несколько этапов. На первом этапе будем удалять только входные связи нейронов входного слоя. Если после этого у некоторых нейронов осталось больше трех входных сигналов, то увеличим число входных нейронов. Затем аналогичную процедуру выполним поочередно для всех остальных слоев. После завершения описанной процедуры будет получена логически прозрачная сеть. Можно произвести дополнительное контрастирование сети, чтобы получить минимальную сеть. На рис. 2 приведены восемь минимальных сетей. Если под логически прозрачными сетями понимать сети, у которых каждый нейрон имеет не более трех входов, то все сети кроме пятой и седьмой являются логически прозрачными. Пятая и седьмая сети демонстрируют тот факт, что минимальность сети не влечет за собой логической прозрачности.

Перейти на стр:
Шрифт:
Продолжить читать на другом устройстве:
QR code

Новые книги

Смотреть все
Шесть лет молчания
Шесть лет молчания
[Современные любовные романы / Современная проза / Роман]
Лекси знает расписание старшеклассника Кита лучше, чем своё. Он оборачивается в коридоре — всего на секунду, — и этого хватает, чтобы она придумала себе историю на шесть лет. Шесть лет тишины.
0
Последняя из рода Громовых 2
Последняя из рода Громовых 2
[Любовное фэнтези / Современная проза / Приключения / Фэнтези]
Я, принцесса Райвен, ставшая Риммой Громовой, успешно пересдала экзамены и зачеты, и даже сумела немного поднять свой уровень магии.Я постепенно осваиваю новую для меня Силу жизни и радуюсь, что
0
Лишняя в Академии
Лишняя в Академии
[Детективы / Приключения / Фантастика]
Как простой девушке из низов выжить среди элиты престижной Академии Паладинов, куда она поступила обманом, да еще и умудриться не вляпаться в новые неприятности? И как заставить самого классного
0
Обретешь не там, где ищешь
Обретешь не там, где ищешь
[Современные любовные романы / Эротика, Секс / Проза / Роман]
Только я могла так вляпаться: познакомиться с парнем моложе себя, переспать с ним в первый же вечер, а на утро выяснить, что он настоящая звезда! Так, спокойно, это очень скоро останется в прошлом, и
0
Сдаюсь сибирскому спецназу
Сдаюсь сибирскому спецназу
[Современные любовные романы / Проза / Современная проза / Роман]
- Ты кто? Эй, говорить умеешь? - Я замержла, – сиплю, принимая на снегу позу пособлазнительнее. – Рот замерж. И жубы. И весь йижик. Там вофк, – показываю назад. – Пуштите погретша. Я ошень бежава.
0
Пол с Терауры
Пол с Терауры
[Научная фантастика]
На маленькой затерянной планете Тераура восьмилетний Пол не родился у своих родителей — они его выбрали. Томас и Анна, инженеры-терраформеры, любили его по-настоящему. Недолгое время мир был тёплым:
0
Добрые сказки Волшебной долины
Добрые сказки Волшебной долины
[Детская литература: прочее / Сказка / Детская проза / Детские приключения]
Дорогой собиратель чудес! Распахни обложку этой книги — и перед тобой раскинется Волшебная долина! В ней живут прекрасные принцы и капризные принцессы, коварный король и заботливая мать-королева,
0
Искатель 29
Искатель 29
[Попаданцы / РеалРПГ (RealRPG)]
ФИНАЛ Умереть, эпично взорвавшись? Могу, умею, практикую. Заинтересовать то ли богиню, то ли непонятно кого любовью к играм? Не вопрос. Попасть в новый мир, где можно встретить как опасности,
0
Развод. Пока я носила твоего сына
Развод. Пока я носила твоего сына
[Дом и семья / Психология / Секс и семейная психология / Современная проза]
Я лежу в роддоме и прошу только об одном: пусть наш сын родится в срок. Мне так нужен муж, его ладонь на моём животе, тихое «мы тебя ждём». Он привозит крошечные носочки для малыша. И целует другую
0
Кровь Отверженных. Пробуждение истинной
Кровь Отверженных. Пробуждение истинной
[Детективы / Триллер / Боевик / Современная проза]
Подпольных аукционов, где женщин и детей продают как товар, не существует. Так считает весь мир. Но дети продолжают исчезать, как когда-то исчезла сестра Эмми. Когда сама героиня становится следующей
0
Расцвет Стальной Розы
Расцвет Стальной Розы
[Юмористическое фэнтези]
Я обрела силу рода Стальной розы и теперь сама могу решать, как мне жить. Но принцы не оставляют попыток получить моё доверие и присвоить магию жизни, которой я обладаю. Им нужна власть, мне –
0
Калиновая мостовая - 13
Калиновая мостовая - 13
[Триллер]
Чернореченск возник на берегу таинственной реки, где древний лес хранил мрачные тайны. Ослушавшись старинных запретов, люди вырубили чащу, и на город обрушилось проклятие. Даже в советскую эпоху
0

Самые популярные книги

Хорошая, плохая, грешная 3
Хорошая, плохая, грешная 3
[Попаданцы]
У Эвирейл Миардо нет ни единой свободной минутки на грусть и рефлексию! Да и когда? Столько дел, столько дел! Шахту выкопай, лавку открой, артефакты создай, эльфа за попу укуси... Ничего не
12
Последняя Гадина империи
Последняя Гадина империи
[Попаданцы / Бояръ-Аниме / Русское фэнтези / Самиздат]
Пятьсот лет назад я была прославленным зельеваром, матриархом и почтенной основательницей династии. А сегодня очнулась в теле изнеженной барышни на пепелище семейной усадьбы и обнаружила, что весь
10
Те, кто приходит в тишине
Те, кто приходит в тишине
[Альтернативная история / Попаданцы / Самиздат / Боевая фантастика]
Редкий бой бывает похож на предыдущий. Мы учимся. На своих и на чужих ошибках. Стараемся расти над собой. Противник – тоже. Он анализирует наши ошибки, учитывает остроумные решения. То есть
10
Петербургский врач 11
Петербургский врач 11
[Военное дело, спецслужбы / Медицина / Проза / Современная проза]
Вадим – хирург и микробиолог, попавший волей судьбы в Петербург 1904 года, в тело медицинского секретаря, работающего у богатого врача-мошенника. …Во дворах-колодцах тускло горят газовые фонари.
8
Замок над морем
Замок над морем
[Героическая фантастика / Любовное фэнтези]
Волны перемешивают гальку, жизнь перемешивает людские судьбы. Воины и рабы, дети Ардена и слуги Ириона, все равны перед вечностью. Казалось бы, все решено, расставлены фигуры и начата игра. Но
6
Измена. Я тебя (не) любил
Измена. Я тебя (не) любил
[Современные любовные романы]
— Как тебе… — слышу прерывистый голос подруги, — мой подарок в честь твоего дня рождения?По меньшей мере иду я в верном направлении. Но вот предчувствие не из лучших. Голос Светы перемешивается со
6
Наследник $$$ уровня Х
Наследник $$$ уровня Х
[Попаданцы / Книги про волшебников / Городское фэнтези / Самиздат]
Надо судить человека, прежде чем полюбил его, ибо, полюбив, уже не судят.
4
Тени сумрака
Тени сумрака
[Альтернативная история / Попаданцы / Боевая фантастика / Самиздат]
Один известный драматург сказал: вся жизнь – театр. А у Егора вся жизнь сплошное приключение. Вроде и не собирался ни с кем воевать, даже ссоры не искал, а неожиданно для себя вдруг нарвался на
4
Оружейникъ. 1866
Оружейникъ. 1866
[Попаданцы / Альтернативная история / Самиздат]
Умереть в шестьдесят шесть, заслонив собой молодого стажёра, — достойный финал для оружейника. Очнуться в теле семнадцатилетнего подручного на Тульском оружейном заводе в 1866 году — уже второй
4
Ревизор: возвращение в СССР 65
Ревизор: возвращение в СССР 65
[Самиздат / Попаданцы / Альтернативная история]
Продолжение приключений московского аудитора, попавшего из нашего времени в 1971 год. Павел Ивлев буквально завален работой по уши, но его все устраивает. Ведь он видит, как понемножку, но его усилия
4
Без страха и упрёка 7
Без страха и упрёка 7
[Альтернативная история / Попаданцы]
Алексей Штурмин достиг многого, но настоящее восхождение на вершины власти только начинается.
4
Граф поневоле. Книга вторая
Граф поневоле. Книга вторая
[Юмористическая фантастика / Альтернативная история / Попаданцы / Самиздат]
Умереть от пули киллера — обидно. Очнуться в 1827 году — странно. Обнаружить, что я теперь двадцатилетний граф, а моё имение разорено, — перебор. Хотя… Жив, молод, с титулом — уже хорошо. С
4

Самые комментируемые

Замок над морем
Замок над морем
[Героическая фантастика / Любовное фэнтези]
Волны перемешивают гальку, жизнь перемешивает людские судьбы. Воины и рабы, дети Ардена и слуги Ириона, все равны перед вечностью. Казалось бы, все решено, расставлены фигуры и начата игра. Но
6
Семья для брошенки. Вторая жизнь с нуля
Семья для брошенки. Вторая жизнь с нуля
[Любовная фантастика / Самиздат / Попаданцы]
Семь лет унижений, презрения и пустой постели. Герцог Дрейк Ашфорд объявил свою истинную жену бракованной и отправил в ссылку на Ольцег — умирать среди таких же «ненужных». Он думал, что сломал
22
Отбор невест, или Три орешка для темного
Отбор невест, или Три орешка для темного
[Любовная фантастика]
Каждая приличная драконица должна пройти отбор невест, иначе внукам у камина будет нечего рассказать. Так говорила моя маменька, а ей можно верить — за ее спиной аж четыре таких отбора! Так что я
14
Печать Забытой Эпохи
Печать Забытой Эпохи
[Любовная фантастика / Попаданцы]
— Скажи спасибо, что не оставил босой на улице, Верадель. Забирай свои проклятые северные руины и убирайся, — самодовольно бросил мне бывший муж, швырнув на стол бумаги о разводе. Он думал, что
25
Кодекс Магических Зверей XI
Кодекс Магических Зверей XI
[РеалРПГ (RealRPG) / Попаданцы / Городское фэнтези]
Десятки лет спасения жизней и смерть на полу собственной ветеринарной клиники. Только вместо небытия — пробуждение в теле юнца, чья лавка «целителя чудовищ» на грани полного развала. Вот только у
2
Хозяйка Тиховодья. Развод на краю болот
Хозяйка Тиховодья. Развод на краю болот
[Любовное фэнтези / Попаданцы]
- Двадцать четыре года, Веста. Наследника нет. Подпиши, и получишь Тиховодье. - А где это? - На краю Хляби. Тихо, сыро, никого. Утром я собирала клюкву в Мещёре и шагнула в болотное окно. Очнулась в
14
Шахматистка. Выжить на Арене Смерти
Шахматистка. Выжить на Арене Смерти
[Любовное фэнтези / Попаданцы / Книги про волшебников / Самиздат]
Кто-то попадает в имбовых персов: Избранных, Тёмных властелинов и прочих крутых ребят. А я попала в тело бездарной адептки магической академии. Как она сюда поступила-то, без грамма магии? Неважно,
14
Пулеметчик Федя
Пулеметчик Федя
[Альтернативная история / Юмористическая фантастика / Попаданцы / Самиздат]
Пулеметчик — это не звание, это диагноз. Тридцать пять лет, пулемёт «Печенег», рукавица прилипла к раскалённому кожуху — и здравствуйте: июнь сорок первого, чужие двадцать два года, чужие руки,
10
Диагноз
Диагноз
[Самиздат / Детективная фантастика / Городское фэнтези / Юмористическая фантастика]
Некромантия в нашем мире давно стала такой же частью жизни, как радио, кино, телефоны и аэропланы. Но разве могла я подумать, что однажды приду наниматься на службу к лучшему некроманту столицы! Он —
18
Ведьма и Экзорцист. Второй шанс на жизнь
Ведьма и Экзорцист. Второй шанс на жизнь
[Детективы / Триллер / Любовное фэнтези / Фэнтези]
Приказ ясен: отравить Дерека вель Гранна. Последствия – костёр и пепел. Белладонна уже прошла этот круг, сгорела и получила второй шанс. Теперь она знает, что приказ – лишь верхушка заговора, в
4
Последняя Гадина империи
Последняя Гадина империи
[Попаданцы / Бояръ-Аниме / Русское фэнтези / Самиздат]
Пятьсот лет назад я была прославленным зельеваром, матриархом и почтенной основательницей династии. А сегодня очнулась в теле изнеженной барышни на пепелище семейной усадьбы и обнаружила, что весь
10
Железный характер Кристианы Морли
Железный характер Кристианы Морли
[Любовная фантастика / Попаданцы / Классическое фэнтези]
Удар копытом лошади рушит блестящие перспективы дебютантки. По мнению общества, хромота испортила не только плавную поступь девицы, но и характер! Это ж надо умудриться — вместо монастыря или
38

Прямо сейчас читают

Домохозяйки с того света
Домохозяйки с того света
[Иронический детектив / Городское фэнтези]
В тихом и безупречном районе Спелвелли, где соседи знают друг о друге всё, происходит невозможное! Люси Джонс – самая милая и добрая жительница городка – найдена мёртвой в собственном зоомагазине.
0
Полтора аршина
Полтора аршина
[Попаданцы]
Весна 1916 года. Год назад Морозов настоял на том, чтобы четверым обокраденным вернули не вещь, а выбор: приехать, объяснить и предложить решить самим. Один отказался, вдова продала за четыре рубля,
0
Херонейский Лев
Херонейский Лев
[Приключения: прочее / Боевик / Проза / Историческая проза]
Херонея, 338 год до н. э. Жирная точка в истории Классической Греции и отправная веха Эллинистической эпохи. Пока объединенные полисы выставляют стену щитов, чтобы защитить свою свободу, хитрый
0
Зеленая лампа
Зеленая лампа
[Русская классическая проза / Новелла]
"Фантастика 2026-157". Компиляция. Книги 1-26
[Боевая фантастика / Попаданцы / Классическое фэнтези]
Очередной 157-й томик  серии книг "Фантастика 2026", содержащий в себе законченные и полные циклы фантастических романов. В основе своей, романы включённые в эти сборники, есть эксклюзив, так как
0
Архивное дело
Архивное дело
[Детективы]
Мелиораторы, корчуя пни, обнаружили истлевший скелет, пролежавший в земле чуть не полвека. Долгие кропотливые розыски позволили восстановить доброе имя погибшего. ...По заключению судмедэксперта Зуев
0
После развода. И даром не нужен
После развода. И даром не нужен
[Современные любовные романы / Самиздат]
Возвращаюсь домой из отпуска и слышу от нашего говорящего попугая странные фразы: «Ксаночка, кубничку будешь? Чьи такие ножки? М-м-м». Тем же вечером муж знакомит меня с красивой брюнеткой лет
2
Отмеченная волком (ЛП)
Отмеченная волком (ЛП)
[Любовная фантастика / Эротика, Секс]
Оборотни охотятся на меня. Я была самой обычной девушкой, работала официанткой в баре маленького городка. И понятия не имела, что магия существует. До того дня, пока я пару раз не переехала своим
1
Регрессор №15 (Условный финал)
Регрессор №15 (Условный финал)
[Попаданцы / Самиздат / Альтернативная история]
«Так, что же со мной? Как такое возможно? Почему я?.. Божественное вмешательство? Безусловно. Только, Боже мой, зачем?! Разве кроме меня других людей на Земле нет? Разве я именно тот, кто достоин...
0
Белая слива Хуаньхуань
Белая слива Хуаньхуань
[Классическое фэнтези]
Юная Чжэнь Хуань, которая во время отбора произвела большое впечатление на императора и попала в его гарем, оказывается не единственной любимицей Сюаньлина. Статус наложницы дал ей не только
0
Попаданка и ее айдолы
Попаданка и ее айдолы
[Любовная фантастика / Самиздат]
Вы бы хотели коснуться любимого актера? А еще дышать с ним одним воздухом, есть из одной тарелки, ездить в одной машине, таскать на руках и... эх. Вот я — не хотела. А потому слушайте сюда: отдам
1
Анархия в школе Прескотт (ЛП)
Анархия в школе Прескотт (ЛП)
[Эротика, Секс / Современные любовные романы]
Одну ошибку в школе Прескотт нельзя совершать. Если не хотите, чтобы я уничтожила вас. Не трогайте моих прекрасно сломленных Парней Хавок. Смерть бродит по коридорам школы Прескотт. Однажды моя
1