MoreKnig.org

Учебное пособие по курсу «Нейроинформатика»: читать книгу онлайн полностью и бесплатно

Автор: Миркес Е.



Шрифт:

Поскольку никакие два состояния неупорядоченного признака не связаны отношением порядка, то было бы неразумным кодировать их разными величинами одного входного сигнала нейронной сети. Поэтому, для кодирования качественных признаков рекомендуется использовать столько входных сигналов, сколько состояний у этого качественного признака. Каждый входной сигнал соответствует определенному состоянию. Так если набор всех состояний рассматриваемого признака обозначить через α1, α2, …, αn, то рекомендуемая таблица кодировки имеет вид, приведенный в табл. 5.

Кодирование упорядоченных качественных признаков

Таблица 6. Кодирование упорядоченного качественного признака

Упорядоченные частные признаки, в отличие от неупорядоченных, имеют отношение порядка между состояниями. Однако кодирование их разными значениями одного входного сигнала неразумно из-за того, что расстояние между состояниями не определено, а такое кодирование эти расстояния задает явным образом. Поэтому, упорядоченные частные признаки рекомендуется кодировать в виде стольких входных сигналов, сколько состояний у признака. Но, в отличие от неупорядоченных признаков, накапливать число сигналов с максимальным значением. Для случая, когда все состояния обозначены через α1 < α2 < … < αn, рекомендуемая таблица кодировки приведена в табл. 6.

Числовые признаки

При предобработке численных сигналов необходимо учитывать содержательное значение признака, расположение значений признака в интервале значений, точность измерения значений признака. Продемонстрируем это на примерах.

Содержательное значение признака. Если входными данными сети является угол между двумя направлениями, например, направление ветра, то ни в коем случае не следует подавать на вход сети значение угла (не важно в градусах или радианах). Такая подача приведет к необходимости «уяснения» сетью того факта, что 0 градусов и 360 градусов одно и тоже. Разумнее выглядит подача в качестве входных данных синуса и косинуса этого угла. Число входных сигналов сети увеличивается, но зато близкие значения признака кодируются близкими входными сигналами.

Точность измерения признака. Так в метеорологии используется всего восемь направлений ветра. Значит, при подаче входного сигнала сети необходимо подавать не угол, а всего лишь информацию о том, в какой из восьми секторов этот угол попадает. Но тогда имеет смысл рассматривать направление ветра не как числовой параметр, а как неупорядоченный качественный признак с восемью состояниями.

Расположение значений признака в интервале значений. Следует рассмотреть вопрос о равнозначности изменения значения признака на некоторую величину в разных частях интервала значений признака. Как правило, это связано с косвенными измерениями (вместо одной величины измеряется другая). Например, сила притяжения двух небесных тел при условии постоянства массы однозначно характеризуется расстоянием между ними. Пусть рассматриваются расстояния от 1 до 100 метров. Легко понять, что при изменении расстояния с 1 до 2 метров, сила притяжения изменится в четыре раза, а при изменении с 99 до 100 метров — в 1.02 раза. Следовательно, вместо подачи расстояния следует подавать обратный квадрат расстояния c'=1/c².

Простейшая предобработка числовых признаков

Как уже отмечалось в разделе «Различимость входных данных» числовые сигналы рекомендуется масштабировать и сдвигать так, чтобы весь диапазон значений попадал в диапазон приемлемых входных сигналов. Эта предобработка проста и задается следующей формулой:

(1)

где [a,b] — диапазон приемлемых входных сигналов, [cmin,cmax] — диапазон значений признака c, c' — предобработанный сигнал, который будет подан на вход сети. Предобработку входного сигнала по формуле (1) будем называть простейшей предобработкой.

Оценка способности сети решить задачу

В данном разделе рассматриваются только сети, все элементы которых непрерывно зависят от своих аргументов (см. главу «Описание нейронных сетей»). Предполагается, что все входные данные предобработаны так, что все входные сигналы сети лежат в диапазоне приемлемых входных сигналов [a,b]. Будем обозначать вектора входных сигналов через xi, а требуемые ответы сети через fi. Компоненты векторов будем обозначать нижним индексом, например, компоненты входного вектора через xij. Будем полагать, что в каждом примере ответ является вектором чисел из диапазона приемлемых сигналов [a,b]. В случае обучения сети задаче классификации требуемый ответ зависит от вида используемого интерпретатора ответа (см. главу «Оценка и Интерпретатор ответа» ).

Нейронная сеть вычисляет некоторую вектор-функцию F от входных сигналов. Эта функция зависит от параметров сети. Обучение сети состоит в подборе такого набора параметров сети, чтобы величина была минимальной (в идеале равна нулю). Для того чтобы нейронная сеть могла хорошо приблизить заданную таблично функцию f необходимо, чтобы реализуемая сетью функция F при изменении входных сигналов с xi на xj могла изменить значение с fi на fj. Очевидно, что наиболее трудным для сети должно быть приближение функции в точках, в которых при малом изменении входных сигналов происходит большое изменение значения функции. Таким образом, наибольшую сложность будет представлять приближение функции f в точках, в которых достигает максимума выражение . Для аналитически заданных функций величина называется константой Липшица. Исходя из этих соображения можно дать следующее определение сложности задачи.

Сложность аппроксимации таблично заданной функцииf, которая в точках xi принимает значения fi, задается выборочной оценкой константы Липшица, вычисляемой по следующей формуле:

(2)

Оценка (2) является оценкой константы Липшица аппроксимируемой функции снизу.

Для того, чтобы оценить способность сети заданной конфигурации решить задачу, необходимо оценить константу Липшица сети и сравнить ее с выборочной оценкой (2). Константа Липшица сети вычисляется по следующей формуле:

(3)

В формулах (2) и (3) можно использовать произвольные нормы. Однако для нейронных сетей наиболее удобной является евклидова норма. Далее везде используется евклидова норма.

В следующем разделе описан способ вычисления оценки константы Липшица сети (3) сверху. Очевидно, что в случае  сеть принципиально не способна решить задачу аппроксимации функции f.

Оценка константы Липшица сети

Оценку константы Липшица сети будем строить в соответствии с принципом иерархического устройства сети, описанным в главе «Описание нейронных сетей». При этом потребуются следующие правила.

Для композиции функций f∘g=f(g(x)) константа Липшица оценивается как произведение констант Липшица:

Λf∘g ≤  ΛfΛg (4)

Для вектор-функции f=(f1, f2, … fn) константа Липшица равна:

(5)

Способ вычисления константы Липшица

Перейти на стр:
Шрифт:
Продолжить читать на другом устройстве:
QR code

Новые книги

Смотреть все
Последняя из рода Громовых 2
Последняя из рода Громовых 2
[Любовное фэнтези / Современная проза / Приключения / Фэнтези]
Я, принцесса Райвен, ставшая Риммой Громовой, успешно пересдала экзамены и зачеты, и даже сумела немного поднять свой уровень магии.Я постепенно осваиваю новую для меня Силу жизни и радуюсь, что
0
Лишняя в Академии
Лишняя в Академии
[Детективы / Приключения / Фантастика]
Как простой девушке из низов выжить среди элиты престижной Академии Паладинов, куда она поступила обманом, да еще и умудриться не вляпаться в новые неприятности? И как заставить самого классного
0
Обретешь не там, где ищешь
Обретешь не там, где ищешь
[Современные любовные романы / Эротика, Секс / Проза / Роман]
Только я могла так вляпаться: познакомиться с парнем моложе себя, переспать с ним в первый же вечер, а на утро выяснить, что он настоящая звезда! Так, спокойно, это очень скоро останется в прошлом, и
0
Сдаюсь сибирскому спецназу
Сдаюсь сибирскому спецназу
[Современные любовные романы / Проза / Современная проза / Роман]
- Ты кто? Эй, говорить умеешь? - Я замержла, – сиплю, принимая на снегу позу пособлазнительнее. – Рот замерж. И жубы. И весь йижик. Там вофк, – показываю назад. – Пуштите погретша. Я ошень бежава.
0
Пол с Терауры
Пол с Терауры
[Научная фантастика]
На маленькой затерянной планете Тераура восьмилетний Пол не родился у своих родителей — они его выбрали. Томас и Анна, инженеры-терраформеры, любили его по-настоящему. Недолгое время мир был тёплым:
0
Добрые сказки Волшебной долины
Добрые сказки Волшебной долины
[Детская литература: прочее / Сказка / Детская проза / Детские приключения]
Дорогой собиратель чудес! Распахни обложку этой книги — и перед тобой раскинется Волшебная долина! В ней живут прекрасные принцы и капризные принцессы, коварный король и заботливая мать-королева,
0
Искатель 29
Искатель 29
[Попаданцы / РеалРПГ (RealRPG)]
ФИНАЛ Умереть, эпично взорвавшись? Могу, умею, практикую. Заинтересовать то ли богиню, то ли непонятно кого любовью к играм? Не вопрос. Попасть в новый мир, где можно встретить как опасности,
0
Развод. Пока я носила твоего сына
Развод. Пока я носила твоего сына
[Дом и семья / Психология / Секс и семейная психология / Современная проза]
Я лежу в роддоме и прошу только об одном: пусть наш сын родится в срок. Мне так нужен муж, его ладонь на моём животе, тихое «мы тебя ждём». Он привозит крошечные носочки для малыша. И целует другую
0
Кровь Отверженных. Пробуждение истинной
Кровь Отверженных. Пробуждение истинной
[Детективы / Триллер / Боевик / Современная проза]
Подпольных аукционов, где женщин и детей продают как товар, не существует. Так считает весь мир. Но дети продолжают исчезать, как когда-то исчезла сестра Эмми. Когда сама героиня становится следующей
0
Расцвет Стальной Розы
Расцвет Стальной Розы
[Юмористическое фэнтези]
Я обрела силу рода Стальной розы и теперь сама могу решать, как мне жить. Но принцы не оставляют попыток получить моё доверие и присвоить магию жизни, которой я обладаю. Им нужна власть, мне –
0
Калиновая мостовая - 13
Калиновая мостовая - 13
[Триллер]
Чернореченск возник на берегу таинственной реки, где древний лес хранил мрачные тайны. Ослушавшись старинных запретов, люди вырубили чащу, и на город обрушилось проклятие. Даже в советскую эпоху
0
Империя пламени и шипов
Империя пламени и шипов
[Эротика, Секс / Любовная фантастика]
Мятежная фейри. Безжалостный дракон-командир. И смертельное испытание, которое перевернет их жизнь с ног на голову. Оказавшись в ловушке Двора Благих из-за тернового леса, Селена Хейл живет во
0

Самые популярные книги

Хорошая, плохая, грешная 3
Хорошая, плохая, грешная 3
[Попаданцы]
У Эвирейл Миардо нет ни единой свободной минутки на грусть и рефлексию! Да и когда? Столько дел, столько дел! Шахту выкопай, лавку открой, артефакты создай, эльфа за попу укуси... Ничего не
12
Последняя Гадина империи
Последняя Гадина империи
[Попаданцы / Бояръ-Аниме / Русское фэнтези / Самиздат]
Пятьсот лет назад я была прославленным зельеваром, матриархом и почтенной основательницей династии. А сегодня очнулась в теле изнеженной барышни на пепелище семейной усадьбы и обнаружила, что весь
10
Те, кто приходит в тишине
Те, кто приходит в тишине
[Альтернативная история / Попаданцы / Самиздат / Боевая фантастика]
Редкий бой бывает похож на предыдущий. Мы учимся. На своих и на чужих ошибках. Стараемся расти над собой. Противник – тоже. Он анализирует наши ошибки, учитывает остроумные решения. То есть
10
Петербургский врач 11
Петербургский врач 11
[Военное дело, спецслужбы / Медицина / Проза / Современная проза]
Вадим – хирург и микробиолог, попавший волей судьбы в Петербург 1904 года, в тело медицинского секретаря, работающего у богатого врача-мошенника. …Во дворах-колодцах тускло горят газовые фонари.
8
Замок над морем
Замок над морем
[Героическая фантастика / Любовное фэнтези]
Волны перемешивают гальку, жизнь перемешивает людские судьбы. Воины и рабы, дети Ардена и слуги Ириона, все равны перед вечностью. Казалось бы, все решено, расставлены фигуры и начата игра. Но
6
Измена. Я тебя (не) любил
Измена. Я тебя (не) любил
[Современные любовные романы]
— Как тебе… — слышу прерывистый голос подруги, — мой подарок в честь твоего дня рождения?По меньшей мере иду я в верном направлении. Но вот предчувствие не из лучших. Голос Светы перемешивается со
6
Наследник $$$ уровня Х
Наследник $$$ уровня Х
[Попаданцы / Книги про волшебников / Городское фэнтези / Самиздат]
Надо судить человека, прежде чем полюбил его, ибо, полюбив, уже не судят.
4
Тени сумрака
Тени сумрака
[Альтернативная история / Попаданцы / Боевая фантастика / Самиздат]
Один известный драматург сказал: вся жизнь – театр. А у Егора вся жизнь сплошное приключение. Вроде и не собирался ни с кем воевать, даже ссоры не искал, а неожиданно для себя вдруг нарвался на
4
Оружейникъ. 1866
Оружейникъ. 1866
[Попаданцы / Альтернативная история / Самиздат]
Умереть в шестьдесят шесть, заслонив собой молодого стажёра, — достойный финал для оружейника. Очнуться в теле семнадцатилетнего подручного на Тульском оружейном заводе в 1866 году — уже второй
4
Ревизор: возвращение в СССР 65
Ревизор: возвращение в СССР 65
[Самиздат / Попаданцы / Альтернативная история]
Продолжение приключений московского аудитора, попавшего из нашего времени в 1971 год. Павел Ивлев буквально завален работой по уши, но его все устраивает. Ведь он видит, как понемножку, но его усилия
4
Без страха и упрёка 7
Без страха и упрёка 7
[Альтернативная история / Попаданцы]
Алексей Штурмин достиг многого, но настоящее восхождение на вершины власти только начинается.
4
Граф поневоле. Книга вторая
Граф поневоле. Книга вторая
[Юмористическая фантастика / Альтернативная история / Попаданцы / Самиздат]
Умереть от пули киллера — обидно. Очнуться в 1827 году — странно. Обнаружить, что я теперь двадцатилетний граф, а моё имение разорено, — перебор. Хотя… Жив, молод, с титулом — уже хорошо. С
4

Самые комментируемые

Замок над морем
Замок над морем
[Героическая фантастика / Любовное фэнтези]
Волны перемешивают гальку, жизнь перемешивает людские судьбы. Воины и рабы, дети Ардена и слуги Ириона, все равны перед вечностью. Казалось бы, все решено, расставлены фигуры и начата игра. Но
6
Семья для брошенки. Вторая жизнь с нуля
Семья для брошенки. Вторая жизнь с нуля
[Любовная фантастика / Самиздат / Попаданцы]
Семь лет унижений, презрения и пустой постели. Герцог Дрейк Ашфорд объявил свою истинную жену бракованной и отправил в ссылку на Ольцег — умирать среди таких же «ненужных». Он думал, что сломал
22
Отбор невест, или Три орешка для темного
Отбор невест, или Три орешка для темного
[Любовная фантастика]
Каждая приличная драконица должна пройти отбор невест, иначе внукам у камина будет нечего рассказать. Так говорила моя маменька, а ей можно верить — за ее спиной аж четыре таких отбора! Так что я
14
Печать Забытой Эпохи
Печать Забытой Эпохи
[Любовная фантастика / Попаданцы]
— Скажи спасибо, что не оставил босой на улице, Верадель. Забирай свои проклятые северные руины и убирайся, — самодовольно бросил мне бывший муж, швырнув на стол бумаги о разводе. Он думал, что
25
Кодекс Магических Зверей XI
Кодекс Магических Зверей XI
[РеалРПГ (RealRPG) / Попаданцы / Городское фэнтези]
Десятки лет спасения жизней и смерть на полу собственной ветеринарной клиники. Только вместо небытия — пробуждение в теле юнца, чья лавка «целителя чудовищ» на грани полного развала. Вот только у
2
Хозяйка Тиховодья. Развод на краю болот
Хозяйка Тиховодья. Развод на краю болот
[Любовное фэнтези / Попаданцы]
- Двадцать четыре года, Веста. Наследника нет. Подпиши, и получишь Тиховодье. - А где это? - На краю Хляби. Тихо, сыро, никого. Утром я собирала клюкву в Мещёре и шагнула в болотное окно. Очнулась в
14
Шахматистка. Выжить на Арене Смерти
Шахматистка. Выжить на Арене Смерти
[Любовное фэнтези / Попаданцы / Книги про волшебников / Самиздат]
Кто-то попадает в имбовых персов: Избранных, Тёмных властелинов и прочих крутых ребят. А я попала в тело бездарной адептки магической академии. Как она сюда поступила-то, без грамма магии? Неважно,
14
Пулеметчик Федя
Пулеметчик Федя
[Альтернативная история / Юмористическая фантастика / Попаданцы / Самиздат]
Пулеметчик — это не звание, это диагноз. Тридцать пять лет, пулемёт «Печенег», рукавица прилипла к раскалённому кожуху — и здравствуйте: июнь сорок первого, чужие двадцать два года, чужие руки,
10
Диагноз
Диагноз
[Самиздат / Детективная фантастика / Городское фэнтези / Юмористическая фантастика]
Некромантия в нашем мире давно стала такой же частью жизни, как радио, кино, телефоны и аэропланы. Но разве могла я подумать, что однажды приду наниматься на службу к лучшему некроманту столицы! Он —
18
Ведьма и Экзорцист. Второй шанс на жизнь
Ведьма и Экзорцист. Второй шанс на жизнь
[Детективы / Триллер / Любовное фэнтези / Фэнтези]
Приказ ясен: отравить Дерека вель Гранна. Последствия – костёр и пепел. Белладонна уже прошла этот круг, сгорела и получила второй шанс. Теперь она знает, что приказ – лишь верхушка заговора, в
4
Последняя Гадина империи
Последняя Гадина империи
[Попаданцы / Бояръ-Аниме / Русское фэнтези / Самиздат]
Пятьсот лет назад я была прославленным зельеваром, матриархом и почтенной основательницей династии. А сегодня очнулась в теле изнеженной барышни на пепелище семейной усадьбы и обнаружила, что весь
10
Железный характер Кристианы Морли
Железный характер Кристианы Морли
[Любовная фантастика / Попаданцы / Классическое фэнтези]
Удар копытом лошади рушит блестящие перспективы дебютантки. По мнению общества, хромота испортила не только плавную поступь девицы, но и характер! Это ж надо умудриться — вместо монастыря или
38

Прямо сейчас читают

Домохозяйки с того света
Домохозяйки с того света
[Иронический детектив / Городское фэнтези]
В тихом и безупречном районе Спелвелли, где соседи знают друг о друге всё, происходит невозможное! Люси Джонс – самая милая и добрая жительница городка – найдена мёртвой в собственном зоомагазине.
0
Полтора аршина
Полтора аршина
[Попаданцы]
Весна 1916 года. Год назад Морозов настоял на том, чтобы четверым обокраденным вернули не вещь, а выбор: приехать, объяснить и предложить решить самим. Один отказался, вдова продала за четыре рубля,
0
Время для мятежника
Время для мятежника
[Научная фантастика]
В ходе рутинной проверки в поле зрения спецслужб неожиданно попадает начальник сверхсекретного объекта полковник Уэсли Мак – Каллох. Его послужной список безупречен, но по непоянтным причинам он
1
Херонейский Лев
Херонейский Лев
[Приключения: прочее / Боевик / Проза / Историческая проза]
Херонея, 338 год до н. э. Жирная точка в истории Классической Греции и отправная веха Эллинистической эпохи. Пока объединенные полисы выставляют стену щитов, чтобы защитить свою свободу, хитрый
0
Зеленая лампа
Зеленая лампа
[Русская классическая проза / Новелла]
"Фантастика 2026-157". Компиляция. Книги 1-26
[Боевая фантастика / Попаданцы / Классическое фэнтези]
Очередной 157-й томик  серии книг "Фантастика 2026", содержащий в себе законченные и полные циклы фантастических романов. В основе своей, романы включённые в эти сборники, есть эксклюзив, так как
0
Архивное дело
Архивное дело
[Детективы]
Мелиораторы, корчуя пни, обнаружили истлевший скелет, пролежавший в земле чуть не полвека. Долгие кропотливые розыски позволили восстановить доброе имя погибшего. ...По заключению судмедэксперта Зуев
0
Мрачная леди на задании
Мрачная леди на задании
[Самиздат]
Мрачные тайны, заносчивые лорды и детективные расследования ! Что может быть более захватывающим для циничной тридцатилетней леди? Думаете, интересные джентльмены, которые не прочь приударить
1
После развода. И даром не нужен
После развода. И даром не нужен
[Современные любовные романы / Самиздат]
Возвращаюсь домой из отпуска и слышу от нашего говорящего попугая странные фразы: «Ксаночка, кубничку будешь? Чьи такие ножки? М-м-м». Тем же вечером муж знакомит меня с красивой брюнеткой лет
2
Отмеченная волком (ЛП)
Отмеченная волком (ЛП)
[Любовная фантастика / Эротика, Секс]
Оборотни охотятся на меня. Я была самой обычной девушкой, работала официанткой в баре маленького городка. И понятия не имела, что магия существует. До того дня, пока я пару раз не переехала своим
1
Белая слива Хуаньхуань
Белая слива Хуаньхуань
[Классическое фэнтези]
Юная Чжэнь Хуань, которая во время отбора произвела большое впечатление на императора и попала в его гарем, оказывается не единственной любимицей Сюаньлина. Статус наложницы дал ей не только
0
Попаданка и ее айдолы
Попаданка и ее айдолы
[Любовная фантастика / Самиздат]
Вы бы хотели коснуться любимого актера? А еще дышать с ним одним воздухом, есть из одной тарелки, ездить в одной машине, таскать на руках и... эх. Вот я — не хотела. А потому слушайте сюда: отдам
1