Книга: Тарков М. С. «Нейрокомпьютерные системы»

Серия: "Основы информационных технологий"

Излагаются основы построения нейрокомпьютеров. Дается детальный обзор и описание важнейших методов обучения нейронных сетей различной структуры, а также задач, решаемых этими сетями. Рассмотрены вопросы аппаратной реализации нейронных сетей.
Для студентов старших курсов, аспирантов и научных работников, интересующихся методами искусственного интеллекта.

Содержание:

Лекция 1. Введение в нейрокомпьютерные системы...... 10 История и перспективы развития нейрокомпьютеров...... 10 Символьная парадигма...... 11 Коннекционистская парадигма...... 11 Краткая история нейронных сетей...... 12 Ранние годы...... 12 Возрождение нейронных сетей...... 13 Лекция 2. Модели нейронов...... 16 Элементы нейронных сетей и задача разделения двух классов...... 16 Персептрон...... 16 Сигмоидальный нейрон...... 17 Аппроксимация функций...... 19 Нейрон типа «адалайн»...... 19 Паде-нейрон...... 20 Нейрон с квадратичным сумматором...... 20 Сигма-Пи нейроны...... 21 Модель нейрона Хебба...... 21 Стохастическая модель нейрона...... 22 Нейроны типа WTA...... 23 Кубияеские модели нейронов...... 24 Запись активации в замкнутой форме...... 24 Обучение кубических нейронов...... 24 Лекция 3. Задача линейного разделения двух классов...... 26 Линейное разделение классов...... 26 Алгоритм обучения персептрона по отдельным примерам...... 26 Обучение по всему задачнику...... 27 Промежуточный вариант: обучение по страницам...... 28 Геометрическая интерпретация линейного разделения классов...... 28 Настройка весового вектора...... 29 Лекция 4. Задача нелинейного разделения двух классов...... 31 Метод максимума правдоподобия...... 31 Нейрофизиологическая аналогия...... 32 Реализация булевых функций нейронными сетями...... 32 Выделение выпуклых областей...... 34 Выделение невыпуклых областей...... 35 Лекция 5. Виды нейронных сетей и способы организации их функционирования...... 38 Виды сетей...... 38 Функционирование сетей...... 40 Настройка нейронных сетей для решения задач...... 40 Предобработка данных...... 41 Интерпретация ответов сети...... 41 Оценка способности сети решить задачу...... 42 Константа Липшица сигмоидальной сети...... 43 Лекция 6. Многослойные сети сигмоидального типа...... 45 Алгоритм обратного распространения ошибки...... 45 Одномерная оптимизация...... 49 Методы инициализации весов...... 51 Лекция 7. Градиентные алгоритмы обучения сети...... 53 Универсальный путь обучения...... 53 Особенности задачи оптимизации, возникающей при обучении нейронных сетей...... 53 Учет ограничений при обучении...... 54 Выбор направления минимизации...... 55 Партан-методы...... 55 Одношаговый квазиньютоновский метод и сопряженные градиенты...... 56 Лекция 8. Методы глобальной оптимизации...... 58 Элементы глобальной оптимизации...... 58 Алгоритмы имитации отжига...... 58 Генетические алгоритмы...... 60 Метод виртуальных частиц...... 61 Четыре типа устойчивости...... 63 Лекция 9. Радиальные нейронные сети...... 65 Математические основы радиальных сетей...... 66 Радиальная нейронная сеть...... 68 Лекция 10. Рекуррентные сети как ассоциативные запоминающие устройства...... 71 Введение...... 71 Автоассоциативная сеть Хопфилда...... 72 Обучение сети Хопфилда по правилу Хебба...... 73 Обучение сети Хопфилда методом проекций...... 74 СетьХемминга...... 76 Двунаправленная ассоциативная память...... 78 Лекция 11. Решение задач комбинаторной оптимизации рекуррентными сетями...... 80 Решение задачи коммивояжера сетью Хопфилда...... 80 Машина Больцмана...... 81 Функция консенсуса...... 82 Максимизация консенсуса...... 82 Синхронное и асинхронное функционирование машины Больцмана...... 83 Решение задачи коммивояжера машиной Больцмана...... 84 Лекция 12. Рекуррентные сети на базе персептрона...... 86 Введение...... 86 Персептронная сеть с обратной связью...... 86 Рекуррентная сеть Эльмана...... 88 Сеть RTRN...... 91 Лекция 13. Самоорганизация (самообучение) нейронных сетей...... 94 Классификация без учителя...... 94 Метод динамических ядер в классификации без учителя...... 94 Алгоритмы обучения сетей с самоорганизацией...... 96 Алгоритм Кохонена...... 98 Применение сетей с самоорганизацией...... 99 Компрессия данных...... 99 Прогнозирование нагрузок энергетической системы...... 101 Лекция 14. Адаптивная резонансная теория (APT)...... 103 Адаигивная резонансная теория (APT)...... 103 Сеть APT-1...... 103 Архитектура и работа...... 104 Слой сравнения...... 104 Слой распознавания...... 105 Работа сети APT...... 106 Необходимость поиска...... 108 Положительные качества и недостатки APT...... 109 Лекция 15. Нечеткие и гибридные нейронные сети...... 111 Интеллектуальные информационные системы в условиях неопределенности и риска...... 111 Нечеткие множества...... 112 Лингвистические переменные...... 112 Нечеткие правила вывода...... 113 Системы нечеткого вывода Мамдани-Заде...... 113 Фазификатор...... 116 Дефазификатор...... 116 Модель Мамдани-Заде как универсальный аппроксиматор...... 117 Нечеткие сети TSK (Такаги-Сугено-Канга)...... 118 Гибридный алгоритм обучения нечетких сетей...... 119 Мягкая экспертная система...... 121 Определение мягкой экспертной системы. Сравнение нечеткой и мягкой экспертных систем...... 121 Представление знаний в мягкой экспертной системе. Содержание баз знаний и данных мягкой экспертной системы...... 123 Лекция 16. Контрастирование (редукция) нейронной сети...... 124 Значимость параметров и сигналов. Сокращение описания (контрастирование) сетей...... 124 Определение значимости параметров на основании функции оценки...... 124 Определение значимости параметров по изменению выходных сигналов системы...... 126 Сокращение числа выходов в адаптивном линейном сумматоре (путь «снизу вверх»)...... 127 Показатели значимости для нейрона с дифференцируемым нелинейным элементом...... 128 Показатели значимости для нейрона с пороговым нелинейным элементом (персептрона)...... 129 Сокращение описания «сверху вниз» — набор достаточного семейства наиболее значимых параметров...... 130 Рекурсивное контрастирование и бинаризация...... 132 Лекция 17. Методы аппаратной реализации нейрокомпьютеров...... 134 Электронная реализация нейронных сетей...... 134 Нейрочипы...... 134 Нейропроцессор NM6403...... 135 Оптическая реализация нейронных сетей...... 135 Векторно-матричные умножители...... 137 Голографические корреляторы...... 138

Издательство: "Интернет-Университет Информационных Технологий" (2006)

ISBN: 5955600639