Программа дисциплины Обучение машин и восстановление зависимостей для направления 010500. 68- прикладная математика и информатика подготовки магистров Автор Михальский А. И. () Рекомендована секцией умс «Прикладная математика и информатика»




Скачать 86.73 Kb.
НазваниеПрограмма дисциплины Обучение машин и восстановление зависимостей для направления 010500. 68- прикладная математика и информатика подготовки магистров Автор Михальский А. И. () Рекомендована секцией умс «Прикладная математика и информатика»
Дата09.10.2012
Размер86.73 Kb.
ТипПрограмма дисциплины
Правительство Российской Федерации


Государственное образовательное бюджетное учреждение
высшего профессионального образования


Государственный университет –

Высшая школа экономики


Факультет БИЗНЕС-ИНФОРМАТИКИ


Программа дисциплины


Обучение машин и восстановление зависимостей


для направления 010500.68– Прикладная математика и информатика
подготовки магистров


Автор Михальский А.И. (mpoctok@narod.ru)



Рекомендована секцией УМС

«Прикладная математика

и информатика»


Председатель

__________________ Кузнецов С.О.

«_____» __________________ 200___ г.

Одобрена на заседании кафедры

Анализа данных

и искусственного интеллекта


Зав. кафедрой

__________________ Кузнецов С.О.

«_____» __________________ 200___ г.



Утверждена УС факультета

бизнес-информатики


Ученый секретарь

__________________ Фомичев В.А.

« ____» ___________________200___ г.






Москва


Программа курса «Обучение машин и восстановление зависимостей»


Основная литература


  1. В.Н. Вапник, А.Я. Червоненкис. Теория распознавания образов. Москва, Наука 1974.

  2. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. Москва, Наука 1979.

  3. Алгоритмы и программы восстановления зависимостей. Под редакцией В.Н. Вапника. Москва, Наука 1984.

  4. Vapnik V.N. The Nature of Statistical Learning Theory. Springer, New York 2000.

  5. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. М: Финансы и статистика, 1989.


Темы занятий


  1. Задача восстановления зависимостей. Интерпретация в терминах выбора функции из заданного класса. Интерпретация в терминах выбора модели из заданного класса моделей. Интерпретация в терминах имитации одного автомата другим. Критерии выбора.

  2. Определение вероятностной меры. Случайные величины, их функции распределения, моменты. Суммы случайных величин. Закон больших чисел. (Стандартные статистические пакеты: вычисление среднего, дисперсии, ковариации, корреляции и т.д. и погрешности их оценивания).

  3. Закон больших чисел в форме Линдберга. Сравнение с результатом по Чебышеву. Свойства ковариационной матрицы. Плотность распределения вероятностей случайной величины и группы случайных величин. Метод максимального правдоподобия.

  4. Линейные преобразования случайных величин. Метод максимального правдоподобия (случай векторного параметра). Метод наименьших квадратов для оценки регрессии (общий подход). Метод наименьших квадратов для поиска наилучшего линейного приближения. (Стандартные процедуры регрессии и максимума правдоподобия).

  5. Задача распознавания образов. Поиск решающего правила, минимизирующего число ошибок или среднее значение функции штрафа на данных обучения, в задачах распознавания образов. Разделение двух нормально распределенных совокупностей. Наивный Байес. Метод ближайшего соседа. (Стандартная процедура распознавания по ближайшему соседу. Процедуры нахождения дискриминантной функции.)

  6. Линейные решающие правила. Персептрон. Теорема Новикова. Потенциальные функции.

  7. Нейронные сети.

  8. Машина опорных векторов (SVM). Обобщенный портрет. Двойственная задача. Оптимальная разделяющая гиперплоскость. Машина опорных векторов (SVM) – ядра вместо скалярных произведений (скрещение потенциалов с ОП). Прочие отличия. Виды кернелов, параметры.

  9. Критика подхода. Примеры, когда он не работает. Проблема равномерной сходимости эмпирического риска к истинному (или частот вероятностям, или средних к математическим ожиданиям). (Примеры задач, когда использование рассмотренных методов не приводит к успеху).

  10. Критерии равномерной сходимости частот к вероятностям. Функция роста. VC- размерность.

  11. Критерии равномерной сходимости частот к вероятностям. Связь с задачами обучения распознаванию образов.

  12. Критерии равномерной сходимости средних к математическим ожиданиям. Проблема выбора оптимальной сложности модели.

  13. Выбор модели. Байесов подход к проблеме. Общая постановка задачи. Формула Байеса. Байесова стратегия в теории игр. (Простейшие Байесовы процедуры).

  14. Регуляризация метода наименьших квадратов на основе Байесова подхода. Асимптотика. Случай единичной матрицы. Обусловленность и псевдо-обратные матрицы. Общность единичной матрицы. Оптимальность для квадратичной штрафной функции. (Процедуры МНК с регуляризацией).

  15. Обратные задачи и их решение с использованием Байесовой стратегии. Постановка задачи. Примеры. Природа некорректности. Решение. Обсуждение. Ограничение по норме.

  16. Метод Кригинга. Сравнение с методом разложения по базисным функциям. (Стандартные процедуры Кригинга).

  17. Гребневая регрессия. Критика Байесова подхода. Регуляризация как приближенная реализация Байесовой стратегии. Проблема выбора констант регуляризации и системы функций разложения (ядерных функций).

  18. Структурная минимизация эмпирического риска, общий подход. Прямые средства выбора оптимальной сложности модели. Learning set, validation set, control set. Скользящий контроль (cross validation). Конформные предикторы.

  19. Структурная минимизация эмпирического риска на базе оценок равномерной сходимости. Общий подход.

  20. Применение структурной минимизации к задачам восстановления действительных функций. Относительные оценки равномерной близости средних к математическим ожиданиям. Их применение к структурной минимизации риска.

  21. Комбинированный подход: Максимум правдоподобия – Байес.

  22. Применение метода максимума правдоподобия при восстановлении зависимости методом кригинга. Информационный критерий Акаике.


Примеры заданий домашних работ


Задание 1.

Случайные величины X , Y и связаны соотношением

.

Случайная величина не зависит от случайной величины X и распределена нормально с математическим ожиданием 0 и дисперсией .

Определить алгебраический полином степени n , к которому случайная величина Y наиболее близка в смысле среднеквадратичного уклонения .


Задание 2.

Дана квадратичная функция вектора Y с несимметричной матрицей A:

.

Вектор a – случайный нормально распределённый вектор с четырьмя координатами, нулевым средним значением и ковариационной матрицей . Вычислить среднее значение и ковариационную матрицу вектора Y, минимизирующего функцию W(Y) для заданных матриц B и A, и сравнить полученный результат с результатом вычислений по формулам:

1) для вектора среднего значения ;

2) для ковариационной матрицы (k,m=1,2,3,4), где (j=1,…,100) - элемент численно сгенерированной выборки из 100 независимых значений вектора Y , (k=1,2,3,4) – k-ая координата вектора .

Варианты задания



A)

;

B)

;

C)


;


Задание 3.

Пусть Х и У - случайные непрерывные величины с плотностью совместного распределения вероятности .

Вычислить функцию регрессии (условное математическое ожидание ) при


Задание 4.

Рассмотрим пару , где x, y-случайные величины, причём y=0, если x принадлежит классу 0 и y=1, если x принадлежит классу 1.



Введём функцию потерь ,

где , A – некоторое множество на прямой.

Вероятность ошибочной классификации с помощью правила

можно записать в виде функционала среднего риска



Найти множество A, минимизирующее ошибку классификации .


Задание 5.

Каждый из двух классов векторов представлен нормальным распределением со средними значениями , и ковариационными матрицами и . Априорные вероятности принадлежности вектора к каждому из классов равны p1 и p2.

Используя принцип максимума отношения правдоподобия построить дискриминантную функцию для отнесения вектора X к одному из двух классов при одинаковом штрафе за ошибки неверной классификации.

Варианты задания

A)

p1=0.5; p2=0.5

,

;

B)

p1=0.5; p2=0.5

,

;

C)

p1=0.5; p2=0.5

,

;

.

Задание 6.

Описать процедуру обучения распознаванию двух классов в методе потенциальных функций.

Запрограммировать процедуру обучения распознаванию двух классов с помощью метода потенциальных функций с ядром и провести процедуру обучения для распознавания двух классов в заданном наборе данных.

Для ядра провести расчёты для значений a=1; a=0.5; a=0.01

используя данные

№ вектора

Класс 0

Класс 1

1

2

3

4

5

6

7

8

5.1 3.5 1.4 0.2

4.9 3 1.4 0.2

4.7 3.2 1.3 0.2

4.6 3.1 1.5 0.2

5 3.6 1.4 0.2

5.4 3.9 1.7 0.4

4.6 3.4 1.4 0.3

5 3.4 1.5 0.2

7 3.2 4.7 1.4

6.4 3.2 4.5 1.5

6.9 3.1 4.9 1.5

5.5 2.3 4 1.3

6.5 2.8 4.6 1.5

5.7 2.8 4.5 1.3

6.3 3.3 4.7 1.6

4.9 2.4 3.3 1


Задание 7.

Имеется 50 признаков, принадлежащих одному из двух классов. В каждом классе признаки распределены нормально с одинаковыми ковариационными матрицами, равными квадрату матрицы А, у которой главная диагональ равна 1, первая побочная диагональ равна 1, вторая побочная диагональ равна 0.2. Элементы прочих диагоналей матрицы А равны 0, матрицы А симметрична. Вектор средних значений в классе 0 состоит из 0, вектор средних значений в классе 1 состоит из 1.

При распознавании с помощью дискриминантной функции Фишера построить экспериментально зависимость от числа используемых признаков

  1. процента ошибок на экзаменационной выборке объёма 1000 элементов из каждого класса (эта величина является оценкой среднего риска ) от числа используемых признаков,

  2. процента ошибок на обучающей выборке объёма по 100 элементов из каждого класса (эта величина является эмпирическим риском ).

При распознавании использовать расширяющийся набор признаков согласно варианту. Результат объяснить.


Варианты

A) При распознавании использовать набор из m признаков (m=1,…,n), составленный из первых m координат вектора. Считать матрицу ковариации известной и одинаковой для обоих классов.

B) При распознавании использовать набор из m признаков (m=1,…,n), составленный из первых m координат вектора. Считать матрицу ковариации неизвестной (оценивается по выборке), но одинаковой для обоих классов.

C) При распознавании использовать набор из m признаков (m=1,…,n), составленный из первых m координат вектора. Считать матрицы ковариации в обоих классах разными и неизвестными (оцениваются по выборкам).


Задание 8.

Точки А и В располагаются на концентрических сферах с радиусами и . По измерениям поля в этих точках методом кригинга прогнозируется значение поля в центре сфер. Дисперсия поля в любой точке поля одинакова и не изменяется во времени, корреляционная функция зависит только от расстояния между двумя точками, не изменяется во времени и убывает с увеличением расстояния между точками. Среднее значение поля во всех точках равно нулю.

Как расположить точки на сферах, чтобы условная дисперсия прогноза была минимальна?


Примеры контрольных вопросов на зачётах


  1. Вычислить функцию роста системы произвольных выпуклых множеств в N-мерном пространстве.

  2. Пусть - случайный, нормально распределённый вектор с нулевым средним и ковариационной матрицей K. Записать оценку максимального правдоподобия для значения при заданных значениях .

  3. Сколько векторов из 5-ти мерного пространства использовать для обучения в классе линейных решающих правил, чтобы уклонение частоты ошибок на обучающей выборке от вероятности ошибочной классификации гарантированно было меньше 0.1 с вероятностью не меньшей 0.95?

  4. Пусть случайные векторы X и Y связаны соотношением , где A – фиксированная матрица, X имеет нормальное распределение с математическим ожиданием X0 и ковариационной матрицей , а имеет нормальное распределение с нулевым математическим ожиданием и ковариационной матрицей . Записать 1) выражение для апостериорного распределения вектора X при заданном векторе Y , 2)выражение для апостериорного среднего значения вектора X при заданном векторе Y.

  5. На вход линейной системы с передаточной функцией поступает белый шум (случайный процесс с некоррелированными значениями). Записать формулу для прогнозирования методом кригинга значений выходного сигнала в моменты времени по значениям выходного сигнала в моменты времени , i=1,…,10.



Автор программы _________________________________ Михальский А.И.

Похожие:

Программа дисциплины Обучение машин и восстановление зависимостей для направления 010500. 68- прикладная математика и информатика подготовки магистров Автор Михальский А. И. () Рекомендована секцией умс «Прикладная математика и информатика» iconПрограмма дисциплины Упорядоченные множества для анализа данных для направления 010500. 68 Прикладная математика и информатика подготовки магистра Автор Кузнецов С. О. () Рекомендована секцией умс «Прикладная математика и информатика»
Программа дисциплины «Упорядоченные множества для анализа данных» для подготовки магистров по направлению 010500. 68 (магистерская...
Программа дисциплины Обучение машин и восстановление зависимостей для направления 010500. 68- прикладная математика и информатика подготовки магистров Автор Михальский А. И. () Рекомендована секцией умс «Прикладная математика и информатика» iconПрограмма дисциплины Упорядоченные множества для анализа данных для направления 010500. 68 Прикладная математика и информатика подготовки магистра Автор Кузнецов С. О. () Рекомендована секцией умс «Прикладная математика и информатика»
Программа дисциплины «Упорядоченные множества для анализа данных» для подготовки магистров по направлению 010500. 68 (магистерская...
Программа дисциплины Обучение машин и восстановление зависимостей для направления 010500. 68- прикладная математика и информатика подготовки магистров Автор Михальский А. И. () Рекомендована секцией умс «Прикладная математика и информатика» iconПрограмма дисциплины История и методология прикладной математики и информатики для направления 010400. 68 “ Прикладная математика и информатика ” подготовки магистра Автор Миркин Б. Г. () Рекомендована секцией умс «Прикладная математика и информатика»
Федеральное государственное автономное образовательное учреждение высшего профессионального образования
Программа дисциплины Обучение машин и восстановление зависимостей для направления 010500. 68- прикладная математика и информатика подготовки магистров Автор Михальский А. И. () Рекомендована секцией умс «Прикладная математика и информатика» iconПрограмма дисциплины: Моделирование Бизнес-процессов  для направления 010500. 62 «Прикладная математика и информатика»
Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления подготовки 010500....
Программа дисциплины Обучение машин и восстановление зависимостей для направления 010500. 68- прикладная математика и информатика подготовки магистров Автор Михальский А. И. () Рекомендована секцией умс «Прикладная математика и информатика» iconПрограмма дисциплины «Обучение машин и восстановление зависимостей» для направления 010500. 68 «Прикладная математика и информатика»
«Математический анализ», «Линейная алгебра», «Основы теории вероятностей и математической статистики». Для выполнения самостоятельных...
Программа дисциплины Обучение машин и восстановление зависимостей для направления 010500. 68- прикладная математика и информатика подготовки магистров Автор Михальский А. И. () Рекомендована секцией умс «Прикладная математика и информатика» iconРабочая учебная программа Магистерской подготовки по дисциплине Устойчивые методы обработки результатов измерений при решении обратных задач направление 010500 «Прикладная математика и информатика»
Требования к уровню подготовки магистров изложены в п. 7 Государственного образовательного стандарта высшего профессионального образования...
Программа дисциплины Обучение машин и восстановление зависимостей для направления 010500. 68- прикладная математика и информатика подготовки магистров Автор Михальский А. И. () Рекомендована секцией умс «Прикладная математика и информатика» iconПрограмма дисциплины Объектно-ориентированные case-технологии для направления 010500. 62 Прикладная математика и информатика подготовки бакалавров Автор Незнанов А. А. ()
Программа дисциплины Объектно-ориентированные case-технологии (Технологии разработки сложных программных систем) для подготовки бакалавров...
Программа дисциплины Обучение машин и восстановление зависимостей для направления 010500. 68- прикладная математика и информатика подготовки магистров Автор Михальский А. И. () Рекомендована секцией умс «Прикладная математика и информатика» iconПрограмма дисциплины иностранный язык (английский) для направления 010500. 62 "Прикладная математика и информатика"
Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления 010500. 62 "Прикладная...
Программа дисциплины Обучение машин и восстановление зависимостей для направления 010500. 68- прикладная математика и информатика подготовки магистров Автор Михальский А. И. () Рекомендована секцией умс «Прикладная математика и информатика» iconПрограмма дисциплины иностранный язык (английский) для направления 010500. 62 "Прикладная математика и информатика"
Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления 010500. 62 "Прикладная...
Программа дисциплины Обучение машин и восстановление зависимостей для направления 010500. 68- прикладная математика и информатика подготовки магистров Автор Михальский А. И. () Рекомендована секцией умс «Прикладная математика и информатика» iconПрограмма дисциплины «Теория межкультурной коммуникации» для направления 010400. 68 «Прикладная математика и информатика»
Программа предназначена для преподавателей, ведущих данную дисциплину, и студентов направления подготовки 010400. 68 "Прикладная...
Разместите кнопку на своём сайте:
Библиотека


База данных защищена авторским правом ©lib.znate.ru 2014
обратиться к администрации
Библиотека
Главная страница