Самостоятельная работа 2 часа в неделю




Скачать 106.35 Kb.
НазваниеСамостоятельная работа 2 часа в неделю
Дата01.02.2013
Размер106.35 Kb.
ТипСамостоятельная работа



министерство образования и науки российской федерации

Московский физико-технический институт

(государственный университет)


УТВЕРЖДАЮ

Проректор по учебной работе

Ю.А. Самарский

« 27 » января 2011 г.

П Р О Г Р А М М А



по курсу ПРИКЛАДНАЯ СТАТИСТИКА

по направлению 010900

факультет ФУПМ

кафедра математических основ управления

курс IV

семестр – 8


лекции – 32 часа Экзамен – нет

семинары – 32 часа Зачет с оценкой – 8 семестр

лабораторные занятия – нет


самостоятельная работа – 2 часа в неделю

ВСЕГО ЧАСОВ – 64




Программу составил д.ф.-м.н. К.В. Воронцов




Программа обсуждена на заседании кафедры

математических основ управления

12 января 2011 года



Заведующий кафедрой С.А. Гуз

Введение


Курс прикладной статистики является логичным продолжением курсов теории вероятностей, теории случайных процессов и математической статистики.

Цели курса — связать теорию и практику, научить студентов «видеть» статистические задачи в различных предметных областях, правильно применять методы статистического анализа данных, показать на практических примерах возможности и ограничения современных статистических методов. Курс имеет скорее методологическую, чем математическую направленность и не содержит доказательств теорем.

Курс фактически является обзорным. Он знакомит студентов с максимально широким спектром задач и методов прикладной статистики, включая дисперсионный анализ, корреляционный анализ, дискриминантный анализ, регрессионный анализ, анализ и прогнозирование временных рядов, анализ выживаемости, анализ панельных данных, факторный анализ, кластерный анализ, многомерное шкалирование, выборочный анализ, множественную проверку гипотез.

Описание каждого метода начинается с примеров прикладных задач. Далее следует формальная постановка задачи, базовые предположения и границы применимости, описание метода (в частности, для методов проверки статистических гипотез: нулевая гипотеза и альтернативы, статистика, её функция распределения с эскизом графика, критическая область), достоинства и недостатки, сравнение с другими методами. Курс иллюстрируется примерами актуальных прикладных задач из области экономики, социологии, производства, биологии, медицины.

Семинарские занятия предполагают разбор практических задач с компьютерными демонстрациями их решения в стандартных пакетах (R, Matlab, STATISTICA), обсуждение контрпримеров, доказательство некоторых статистических критериев.

В течение семестра планируется выполнение трёх самостоятельных практических заданий. В первом задании студенты сами генерируют модельные данные, проводят исследование границ применимости методов, эмпирически оценивают мощность критериев. Это задание направлено на понимание стохастической природы данных и методологии статистического исследования. Во втором и третьем заданиях студенты получают данные и самостоятельно выбирают статистические методы для ответов на поставленные вопросы. Второе задание охватывает более простые, главным образом «одномерные» методы; третье задание относится к анализу существенно многомерных данных.


Программа курса


  1. Обзор необходимых сведений из теории вероятностей и математической статистики. Понятия простой выборки и статистики. Примеры статистик: моменты, асимметрия и эксцесс, вариационный ряд, порядковые статистики, эмпирическое распределение. Проверка статистических гипотез: понятия критической области, критической функции, достигаемого уровня значимости, ошибок I и II рода. Односторонние и двусторонние критерии. Свойства критериев: несмещённость, состоятельность, мощность. Статистические точечные оценки и их свойства: несмещённость, состоятельность, эффективность, достаточность, робастность. Интервальные оценки, понятия доверительного интервала и коэффициента доверия. Доверительное оценивание по вариационному ряду. Доверительные интервалы для среднего и медианы. Метод доверительных интервалов Неймана.

  2. Проверка гипотез о положении и рассеивании (параметрические критерии для нормальных выборок). Примеры прикладных задач из областей медицины, агрономии, маркетинга. Систематизация критериев. Проверка гипотезы равенства средних: критерий Стьюдента для одной и двух выборок, связанные выборки, гипотеза сдвига, метод множественных сравнений Шеффе, метод LSD. Пример: задача формирования ценовых коридоров. Проверка равенства дисперсий: критерии Фишера, Кохрена, Бартлета. Проверка нормальности: критерии Колмогорова-Смирнова, омега-квадрат фон Мизеса, хи-квадрат Пирсона. Исторический пример: проверка закона Менделя А.Н. Колмогоровым. Упрощённые проверки по асимметрии и эксцессу. Эмпирические подтверждения ненормальности реальных измерений.

  3. Проверка гипотез о положении и рассеивании (непараметрические ранговые критерии). Элементы теории измерений: номинальные, порядковые и количественные переменные; инварианты. Пример: маркетинговое исследование привлекательности продуктов (образовательных услуг); важность постановки вопросов при формировании анкет. Вариационный ряд, ранги и связки. Ранговые критерии: Уилкоксона–Манна–Уитни, критерий знаков, двухвыборочный критерий Уилкоксона, критерий Уилкоксона для связных выборок, критерий Краскела–Уоллиса, критерий Зигеля–Тьюки, медианный одновыборочный и двухвыборочный критерии. Доверительные интервалы для медианы (Уилкоксона–Мозеса) и сдвига (Уилкоксона–Тьюки). Множественные сравнения на основе рангов Фридмана.

  4. Дисперсионный анализ (ANOVA). Модели факторного эксперимента. Примеры: факторы, влияющие на успешность решения математических задач; факторы, влияющие на объёмы продаж. Однофакторная параметрическая модель: метод Шеффе. Однофакторная непараметрическая модель: критерии Краскела-Уоллиса и Джонкхиера. Двухфакторная непараметрическая модель: критерии Фридмана и Пейджа. Примеры: сравнение эффективности методов производства, агротехнических приёмов. Двухфакторный нормальный анализ. Задачи ковариационного анализа.

  5. Множественная проверка гипотез. Примеры прикладных задач, парадоксы множественной проверки гипотез. Методы, не предполагающие независимости признаков: поправка Бонферрони, метод Холма. Оптимальный метод Гуо для независимых компонент. Случай зависимых компонент.

  6. Корреляционный анализ. Корреляция Пирсона, значимость коэффициента корреляции (критерий Стьюдента). Частная корреляция. Ранговая корреляция, коэффициенты корреляции Спирмена и Кенделла. Конкордация Кенделла. Анализ таблиц сопряженности: критерий согласия Пирсона, простая гипотеза, сложная гипотеза. Пример: задача о точности стрельбы. Парадокс хи-квадрат. Точный тест Фишера. Примеры: поиск схожих пользователей по посещаемости сайтов, анализ результатов партийных выборов.

  7. Факторный анализ. Задачи сокращения числа признаков и определения эффективной размерности. Примеры прикладных задач. Метод главных компонент, его геометрическая интерпретация. Связь с сингулярным разложением. Выбор числа значимых факторов.

  8. Линейный регрессионный анализ. Многомерная линейная регрессия. Пример: задача прогнозирования стоимости квартир. Метод наименьших квадратов, запись МНК-решения через сингулярное разложение. Статистические свойства МНК-оценок без предположения нормальности. Статистические свойства МНК-оценок при предположении нормальности, доверительные интервалы для дисперсии шума, коэффициентов регрессии, прогнозного значения отклика. Проблема мультиколлинеарности, запись регуляризованного МНК-решения через сингулярное разложение.

  9. Анализ регрессионных моделей. Анализ структуры линейной регрессионной модели. Значимость коэффициентов линейной регрессии (проверка равенства коэффициентов нулю), вложенные модели линейной регрессии, критерий Фишера. Отбор информативных признаков, шаговая регрессия, преобразование признаков, метод главных компонент. Проверка адекватности модели. Выборочный коэффициент детерминации. Дисперсия остатков. Анализ регрессионных остатков: визуальный анализ. Непараметрические тесты: критерий Уилкоксона–Манна–Уитни, критерий Зигеля–Тьюки, критерий знаков, критерий серий, критерий экстремумов. Проверка нормальности остатков. Тест на корреляцию остатков, статистика Дарбина–Уотсона.

  10. Непараметрическая регрессия. Ядерное сглаживание, формула Надарая-Ватсона. Разложение ошибки на вариацию и смещение. Выбор ядра и ширины окна. Окна переменной ширины. Доверительный интервал прогнозного значения отклика. Проблема выбросов, алгоритм LOWESS. Многомерная линейная регрессия с одномерным сглаживанием, метод итерационной настройки (backfitting). Примеры прикладных задач: анализ стиля управления инвестиционным портфелем, анализ деятельности паевых инвестиционных фондов. Регуляризация коэффициентов регрессии, медленно изменяющихся во времени.

  11. Анализ временных рядов. Примеры: прогнозирование объёмов грузоперевозок, объёмов продаж, спроса и цен на электроэнергию. Основные компоненты эконометрических временных рядов: тренд, сезонность, календарные эффекты. Аддитивная и мультипликативная модели временного ряда. Регуляризация сезонного профиля на временных рядах с малым числом периодов. Статистические тесты для проверки гипотезы тренда: Аббе–Линника, Кокса–Стюарта, Фостера–Стюарта. Автокорреляцион-ная функция. Коррелограмма и её интерпретация. Проверка гипотезы о равенстве нулю автокорреляции. Адаптивные методы прогнозирования: модели Брауна, Хольта, Хольта–Уинтерса, Тейла–Вейджа. Анализ адекватности адаптивных моделей, скользящий контрольный сигнал, модель Тригга–Лича. Обнаружение структурных изменений. Критерий Чоу. Адаптивная селекция и композиция моделей прогнозирования.

  12. Анализ выживаемости. Примеры задач из области медицины и оценивания срока службы технических устройств. Функция выживаемости и функция интенсивности рисков. Процедура Каплана–Мейера. Доверительный интервал выживаемости. Сравнение двух функций выживаемости: логранговый критерий, критерий Гехана. Случайные блуждания, задача о разорении игрока.

  13. Анализ панельных данных. Примеры эконометрических задач: анализ стран, фирм, домашних хозяйств, телезрителей. Объединённая модель панельных данных. Модели панельных данных с фиксированными эффектами, со случайными эффектами, с временны́ми эффектами. Модель несвязанных регрессий. Проблема выбора модели: F-тест Фишера, критерий множителей Лагранжа, критерий Хаусмана. Ротационная панель.

  14. Дискриминантный анализ. Примеры: задачи медицинской диагностики, кредитного скоринга, предсказания оттока клиентов. Байесовский классификатор. Непараметрическая оценка плотности распределения Парзена–Розенблатта, метод парзеновского окна. Логистическая регрессия. Оценивание апостериорных вероятностей. Пример: кредитный скоринг, оценивание вероятности дефолта, методика VaR, имитационное моделирование. Проблемы мультиколлинеарности и обобщающей способности. Отбор информативных признаков и преобразование признаков, метод главных компонент. Аппроксимация и регуляризация эмпирического риска в современных методах классификации. Вероятностная калибровка вещественнозначного классификатора, понятия о логит- и пробит-анализе, приложения в токсикологии и страховании.

  15. Кластерный анализ. Примеры задач кластеризации и таксономии. Модель смеси распределений и EM-алгоритм. Метод k-средних. Агломеративная кластеризация, формула Ланса-Уильямса. Дендрограммы. Многомерное шкалирование: оптимизационные методы, факторные методы, карта сходства и диаграмма Шепарда. Примеры: анализ результатов партийных выборов, анализ посещаемости сайтов Интернет и визуальное представление персональных рекомендаций.

  16. Выборочный анализ. Простой случайный выбор. Приложения в социологии, выборочном контроле качества, маркетинге. Пропорциональный выбор и преимущества стратификации. Оценки достаточной длины выборки. Другие методы выбора: квотированный, кластерный, многоступенчатый кластерный. Выборочный контроль качества. Одноступенчатый и двухступенчатый план контроля. Оперативная характеристика плана контроля. Парадоксы выборочного контроля.



Литература





  1. Лагутин М. Б. Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003.

  2. Лапач С. Н., Чубенко А. В., Бабич П. Н. Статистика в науке и бизнесе. — Киев: Морион, 2002.

  3. Айвазян С. А., Мхитарян В. С. Прикладная статистика. Том 1. Теория вероятностей и прикладная статистика. — М.: Юнити, 2001.

  4. Айвазян С. А. Прикладная статистика. Том 2. Основы эконометрики. — М.: Юнити, 2001.

  5. Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. Начальный курс: учебное пособие — 7-е изд., испр. — М.: Дело, 2005.

  6. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006.

  7. Лукашин Ю. П. Адаптивные методы краткосрочного прогнозирования временных рядов. — М.: Финансы и статистика, 2003.

  8. Орлов А. И. Эконометрика. — М.: Экзамен, 2003.

  9. Кулаичев А. П. Методы и средства комплексного анализа данных. — М.: Форум–Инфра-М, 2006.

  10. Тюрин Ю. Н., Макаров А. А. Анализ данных на компьютере. — М.: Инфра-М, 2003.

  11. Вучков И., Бояджиева А., Солаков Е. Прикладной линейный регрессионный анализ. — М.: Финансы и статистика, 1987.

  12. Good P. I., Hardin J. W. Common Errors in Statistics (and How to Avoid Them). — Wiley & Sons. 2009.

  13. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. 2nd edition. — Springer, 2008. — 809 p.

  14. Страница данного курса на вики-ресурсе

www.MachineLearning.ru:

http://www.MachineLearning.ru/wiki/index.php?title=Статистический_анализ_данных_(курс_лекций,_К.В.Воронцов)


Подписано в печать 27.01.11. Формат 60 ´ 84. Бумага офсетная.

Печать офсетная. Усл. печ. л. 0,5. Уч.-изд. л. 0,4.

Тираж 100 экз. Заказ №


Государственное образовательное учреждение

высшего профессионального образования

Московский физико-технический институт (государственный университет)

Отдел автоматизированных издательских систем «ФИЗТЕХ-ПОЛИГРАФ»

141700, Моск. обл., г. Долгопрудный, Институтский пер., 9.


Похожие:

Самостоятельная работа 2 часа в неделю iconСамостоятельная работа 2 часа в неделю
Программа обсуждена на заседании кафедры математических основ управления 15 мая 2011 г
Самостоятельная работа 2 часа в неделю iconПримерное поурочное планирование (2 часа в неделю, всего 68 часов) Тема
Параллельность прямых, прямой и плоскости. Контролирующая самостоятельная работа
Самостоятельная работа 2 часа в неделю iconСамостоятельная работа 2 часа в неделю
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Московский физико-технический...
Самостоятельная работа 2 часа в неделю iconСамостоятельная работа 2 часа в неделю
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Московский физико-технический...
Самостоятельная работа 2 часа в неделю iconСамостоятельная работа 2 часа в неделю
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Московский физико-технический...
Самостоятельная работа 2 часа в неделю iconСамостоятельная работа 2 часа в неделю
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Московский физико-технический...
Самостоятельная работа 2 часа в неделю iconСамостоятельная работа 2 часа в неделю
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Московский физико-технический...
Самостоятельная работа 2 часа в неделю iconСамостоятельная работа 2 часа в неделю
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Московский физико-технический...
Самостоятельная работа 2 часа в неделю iconСамостоятельная работа 2 часа в неделю
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Московский физико-технический...
Самостоятельная работа 2 часа в неделю iconРабочая программа педагога
Икт, примерной программы и базисного учебного плана. Настоящая программа рассчитана на изучение информатики в 7 классе, общее количество...
Разместите кнопку на своём сайте:
Библиотека


База данных защищена авторским правом ©lib.znate.ru 2014
обратиться к администрации
Библиотека
Главная страница