Программа курса «Теория информации и кодирования»




Скачать 19.42 Kb.
НазваниеПрограмма курса «Теория информации и кодирования»
Дата19.01.2013
Размер19.42 Kb.
ТипПрограмма курса
Программа курса

«Теория информации и кодирования»


Лекции читаются на 4-м курсе, VII-семестр,

51 час, лектор доцент Салимов Ф.И.


Понятие информации, энтропии. Системы связи. Дискретные источники. Описание источника при помощи случайного процесса. Статистическая независимость. Марковские источники. Эргодичность. Эргодичность бернуллиевского источника.

Вывод формулы энтропии (по Фадееву). Взаимная информация, и её свойства. Свойства энтропии. Теорема о максимальном значении энтропии. Энтропия в единицу времени источника сообщений.

Задача кодирования дискретного источника кодами равной длины. Скорость кодирования. Высоковероятностные множества. Прямая и обратная теоремы кодирования дискретного источника кодами равной длины.

Задача кодирования источника кодами неравной длины. Стоимость кодирования. Однозначно дешифрируемые коды. Префиксные коды. Побуквенное кодирование. Необходимое и достаточное условие однозначной дешифрируемости кода. Полные коды. Теорема кодирования дискретного источника кодами неравной длины. Алгоритмы построения оптимальных кодов (Фано, Шеннона, Хаффмена). Построение бинарного оптимального кода при равновероятностном распределении входных вероятностей. Приложение результатов теории информации при доказательстве нижних и верхних оценок сложности реализации булевых функций в некоторых классах управляющих систем. Метод построения оптимального кода при условии, что неизвестно распределение вероятностей букв источника. Теорема Маркова об однозначной дешифрируемости кода. Адаптивные алгоритмы сжатия информации.

Дискретный канал без памяти. Двоичный симметричный канал. Скорость передачи информации в канале. Пропускная способность канала. Расширенный канал и его пропускная способность. Решающие схемы и группировки наблюдений. Вероятность ошибочной передачи информации. Неравенство Файнстейна. Прямая теорема кодирования канала без памяти. Неравенство Фано. Теорема обработки информации. Обращение теоремы кодирования.

Теория помехоустойчивого кодирования. Критерий максимального правдоподобия. Кодовое расстояние. Коды с проверкой на четность. Порождающая и проверочные матрицы. Синдром. Алгоритм декодирования для кодов с проверкой на четность. Линейные коды и алгоритм их декодирования. Граница Хэмминга. Код Хэмминга. Циклические коды. Кодирования и декодирование циклических кодов.


ЛИТЕРАТУРА


  1. Галлагер Р. Теория информации и надежная связь., М., Сов. Радио, 1979.

  2. Кричевский Е. Лекции по теории и информации, Новосибирск, НГУ, 1966.

  3. Колесник В., Полтырев Г. Курс теории информации, Наука, 1982.

  4. Файнстейн А. Основы теории информации, М., ИЛ, 1960.

  5. Питерсон В., Уэлдон Ф. Коды, исправляющие ошибки, М., Мир, 1976.

  6. Бэрлекамп Алгебраическая теория кодирования, М., Мир, 1971.

Похожие:

Программа курса «Теория информации и кодирования» iconРабочая учебная программа по дисциплине Теория информации и кодирования
«Теория информации и кодирования». Теория информации исследует общие закономерности информационных процессов, позволяет оценить качество...
Программа курса «Теория информации и кодирования» iconРадиофизический факультет
Содержание дисциплины «Теория информации и кодирования» направлено на ознакомление студентов с основными количественными характеристиками...
Программа курса «Теория информации и кодирования» iconПрограмма дисциплины сд. 03. Теория информации и кодирования Рекомендуется умц кгту им. А. Н. Туполева для направления Направление: 230100 «Информатика и вычислительная техника»
Целью дисциплины является изучение основных понятий и методов теории информации и кодирования, используемых при описании, проектировании...
Программа курса «Теория информации и кодирования» iconПрограмма-минимум кандидатского экзамена по специальности 05. 13. 06 «Автоматизация и управление технологическими процессами и производствами (на транспорте)» по техническим наукам
В основу настоящей программы положены следующие дисциплины: теория автоматического управления, теория передачи сигналов, теория информации,...
Программа курса «Теория информации и кодирования» iconТеория Сущностного Кодирования в Свете Психологии Адаптаций Арам Энфи
...
Программа курса «Теория информации и кодирования» iconУчебно-методический комплекс обсужден на заседании кафедры математики и информатики Протокол №1 от 30. 08. 2011 г. Рабочая учебная программа дисциплины данный курс является дисциплиной по выбору специальности «Информационные системы и технологии»
Предмет курса – основы теории информации и кодирования и практическая реализация основных алгоритмов обработки информации
Программа курса «Теория информации и кодирования» iconПрограмма Intel ® Курс «Обучение для будущего»
Рассматриваются теоретические вопросы: методы кодирования информации: двоичная система счисления, таблицы кодировки, кодирование...
Программа курса «Теория информации и кодирования» icon" Представление информации в ЭВМ. Кодирование информации."
Цель урока: Формирование первоначальных представлений о кодировке информации, познакомить учащихся с различными видами кодирования...
Программа курса «Теория информации и кодирования» iconРабочая программа курса «экономическая теория. Микроэкономика. Макроэкономика» Москва 2009 Программа курса «Экономическая теория»
Программа курса «Экономическая теория» составлена в соответствии с требованиями к обязательному минимуму и уровню подготовки бакалавра...
Программа курса «Теория информации и кодирования» iconРабочая учебная программа дисциплины «Теория информации»
Рабочая учебная программа дисциплины «Теория информации» составлена на основе госо по специальности «Вычислительная техника и программное...
Разместите кнопку на своём сайте:
Библиотека


База данных защищена авторским правом ©lib.znate.ru 2014
обратиться к администрации
Библиотека
Главная страница