Лабораторная работа №5. Энтропия источника дискретных сообщений с памятью




Скачать 38.81 Kb.
НазваниеЛабораторная работа №5. Энтропия источника дискретных сообщений с памятью
Дата21.12.2012
Размер38.81 Kb.
ТипЛабораторная работа
Лабораторная работа №5. Энтропия источника дискретных сообщений с памятью


При передаче символов в сообщении вероятность последующего символа связанна с предыдущим символом и определяется смыслом передаваемого сообщения. В связи с этими учет взаимосвязи в последующих символах приводит к уменьшению энтропии. Неопределенность условного распределения символов не может превышать энтропии их безусловного распределения .



Обозначим как вероятность того, что источник послал символ поле отправки символа .

Если символ принимает произвольное значение из алфавита источника дискретных сообщений, то энтропию источника можно записать как:



Типичный пример дискретного источника с памятью – текст, написанный на русском языке. Так, например вероятность появления буквы ‘О’ составляет 0.09, пробел встречается еще чаще, вероятность с которой он встречается в тексте составляет 0.125, в тоже время есть символы которые встречаются намного реже, так например символ ‘Ф’ встречается с вероятностью 0.002.

По экспериментальным данным . Максимальное значение энтропии для языка с алфавитом в 32 символа составляет:

.

Таким образом, в обычном тексте содержится в раза меньше информации, чем в хаотически набранном тексте. Избыточность текста составит:

.


Выполнение лабораторной работы

Этап I

Исследовать работу дискретного канала связи в программе лабораторной работы TIPSlab4.exe. Для выполнения лабораторной работы в программе необходимо перейти в пункт меню «Файл» и установить режим вывода дополнительной информации.



Рис. 5.1. Иллюстрация включения режима вывода дополнительной информации


После данной операции, программа будет выводить в окне ансамбля дополнительную информацию – .

После этого выполнение лабораторной работы аналогично выполнению предыдущей работы. Введенное сообщение преобразуется в двоичный код, после чего производится анализ ансамбля сообщений источника сообщений и кодера (приемника и декодера).


Этап II

Написать программу в MatLab для расчета энтропии источника дискретных сообщений с памятью. Программа реализуется на основе программы предыдущей лабораторной работы.

Алгоритм программы приведен на рис. 5.2. Иллюстрация работы алгоритма показан на рис. 5.3.



Рис. 5.2. Алгоритм программы вычисления информационных характеристик дискретного источника с памятью




Рис. 5.3. Иллюстрация работы программы вычисления энтропии

источника дискретных сообщений с памятью

Этап III. Изучение информационных характеристик источника дискретных сообщений с памятью более чем на два элемента.

Запустить программу TIPSlab5.exe. Изучить информационные характеристики дискретного источника сообщений с памятью на несколько элементов (предельное число выбирается в настройках программы), сравнить с заранее рассчитанными, для русского текста значениями энтропии с памятью на 2, 3, 4 и 5 элементов. В качестве источника сообщений Вам предлагается взять уже готовый текстовый файл, который будет преобразован к одному регистру, и в котором будут оставлены только русские символы.

Экспериментально определить значение энтропии с памятью для русского текста. С этой целью компьютер загадает предложение, которое Вам изначально будет неизвестно. Вам необходимо посимвольно угадать все слова этого предложения. Если Вы не правильно угадали символ, то компьютер показывает правильный символ и пишет его в заглавном регистре. После того как будет открыто все предложение, программа по количеству правильно угаданных Вами символов рассчитает избыточность сообщения и энтропию русского языка полученную по экспериментальным данным. Сравнить значение со значениями полученными в первом этапе лабораторной работы, и с известными Вам из теории.

Изучить влияние совместной вероятности появления символов в сообщении. Для этого Вам необходимо ввести сообщение, набор символов которого будет рассматриваться в качестве исходного набора символов для автоматической генерации сообщений. Программа позволяет ввести сообщение, показывает статистику входящих в него символов. После Вам предоставляется возможность сгенерировать сообщение из созданного набора символов на основе вероятности появления символов в русском языке, в том числе и с учетом влияния последовательности появления символов (взаимная вероятность на 2, 3, 4 и 5 символов).

Пример и результаты работы программы приведены на рис. 5.4.


Рис. 5.4. Изучение статистических свойств русского языка


Содержание отчета

Отчет по лабораторной работе должен содержать:

  1. Пример сообщения и расчет энтропии, избыточности для дискретного источника сообщений с памятью.

  2. Алгоритм и листинг программы расчета энтропии, избыточности для источника дискретных сообщений с памятью.

  3. Результаты сравнения информационных характеристик источника дискретных сообщений с памятью и без памяти, полученных в собственной реализации и в программе лабораторной работы.

  4. Таблицу значений энтропии источника дискретных сообщений с памятью на 2, 3, 4 и 5 символов. Сравнение полученной величины со справочными материалами приведенными в программе.

  5. Результаты экспериментального определения энтропии русского языка, включая иллюстрацию способа получения.

  6. Результаты автоматического построения предложения из заданного набора символов.

Выводы по работе.

Похожие:

Лабораторная работа №5. Энтропия источника дискретных сообщений с памятью iconПрограмма итогового государственного экзамена по специальности по магистерской программе
Количественное определение информации, содержащейся в сообщении. Энтропия источников дискретных сообщений
Лабораторная работа №5. Энтропия источника дискретных сообщений с памятью iconПрограмма государственного экзамена по магистерской программе №010700/14/38 «Нелинейная акустика»
Количественное определение информации, содержащейся в сообщении. Энтропия источников дискретных сообщений
Лабораторная работа №5. Энтропия источника дискретных сообщений с памятью iconПрограмма государственного экзамена по магистерской программе №010700/19/16 «Волновые процессы и методы их исследования»
Количественное определение информации, содержащейся в сообщении. Энтропия источников дискретных сообщений
Лабораторная работа №5. Энтропия источника дискретных сообщений с памятью iconОсновы передачи дискретных сообщений
Буданов А. В. Основы передачи дискретных сообщений: методическое пособие (спец. 201000) / спбгут спб, 2000
Лабораторная работа №5. Энтропия источника дискретных сообщений с памятью iconЛабораторная работа №1. Компиляция и запуск Openmp в данном параграфе вводится основные понятия: модель параллельной программы для систем с общей памятью, модель запуска, директивы и функции OpenMP.
В данной главе описывается технология параллельного программирования Openmp для систем вычислительных с общей памятью
Лабораторная работа №5. Энтропия источника дискретных сообщений с памятью iconРабочая программа по дисциплине Основы передачи дискретных сообщений

Лабораторная работа №5. Энтропия источника дискретных сообщений с памятью iconНазвание Печ./Рук
Помехоустойчивое кодирование дискретных сообщений в каналах со случайной структурой
Лабораторная работа №5. Энтропия источника дискретных сообщений с памятью iconЛабораторная работа №1 по дисциплине «Теория оптимального управления»
В физике вариационный метод — одно из мощнейших орудий получения уравнений движения, как для дискретных, так и для распределённых...
Лабораторная работа №5. Энтропия источника дискретных сообщений с памятью iconОбщая трудоемкость дисциплины
Целью изучения дисциплины является ознакомление с основными способами передачи дискретных сообщений в многолучевых каналах связи
Лабораторная работа №5. Энтропия источника дискретных сообщений с памятью iconЛабораторная работа Установка и настройка 6 Лабораторная работа Демонстрационный проект 7 Упражнение 1: Работа с основной схемой проекта 7 Упражнение 2: Работа со схемой «Резервуарный парк»
Разработка систем диспетчерского контроля и управления с использованием Infinityscada 4
Разместите кнопку на своём сайте:
Библиотека


База данных защищена авторским правом ©lib.znate.ru 2014
обратиться к администрации
Библиотека
Главная страница