Лабораторная работа №5. Энтропия источника дискретных сообщений с памятью
Скачать 38.81 Kb.
|
При передаче символов в сообщении вероятность последующего символа связанна с предыдущим символом и определяется смыслом передаваемого сообщения. В связи с этими учет взаимосвязи в последующих символах приводит к уменьшению энтропии. Неопределенность условного распределения символов  не может превышать энтропии их безусловного распределения  .  Обозначим как  вероятность того, что источник послал символ  поле отправки символа  .Если символ принимает произвольное значение из алфавита источника дискретных сообщений, то энтропию источника можно записать как: Типичный пример дискретного источника с памятью – текст, написанный на русском языке. Так, например вероятность появления буквы ‘О’ составляет 0.09, пробел встречается еще чаще, вероятность с которой он встречается в тексте составляет 0.125, в тоже время есть символы которые встречаются намного реже, так например символ ‘Ф’ встречается с вероятностью 0.002. По экспериментальным данным  . Максимальное значение энтропии для языка с алфавитом в 32 символа составляет:  .Таким образом, в обычном тексте содержится в  раза меньше информации, чем в хаотически набранном тексте. Избыточность текста составит:  .Выполнение лабораторной работы Этап I Исследовать работу дискретного канала связи в программе лабораторной работы TIPSlab4.exe. Для выполнения лабораторной работы в программе необходимо перейти в пункт меню «Файл» и установить режим вывода дополнительной информации.  Рис. 5.1. Иллюстрация включения режима вывода дополнительной информации После данной операции, программа будет выводить в окне ансамбля дополнительную информацию –  . После этого выполнение лабораторной работы аналогично выполнению предыдущей работы. Введенное сообщение преобразуется в двоичный код, после чего производится анализ ансамбля сообщений источника сообщений и кодера (приемника и декодера). Этап II Написать программу в MatLab для расчета энтропии источника дискретных сообщений с памятью. Программа реализуется на основе программы предыдущей лабораторной работы. Алгоритм программы приведен на рис. 5.2. Иллюстрация работы алгоритма показан на рис. 5.3.  Рис. 5.2. Алгоритм программы вычисления информационных характеристик дискретного источника с памятью  Рис. 5.3. Иллюстрация работы программы вычисления энтропии источника дискретных сообщений с памятью Этап III. Изучение информационных характеристик источника дискретных сообщений с памятью более чем на два элемента. Запустить программу TIPSlab5.exe. Изучить информационные характеристики дискретного источника сообщений с памятью на несколько элементов (предельное число выбирается в настройках программы), сравнить с заранее рассчитанными, для русского текста значениями энтропии с памятью на 2, 3, 4 и 5 элементов. В качестве источника сообщений Вам предлагается взять уже готовый текстовый файл, который будет преобразован к одному регистру, и в котором будут оставлены только русские символы. Экспериментально определить значение энтропии с памятью для русского текста. С этой целью компьютер загадает предложение, которое Вам изначально будет неизвестно. Вам необходимо посимвольно угадать все слова этого предложения. Если Вы не правильно угадали символ, то компьютер показывает правильный символ и пишет его в заглавном регистре. После того как будет открыто все предложение, программа по количеству правильно угаданных Вами символов рассчитает избыточность  сообщения и энтропию русского языка полученную по экспериментальным данным. Сравнить значение со значениями полученными в первом этапе лабораторной работы, и с известными Вам из теории. Изучить влияние совместной вероятности появления символов в сообщении. Для этого Вам необходимо ввести сообщение, набор символов которого будет рассматриваться в качестве исходного набора символов для автоматической генерации сообщений. Программа позволяет ввести сообщение, показывает статистику входящих в него символов. После Вам предоставляется возможность сгенерировать сообщение из созданного набора символов на основе вероятности появления символов в русском языке, в том числе и с учетом влияния последовательности появления символов (взаимная вероятность на 2, 3, 4 и 5 символов). Пример и результаты работы программы приведены на рис. 5.4. Рис. 5.4. Изучение статистических свойств русского языка Содержание отчета Отчет по лабораторной работе должен содержать:
Выводы по работе. |
Похожие:
 | Программа итогового государственного экзамена по специальности по магистерской программе Количественное определение информации, содержащейся в сообщении. Энтропия источников дискретных сообщений | | Программа государственного экзамена по магистерской программе №010700/14/38 «Нелинейная акустика» Количественное определение информации, содержащейся в сообщении. Энтропия источников дискретных сообщений |
| Программа государственного экзамена по магистерской программе №010700/19/16 «Волновые процессы и методы их исследования» Количественное определение информации, содержащейся в сообщении. Энтропия источников дискретных сообщений | | Основы передачи дискретных сообщений Буданов А. В. Основы передачи дискретных сообщений: методическое пособие (спец. 201000) / спбгут спб, 2000 |
| Лабораторная работа №1. Компиляция и запуск Openmp в данном параграфе вводится основные понятия: модель параллельной программы для систем с общей памятью, модель запуска, директивы и функции OpenMP. В данной главе описывается технология параллельного программирования Openmp для систем вычислительных с общей памятью | | Рабочая программа по дисциплине Основы передачи дискретных сообщений |
| Название Печ./Рук Помехоустойчивое кодирование дискретных сообщений в каналах со случайной структурой | | Лабораторная работа №1 по дисциплине «Теория оптимального управления» В физике вариационный метод — одно из мощнейших орудий получения уравнений движения, как для дискретных, так и для распределённых... |
| Общая трудоемкость дисциплины Целью изучения дисциплины является ознакомление с основными способами передачи дискретных сообщений в многолучевых каналах связи | | Лабораторная работа Установка и настройка 6 Лабораторная работа Демонстрационный проект 7 Упражнение 1: Работа с основной схемой проекта 7 Упражнение 2: Работа со схемой «Резервуарный парк» Разработка систем диспетчерского контроля и управления с использованием Infinityscada 4 |