Теория информации. Лабораторные работы 1-5

Л Р1
Вычисление энтропии Шеннона
Порядок выполнения работы
1. Изучить теоретический материал гл. 2.
2. Реализовать процедуру вычисления энтропии для текстового файла на английском языке. В процедуре необходимо подсчитывать частоты появления символов (прописные и за-главные буквы не отличаются, знаки препинания рассматриваются как один символ, про-бел является самостоятельным символом), которые можно использовать как оценки веро-ятностей появления символов. Затем вычислить величину энтропии Шеннона. Точность вычисления -- 4 знака после запятой. Обязательно предусмотреть возможность ввода име-ни файла, для которого будет вычисляться энтропия.
3. Проверить запрограммированную процедуру на нескольких файлах (размер не менее 1 Кб) и заполнить таблицу следующего вида вычисленными значениями энтропии

Используются частоты одиночных символов
Энтропия текста на английском языке Макс. значение эн-тропии текста на анг-лийском языке  Энтропия разрабо-танной программы для л.р.1 Макс. значение энтропии разработанной программы для л.р.1
4. Вычислить значение энтропии для тех же файлов, но с использованием частот вхождений пар символов.
Используются частоты пар символов
Энтропия текста на английском языке Макс. значение эн-тропии текста на анг-лийском языке  Энтропия разрабо-танной программы для л.р.1 Макс. значение энтропии разработанной програм-мы для л.р.1    
4. Проанализировать полученные результаты.

Л Р 2
Оптимальный код Хаффмана
Порядок выполнения работы
1. Изучить теоретический материал гл. 3 и гл.4.
2. Реализовать процедуру построения оптимального кода Хаффмана.
3. Построить код Хаффмана для текста на английском языке (использовать файл не менее 1 Кб). Распечатать полученную кодовую таблицу в виде:

Символ  Частота Кодовое слово Длина кодового слова
     
1. Проверить выполнение неравенства Крафта-МакМиллана для полученного кода
2. Вычислить энтропию исходного файла и сравнить со средней длиной кодового слова по-строенного кода Хаффмана.
3. Закодировать полученным кодом текст на английском языке и подсчитать энтропию за-кодированного файла.

Энтропия исходно-го текста Средняя длина ко-дового слова Энтропия закодиро-ванного текста
   
5. Проанализировать полученные результаты

Л Р3
Почти оптимальное алфавитное кодирование
Порядок выполнения работы
1. Изучить теоретический материал гл. 5
2. Реализовать процедуры построения кодов Шеннона и Фано.
3. Построить коды Шеннона и Фано для текста на английском языке (использовать файл не менее 1 Кб). Распечатать полученные кодовые таблицы в виде:

Символ  Частота Кодовое слово Длина кодового слова
     

4. Сравнить средние длины кодового слова с энтропией исходного файла для всех постро-енных статических кодов. Полученные результаты оформить в виде таблицы:

Энтропия ис-ходного текста Средняя длина кодового слова
 Код Хаффма-на Код Шеннона Код Фано
     

5. Проанализировать полученные результаты

Л Р 4
Адаптивное кодирование

Порядок выполнения работы
1. Изучить теоретический материал гл. 7.
2. Закодировать текст на английском языке (использовать файл не менее 1 Кб) с помощью адаптивного кода Хаффмана.
3. Вычислить коэффициенты сжатия данных как процентное отношение длины закодиро-ванного файла к длине исходного файла.
4. Сравнить полученные коэффициенты сжатия данных, построить таблицу вида:
Размер исходно-го
файла Коэффициент сжатия данных
 Адаптивный код Хаффмана Обычный код Хаффмана
   

5. Проанализировать полученные результаты

Л Р5
Словарные коды
Порядок выполнения работы
1. Изучить теоретический материал гл. 8
2. Закодировать словарным кодом с использованием адаптивного словаря текст на англий-ском языке, текст на русском языке и текст программы на языке С (использовать файлы не менее 1 Кб).
3. Вычислить коэффициенты сжатия данных как процентное отношение длины закодиро-ванного файла к длине исходного файла, построить таблицу вида:
Размер исходно-го
файла Коэффициент сжатия данных
 Текст на английском языке Текст на русском языке Текст программы на язы-ке С
     
5. Проанализировать полученные результаты. Сравнить полученные результаты с результата-ми предыдущих лабораторных работ.

Проверил: Мачикина Елена Павловна
Оценка: все зачтены
год сдачи 2017