Теория информации. Лабораторная работа 1 на С++. Для всех вариантов.

Формулировка задания

Вычисление энтропии Шеннона

Цель работы: Экспериментальное изучение свойств энтропии Шеннона.

Среда программирования: любая с С-подобным языком программирования.

Результат: программа, тестовые примеры, отчет.

Задание:
1. Для выполнения данной лабораторной работы необходимо предварительно сгенерировать два файла. Каждый файл содержит последовательность символов, количество различных символов больше 2 (3,4 или 5). Объем файлов больше 10 Кб, формат txt.
Первый файл (назовем его F1) должен содержать последовательность символов с равномерным распределением, т.е. символы встречаются в последовательности равновероятно и независимо.
Второй файл (F2) содержит последовательность символов с неравновероятным распределением.

2. Составить программу, определяющую несколько оценок энтропии созданных текстовых файлов. Оценки энтропии необходимо вычислить по формуле Шеннона двумя способами, т.е. используя частоты отдельных символов и используя частоты пар символов. По желанию можно продолжить процесс вычисления оценок с использованием частот троек, четверок символов и т.д.

3. После тестирования программы необходимо заполнить таблицу для отчета и проанализировать полученные результаты.

 Оценка энтропии
(частоты отдельных символов) Теоретическое значение энтропии
(отдельные символы) Оценка энтропии
(частоты пар символов) Теоретическое значение энтропии
(для пар символов)
F1    
F2

май 2016, зачтено без замечаний, Мачикина Е.П.