Теория информации. Лабораторные работы №1-5. Контрольная работа. Экзаменационная работа. Билет 1(общий вариант, новые задания)

Лабораторная работа №1
Вычисление энтропии Шеннона
Цель работы: Экспериментальное изучение свойств энтропии Шеннона.
Среда программирования: любая с С-подобным языком программирования.
Результат: программа, тестовые примеры, отчет.
Задание:
1. Для выполнения данной лабораторной работы необходимо предварительно сгенерировать два файла. Каждый файл содержит последовательность символов, количество различных символов больше 2 (3,4 или 5). Объем файлов больше 10 Кб, формат txt.
Первый файл (назовем его F1) должен содержать последовательность символов с равномерным распределением, т.е. символы встречаются в последовательности равновероятно и независимо.
Второй файл (F2) содержит последовательность символов с неравновероятным распределением.
2. Составить программу, определяющую несколько оценок энтропии созданных текстовых файлов. Оценки энтропии необходимо вычислить по формуле Шеннона двумя способами, т.е. используя частоты отдельных символов и используя частоты пар символов. По желанию можно продолжить процесс вычисления оценок с использованием частот троек, четверок символов и т.д.
3. После тестирования программы необходимо заполнить таблицу для отчета и проанализировать полученные результаты.

Лабораторная работа №2
Вычисление энтропии Шеннона
Цель работы: Экспериментальное изучение свойств энтропии Шеннона.
Среда программирования: любая с С-подобным языком программирования.
Результат: программа, тестовые примеры, отчет.
Задание:
1. Составить программу, определяющую несколько оценок энтропии текстового файла (размер не менее 10 Кб). Оценки энтропии необходимо вычислить по формуле Шеннона двумя способами, т.е. используя частоты отдельных символов и используя частоты пар символов. По желанию можно продолжить процесс вычисления оценок с использованием частот троек, четверок символов и т.д.
Для художественных текстов (русский или английский языки) предполагается, что строчные и заглавные символы не отличаются, знаки препинания объединены в один символ, к алфавиту добавлен пробел, для русских текстов буквы «е» и «ё», «ь» и «ъ» совпадают. При использовании текста программы учитываются все символы, кроме знаков табуляции.
2. После тестирования программы необходимо заполнить таблицу для отчета и проанализировать полученные результаты. Сравнить полученные результаты с результатами лабораторной работы 1.

Лабораторные работы №3
Оптимальное побуквенное кодирование
Цель работы: Изучение метода оптимального кодирования Хаффмана.
Среда программирования: любая с С-подобным языком программирования.
Результат: программа, тестовые примеры, отчет.
1. Запрограммировать процедуру двоичного кодирования текстового файла методом Хаффмана. Текстовые файлы использовать те же, что и в лабораторных работах №1,2. Для художественных текстов (русский или английский языки) предполагается, что строчные и заглавные символы не отличаются, знаки препинания объединены в один символ, к алфавиту добавлен пробел, для русских текстов буквы «е» и «ё», «ь» и «ъ» совпадают.
2. Проверить, что полученный код является префиксным.
3. После кодирования текстового файла вычислить оценки энтропии выходной последовательности, используя частоты отдельных символов, пар символов и троек символов.
4. Заполнить таблицу и проанализировать полученные результаты.

Лабораторные работы №4
Методы почти оптимального кодирования
Цель работы: Изучение метода почти оптимального кодирования Фано.
Среда программирования: любая с С-подобным языком программирования.
Результат: программа, тестовые примеры, отчет.
1. Запрограммировать процедуры двоичного кодирования текстового файла методом Фано. Текстовые файлы использовать те же, что и в лабораторной работе №1 и 2. Для художественных текстов (русский или английский языки) предполагается, что строчные и заглавные символы не отличаются, знаки препинания объединены в один символ, к алфавиту добавлен пробел, для русских текстов буквы «е» и «ё», «ь» и «ъ» совпадают.
2. Проверить, что полученный код является префиксным.
3 После кодирования текстового файла вычислить оценки энтропии выходной последовательности, используя частоты отдельных символов, пар символов и тройки символов.
4. После тестирования программы необходимо заполнить таблицу и проанализировать полученные результаты.

Лабораторные работы №5
Почти оптимальное кодирование
Цель работы: Изучение метода почти оптимального кодирования Шеннона.
Среда программирования: любая с С-подобным языком программирования.
Результат: программа, тестовые примеры, отчет.
1. Запрограммировать процедуру двоичного кодирования текстового файла методом Шеннона. Текстовые файлы использовать те же, что и в лабораторной работе №1-4. Для художественных текстов (русский или английский языки) предполагается, что строчные и заглавные символы не отличаются, знаки препинания объединены в один символ, к алфавиту добавлен пробел, для русских текстов буквы «е» и «ё», «ь» и «ъ» совпадают.
2. Проверить, что полученный код является префиксным.
3. После кодирования текстового файла вычислить оценки энтропии выходной последовательности, используя частоты отдельных символов, пар символов и троек символов.
4. Заполнить таблицу и проанализировать полученные результаты.

Контрольная работа по теории информации
1. Вычислить энтропию Шеннона для символов ФИО.
2. Построить код Хаффмана для набора букв ФИО. Для оценки вероятностей символов использовать частоты вхождения букв в ФИО. Подсчитать среднюю длину кодового слова построенного кода.
3. Построить код Фано для набора букв ФИО. Подсчитать среднюю длину кодового слова построенного кода.
4. Построить код Шеннона для набора букв ФИО. Подсчитать среднюю длину кодового слова построенного кода.
5. Построить код Гилберта-Мура для набора букв ФИО. Подсчитать среднюю длину кодового слова построенного кода.
6. Сравнить между собой энтропию Шеннона, вычисленную в п.1, и величины средних длин кодового слова для построенных кодов.

Билет 1.
Для экзаменационных заданий используется набор символов, входящих в ФИО студента. Набор букв ФИО необходимо преобразовать следующим образом:
буквы из диапазона А-Ж заменить на символ a; из диапазона З-П на символ b; из диапазона Р-Ч на символ c; из диапазона Ш-Я на символ d. Далее подразумевается преобразованный набор символов.
1. Закодировать первые три буквы преобразованного набора символов ФИО арифметическим кодом. Для оценки вероятностей символов использовать частоты вхождения букв в преобразованный набор. Определить длину кодовой последовательности (в битах)
2. Закодировать последовательность преобразованного набора символов ФИО адаптивным кодом Хаффмана. Определить длину кодовой последовательности (в битах)
3. По заданной матрице условных вероятностей появления сообщений зависимых источников информации и и распределению случайной величины вычислить ,

Уважаемый слушатель, дистанционного обучения,
Оценена Ваша работа по предмету: Теория информации
Вид работы: Лабораторная работа 1
Оценка:Зачет
Дата оценки: 01.11.2016
Рецензия:Уважаемый ,
Мачикина Елена Павловна

Уважаемый слушатель, дистанционного обучения,
Оценена Ваша работа по предмету: Теория информации
Вид работы: Лабораторная работа 2
Оценка:Зачет
Дата оценки: 01.11.2016
Рецензия:Уважаемый ,
Мачикина Елена Павловна

Уважаемый слушатель, дистанционного обучения,
Оценена Ваша работа по предмету: Теория информации
Вид работы: Лабораторная работа 3
Оценка:Зачет
Дата оценки: 19.11.2016
Рецензия:Уважаемый ,
Мачикина Елена Павловна

Уважаемый слушатель, дистанционного обучения,
Оценена Ваша работа по предмету: Теория информации
Вид работы: Лабораторная работа 4
Оценка:Зачет
Дата оценки: 24.11.2016
Рецензия:Уважаемый ,
Мачикина Елена Павловна

Уважаемый слушатель, дистанционного обучения,
Оценена Ваша работа по предмету: Теория информации
Вид работы: Лабораторная работа 5
Оценка:Зачет
Дата оценки: 25.11.2016
Рецензия:Уважаемый ,
Мачикина Елена Павловна

Уважаемый слушатель, дистанционного обучения,
Оценена Ваша работа по предмету: Теория информации
Вид работы: Контрольная работа 1
Оценка:Зачет
Дата оценки: 30.11.2016
Рецензия:Уважаемый

Уважаемый студент, дистанционного обучения,
Оценена Ваша работа по предмету: Теория информации
Вид работы: Экзамен
Оценка:Отлично
Дата оценки: 26.12.2016
Рецензия:Уважаемый ,
Мачикина Елена Павловна