Теория информации. Экзамен. Билет №2

Билет 2
Для всех экзаменационных заданий (кроме задачи 2) используется набор русских букв, входящих в ФИО студента. Все задания необходимо выполнить вручную. Необходимые примеры построения кодов и оформления решения задач можно найти в конспекте.
1. Вычислить энтропию последовательности букв ФИО. Для оценки вероятностей символов использовать частоты вхождения букв в ФИО.
2. По заданной матрице совместных вероятностей появления сообщений зависимых источников информации и вычислить величины , , , , .
Y
X y1 y2 y3
x1 0.3 0.1 0
x2 0.05 0.2 0.05
x3 0 0.3 0
3. Построить равномерный двоичный код с наименьшей длиной кодового слова для букв, входящих в ФИО.
4.  Последовательность букв ФИО преобразовать следующим образом: буквы от ‘А’ до ‘З’ заменить символом а, буквы от ‘И’ до ‘Т’ заменить символом b, остальные буквы – символом c. Закодировать полученную последовательность словарным методом Лемпела-Зива (размер словаря 8). Декодировать закодированную последовательность.
5. Закодировать последовательность букв ФИО адаптивным кодом «стопка книг».

июнь 2014, удовлетворительно