Теория информации. Контрольная работа. Вариант №2

1. Определить энтропию и избыточность двоичного источника с независимым выбором элементов, если задана вероятность первого сообщения P(x1). P(x2)=1-P(x1).
Для разных вариантов P(x1)=1/(1+N), где N –номер варианта.
2. Определить энтропию и избыточность источника с независимым выбором элементов (букв), вероятности выбора которых приведены в таблице вариантов.
. Закодировать сообщение источника предыдущей задачи для передачи информации по каналу связи:
o равномерным двоичным кодом;
o оптимальным неравномерным двоичным кодом.
Сравните среднее число элементов кода, приходящегося на одну букву, для обоих способов кодирования и сделайте обобщающие выводы.
Равномерный двоичный код первичного алфавита строится цепочками равной длины. Длина цепочки k ≥ log2N , k ≥ log28, k ≥ 3. То есть достаточно трех символов для каждой буквы алфавита.

4.В системе связи используется двоичный источник с зависимыми элементами (буквами) x1, x2, для которых заданы вероятности переходов.
Требуется:
1. Изобразить на чертеже диаграмму состояний и переходов источника.
2. Вычислить вероятности P(x1) и P(x2).
3. Определить энтропию и избыточность источника с найденными вероятностями P(x1) и P(x2) в предположении отсутствия корреляционных связей.
4. Определить энтропию и избыточность источника с учётом корреляционных связей.
5. Сравните результаты вычислений по пунктам 3 и 4 сделайте вывод о влиянии корреляции на энтропию и избыточности источника.
5.Закодировать сообщения источника предыдущей задачи сообщений по каналу связи:
o равномерным двоичным кодом;
o оптимальным кодом с учётом корреляционных связей, укрупняя алфавит, путём объединения букв в кодовые слова по две буквы.
Сравнить среднее число элементов кода, приходящееся на одну букву, для этих двух случаев.

СибГУТИ.2014г