Контрольная работа по дисциплине «Теория информации » 3-й вариант

1. Определить энтропию и избыточность двоичного источника с независимым выбором элементов, если задана вероятность первого сообщения P(x1). P(x2)=1-P(x1).
Для разных вариантов P(x1)=1/(1+N), где N –номер варианта.
2. Определить энтропию и избыточность источника с независимым выбором элементов (букв), вероятности выбора которых приведены в таблице вариантов.
3. Закодировать сообщение источника предыдущей задачи для передачи информации по каналу связи:
o равномерным двоичным кодом;
o оптимальным неравномерным двоичным кодом.
Сравните среднее число элементов кода, приходящегося на одну букву, для обоих способов кодирования и сделайте обобщающие выводы
4.В системе связи используется двоичный источник с зависимыми элементами (буквами) x1, x2, для которых заданы вероятности переходов.
Требуется:
1. Изобразить на чертеже диаграмму состояний и переходов источника.
2. Вычислить вероятности P(x1) и P(x2).
3. Определить энтропию и избыточность источника с найденными вероятностями P(x1) и P(x2) в предположении отсутствия корреляционных связей.
4. Определить энтропию и избыточность источника с учётом корреляционных связей.
5. Сравните результаты вычислений по пунктам 3 и 4 сделайте вывод о влиянии корреляции на энтропию и избыточности источника.
Для разных вариантов P(x1|x2)=1/(1+0,1N), P(x2|x1)=(N+4)/40, где N – номер варианта.
5.Закодировать сообщения источника предыдущей задачи сообщений по каналу связи:
o равномерным двоичным кодом;
o оптимальным кодом с учётом корреляционных связей, укрупняя алфавит, путём объединения букв в кодовые слова по две буквы.
Сравнить среднее число элементов кода, приходящееся на одну букву, для этих двух случаев.