Квантование сообщений. Ошибки квантования. Энтропия источника сообщений

Квантование сообщений. Ошибки квантования
Итак, показано, что передачу практически любых сообщений λ(t) ({λ(x,y) }) можно свести к передаче их отсчетов, или чисел λi = λ(i Dt), следующих друг за другом с интервалом дискретности Dt £ 1/2Fm (Δx ≤ 1/2fx, Δy ≤ 1/2fy). Тем самым непрерывное (бесконечное) множество возможных значений сообщения λ(t) заменяется конечным числом его дискретных значений {λ(i Dt) }. Однако сами эти числа имеют непрерывную шкалу уровней (значений), то есть принадлежат опять же континуальному множеству. Для абсолютно точного представления таких чисел, к примеру, в десятичной (или двоичной) форме, необходимо теоретически бесконечное число разрядов. Вместе с тем на практике нет необходимости в абсолютно точном представлении значений λi, как и любых чисел вообще.
Во-первых, сами источники сообщений обладают ограниченным динамическим диапазоном и вырабатывают исходные сообщения с определенным уровнем искажений и ошибок. Этот уровень может быть большим или меньшим, но абсолютной точности воспроизведения достичь невозможно.
Во-вторых, передача сообщений по каналам связи всегда производится в присутствии различного рода помех. Поэтому принятое (воспроизведенное) сообщение (оценка сообщения l*(t) или L*) всегда в определенной степени отличается от переданного, то есть на практике невозможна абсолютно точная передача сообщений при наличии помех в канале связи.
Наконец, сообщения передаются для их восприятия и использования получателем. Получатели же информации - органы чувств человека, исполнительные механизмы и т.д. - также обладают конечной разрешающей способностью, то есть не замечают незначительной разницы между абсолютно точным и приближенным значениями воспроизводимого сообщения. Порог чувствительности к искажениям также может быть различным, но он всегда есть.
С учетом этих замечаний процедуру дискретизации сообщений можно продолжить, а именно подвергнуть отсчеты λi квантованию.