Изменения

'''Кодирование энтропии''' — [[кодирование]] словами (кодами) переменной длины, при которой длина кода символа имеет обратную зависимость от [[вероятность|вероятности]] появления символа в передаваемом сообщении.  Обычно [[энтропия (теория информации)|энтропийные]] кодировщики используют для сжатия данных длины кодов, которые пропорциональны отрицательному [[логарифм|логарифму]] вероятности. Таким образом, наиболее вероятные символы используют кратчайшие коды.

'''Кодирование энтропии''' — [[кодирование]] словами (кодами) переменной длины, при которой длина кода символа имеет обратную зависимость от [[вероятность|вероятности]] появления символа в передаваемом сообщении.  Обычно [[энтропия (теория информации)|энтропийные]] кодировщики используют для сжатия данных длины кодов, которые пропорциональны отрицательному [[логарифм|логарифму]] вероятности. Таким образом, наиболее вероятные символы используют кратчайшие коды.

Согласно [[Теорема Шеннона|теореме Шеннона]] оптимальная длина кода для символа — это -log''_bP'', где ''b'' — это количество символов, использованных для изготовления выходного кода и ''P'' — это вероятность входного символа.

Согласно [[Теорема Шеннона|теореме Шеннона]] оптимальная длина кода для символа — это <math>\displaystyle -\log_bP</math>, где <math>\displaystyle b</math> — это количество символов, использованных для изготовления выходного кода и <math>\displaystyle P</math> — это вероятность входного символа.

Три самых распространённых техники кодирования энтропиии — это [[кодирование Хаффмана]], [[кодирование длин серий]] и [[арифметическое кодирование]].

Три самых распространённых техники кодирования энтропиии — это [[кодирование Хаффмана]], [[кодирование длин серий]] и [[арифметическое кодирование]].

Если приблизительные характеристики энтропии потока данных предварительно известны (в особенности для [[компрессии сигнала]]), то может быть полезен более простой статический код, такой как [[унарное кодирование]], [[гамма-кодирование Элиаса]], [[кодирование Фибоначчи]], [[кодирование Голомба]] или [[кодирование Райса]].

Если приблизительные характеристики энтропии потока данных предварительно известны, может быть полезен более простой статический код, такой как [[унарное кодирование]], [[гамма-кодирование Элиаса]], [[кодирование Фибоначчи]], [[кодирование Голомба]] или [[кодирование Райса]].

==См. также==

==См. также==