Редактирование: Энтропийное кодирование

'''Кодирование энтропии''' — [[кодирование]] словами (кодами) переменной длины, при которой длина кода символа имеет обратную зависимость от [[вероятность|вероятности]] появления символа в передаваемом сообщении.  Обычно [[энтропия (теория информации)|энтропийные]] кодировщики используют для сжатия данных коды, длины которых пропорциональны отрицательному [[логарифм|логарифму]] вероятности символа. Таким образом, наиболее вероятные символы используют наиболее короткие коды.

Согласно [[Прямая теорема Шеннона для источника|теореме Шеннона]] оптимальная длина кода для символа равна <math>\displaystyle -\log_bP</math>, где <math>\displaystyle b</math> — это количество символов, использованных для изготовления выходного кода, и <math>\displaystyle P</math> — вероятность входного символа.

Три самых распространённых способа кодирования энтропиии — это [[кодирование Хаффмана]], [[кодирование длин серий]] и [[арифметическое кодирование]].
Если приблизительные характеристики энтропии потока данных предварительно известны, может быть полезен более простой статический код, такой как [[унарное кодирование]], [[гамма-код Элиаса]], [[кодирование Фибоначчи]], [[кодирование Голомба]] или [[кодирование Райса]].

==См. также==
* [[Универсальный код]]

----

''Ранняя версия этой статьи: {{PlanetMath|EntropyEncoding|Энтропийное кодирование}}''
{{методы сжатия}}
[[Категория:Алгоритмы сжатия без потерь]]
[[Категория:Теория информации]]

[[ca:Codificació entròpica]]
[[de:Entropiekodierung]]
[[en:Entropy encoding]]
[[fr:Codage de source]]
[[ja:エントロピー符号]]
[[ko:엔트로피 부호화]]
[[zh:熵編碼法]]