Энтропийное кодирование: различия между версиями
w>Vlsergey (не путайте теоремы Шеннона, их много) |
|||
| Строка 3: | Строка 3: | ||
Согласно [[Прямая теорема Шеннона для источника|теореме Шеннона]] оптимальная длина кода для символа равна <math>\displaystyle -\log_bP</math>, где <math>\displaystyle b</math> — это количество символов, использованных для изготовления выходного кода, и <math>\displaystyle P</math> — вероятность входного символа. | Согласно [[Прямая теорема Шеннона для источника|теореме Шеннона]] оптимальная длина кода для символа равна <math>\displaystyle -\log_bP</math>, где <math>\displaystyle b</math> — это количество символов, использованных для изготовления выходного кода, и <math>\displaystyle P</math> — вероятность входного символа. | ||
| − | + | Две самых распространённых техники кодирования энтропиии — это [[кодирование Хаффмана]] и [[арифметическое кодирование]]. | |
Если приблизительные характеристики энтропии потока данных предварительно известны, может быть полезен более простой статический код, такой как [[унарное кодирование]], [[гамма-кодирование Элиаса]], [[кодирование Фибоначчи]], [[кодирование Голомба]] или [[кодирование Райса]]. | Если приблизительные характеристики энтропии потока данных предварительно известны, может быть полезен более простой статический код, такой как [[унарное кодирование]], [[гамма-кодирование Элиаса]], [[кодирование Фибоначчи]], [[кодирование Голомба]] или [[кодирование Райса]]. | ||
Версия от 18:39, 8 мая 2008
Кодирование энтропии — кодирование словами (кодами) переменной длины, при которой длина кода символа имеет обратную зависимость от вероятности появления символа в передаваемом сообщении. Обычно энтропийные кодировщики используют для сжатия данных коды, длины которых пропорциональны отрицательному логарифму вероятности символа. Таким образом, наиболее вероятные символы используют наиболее короткие коды.
Согласно теореме Шеннона оптимальная длина кода для символа равна , где — это количество символов, использованных для изготовления выходного кода, и — вероятность входного символа.
Две самых распространённых техники кодирования энтропиии — это кодирование Хаффмана и арифметическое кодирование. Если приблизительные характеристики энтропии потока данных предварительно известны, может быть полезен более простой статический код, такой как унарное кодирование, гамма-кодирование Элиаса, кодирование Фибоначчи, кодирование Голомба или кодирование Райса.
См. также
Ранняя версия этой статьи: Шаблон:PlanetMath Ошибка Lua в Модуль:Navbox на строке 353: attempt to index local 'listText' (a nil value).
ca:Codificació entròpica de:Entropiekodierung en:Entropy encoding fr:Codage de source ja:エントロピー符号 ko:엔트로피 부호화 zh:熵編碼法