Изменения

'''Кодирование энтропии''' — это схема [[кодирование|кодирования]] которая присваивает коды символам таким образом, чтобы сопоставить длины кодов с [[вероятность|вероятностями появления]] этих символов.  Обычно [[энтропия (теория информации)|энтропийные]] кодировщики используют для сжатия данных длины кодов, которые пропорциональны отрицательному [[логарифм|логарифму]] вероятности. Таким образом, наиболее вероятные символы используют кратчайшие коды.

'''Кодирование энтропии''' — это схема [[кодирование|кодирования]] которая присваивает коды символам таким образом, чтобы сопоставить длины кодов с [[вероятность|вероятностями появления]] этих символов.  Обычно [[энтропия (теория информации)|энтропийные]] кодировщики используют для сжатия данных длины кодов, которые пропорциональны отрицательному [[логарифм|логарифму]] вероятности. Таким образом, наиболее вероятные символы используют кратчайшие коды.

Следуя [[Теорема Шеннона|теореме Шеннона]] оптимальная длина кода для символа — это -log''{{sub|b}}P'', где ''b'' — это количество символов, использованных для изготовления выходного кода и ''P'' — это вероятность входного символа.

Следуя [[Теорема Шеннона|теореме Шеннона]] оптимальная длина кода для символа — это -log''_bP'', где ''b'' — это количество символов, использованных для изготовления выходного кода и ''P'' — это вероятность входного символа.

Три самых распространённых техники кодирования энтропиии — это [[кодирование Хаффмана]], [[кодирование расстояний]] и [[арифметическое кодирование]].

Три самых распространённых техники кодирования энтропиии — это [[кодирование Хаффмана]], [[кодирование расстояний]] и [[арифметическое кодирование]].