Коды Голомба

Коды Голомба — семейство энтропийных кодов. Под кодом Голомба может подразумеваться также один из представителей этого семейства.

Рассмотрим источник, независимым образом порождающий неотрицательные числа $i$ с вероятностями $P(i) = (1-p)p^{i}$, где $p$ — произвольное положительное число, не превосходящее 1, т.е. источник, описываемый геометрическим распределением. Если при этом целое положительное число $m$ таково, что $$p^m = \frac 1 2 ,$$

то оптимальным посимвольным кодом (т.е. кодом, ставящим в соответствие каждому кодируемому символу определённое кодовое слово) для такого источника будет построенный в соответствии с предложенной С. Голомбом процедурой, согласно которой для любого кодируемого числа $n$ при известном $m$ кодовое слово образуют унарная запись числа $q = \left[ \frac{n}{m}\right]$ и кодированный в соответствии с описанной ниже процедурой остаток $r$ от деления $\frac{n}{m}$:

1. Если $m$ является степенью числа 2, то код остатка представляет собой двоичную запись числа $r$, размещённую в $\log_2(m)$ битах.
2. Если $m$ не является степенью 2, вычисляется число $b = \lceil\log_2(m)\rceil$. Далее:

Если $r < 2^b-m$, код остатка представляет собой двоичную запись числа $r$, размещённую в $b-1$ битах,

иначе остаток $r$ кодируется двоичной записью числа $r+2^b-m$, размещённой в $b$ битах.

Позже Р. Галлагером и Д. Ван Вурхисом было показано, что предложенный Голомбом код оптимален не только для дискретного набора значений $p$, удовлетворяющих приведённому выше критерию, но и для любых $p$, для которых справедливо двойное неравенство $$p^{m} + p^{m+1} \le 1 < p^{m} + p^{m-1},$$

где $m$ — целое положительное число. Поскольку для любого $p$ всегда найдётся не более одного значения $m$, удовлетворяющего приведённому выше неравенству, предложенная С. Голомбом процедура кодирования геометрического источника оказывается оптимальной для любого значения $p$.

Пример

Пусть $p = 0.85$, $n = 13$.

Удовлетворяющее двойному неравенству Галлагера - Ван Вурхиса значение $m = 4$.

частное $$q = \left[ \frac{n}{m} \right] = \left[\frac{13}{4} \right] = 3 ,$$

унарный код $1110$,

остаток $$r = 1,$$

код $01$.

Результирующее кодовое слово $$1110|01$$

Ссылки

• Golomb S.W. Run-length encodings //IEEE Trans. Inf. Theor.–1996.- IT-12, No 3. – pp. 399-401
• Gallager R.G., Van Voorhis D.C. Optimal source codes for geometrically distributed integer alphabets //IEEE Trans. Inf. Theor.–1975.-IT-21, No 2. – pp. 228-230