รหัส Huffman ดีแค่ไหนเมื่อไม่มีตัวอักษรน่าจะเป็นขนาดใหญ่

รหัส Huffman สำหรับการกระจายความน่าจะเป็น $p$ เป็นรหัสคำนำหน้าด้วยขั้นต่ำถัวเฉลี่ยถ่วงน้ำหนักความยาว codeword $\sum p_i \ell_i$ ที่ $\ell_i$ คือความยาวของ $i$ TH codword มันเป็นทฤษฎีบทที่รู้จักกันดีว่าความยาวเฉลี่ยต่อสัญลักษณ์ของรหัส Huffman อยู่ระหว่าง $H(p)$ และ $H(p)+1$ , ที่ $H(p) = -\sum_i \, p_i \log_2 p_i$ คือเอนโทรปีของ Shannon ของการแจกแจงความน่าจะเป็น

ตัวอย่างที่ไม่ดีของบัญญัติซึ่งความยาวเฉลี่ยเกินกว่าเอนโทรปีของแชนนอนเกือบ 1 คือการแจกแจงความน่าจะเป็นเช่น $\{.999, .001\}$ โดยที่เอนโทรปีมีค่าเกือบ 0 และความยาว codeword เฉลี่ยคือ 1 ระหว่างเอนโทรปีและความยาว codeword เกือบ1 $1$

แต่จะเกิดอะไรขึ้นเมื่อมีการจำกัดความน่าจะเป็นที่ใหญ่ที่สุดในการแจกแจงความน่าจะเป็น ตัวอย่างเช่นสมมติว่าความน่าจะเป็นทั้งหมดน้อยกว่า $\frac{1}{2}$ . ช่องว่างที่ใหญ่ที่สุดที่ฉันสามารถหาได้ในกรณีนี้คือการแจกแจงความน่าจะเป็นเช่น $\{.499, .499, .002\}$ ซึ่งเอนโทรปีมีค่ามากกว่า 1 เล็กน้อยและความยาว codeword เฉลี่ยน้อยกว่า 1.5 เล็กน้อยทำให้ช่องว่างใกล้เข้ามา $0.5$ . นี่เป็นสิ่งที่ดีที่สุดที่คุณสามารถทำได้หรือไม่? คุณสามารถให้ขอบเขตบนของช่องว่างที่น้อยกว่า 1 สำหรับกรณีนี้ได้หรือไม่?

ทีนี้ลองพิจารณากรณีที่ความน่าจะเป็นทั้งหมดเล็กมาก สมมติว่าคุณเลือกกระจายความน่าจะมากกว่า $M$ ตัวอักษรแต่ละคนมีความน่าจะเป็น $1/M$ Mในกรณีนี้ช่องว่างที่ใหญ่ที่สุดเกิดขึ้นหากคุณเลือก $M \approx 2^k \ln 2$ 2ที่นี่คุณจะได้ช่องว่างประมาณ

\frac{1 + \ln \ln 2 - \ln 2}{\ln 2} \approx 0.08607.

$\frac{1 + \ln \ln 2 - \ln 2}{\ln 2} \approx 0.08607.$ นี่เป็นสิ่งที่ดีที่สุดที่คุณสามารถทำได้ในสถานการณ์ที่ความน่าจะเป็นทั้งหมดเล็กหรือไม่?

คำถามนี้ได้รับแรงบันดาลใจจากนี้คำถาม TCS Stackexchange

optimization it.information-theory coding-theory

— ปีเตอร์แคระ
แหล่งที่มา

คำตอบ:

มีเอกสารมากมายที่ศึกษาปัญหาที่คุณพูดถึงอย่างแน่นอน คนแรกในซีรีส์นี้เป็นบทความจาก Gallager "Variations on a Theme by Huffman", IEEE-IT, vol. 24, 1978, pp. 668-674 เขาพิสูจน์ให้เห็นว่าความแตกต่างระหว่างความยาว codeword เฉลี่ยของรหัส Huffman และเอนโทรปี (ที่เขาเรียกว่าปริมาณ "ซ้ำซ้อน") อยู่เสมออย่างเคร่งครัดน้อยกว่า (= ความน่าจะเป็นที่ใหญ่ที่สุดในการกระจายความน่าจะเป็น) ในกรณีที่ และมันก็เป็นน้อยกว่าถ้า 2เป็นที่รู้จักกันดีกว่าขอบเขตคุณสามารถค้นหาได้ในเอกสารมากมายที่อ้างถึงงานของ Gallager $p$ $p\geq 1/2$ $p+0.086$ $p<1/2$

— Ugo
แหล่งที่มา

ที่ดีที่สุดผูกพันได้รับการค้นพบโดย Manstetten, ขอบเขตแน่นในความซ้ำซ้อนของรหัส Huffman

— Yuval Filmus

ตัดสินโดยถูกผูกไว้ฉันเชื่อว่าคุณตั้งใจจะถามคำถามอื่น ... หรือคุณไม่ได้ระบุว่าคุณจะใช้ "ค่าเฉลี่ย" ได้อย่างไร ดังนั้นฉันจะตอบทั้งคู่ คำตอบคือไม่มีคำถามทั้งสอง $H(p) \leq \ldots \leq H(p)+1$

ขั้นแรกถ้าคุณกำหนดความยาวรหัสเฉลี่ยโดยใช้การแจกแจงแบบสม่ำเสมอเหนือคำของโค้ดและรับเป็นขอบเขตบนความน่าจะเป็นขององค์ประกอบใด ๆ ให้พิจารณารหัสที่มีความยาวโดยที่คำรหัสมีความยาวและที่เหลืออีกมีความยาว kสำหรับการแจกแจงที่ถูกเข้ารหัสอย่างสมบูรณ์แบบด้วยรหัสนี้ความยาวเฉลี่ยจะเข้าใกล้ยกเว้นว่าคุณมีขอบเขตความน่าจะเป็นขององค์ประกอบหนึ่งที่ต่ำกว่าในขณะที่เอนโทรปีคือ $2^{-q}$ $q+k$ $2^{q-1}$ $q$ $2^{q+k-1}$ $q+k$ $q+k$ . $q+\frac{k}{2}$

ตอนนี้ให้เราพิจารณา "ความยาวเฉลี่ย" หมายถึงความยาวเฉลี่ย codeword เมื่อรหัส Huffman จะใช้ในการสำหรับพีที่นี่เป็นที่ถูกผูกไว้แน่นและมีการกระจายตัวอย่างบรรลุในขีด จำกัด ซึ่งเป็นหนึ่งในแต่ละองค์ประกอบเกิดขึ้นกับความน่าจะเป็นสำหรับ(องค์ประกอบสุดท้ายได้รับมอบหมายความน่าจะเป็นที่เหลือใด ๆ แต่จะไม่ทำให้เกิดความแตกต่าง asymptotically) $p$ $2^{q\pm 1/2}$ $q \in {\mathbb Z}.$

ตัวอย่างเช่นพิจารณาจากนั้น $q = 7.$

$A + B = 128, A\sqrt{2}+B/\sqrt{2}\leq 128, \max_{A \in {\mathbb Z}} A$ $A = 52, B = 76$ $52$ $2^{-6.5}$ $76$ $2^{-7.5}$

จากนั้นในขณะที่รหัส Huffman ประสบความสำเร็จการสูญเสียพลังงานแบบเอนโทรปี (โดยบังเอิญการสูญเสียของเอนโทรปีมีชื่อไม่ว่าคุณจะทำการเข้ารหัส Huffman หรือการเข้ารหัสโดยพลการสำหรับ : Kullback-Liebler divergenceเมื่อใช้มันฉันค้นพบเมื่อไม่กี่วันที่ผ่านมานำไปสู่ขอบเขตเชอร์คอฟสองด้านที่เข้มงวดมากขึ้นอย่างที่คุณเห็นใน Wikipedia for Chernoff $H(X) = (52\cdot 6.5 + 76 \cdot 7.5)/128 = 7.09375$ $(52 \cdot 0.5 - 76 \cdot 0.5)/128 \approx 0.99436$ $Q$ $D(P\Vert Q) = \sum p_i \log \frac{p_i}{q_i} + \sum (1-p_i) \log \frac{1-p_i}{1-q_i}$

— คาร์ล
แหล่งที่มา

ฉันค่อนข้างงุนงงกับตัวอย่างที่สองนี้ หากคุณมี codewords 128 ตัวจะมีรหัสที่มีความยาวคำโดยเฉลี่ย 7 (อันที่จริงความยาวของคำทั้งหมดมี 7) ซึ่งขัดแย้งกับคำสั่งของคุณว่าเอนโทรปีคือ 7.09375 เอนโทรปีของการแจกแจงนี้ (ซึ่งคุณได้โดยการหาค่าเฉลี่ยถ่วงน้ำหนักของและไม่ใช่ค่าเฉลี่ย) คือ 6.88 ในขณะที่ความยาวเฉลี่ยของรหัส Huffman คือ 7 นี่จะทำให้เกิดช่องว่าง (หรือ Kullback-Liebler divergence) ประมาณ 0.12 ซึ่งดูเหมือนจะดีกว่าตัวอย่างเล็กน้อย แต่ไม่ใกล้กับ 1

- \log_{2} p_{i}

$-\log_2 p_i$

— Peter Shor

และแน่นอนว่าคุณพูดถูก ผมตั้งใจจะถามเกี่ยวกับความยาว codeword คาดว่าภายใต้การกระจายความน่าพี

p

$p$

— Peter Shor

อ๊ะผมคาดคะเนเกี่ยวกับVS Bเรายังต้องการน้อยกว่าเล็กน้อย แต่บางอย่างเช่นเพื่อบังคับให้รายการน้อยลงในแถวล่าง สิ่งนี้จะให้

A

$A$

B

$B$

A \sqrt{2} + B / \sqrt{2}

$A\sqrt{2}+B/\sqrt{2}$

2^{k}

$2^k$

A + 2 B = 2^{k}

$A+2B=2^k$

A = \frac{2 - 1 / \sqrt{2}}{\sqrt{2} - 1} B .

$A = \frac{2-1/\sqrt{2}}{\sqrt{2}-1}B.$

— คาร์ล

ที่จริงแล้วจะเป็น ... แต่ระบบสมการนี้ไม่มีวิธีแก้ปัญหาเชิงบวก - ดูเหมือนว่าเราไม่สามารถบังคับให้ทุกสิ่งเป็นพลังครึ่งจำนวนเต็มได้ ดังนั้นแทนที่จะและเราสามารถพิจารณาเช่นสำหรับครึ่งหนึ่งของรหัส Huffman และส่วนที่เหลือให้รายการ ...

2 A + B

$2A+B$

2

$2$

\sqrt{2}

$\sqrt{2}$

1 / \sqrt{2}

$1/\sqrt{2}$

(1 + x) / 2^{k}

$(1+x)/2^k$

(1 - x) / 2^{k + 1}

$(1-x)/2^{k+1}$

3 * 2^{k}

$3*2^k$

— Carl

ดังนั้นให้ลอง (ไม่เหมาะสม - ฉันคิดว่าขึ้นอยู่กับว่าคุณตัดสินใจที่จะปัดเศษขึ้นหรือลง) รายการที่มีความน่าจะเป็นและรายการที่มีความน่าจะเป็นมีเอนโทรปี7.5แทนที่จะเปลี่ยนที่รายการที่มีความน่าจะเป็นและรายการที่มีความน่าจะเป็น{2}) เอนโทรปีของการแจกแจงนี้คือซึ่งให้ 6.4023 ในขณะที่เอนโทรปีของรหัส Huffman คือ 7.5 ภายใต้เครื่องแบบและดังนั้นหากฉันคำนวณผิด (และฉันทำบ่อย) สิ่งนี้จะให้ช่องว่างประมาณ

64

$64$

1 / 128

$1/128$

128

$128$

1 / 256

$1/256$

7.5

$7.5$

64

$64$

1 / 128 \sqrt{2}

$1/128\sqrt{2}$

128

$128$

1 / 256 (2 - 1 / \sqrt{2})

$1/256(2-1/\sqrt{2})$

1 / (2 \sqrt{2}) * 7.5 + (1 - 1 / (2 \sqrt{(} 2))) * 5.802

$1/(2\sqrt{2})*7.5+(1-1/(2\sqrt(2)))*5.802$

(1 - 2^{- 1.5}) * 7 + 2^{- 1.5} * 8 = 7.3535.

$(1-2^{-1.5})*7+2^{-1.5}*8 = 7.3535.$

0.95

$0.95$ 0.95

— คาร์ล