ผลลัพธ์การเข้ารหัสช่องสัญญาณโดยใช้ความซับซ้อน Kolmogorov

12

โดยทั่วไปแชนนอนเอนโทรปีจะใช้เพื่อพิสูจน์ผลการเข้ารหัสช่องสัญญาณ แม้จะใช้ผลลัพธ์การแยกแชนเนลแชนนอนเอนโทรปี มีการศึกษาที่จะใช้ประโยชน์จากความซับซ้อนของ Kolmogorov สำหรับผลลัพธ์เหล่านี้ (หรืออย่างน้อยที่สุดเพื่อแทนที่ส่วนการเข้ารหัสซอร์สในผลลัพธ์การแยกช่องสัญญาณต้นทาง)

it.information-theory kolmogorov-complexity shannon-entropy

— VS
แหล่งที่มา

คุณได้ดูหนังสือ Li & Vitanyiรุ่นที่ 3 แล้วหรือยัง? หากฉันไม่ผิดพลาดบทที่ 8 ในหนังสือถูกเพิ่มเข้ามาในฉบับใหม่ล่าสุดและมีบทเกี่ยวกับทฤษฎีข้อมูล มันมีคุณสมบัติเอนโทรปีของแชนนอน, ข้อมูลร่วม, การบิดเบือนอัตรา ฯลฯ วิเคราะห์ในแง่ของความซับซ้อนของ Kolmogorov

— Juho

สวัสดีนั่นเป็นเรื่องจริง แต่ไม่มีการประยุกต์ใช้กับทฤษฎีการเข้ารหัสที่มีเสียงดังของแชนนอน!

— vs

8

สำหรับความจุของช่องดูเหมือนว่าเป็นการยากที่จะแทนที่ Shannon Entropy ด้วยความซับซ้อนของ Kolmogorov คำจำกัดความของความจุช่องสัญญาณไม่มีการกล่าวถึงเอนโทรปี การใช้เอนโทรปีของแชนนอนให้สูตรที่เหมาะสมสำหรับความจุของช่องสัญญาณ (นี่คือทฤษฎีบทของแชนนอน) หากคุณแทนที่สูตรด้วยแชนนอนเอนโทรปีโดยใช้สูตรที่มีความซับซ้อน Kolmogorov ก็สันนิษฐานว่าจะเป็นสูตรที่แตกต่างกันและมันก็จะเป็นคำตอบที่ผิด

$K$ $C$ $K/C$

ส่วนที่ยากของทฤษฎีการแยกช่องสัญญาณต้นทางแสดงว่าคุณไม่สามารถทำได้ดีกว่าวิธีที่ชัดเจน (อธิบายไว้ในย่อหน้าก่อนหน้า) ของการบีบอัดครั้งแรกแล้วเข้ารหัส ฉันไม่รู้ว่ามีใครพิสูจน์เรื่องนี้สำหรับความซับซ้อนของ Kolmogorov และความสามารถของช่องสัญญาณหรือไม่ แต่เป็นคำถามที่สมเหตุสมผลในการตรวจสอบ

— Peter Shor
แหล่งที่มา

K

$K$

K

$K$

1

C \leq 1

$C \leq 1$

Ω (\log^{*} n)

$\Omega(\log^{*}n)$

n

$n$

\log \log n

$\log\log{n}$

r

$r$

\frac{r}{\log^{*} r}

$\frac{r}{\log^{*}r}$

1

ฉันไม่แน่ใจว่าคุณกำลังพูดถึงเรื่องอะไรเมื่อคุณใช้การคัดเลือกระดับท้องถิ่น / ระดับโลกเกี่ยวกับเอนโทรปีของแชนนอนและความซับซ้อนของคอลโมโกรอฟ

ดังนั้นถูกต้องฉันถ้าฉันผิด

เอนโทรปีของแชนนอนนั้นคำนวณได้ ความซับซ้อนของ Kolmogorov ไม่ได้เป็น ดังนั้นพวกเขาไม่ได้อธิบายถึงปัญหาเดียวกัน

คุณสามารถเห็นเอนโทรปีของแชนนอนเป็นขอบเขตบนของความซับซ้อนของ Kolmogrov

— ฟิล
แหล่งที่มา

แชนนอนมีความสัมพันธ์อย่างไรกับขอบเขตบน? ฉันเชื่อว่ามันได้รับการพิสูจน์แล้วว่าเหมือนกัน

— T ....