มีการวางนัยทั่วไปของทฤษฎีข้อมูลข่าวสารที่มีความรู้เชิงพหุนามหรือไม่?

ฉันขอโทษนี่เป็นคำถามที่ "อ่อน"

ทฤษฎีสารสนเทศไม่มีแนวคิดของความซับซ้อนในการคำนวณ ตัวอย่างเช่นอินสแตนซ์ของ SAT หรืออินสแตนซ์ของ SAT บวกเล็กน้อยที่บ่งชี้ว่าความน่าเชื่อถือมีข้อมูลจำนวนเท่ากัน

มีวิธีที่จะทำให้แนวคิดของ "ความรู้เชิงพหุนาม" เป็นระเบียบหรือไม่?

เฟรมเวิร์กดังกล่าวสามารถกำหนดได้เช่นแนวคิดของพหุนาม - KL ความแตกต่างระหว่างตัวแปรสุ่ม X ญาติ Y เป็นจำนวนบิตที่จำเป็นในการคำนวณ X ในเวลาพหุนามให้ Y

เช่นเดียวกันเอนโทรปีของตัวแปรสุ่ม X สามารถกำหนดเป็นจำนวนบิตที่จำเป็นในการเข้ารหัส X ในวิธีที่สามารถถอดรหัสในเวลาพหุนาม

มีการศึกษาลักษณะทั่วไปเช่นนี้หรือไม่? มันสามารถทำให้สอดคล้องกันได้หรือไม่

ใช่. ความซับซ้อนของ Kolmogorov ที่ จำกัด เวลาเป็นอย่างน้อยหนึ่งอย่าง "การวางนัยทั่วไป" (แม้ว่าการพูดอย่างเคร่งครัดมันไม่ใช่การวางนัยทั่วไป แต่เป็นแนวคิดที่เกี่ยวข้อง) แก้ไขเครื่องทัวริงสากล$U$. $t(n)$- ความซับซ้อนของ Kolmogorov ที่ จำกัด ขอบเขตของสตริง $x$ รับสาย $y$ (เกี่ยวข้องกับ $U$) เขียนแทน $K^t_U(x | y)$ (ตัวห้อย $U$ มักถูกแทนที่) หมายถึงสตริงที่สั้นที่สุด $p$ ("โปรแกรม" สำหรับ $U$) ดังนั้น $U(p,y)=x$ และเช่นนั้นการคำนวณของ $U(p,y)$ ใช้เวลามากที่สุด $t(|x|)$เวลา. หากคุณใช้สิ่งนี้เป็นนิยามของ "ข้อมูลตามเงื่อนไข" คุณก็สามารถกำหนดแนวคิดทั่วไปทั้งหมดจากทฤษฎีสารสนเทศได้เช่นเดียวกัน

อย่างไรก็ตามในการตั้งค่าขอบเขตเวลานี้ไม่เป็นที่ทราบกันว่าทฤษฎีบทข้อมูลทฤษฎีข้อมูล ตัวอย่างเช่นสมมาตรของข้อมูลเป็นที่ทราบกันว่ามีความซับซ้อนตามปกติของ Kolmogorov (ไม่ จำกัด เวลา) แต่ไม่รู้ว่าจะเก็บไว้สำหรับการ จำกัด เวลา ดูตัวอย่างเช่นบทที่ 6 ของวิทยานิพนธ์ทรอยลี

หากคุณกังวลว่าสิ่งนี้ใช้ได้กับสายอักขระมากกว่าการแจกแจงฉันขอแนะนำให้อ่านเอกสารต่อไปนี้ซึ่งบอกว่าในความเป็นจริง Kolmogorov ความซับซ้อนของสายอักขระและการนอนหลับเอนโทรปีของการแจกแจงมีความสัมพันธ์กันมาก:

• Grunwald และ Vitanyi ข้อมูล Shannon และความซับซ้อน Kolmogorov

• Hammer, Romashchenko, Shen, Vereshchagin ความไม่เท่าเทียมกันสำหรับนอนส์เอนโทรปีและ Kolmogorov ซับซ้อน

(ในทางกลับกันมีคุณสมบัติบางอย่างที่ทราบว่าไม่ควรใช้ร่วมกันระหว่างสองสิ่งนี้ให้ดู Muchnik & Vereshchagin, Shannon Entropy vs. Kolmogorov Complexity )

ประเด็นหนึ่งคือทฤษฎีบทจำนวนมากที่เราคุ้นเคยในทฤษฎีสารสนเทศไม่ได้อยู่ในโลกการคำนวณ ดังนั้นแม้ว่าเราจะทำการจำลองเชิงตัวเลขของเอนโทรปีอย่างเป็นทางการ แต่ผลลัพธ์ที่ได้อาจไม่เหมือนทฤษฎีข้อมูลอีกต่อไป

ตัวอย่างเช่นถ้า $f$ เป็นฟังก์ชันที่กำหนดขึ้นแล้ว $H(f(X)) \le H(X)$. อย่างไรก็ตามสำหรับแนวคิดการคำนวณเอนโทรปีใด ๆ ที่เป็นไปได้สิ่งนี้จะไม่เกิดขึ้นอีกต่อไป: ลองนึกถึงเครื่องกำเนิดไฟฟ้าเทียมหลอกตัวอย่างเช่นซึ่งขยายเมล็ดสั้นลงในผลผลิตปลอมเทียมระยะยาว โดยนิยามที่เป็นไปได้ใด ๆ ของ entropy การคำนวณฉันสามารถจินตนาการ, เอาท์พุทปลอมเทียมยาวจะมีเอนโทรปีของการคำนวณขนาดใหญ่ (มันเป็นการคำนวณที่แยกไม่ออกจากการแจกแจงเครื่องแบบบนสายยาวเหล่านั้น),$H(f(X)) \le H(X)$.

ฉันไม่ได้ตระหนักถึงรูปแบบการคำนวณสารสนเทศ - theroetic แต่มีการใช้งานที่ชัดเจนของทฤษฎีข้อมูลเพื่อความซับซ้อนของการคำนวณ

ตัวอย่างเช่นคลาสสิก $n \log n$ขอบเขตล่างของการเรียงลำดับแบบอิงการเปรียบเทียบขึ้นอยู่กับข้อโต้แย้งทางทฤษฎีข้อมูลเกี่ยวกับความสูงของแผนภูมิการตัดสินใจที่จำเป็นเพื่อแยกความแตกต่างระหว่างคำสั่งที่เป็นไปได้ทั้งหมดของอินพุต คุณสามารถสร้างขอบเขตข้อมูลสารสนเทศเชิงทฤษฎีบนความซับซ้อนในการคำนวณของการค้นหาสถิติการสั่งซื้อค่าเฉลี่ยเป็นต้น

โดยทั่วไปแล้วผลลัพธ์ทางทฤษฎีข้อมูลสามารถทำหน้าที่เป็นขอบเขตล่างของความซับซ้อนในการคำนวณ ตัวอย่างเช่นผลลัพธ์ของ "ข้อมูล - เชิงทฤษฎี" ของ Yao เกี่ยวกับความซับซ้อนของการสื่อสาร {1} แสดงถึงขอบเขตที่ต่ำกว่าการคำนวณในการพิจารณาว่าสองชุดเท่ากันหรือไม่ แอ็พพลิเคชันที่ซับซ้อนมากขึ้นของความซับซ้อนของการสื่อสารจัดเตรียมการแลกเปลี่ยนพื้นที่เวลาสำหรับเครื่องทัวริง {2}

{1} เย้า, แอนดรูว์ Chi-Chih "คำถามซับซ้อนบางข้อเกี่ยวกับการคำนวณแบบกระจาย (รายงานเบื้องต้น)" การประชุมวิชาการ ACM ประจำปีครั้งที่ 11 เรื่องทฤษฎีการคำนวณ พลอากาศเอก, 1979

{2} Eyal Kushilevitz: ความซับซ้อนในการสื่อสาร ความก้าวหน้าในคอมพิวเตอร์ 44: 331-360 (1997)