การประยุกต์ใช้งานที่ซับซ้อนของ Kolmogorov ในความซับซ้อนในการคำนวณ


44

ทางการพูดซับซ้อน Kolmogorov ของสตริงคือความยาวของโปรแกรมที่สั้นที่สุดที่เอาท์พุทx เราสามารถกำหนดความคิดของ 'สตริงสุ่ม' โดยใช้มัน ( xเป็นแบบสุ่มถ้าK ( x ) 0.99 | x | ) มันง่ายที่จะเห็นว่าสตริงส่วนใหญ่นั้นเป็นแบบสุ่ม (ไม่มีโปรแกรมสั้น ๆ มากมาย)xxxK(x)0.99|x|

ทฤษฎีความซับซ้อน Kolmogorov และทฤษฎีข้อมูลอัลกอริทึมได้รับการพัฒนาค่อนข้างในปัจจุบัน และมีตัวอย่างที่น่าขบขันหลายประการเกี่ยวกับการใช้ความซับซ้อนของ Kolmogorov ในการพิสูจน์ทฤษฎีบทต่าง ๆ ที่ไม่ได้มีอะไรเกี่ยวกับความซับซ้อนของ Kolmogorov ในคำกล่าวของพวกเขา (เชิงLLL ที่สร้างสรรค์ , ความไม่เท่าเทียมกันของ

มีการใช้งานที่ดีของความซับซ้อนของ Kolmogorov และทฤษฎีข้อมูลอัลกอริทึมในความซับซ้อนในการคำนวณและสาขาที่เกี่ยวข้องหรือไม่? ฉันรู้สึกว่าควรจะมีผลลัพธ์ที่ใช้ความซับซ้อนของ Kolmogorov แทนการโต้เถียงอย่างง่าย ๆ แน่นอนว่านี่ไม่น่าสนใจ


2
คุณกำลังมองหาตัวอย่างของปัญหาที่ในตอนแรกดูเหมือนจะไม่มีอะไรเกี่ยวข้องกับความซับซ้อนของ Kolmogorov หรือไม่? มีผลลัพธ์จำนวนมากเกี่ยวกับความซับซ้อนในการคำนวณของชุดต่าง ๆ ที่กำหนดไว้ในแง่ของความซับซ้อนของ Kolmogorov (ที่สะดุดตาที่สุดคือชุดของสตริง Kolmogorov - สุ่ม) และยังมีผลลัพธ์มากมายที่เกี่ยวข้องกับความซับซ้อนของ Kolmogorov ที่ จำกัด ทรัพยากร แฟคตอริ่ง ฯลฯ ) แต่ฉันไม่แน่ใจว่าหลังเป็นสิ่งที่คุณกำลังมองหาหรือไม่
Joshua Grochow

1
> คุณแค่มองหาตัวอย่างของปัญหาที่ในตอนแรกดูเหมือนจะไม่มีอะไรเกี่ยวข้องกับความซับซ้อนของ Kolmogorov หรือไม่? ดังนั้น
ilyaraz

คำตอบ:


16

Lance Fortnow ได้เขียนบทความในหัวข้อนี้: Kolmogorov Complexity and Computational Complexity

คุณควรตรวจสอบคำแนะนำเบื้องต้นเกี่ยวกับความซับซ้อนของ Kolmogorov และการประยุกต์ใช้โดย Li และ Vitanyi หนังสือเล่มสุดท้ายในเรื่องนี้ โดยเฉพาะอย่างยิ่งบทที่ 6 "วิธีการบีบอัดข้อมูล" กล่าวถึงจำนวนของการใช้งานในความซับซ้อนเช่น Kolmogorov ซับซ้อนพิสูจน์พิสูจน์บทแทรกสลับของ Hastad (จากCircuit Lower Bound à la Kolmogorovโดย Fortnow และ Laplante)

และมีแอพพลิเคชั่นในการสื่อสารที่ซับซ้อน (เช่นKolmogorov Complexity และ Combinatorial Method ในคอมเพล็กซ์การสื่อสารโดย Kaplan และ Laplante)


1
ขอขอบคุณ. บทความนี้ดีมากและมีประโยชน์ แต่สิ่งที่ฉันต้องการคือแอปพลิเคชันโดยไม่ต้องพูดถึง K-complex ในข้อความ
ilyaraz

1
ถึงแม้ผลลัพธ์ส่วนใหญ่ที่กล่าวถึงในบทความนี้จะมีความหมายมากกว่าการใช้งาน แต่คุณอาจพิจารณาลักษณะของคลาสที่ซับซ้อนโดยความซับซ้อนของ Kolmogorov เป็นรูปแบบที่อ่อนแอของ "แอปพลิเคชัน"
Joshua Grochow

ฉันอัปเดตโพสต์ด้วยการอ้างอิงบางอย่างที่อาจสอดคล้องกับสิ่งที่คุณต้องการมากขึ้น
เอียน

14

เพียงไม่กี่วันที่ผ่านมาสกอตต์ Aaronson ใช้อาร์กิวเมนต์ขึ้นอยู่กับความซับซ้อน Kolmogorov เพื่อแสดงความเท่าเทียมกันของการสุ่มตัวอย่างและการค้นหา นอกจากนี้เขายังให้เหตุผลว่าในการโต้แย้งของเขา Kolmogorov มีการใช้ความซับซ้อนในวิธีการที่สำคัญซึ่งไม่เพียง แต่เป็นทางลัดสำหรับการโต้แย้งการนับ


11

ผลลัพธ์นี้โดย Alon และคณะ สามารถรับได้โดยวิธีการที่ซับซ้อนของ Kolmogorov

poly(log|E|)


ดูเหมือนว่าใช้ง่าย ไม่มีใครรู้ถึงผลลัพธ์อื่น ๆ ที่เกี่ยวข้องกับกราฟสองฝ่ายและกราฟปกติ?
vzn

11

หนึ่งกระดาษที่ยอดเยี่ยมที่ฉันรู้ (นอกเหนือจากเอกสารที่ยอดเยี่ยมอื่น ๆ ที่กล่าวถึงในคำตอบอื่น ๆ ):

กฎหมาย Jurman Hartmanis, Kolmogorov ทั่วไปความซับซ้อนและโครงสร้างของการคำนวณที่เป็นไปได้ FOCS 2526

สิ่งสำคัญที่ฉันจำได้จากกระดาษนั้นคือการก่อสร้าง Kolmogorov ตามความซับซ้อนของ oracle ที่แยก P จาก NP

กระดาษอีกอันที่อยู่ในใจก็คือ

Allender et al., ไฟฟ้าจากสุ่ม Strings , FOCS 2002 ( รุ่น ECCC ) และSICOMP 2006

ถ้าฉันจำได้ว่ากระดาษหลังแยกความสมบูรณ์ของทัวริงเวลาพหุนามออกจากพื้นที่บันทึกสมบูรณ์ในหนึ่งเดียวใน PSPACE โดยใช้ข้อโต้แย้งที่ซับซ้อนของ Kolmogorov แน่นอนว่ามันทำสิ่งอื่น ๆ อีกมากมาย แต่ฉันจำได้ว่าการแยกเป็นแอปพลิเคชันเดียวที่มีความสนใจอิสระนอกทฤษฎีข้อมูลอัลกอริทึม


9

นอกจากนี้ยังมีเทคนิคขอบเขตล่างควอนตัมที่ใช้ความซับซ้อนของ Kolmogorov:

" ขอบเขตล่างสำหรับความซับซ้อนของแบบสอบถามแบบสุ่มและเชิงปริมาณโดยใช้อาร์กิวเมนต์ Kolmogorov " โดย Sophie Laplante และ Frederic Magniez


9

sK(s)

(ตอนนี้เป็นบิตที่ร้ายแรง) Daniil Musatov ได้แสดงให้เห็นว่าเมื่อเร็ว ๆ นี้naïve derandomization สามารถสร้างสิ่งก่อสร้างที่สมเหตุสมผลสำหรับวัตถุที่มักจะแสดงให้เห็นว่ามีอยู่อย่างไม่สร้างสรรค์ผ่านวิธีความน่าจะเป็น ฉันคิดว่านี่เป็นโอกาสที่จะให้แอปพลิเคชั่นที่สำคัญในอนาคตของความซับซ้อนของ Kolmogorov ที่ จำกัด ขอบเขตทรัพยากรกับความซับซ้อนในการคำนวณ

  • Daniil Musatov การปรับปรุงทฤษฎีบทความซับซ้อนตามเงื่อนไขของ Muchnik ผ่านทฤษฎี `` ไร้เดียงสา '' Derandomization , CSR 2011, LNCS 6651, 64-76 ดอย: 10.1007 / 978-3-642-20712-9_6 ( พิมพ์ล่วงหน้า )

ดูเอกสารที่อ้างถึงเอกสารนี้ด้วย

(แก้ไข: เชื่อมโยงไปยังรุ่นที่เผยแพร่ภายหลัง)


1
ฉันจะบอกว่ากระดาษหลังใช้ความซับซ้อนในการคำนวณ (คือเครื่องกำเนิดไฟฟ้าเทียมของนิสัน) กับความซับซ้อนของทรัพยากร Kolmogorov ที่ จำกัด ขอบเขตไม่ใช่ในทางกลับกัน
ilyaraz

1
@ilyaraz: นั่นเป็นบทสรุปที่ถูกต้อง ฉันระบุว่าได้รับลิงก์ในทิศทางเดียวมันเป็นไปได้ที่จะทำให้แอปพลิเคชันเหล่านี้ทำงานในลักษณะอื่นด้วยเช่นกัน
András Salamon

8

H. Buhrman, L. Fortnow และ S. Laplante ความซับซ้อนของ Kolmogorov ที่ล้อมรอบทรัพยากรนั้นได้มาเยือนอีกครั้ง สยามวารสารเกี่ยวกับคอมพิวเตอร์ 31 (3): 887-905 2002 ( วารสาร , หน้าเว็บของแลนซ์ )

รวมแอพพลิเคชั่นของความซับซ้อนของ Kolmogorov เช่น:

  • หลักฐานของ Valiant-Vazirani
  • การกำหนดความพึงพอใจของสูตรบูลีนสามารถระบุได้ในเวลาพหุนามในขนาดเอาท์พุทหากพบการมอบหมายที่ไม่ซ้ำกันอย่างรวดเร็ว
  • หลักฐานใหม่ที่ BPP อยู่ใน Sigma_2 P
  • สิ่งก่อสร้างหลายแห่ง

ข้างต้นบางส่วนได้รับการพิสูจน์ครั้งแรกในบทความนี้ในขณะที่คนอื่นเป็นเพียงบทพิสูจน์ใหม่ของทฤษฎีบทเก่าโดยใช้ความซับซ้อน Kolmogorov


การประยุกต์ใช้ความซับซ้อน Kolmogorov ที่ จำกัด เวลาในทฤษฎีความซับซ้อนเป็นการสำรวจที่ดีโดย Eric Allender ของแอปพลิเคชันอื่น ๆ แม้ว่าผลลัพธ์จำนวนมากที่นี่มีความหมายบางอย่างเป็นแอปพลิเคชันจริงเช่นต่อไปนี้:

  • คอร์ 13: สัมพันธ์กับ oracle ทั่วไปไม่มีเครื่องกำเนิดไฟฟ้าเทียมปลอมที่ปลอดภัยจากฝ่ายตรงข้าม P / poly
  • Thm 16 [Allender and Gore, 1991]: มี oracle ที่สัมพันธ์กันซึ่งภาคเพรดิเคต NE ทั้งหมดสามารถแก้ไขได้ในเวลาเอ็กซ์โปเนนเชียลและ E = Union_k \ Sigma_k-TIME (n)

หลักฐานทั้งสองใช้ความซับซ้อน Kolmogorov อย่างมีนัยสำคัญ


ฉันเดาว่าหลักฐานดั้งเดิมของ Sipser เกี่ยวกับ "BPP อยู่ใน Sigma_2" ใช้ความซับซ้อนของ Kolmogorov
ilyaraz

6

DD


มีข้อบกพร่องในการพิสูจน์ในแบบสำรวจนี้โดยวิธีการ อย่างไรก็ตามสามารถแก้ไขได้ :)
Grigory Yaroslavtsev

สนใจที่จะทำอย่างละเอียด?
ilyaraz

1/n3

1/n1+ϵ

5

ความยาวต่ำสุดคำอธิบายความยาวใช้ความซับซ้อนของ Kolmogorov (หรือการประมาณและการสรุปโดยทั่วไปเนื่องจากความไม่แน่นอน) ในการเรียนรู้ทางทฤษฎีสารสนเทศและทฤษฎีการอนุมาน โดยเฉพาะ MDL จะใช้เพื่อค้นหาคำอธิบายของข้อมูลที่หลีกเลี่ยงการ overfitting ตามธรรมชาติ

Jorma Rissanen ให้การแนะนำที่ดีเกี่ยวกับแนวคิดของเขา: http://www.mdl-research.org/jorma.rissanen/pub/Intro.pdf


โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.