การใช้ความซับซ้อน Kolmogorov เป็นอินพุต“ ขนาด”

$S$

I (n) = {w \in S : | w | = n}

$I(n) = \{w \in S : |w| = n\}$

n

$n$

T (w)

$T(w)$

A

$A$

w

$w$

A

$A$

f_{n} = max_{w \in I (n)} T (w) .

$f_n = \max_{w \in I(n)} T(w).$

ให้เรากำหนดเซต

I^{K} (n) = {w \in S : K (w) = n}

$I^K(n) = \{w \in S : K(w) = n \}$ ของอินพุตทั้งหมดด้วย Kolmogorov complex

n

$n$ และให้เรากำหนดลำดับ

f_{n}^{K} = \frac{1}{| I^{K} (n) |} \sum_{w \in I^{K} (n)} T (w) .

$f^K_n = \frac{1}{\left|I^K(n)\right|} \sum_{w \in I^K(n)} T(w).$ ที่นี่

f^{K}

$f^K$ เป็นลำดับเวลาเฉลี่ยสำหรับ

A

$A$ ยกเว้นที่ "ขนาด" ของอินพุตเป็นความซับซ้อนของ Kolmogorov ไม่ใช่ความยาว

มีอัลกอริทึมที่ $f_n$ แตกต่างอย่างมีนัยสำคัญจาก $f^K_n$ หรือไม่? ถ้าใช่มีปัญหาที่ความซับซ้อนของเวลาเปลี่ยนแปลงไปเมื่อใช้วิธีวิเคราะห์อัลกอริธึมที่แตกต่างกันนี้หรือไม่?

— แอนดรู
แหล่งที่มา

เป็นคำถามที่ดีมาก! หนึ่งที่ฉันมักจะสงสัยเกี่ยวกับ - ฉันหวังว่ามันจะได้รับคำตอบที่ดี (ผมเพิ่มแท็กแปรซับซ้อน B / C คุณสามารถดูนี้เป็นคำถามของความซับซ้อนของการแปรเช่น SAT, ที่พารามิเตอร์เป็นความซับซ้อน Kolmogorov ได้.)

— โจชัว Grochow

สตริงสุ่มหรือสตริงส่วนใหญ่มีความซับซ้อนของ Kolmogorov ใกล้กับความยาวดั้งเดิม สำหรับอินพุตส่วนใหญ่คุณอาจได้รับผลลัพธ์ที่น่าสนใจมากขึ้นถ้าคุณถามถึงความลึกในการคำนวณแทนความซับซ้อนของ Kolmogorov google.com/…

f_{n} = f_{n}^{K}

$f_{n} = f_{n}^{K}$

— Chad Brewbaker

โดยการผสมในบางกรณีของ PARITY เป็นภาษาที่ยากในรูปแบบ (เช่นโดย prefixing เช่นกันด้วยการสลับบิตที่อธิบายภาษาอินสแตนซ์) จากนั้นจะมีขนาดเล็กกว่าf_nขนาดเล็กแค่ไหนขึ้นอยู่กับความหนาแน่นสัมพัทธ์

S

$S$

f_{n}^{K}

$f^K_n$

f_{n}

$f_n$

— András Salamon

สถานที่แห่งหนึ่งอยู่ในบันทึกการบรรยายของ Vadhan ที่นี่ (19 ก.พ. ): people.seas.harvard.edu/~salil/cs221/spring10/lectures.html

— usul

@ AndrásSalamonใช่ฉันหวังว่าฉันจะไม่เลอะเทอะเกินไป แต่ฉันคิดว่าโดยพื้นฐานแล้วควรจะเป็นฟังก์ชั่นยุ่งช่องคลอด

n \mapsto max_{w : K (w) = n} | w |

$n \mapsto \max_{w: K(w)=n} |w|$

— usul

คำตอบ:

พิจารณาฟังก์ชั่นพาริตี้ (หรือฟังก์ชั่นอื่น ๆ ที่ขึ้นอยู่กับบิตส่วนใหญ่ของอินพุต) สำหรับฟังก์ชั่นความเท่าเทียมกัน,|) ดังนั้น ในทางตรงกันข้าม $T(w) = \Theta(|w|)$

f_{n} = Θ (n) .

$f_n = \Theta(n).$

f_{n}^{K} = Θ (\frac{1}{| I^{K} (n) |} \sum_{w : K (w) = n} | w |) \geq Ω (\frac{1}{2^{n}} max_{w : K (w) = n} | w |) .

$f_n^K = \Theta\left(\frac{1}{|I^K(n)|} \sum_{w:K(w) = n} |w|\right) \geq \Omega\left(\frac{1}{2^n} \max_{w:K(w) = n} |w|\right).$

โปรดทราบว่า(n) ดังนั้นและ\ ในทำนองเดียวกัน ; ดังนั้น “ เติบโตอย่างรวดเร็วมาก” นอกจากนี้ก็ไม่ยากที่จะเห็นว่าไม่มีการคำนวณที่ถูกผูกไว้บนสำหรับ K $K(2^{2^n}) = O(n)$

max_{w : K (w) = n} | w | \geq 2^{2^{Ω (n)}}

$\max_{w:K(w) = n} |w| \geq 2^{2^{\Omega(n)}}$

f_{n}^{K} \geq 2^{2^{Ω (n)}} / 2^{n} \to \infty

$f_n^K \geq 2^{2^{\Omega(n)}} / 2^n \to \infty$

K (2^{\dots^{2^{2^{n}}}}) = O (n)

$K(2^{\dots^{2^{2^n}}}) = O(n)$

f_{n}^{K} \geq 2^{\dots^{2^{2^{Ω (n)}}}} / 2^{n}

$f_n^K \geq 2^{\dots^{2^{2^{\Omega(n)}}}}/2^n$

f_{n}^{K}

$f_n^K$

— Yury
แหล่งที่มา

ด้วยความสนใจในคำถามนี้ฉันคิดว่ามันอาจจะเป็นประโยชน์ในการชี้ให้เห็นอย่างชัดเจนมากขึ้นถึงเหตุผลที่เราไม่ควรประหลาดใจกับคำตอบและพยายามให้ทิศทางสำหรับการปรับแต่งคำถาม สิ่งนี้จะรวบรวมและขยายความคิดเห็นบางส่วน ฉันขอโทษถ้านี่คือ "ชัดเจน"!

พิจารณาชุดของสตริงของความซับซ้อนของ Kolmogorov : มีอย่างมากที่สุดที่มีสตริงดังกล่าวรายละเอียดของความยาวnแต่โปรดสังเกตว่าชุดนี้ไม่สามารถระบุได้สำหรับทั่วไป(มิฉะนั้นเราสามารถคำนวณเพียงแค่ทำซ้ำจากถึงและตรวจสอบการเป็นสมาชิกใน ) นอกจากนี้ฟังก์ชัน เติบโตอย่างรวดเร็วอย่างไม่มีที่ติ มันเป็นความแตกต่างของฟังก์ชั่นยุ่งช่องคลอด: อะไรคือผลลัพธ์ที่ยาวที่สุดโดยเครื่องทัวริงของคำอธิบายความยาว $n$

J^{K} (n) = {w : K (w) = n} .

$J^K(n) = \{w : K(w) = n\}.$

2^{n}

$2^n$

2^{n}

$2^n$

n

$n$

n

$n$

K (w)

$K(w)$

n = 1

$n=1$

| w |

$|w|$

J^{K} (n)

$J^K(n)$

g^{K} (n) = max_{w \in J^{K} (n)} | w |

$g^K(n) = \max_{w \in J^K(n)} |w|$

n

$n$ ? หากสิ่งนี้ช้ากว่าฟังก์ชั่นที่คำนวณได้เราสามารถตัดสินปัญหาการหยุดทำงาน: ด้วย TMสร้างที่จำลองและพิมพ์ทุกขั้นตอน ถ้าความยาวรายละเอียดของเป็นแล้วทั้ง:หยุดในที่สุดขั้นตอน; หรือไม่หยุด

M

$M$

M^{'}

$M'$

M

$M$

1

$1$

M^{'}

$M'$

n

$n$

M

$M$

g^{K} (n)

$g^K(n)$

M

$M$

สำหรับคำถามของแอนดรูว์เรามีแล้วว่าโดยที่เป็นภาษาดั้งเดิม ดังนั้นวิธีเดียวที่จะหลีกเลี่ยงที่มีอินพุตที่มีขนาดใหญ่มากในคือถ้ามีสตริงที่ไม่สามารถบีบอัดได้มากเท่านั้น (หมายเหตุว่ามิฉะนั้นเราสามารถสมบูรณ์ไม่สนใจความแตกต่างระหว่างเลวร้ายที่สุดกรณีและการวิเคราะห์ค่าเฉลี่ยกรณีที่นี่เพราะเราเฉลี่ยมากกว่าที่มากที่สุดสตริง แต่ขนาดของสตริงที่ใหญ่ที่สุดที่มีการเติบโตเร็วกว่าฟังก์ชันคำนวณใด ๆ ของn ) $I^K(n) = S \cap J^K(n)$ $S$ $I^K(n)$ $n$ $S$ $2^n$ $n$

ฉันรู้สึกว่ามันเป็นไปไม่ได้ที่จะสร้างที่ไม่น่าสนใจใด ๆ (เช่นไม่มีที่สิ้นสุด) ที่มีสตริงที่ไม่สามารถบีบอัดได้ แต่ยังสามารถถอดรหัสได้ แต่ฉันไม่รู้ อย่างไรก็ตามหวังว่านี่จะให้สัญชาตญาณว่าทำไมเราไม่ควรหวังว่าภาษาส่วนใหญ่จะมีเติบโตช้ากว่าฟังก์ชั่นที่คำนวณได้ $S$ $f^K_n$

ย้อนกลับไปเล็กน้อยคำถามคือการเปรียบเทียบประสิทธิภาพการทำงานบนปัจจัยการผลิตที่มีความยาวเพื่อประสิทธิภาพการทำงานบนปัจจัยการผลิตที่สามารถบีบอัดให้มีความยาวnแต่เรามีพัฒนาการของการบีบอัดที่มีความสามารถในการเวิร์ค (และมีประสิทธิภาพน้อยกว่า) มากกว่าคอมเพล็กซ์ Kolmogorov วิธีง่ายๆคือการให้วงจรขนาดซึ่งในการป้อนข้อมูลเลขฐานสองผลิต TH บิตของWโปรดทราบว่าที่นี่การระเบิดในขนาดอินพุตมากที่สุดคือเอ็กซ์โพเนนเชียล (วงจรที่มีขนาดมีอินพุตได้มากที่สุด ) $n$ $n$ $n$ $b$ $b$ $w$ $n$ $2^n$

ดังนั้นเราสามารถเรียบเรียงคำถามใหม่โดยให้ และกำหนด analogously เหตุผลของความหวังที่นี่ก็คือสตริงส่วนใหญ่ต้องการวงจรที่เกือบจะใหญ่เท่ากับตัวสตริงเองและไม่มีสตริงใดที่มีขนาดใหญ่กว่าเอ็กซ์โพเนนเชียลมากกว่าวงจรที่ต้องการ บางทีในกรณีนี้เราสามารถหาภาษาที่และมีความคล้ายคลึงกันเชิงเส้นกำกับ

I^{C} (n) = {w \in S : the smallest circuit implicitly specifying w has size n} .

$I^C(n) = \{ w \in S : \text{the smallest circuit implicitly specifying $w$ has size $n$}\}.$

f_{n}^{C}

$f^C_n$

f_{n}

$f_n$

f_{n}^{C}

$f^C_n$

คำถามที่เกี่ยวข้องอย่างใกล้ชิดคือความซับซ้อนของภาษาโดยนัยเช่น IMPLICIT_SAT นั้นเสร็จสมบูรณ์แล้ว NEXP และโดยปกติแล้วปัญหาที่สมบูรณ์ของปัญหา NP-Complete โดยปริยายคือ NEXP-complete ตัดสินใจ IMPLICIT_SAT อย่างน้อยเป็นเรื่องง่ายเป็นเพียงการใช้วงจรที่จะเขียนออกทั้งหมดของแล้วเรียกใช้อัลกอริทึมสำหรับนั่งอยู่บนWดังนั้นถ้าสำหรับ SAT แล้วนี่ก็ดูเหมือนจะให้หลักฐานว่า IMPLICIT_SAT ในคดีโดยเฉลี่ยเกือบจะตัดสินใจได้อย่างรวดเร็วเนื่องจาก SAT อยู่ในกรณีที่เลวร้ายที่สุด แต่ฉันไม่รู้ว่าจะเปรียบเทียบความคิดของคุณกับภาษาโดยปริยายโดยตรงอย่างไรเพราะแนวคิดของ "วงจรที่เล็กที่สุดสำหรับ

I M P L I C I T_S A T = {circuits C : C implicitly specifies w, w \in S A T} .

$\mathsf{IMPLICIT\_SAT} = \{ \text{circuits $C$}: \text{$C$ implicitly specifies $w$}, w \in \mathsf{SAT}\}.$

w

$w$

w

$w$

f_{n}^{C} = Θ (f_{n})

$f^C_n = \Theta(f_n)$

w

$w$ "ไม่ได้เล่นด้วยภาษาโดยปริยาย

หวังว่านี่จะเป็นประโยชน์ / น่าสนใจ!

ฉันไม่แน่ใจเกี่ยวกับตำราเรียนที่กล่าวถึงปัญหาโดยนัย แต่นี่คือบันทึกการบรรยาย: http://people.seas.harvard.edu/~salil/cs221/spring10/lec8.pdf

— usul
แหล่งที่มา

| J^{K} (n) | = 2^{n}

$\left|J^K(n)\right| = 2^n$ ? แต่ไม่ใช่ทุกคำอธิบายที่น้อยที่สุด

— Andrew

@AndrewMacFie ถูกต้องควรเป็น "มากที่สุด" จะแก้ไข

— usul

ขอบคุณที่เพิ่มคำตอบนี้ :) ดูเหมือนว่าอัลกอริทึมสำหรับ 3-SATจะเติบโตอย่างรวดเร็ว

f_{n}^{K}

$f^K_n$

— Andrew

กรณีที่ง่ายดูเหมือนจะเป็นที่ภาษามีอินสแตนซ์เบาะเท่านั้น เมื่อจะได้รับจากภาษาโดย padding ตัวอย่างของแต่ละขนาดกับสัญลักษณ์สามารถอยู่ในพื้นที่ของ{} $S$ $S$ $L$ $n$ $2^n-n$ $f^K_{n}$ $2^{f_n}$

— András Salamon
แหล่งที่มา

โปรดทราบว่าคำตอบของ Yury จะช่วยตอบคำถามนี้และทำให้แม่นยำ "สามารถอยู่ในภูมิภาคของ" ได้

— András Salamon