ความเท่าเทียมกันของคำจำกัดความที่ซับซ้อน Kolmogorov

มีหลายวิธีในการกำหนดKolmogorov-Complexityและโดยทั่วไปคำจำกัดความทั้งหมดนี้จะเทียบเท่ากับค่าคงที่เพิ่มเติม นั่นคือถ้า $K_1$ และ $K_2$ เป็นฟังก์ชันความซับซ้อนของ kolmogorov (กำหนดผ่านภาษาหรือรุ่นที่แตกต่างกัน) ดังนั้นจึงมีค่าคงที่ $c$ เช่นนั้นสำหรับทุกสาย $x$ , $|K_1(x) - K_2(x)| < c$ . ฉันเชื่อว่านี่เป็นเพราะสำหรับ Kolmogorov ทุกฟังก์ชันที่ซับซ้อน $K$ และสำหรับทุก ๆ $x$ มันเก็บไว้ $K(x) \le |x| +c$ สำหรับบางคนคงค $c$

ฉันสนใจคำจำกัดความต่อไปนี้ของ $K$ โดยอิงจากทัวริง - เครื่องจักร

จำนวนสถานะ : กำหนด $K_1(x)$ ให้เป็นจำนวนขั้นต่ำ $q$ เช่นที่ TM ที่มีสถานะ $q$ แสดงผล $x$ บนสตริงว่าง
$K_2(x)$ $x$ $M$ $\langle M \rangle$ $K_2(x) = \min |\langle M \rangle|$ $M$ $x$

มีและเทียบเท่า? ความสัมพันธ์ระหว่างพวกเขาคืออะไรและคนใดที่เข้าใจแนวคิดของความซับซ้อนของ Kolmogorov ได้ดีกว่าหากพวกเขาไม่เท่าเทียมกัน $K_1$ $K_2$

สิ่งที่ทำให้ฉันเป็นพิเศษคืออัตราเพิ่มขึ้นด้วยซึ่งดูเหมือนจะไม่เป็นแบบเชิงเส้นมาก (หรืออย่างน้อยเป็นเส้นตรงกับค่าคงที่ซึ่งมากกว่า ) พิจารณา TM ที่ง่ายที่สุดที่เอาต์พุต - อันที่เพิ่งเข้ารหัสซึ่งเป็นส่วนหนึ่งของฟังก์ชันสถานะและช่วงการเปลี่ยนภาพ มันเป็นทันทีจะเห็นว่า | อย่างไรก็ตามการเข้ารหัสของเครื่องเดียวกันนั้นใหญ่กว่ามากและขอบเขตที่ฉันได้รับคือ. $K_2$ $x$ $C>1$ $K_2 < C|x|$ $|x|+c$ $x$ $x$ $K_1(x) \le |x|+1$ $K_2(x) \le |x|\log |x|$

computability kolmogorov-complexity

— รันจี
แหล่งที่มา

มีเครื่องจักรมากกว่ามีรัฐและขนาดเฉลี่ยของพวกมันคืออย่างน้อยดังนั้นจึงไม่น่าเป็นไปได้ที่สิ่งเหล่านี้จะแตกต่างกันเพียงค่าคงที่เพิ่มเติม

2^{n^{2}}

$2^{n^2}$

n

$n$

n^{2}

$n^2$

— Kaveh

มีขอบเขตที่รู้จักกันดีว่าสำหรับการแก้ไขบางไม่ได้ขึ้นอยู่กับxนี้เป็นเพราะเราสามารถเข้ารหัสเป็นภาษาคำนำหน้าฟรีโดยเพียงแค่การเสแสร้งบิตของแต่ละแล้วลงท้ายด้วย01ใช้เวลาบิตเพื่อเป็นตัวแทนของxดังนั้นเนื่องจากถูกกำหนดในรูปแบบของเครื่องที่ไม่มีคำนำหน้าอเนกประสงค์สำหรับการแก้ไขบางคสิ่งนี้สามารถปรับปรุงได้โดยใช้วิธีที่ชาญฉลาดยิ่งขึ้นในการเข้ารหัสเป็นภาษาที่ไม่มีคำนำหน้า

K_{2} (x) \leq c + 2 | x |

$K_2(x) \leq c + 2|x|$

c

$c$

x

$x$

x

$x$

x

$x$

01

$01$

2 | x | + 2

$2|x| + 2$

x

$x$

K_{2}

$K_2$

K_{2} (x) \leq 2 | x | + 2 + c^{'}

$K_2(x) \leq 2|x| + 2 + c'$

c

$c$

x

$x$

— Carl Mummert

ฉันมองไม่เห็น ดูเหมือนว่าจะให้เป็นส่วนหนึ่งของการเข้ารหัส (เป็นข้อมูลดิบ) หรือคุณต้องสร้างด้วยเครื่องของรัฐ ตัวเลือกแรกดูเหมือนว่าจะมีการโกงและฉันไม่เห็นว่าจะสามารถเปรียบเทียบกับตัวเลือกที่สอง (ซึ่งหมายถึง )

x

$x$

x

$x$

K_{1}

$K_1$

— Ran G.

@Ran G .: จุดที่สำคัญคือไม่แปรเปลี่ยนทฤษฎีบทอธิบายไว้ที่en.wikipedia.org/wiki/Invariance_theorem ถ้าฉันสามารถอธิบายระบบที่มีประสิทธิภาพใด ๆ ที่มีอัตราการเติบโตเครื่องทัวริงสากล (ตามที่คุณอธิบายสำหรับ ) จะพบสิ่งนี้ภายในค่าคงที่แบบเพิ่มเติม เครื่องจักรอเนกประสงค์คืออุปกรณ์ที่ใช้เป็นอินพุตและส่งคืนเอาต์พุตของหากหยุดทำงาน

2 | x |

$2|x|$

K_{2}

$K_2$

⟨ M ⟩

$\langle M\rangle$

M

$M$

M

$M$

— Carl Mummert

ฉันขอโทษล่วงหน้าว่าฉันให้รายละเอียดมากเกินไป แต่ฉันกำลังจะเถียงคนอื่น

เกี่ยวกับ $K(x)≤K'(x)+c$

ความจริงที่ว่ามักมาจากล่ามภาษาคำอธิบาย # 2 เป็นภาษาคำอธิบาย # 1 และไม่ใช่จากการแปลจากโปรแกรมของ 2 เป็นโปรแกรมของ # 1 $K_1(x)≤K_2(x)+c$

ตัวอย่างเช่นและคุณจะได้รับความไม่เท่าเทียมกันเช่นนี้: $K_\mathtt{C}(x)≤K_\mathtt{Python}(x)+c_\mathtt{py2c}$

void py_run(char * s) {
    // code of your Python interpreter
}

int main(void) {
    py_run("Put here your Python program of size Kpython(x)");
}

จากนั้นค่าคงที่ของคุณจะเหมือนกับโดยที่คือจำนวนบิตสำหรับโค้ดนี้และบิตเป็นขนาดที่ล่าม Python อย่างเป็นทางการที่เขียนไว้ใน C แน่นอนคุณต้องตีความสิ่งที่เป็นไปได้ ในภาษาคำอธิบายของคุณสำหรับ Python เพื่อให้คุณสามารถทำได้ดีกว่า 69 MB :-) $c_\mathtt{py2c}$ $528+490240688$ $528$ $490240688$

สิ่งสำคัญคือคุณสามารถเขียนโปรแกรม Python ของคุณเป็นเส้นตรงในรหัส C ของคุณ ตัวอย่างเช่นภาษาที่คุณต้องใส่ "BANANA" ระหว่างตัวละครทุกตัวไม่ใช่โปรแกรมคำอธิบายที่ดีมากและคุณสมบัตินั้นเป็นเท็จ (แต่ถ้าภาษาคำอธิบายอนุญาตให้คุณเขียนข้อมูลในไฟล์แยกต่างหากหรือในบล็อกปัญหานี้จะหายไป)

ทำไมมีข้อบกพร่อง $K_1(x)=q$

ปัญหาเกี่ยวกับคำนิยามของของคุณคือคุณอาจต้องใช้มากกว่าบิตเพื่ออธิบายเครื่องทัวริงที่มีสถานะเนื่องจากคุณต้องเข้ารหัสการเปลี่ยน $K_1$ $q$ $q$

ดังนั้นและอาจไม่เท่ากัน แต่นั่นเป็นความผิดของผมคิดว่าเราสามารถพิสูจน์ได้ว่าทั้งหมดมีดังกล่าวว่าK_1แน่นอนว่านั้นเพียงพอที่จะพิสูจน์ความจริงที่ว่านั้นไม่ใช่ฟังก์ชั่นที่ถูกต้องเพราะมันหมายถึงว่าเราสามารถเข้ารหัสสตริงที่มีความยาวทั้งหมดให้บิต $K_1$ $K_2$ $K_1$ $a>0$ $c_a$ $K_1(x)≤a|x|+c_a$ $a<1$ $K_1$ $2^n$ $n$ $an+c_a$

แต่ขนาดนั้นแคบอย่างไม่น่าเชื่อเมื่อสร้างเครื่องจักรทัวริง ความคิดที่อยู่ในบล็อกของฯ มีวิธีที่จะหาเปลี่ยนสำหรับแต่ละรัฐและที่ดีกว่าปกติวิธีที่คุณสามารถกรอกบิต จากนั้นคุณสามารถเก็บไว้ในแต่ละบล็อกบิตข้อมูล (ไม่ใช่เพราะคุณต้องเข้าและออกบล็อกไม่ทางใดทางหนึ่ง) $b$ $b^{2b}$ $2^b$ $b$ $\log_2 b$ $2\log_2 b$

เพื่อใช่ ... ด้วยบล็อกขนาดคุณอาจจะพิสูจน์K_1แต่ฉันเขียนไปแล้วมากเกินไปเกี่ยวกับสาเหตุที่จำนวนของรัฐไม่ใช่ฟังก์ชันความซับซ้อนของ Kolmogorov ที่ถูกต้อง ถ้าคุณต้องการให้ฉันทำอย่างละเอียดฉันจะ $2^{1/a}$ $K_1(x)≤a|x|+c_a$

ตอนนี้ประมาณ $K_2$

ภาษาบรรยายที่ไร้เดียงสาสอดคล้องกับ (เช่นสำหรับแต่ละสถานะถัดไปและรายละเอียดเกี่ยวกับการเขียนและการเลิกจ้าง) $K_2(x)=q\cdot 2 \cdot (\log_2 q + 2)$ $\log_2q$

ตามที่คุณดูเหมือนจะเป็นฉันเชื่อว่าวิธีที่ดีกว่า / สิบแปดมงกุฎจะอนุญาตให้เข้ารหัส "ข้อมูล" ในเครื่องทัวริงอาจโดยการเพิ่มแท็กไบนารีในภาษาคำอธิบายที่ระบุว่าถ้ารัฐเป็นรัฐข้อมูล ( ที่เพิ่งเขียนบิตและไปที่สถานะถัดไป) หรือถ้ามันทำอย่างอื่น ด้วยวิธีนี้คุณสามารถเก็บหนึ่งบิตของคุณในภาษาบรรยายของคุณหนึ่งบิต $x$

อย่างไรก็ตามถ้าคุณเก็บเดิมคุณสามารถใช้เทคนิคเดียวกันกับที่ฉันใช้ในส่วนก่อนหน้าเพื่อบันทึกสองสามบิต แต่ดูเหมือนว่าฉันจะติดอยู่ที่ (สำหรับ ใด ๆ ) .. อาจจะน้อยกว่าแม้จะได้รับดูเหมือนยาก (และฉันคาดหวังว่ามันควรจะเป็นไม่ใช่แม้แต่ ) $K_2$ $K_2(x)≤a|x|\log|x|+c$ $a>0$ $\log|x|$ $O(|x|)$ $|x|$ $O(|x|)$

— jmad
แหล่งที่มา

คุณอ้างว่าไม่ใช่ฟังก์ชันความซับซ้อนของ kolmogorov หรือไม่ นี่เป็นเรื่องที่น่าประหลาดใจมากสำหรับฉันเนื่องจากเป็นคำจำกัดความที่ใช้ในหลักสูตรการคำนวณความสามารถในการคำนวณบางอย่างที่ฉันเคยทำมาแล้ว

K_{1}

$K_1$

K_{1}

$K_1$

— Ran G.

ความจริงที่ว่าค่อนข้างรบกวน ลองพิจารณาสิ่งนี้: มีคำที่เป็นไปได้ของ bits และคุณสามารถเข้ารหัสได้โดยใช้ bits? ที่จะบ่งบอกถึง (คุณเข้ารหัสจะต้องมีนึง)

K_{1} (x) \leq \frac{1}{2} | x | + c

$K_1(x)≤\frac12|x|+c$

2^{n}

$2^n$

n

$n$

\frac{1}{2} n + c

$\frac12n+c$

2^{n} = O (2^{\frac{1}{2} n})

$2^n=O(2^{\frac12n})$

— jmad

ถ้าโปรแกรมไพ ธ อนมีอักขระที่สงวนไว้โดย C

— PyRulez

ความเท่าเทียมกันของคำจำกัดความที่ซับซ้อน Kolmogorov

เกี่ยวกับK(x)≤K′(x)+cK(x)≤K′(x)+cK(x)≤K'(x)+c

ทำไมมีข้อบกพร่องK1(x)=qK1(x)=qK_1(x)=q

ตอนนี้ประมาณK2K2K_2

เกี่ยวกับ $K(x)≤K'(x)+c$

ทำไมมีข้อบกพร่อง $K_1(x)=q$

ตอนนี้ประมาณ $K_2$