ฟังก์ชั่นที่ไม่สามารถคำนวณได้อย่างมีประสิทธิภาพ แต่เรียนรู้ได้

เรารู้ว่า (ดูเช่นทฤษฎีบทที่ 1 และ 3 ของ [1]) ภายใต้เงื่อนไขที่เหมาะสมฟังก์ชั่นที่สามารถคำนวณได้อย่างมีประสิทธิภาพโดยเครื่องทัวริงในเวลาพหุนาม ("คำนวณได้อย่างมีประสิทธิภาพ") สามารถแสดงออกโดยเครือข่ายพหุนาม ด้วยขนาดที่เหมาะสมและสามารถเรียนรู้ได้ด้วยความซับซ้อนตัวอย่างพหุนาม ("เรียนรู้ได้") ภายใต้การแจกแจงการป้อนข้อมูลใด ๆ

ที่นี่ "เรียนรู้ได้" จะเกี่ยวข้องกับความซับซ้อนของตัวอย่างเท่านั้นโดยไม่คำนึงถึงความซับซ้อนของการคำนวณ

ฉันสงสัยเกี่ยวกับปัญหาที่เกี่ยวข้องอย่างใกล้ชิด: มีฟังก์ชันที่ไม่สามารถคำนวณได้อย่างมีประสิทธิภาพโดย Turing machine ในเวลาพหุนาม ("ไม่สามารถคำนวณได้อย่างมีประสิทธิภาพ") แต่ในขณะเดียวกันสามารถเรียนรู้ได้ด้วยความซับซ้อนของตัวอย่างพหุนาม ภายใต้การแจกแจงอินพุตใด ๆ

• [1] ร้อยเอ็ด Livni, Shai Shalev-Shwartz, Ohad Shamir, " ประสิทธิภาพการคำนวณของการฝึกอบรมโครงข่ายประสาทเทียม ", 2014

ฉันจะทำให้เป็นรูปแบบที่แตกต่างกันของคำถามนี้ที่ "ประสิทธิภาพ" ถูกแทนที่ด้วย "การคำนวณ"

Let $C_n$เป็นระดับแนวความคิดของทุกภาษา$L\subseteq\Sigma^*$ ที่รู้จักโดยเครื่องจักรทัวริงใน$n$รัฐหรือน้อยกว่า โดยทั่วไปสำหรับ$x\in\Sigma^*$และ$f\in C_n$ปัญหาของการประเมิน $f(x)$เป็น undecidable

แต่สมมติว่าเรามีการเข้าถึง (ที่เหมาะสมว่าจะ) PAC-learning oracle สำหรับC n นั่นคือสำหรับการใด ๆε , δ > 0 , Oracle ขอตัวอย่างการติดป้ายชื่อขนาด ม0 ( n , ε , δ ) เช่นว่าสมมติเช่นตัวอย่างถูกดึง IID จากการกระจายที่ไม่รู้จักD , พยากรณ์outputs สมมติฐานฉ ∈ C n ซึ่งมีความน่าจะเป็นเวลาอย่างน้อย1 - δมีD$A$$C_n$$\epsilon,\delta>0$$m_0(n,\epsilon,\delta)$$D$$A$$\hat f\in C_n$$1-\delta$$D$ข้อผิดพลาด -generalization ไม่เกินε$\epsilon$เราจะแสดงให้เห็นว่าพยากรณ์นี้ไม่สามารถคำนวณได้

อันที่จริงเราจะแสดงให้เห็นว่าเป็นปัญหาที่เรียบง่ายเป็น undecidable: หนึ่งของการกำหนดให้มีข้อความตัวอย่าง$S$ไม่ว่าจะมีอยู่$f\in C_n$สอดคล้องกับS$S$สมมติว่า (เพื่อแย้ง) ว่า$K$เป็นเครื่องทัวริงที่ตัดสินปัญหาความมั่นคง

เราทำข้อตกลงเกี่ยวกับสัญกรณ์ดังต่อไปนี้ ระบุ$\Sigma^*$ด้วย$\mathbb{N}=\{0,1,2,\ldots\}$ผ่านการสั่งพจนานุกรมตามปกติ สำหรับ$x\in\{0,1\}^*$เราบอกว่า TM $M$ "S-prints" $x$ถ้ามันยอมรับสตริงทั้งหมดใน$\Sigma^*$ สอดคล้องกับดัชนี$i$ st $x_i=1$ และไม่ยอมรับ (อาจจะไม่ใช่ หยุดทำงาน) สตริงใด ๆ ที่สอดคล้องกับดัชนี$x_i=0$ 0 ตั้งแต่ (โดยสมมติฐาน)$K$คือ decidable มันตามที่ฟังก์ชั่น$\tilde K:x\mapsto k$ , กำหนดให้เป็นที่เล็กที่สุด$k$ดังกล่าวว่า TM บางอย่างใน$C_k$ S-พิมพ์$x$เป็นทัวริง-คำนวณ มันต่อไปตามที่ฟังก์ชั่น $g:k\mapsto x$ซึ่งแม$k\in\mathbb{N}$ ไปน้อยที่สุด (lexicographically) สตริง$x\in\{0,1\}^*$ เช่นว่า$\tilde K(x)>k$สามารถคำนวณได้เช่นกัน

$M$$M$$g(|\langle M\rangle|)$$\langle M\rangle$$M$$|x|$$M$$M$$\ell=|\langle M\rangle|$$x_M\in\{0,1\}^*$. By construction, $\tilde K(x_M)>\ell$, and so $x_M$ cannot be S-printed by any TM with description length $\ell$ or shorter. And yet it is defined as the S-print output of a TM with description length $\ell$ --- a contradiction.