ความแม่นยำที่นำไปสู่การเข้าใจ

บน MathOverflow Timothy Gowers ได้ถามคำถามที่ชื่อว่า " แสดงให้เห็นว่าความแม่นยำนั้นสำคัญ " การอภิปรายส่วนใหญ่มีเกี่ยวกับกรณีที่แสดงความสำคัญของการพิสูจน์ซึ่งคนใน CSTheory อาจไม่จำเป็นต้องเชื่อ ในการพิสูจน์ประสบการณ์ของฉันจะต้องเข้มงวดมากขึ้นในวิทยาการคอมพิวเตอร์เชิงทฤษฎีมากกว่าในหลายส่วนของคณิตศาสตร์ต่อเนื่องเพราะสัญชาตญาณของเรามักจะกลายเป็นผิดสำหรับโครงสร้างที่ไม่ต่อเนื่องและเนื่องจากไดรฟ์เพื่อสร้างการใช้งานสนับสนุนข้อโต้แย้งรายละเอียดเพิ่มเติม นักคณิตศาสตร์อาจเป็นเนื้อหาที่มีการพิสูจน์การมีอยู่ แต่นักวิทยาศาสตร์คอมพิวเตอร์ในทางทฤษฎีมักจะพยายามที่จะหาหลักฐานที่สร้างสรรค์ Lovász Local Lemma เป็นตัวอย่างที่ดี [1]

ฉันอยากรู้

มีตัวอย่างที่เฉพาะเจาะจงในวิทยาการคอมพิวเตอร์เชิงทฤษฎีที่การพิสูจน์อย่างเข้มงวดของคำแถลงที่เชื่อว่าเป็นจริงได้นำไปสู่การเข้าใจใหม่เกี่ยวกับธรรมชาติของปัญหาพื้นฐานหรือไม่?

ตัวอย่างล่าสุดที่ไม่ได้มาโดยตรงจากอัลกอริทึมและทฤษฎีความซับซ้อนคือการสังเคราะห์เชิงทฤษฎีการพิสูจน์โดยอัตโนมัติของอัลกอริทึมที่ถูกต้องและมีประสิทธิภาพจากก่อนและหลังเงื่อนไข [2]

• [1] Robin A. Moser และGábor Tardos หลักฐานอันสร้างสรรค์ของนายพลLovász Local Lemma , JACM 57 , บทความ 11, 2010 http://doi.acm.org/10.1145/1667053.1667060
• [2] Saurabh Srivastava, Sumit Gulwani และ Jeffrey S. Foster จากการตรวจสอบโปรแกรมจนถึงการสังเคราะห์โปรแกรม ACM SIGPLAN ประกาศ45 , 313–326, 2010 http://doi.acm.org/10.1145/1707801.1706337

แก้ไข:คำตอบที่ฉันมีอยู่ในใจก็เหมือนพวกสกอตต์กับมาตัส ดังที่ Kaveh แนะนำสิ่งนี้เป็นสามสิ่งที่ผู้คนต้องการพิสูจน์ (ซึ่งไม่จำเป็นต้องคาดไม่ถึงโดย "ฟิสิกส์", "handwaving" หรือ "สัญชาตญาณ" ข้อโต้แย้ง) การพิสูจน์และผลที่ตามมาสำหรับ "ปัญหาพื้นฐาน" ที่ ตามมาจากการพิสูจน์ที่ไม่ได้คาดหวังไว้ (อาจจะสร้างหลักฐานที่ต้องการแนวคิดใหม่ที่ไม่คาดคิดหรือนำไปสู่อัลกอริทึมหรือเปลี่ยนวิธีที่เราคิดเกี่ยวกับพื้นที่) เทคนิคการพัฒนาในขณะที่การพัฒนาการพิสูจน์เป็นหน่วยการสร้างของวิทยาศาสตร์คอมพิวเตอร์เชิงทฤษฎีเพื่อที่จะรักษาคุณค่าของคำถามที่ค่อนข้างอัตนัยนี้มันจะคุ้มค่าที่จะมุ่งเน้นไปที่ประสบการณ์ส่วนตัวเช่นให้โดยสกอตต์หรืออาร์กิวเมนต์ที่สำรองไว้โดยอ้างอิง เป็น matus นอกจากนี้ฉัน ฉันพยายามหลีกเลี่ยงข้อโต้แย้งเกี่ยวกับสิ่งที่มีคุณสมบัติหรือไม่ โชคไม่ดีที่ธรรมชาติของคำถามอาจมีปัญหาจากภายใน

เรามีคำถามเกี่ยวกับผลลัพธ์ที่ "น่าประหลาดใจ" ในความซับซ้อน: ผลลัพธ์ที่น่าประหลาดใจในความซับซ้อน (ไม่ใช่ในรายการบล็อกที่ซับซ้อน)ดังนั้นในอุดมคติฉันกำลังมองหาคำตอบที่มุ่งเน้นไปที่คุณค่าของการพิสูจน์ที่เข้มงวดไม่จำเป็นต้องขนาดของการพัฒนา

อย่างที่คุณอาจทราบมีตัวอย่างมากมายของสิ่งที่คุณกำลังพูดถึงมันแทบเป็นไปไม่ได้ที่จะรู้ว่าจะเริ่มจากตรงไหน! อย่างไรก็ตามฉันคิดว่าคำถามนี้อาจเป็นคำถามที่ดีถ้าคนให้ตัวอย่างจากประสบการณ์ของตัวเองซึ่งการพิสูจน์การคาดเดาที่เชื่อกันอย่างกว้างขวางในพื้นที่ย่อยของพวกเขานำไปสู่ความเข้าใจใหม่

เมื่อฉันเป็นนักศึกษาปริญญาตรีปัญหาแรกของ TCS ที่ฉันจัดการคือ: อัลกอริธึมเชิงควอนตัมที่เร็วที่สุดในการประเมิน OR ของ ANDn ANDs ของตัวแปรบูลีนแต่ละตัวคืออะไร มันชัดเจนสำหรับฉันและคนอื่น ๆ ที่ฉันคุยด้วยว่าสิ่งที่ดีที่สุดที่คุณสามารถทำได้คือการใช้อัลกอริทึมของ Grover ซ้ำทั้งกับ OR และ AND สิ่งนี้ทำให้ขอบเขตบน O (logn log (n)) (อันที่จริงคุณสามารถกำจัดปัจจัยบันทึกได้ แต่ลองเพิกเฉยต่อตอนนี้)

ถึงความคับข้องใจอย่างใหญ่หลวงของฉันฉันไม่สามารถพิสูจน์ขอบเขตที่ต่ำกว่าดีกว่าเล็กน้อยΩ (n ^1/4 ) "Going นักฟิสิกส์" และ "การตอบคำถามด้วยมือ" ไม่เคยดูน่าดึงดูดกว่านี้! :-D

แต่หลังจากนั้นไม่กี่เดือนต่อมา Andris Ambainis ก็ออกมาด้วยวิธีการต่อต้านควอนตัมของเขาซึ่งแอปพลิเคชั่นหลักในตอนแรกนั้นมีขอบเขตต่ำกว่าΩ (√n) สำหรับ OR-of-ANDs เพื่อพิสูจน์ผลลัพธ์นี้ Andris จินตนาการว่าการป้อนอัลกอริทึมควอนตัมเป็นการทับซ้อนของอินพุตที่แตกต่างกัน จากนั้นเขาได้ศึกษาว่าการพัวพันระหว่างอินพุตและอัลกอริธึมเพิ่มขึ้นเมื่อทำแบบสอบถามอัลกอริทึมแต่ละครั้งอย่างไร เขาแสดงให้เห็นว่าวิธีการนี้ช่วยให้คุณมีความซับซ้อนของการสืบค้นควอนตัมที่ต่ำกว่าแม้สำหรับปัญหา "ยุ่ง" ที่ไม่สมมาตรโดยใช้คุณสมบัติ combinatorial ทั่วไปของฟังก์ชัน f ที่อัลกอริทึมควอนตัมพยายามคำนวณ

ไกลจากเพียงแค่ยืนยันว่าความซับซ้อนของการสืบค้นควอนตัมของปัญหาที่น่ารำคาญอย่างหนึ่งคือสิ่งที่ทุกคนคาดหวังว่าจะเป็นเทคนิคเหล่านี้กลายเป็นหนึ่งในความก้าวหน้าที่ยิ่งใหญ่ที่สุดในทฤษฎีการคำนวณควอนตัม พวกมันถูกนำมาใช้เพื่อพิสูจน์ขอบเขตควอนตัมล่างอื่น ๆ อีกหลายสิบและถูก repurposed เพื่อให้ได้ขอบเขตใหม่แบบคลาสสิก

แน่นอนว่านี่คือ "อีกวันหนึ่งในโลกมหัศจรรย์แห่งคณิตศาสตร์และ TCS" แม้ว่าทุกคน "รู้แล้ว" X เป็นความจริงพิสูจน์ X มากมักจะต้องใช้เทคนิคการประดิษฐ์ใหม่ที่ได้รับแล้วนำไปใช้ไกลเกิน X และโดยเฉพาะอย่างยิ่งปัญหาที่คำตอบที่เหมาะสมได้มากน้อยที่เห็นได้ชัดเบื้องต้น

การทำซ้ำแบบขนานเป็นตัวอย่างที่ดีจากพื้นที่ของฉัน:

$L$$x$$q_1$$q_2$$a_1$$a_2$$a_1$$a_2$$q_1,q_2$$x\in L$$x\not\in L$$s$

$s$$1$$s = 10^{-15}$$k$$q_1^{(1)},\ldots,q_1^{(k)}$$q_2^{(1)},\ldots,q_2^{(k)}$$a_1^{(1)},\ldots,a_1^{(k)}$$a_1^{(1)},\ldots,a_1^{(k)}$$k$

$s^{k}$$k$$s^{\Omega(k/\log|\Sigma|)}$$\Sigma$

$\Sigma$$k$

จากนั้นมีนามสกุลที่เป็นไปได้: Anup Rao สามารถปรับการวิเคราะห์เพื่อแสดงว่าเมื่อระบบพิสูจน์ดั้งเดิมเป็นเกมฉายภาพ {\ em}} คือคำตอบของสุภาษิตแรกเป็นคำตอบที่ยอมรับได้มากที่สุด สุภาษิตที่สองไม่มีการพึ่งพาตัวอักษรเลยและค่าคงที่ของเลขชี้กำลังสามารถปรับปรุงได้ สิ่งนี้มีความสำคัญเนื่องจากความแข็งที่สุดของผลการประมาณนั้นมาจากเกมการฉายภาพและเกมที่ไม่เหมือนใครเป็นกรณีพิเศษของเกมฉายภาพ นอกจากนี้ยังมีการปรับปรุงเชิงปริมาณในเกมของตัวขยาย (โดย Ricky Rosen และ Ran Raz) และอีกมากมาย

จากนั้นก็มีผลกระทบที่กว้างขวาง ตัวอย่างเพียงไม่กี่: ข้อมูลทางทฤษฎีบทสรุปจากกระดาษของ Raz ถูกนำมาใช้ในบริบทอื่น ๆ (ในการเข้ารหัส, เทียบเท่ากับการสุ่มตัวอย่างและการค้นหา ฯลฯ ) เทคนิค "การสุ่มตัวอย่างแบบสหสัมพันธ์" ที่โฮเลนสไตน์ใช้นั้นถูกนำไปใช้ในงานอื่น ๆ อีกมากมาย (ในความซับซ้อนของการสื่อสารในพีซีพี ฯลฯ )

อีกตัวอย่างที่ดีของความแม่นยำ (และเทคนิคใหม่) ที่จำเป็นในการพิสูจน์ข้อความที่เชื่อว่าเป็นจริง: การวิเคราะห์ที่ราบรื่น สองจุดในประเด็น:

• อัลกอริธึมเริม
• อัลกอริทึม k-mean

$k$$O(n^{c \cdot kd})$$n$

ฉันคิดว่าตัวอย่างต่อไปนี้กลับกลายเป็นงานวิจัยจำนวนมากซึ่งมีผลลัพธ์ของสิ่งที่คุณกำลังมองหาอย่างน้อยถ้าฉันทำตามจิตวิญญาณของตัวอย่าง LLL ของคุณ

Robert E. Schapire จุดแข็งของการเรียนรู้ที่อ่อนแอ การเรียนรู้ของเครื่อง, 5 (2): 197-227, 1990

$\epsilon>0, \delta>0$$1-\delta$$\epsilon$$\epsilon$$\delta$$\delta$$\delta$$\gamma$

อย่างไรก็ตามสิ่งต่าง ๆ น่าสนใจมากหลังจากกระดาษของ Schapire วิธีแก้ปัญหาของเขาสร้างเสียงส่วนใหญ่ของคนส่วนใหญ่มากกว่าสมมติฐานในชั้นเรียนดั้งเดิม จากนั้นมา

Yoav Freund การส่งเสริมอัลกอริทึมการเรียนรู้ที่อ่อนแอโดยส่วนใหญ่ สารสนเทศและการคำนวณ, 121 (2): 256--285, 1995

กระดาษนี้มี 'reproof' ของผลลัพธ์ของ Schapire แต่ตอนนี้สมมติฐานสร้างขึ้นใช้เพียงส่วนใหญ่เดียว ตามแนวเหล่านี้ทั้งสองนั้นผลิตกันที่เรียกว่า AdaBoost:

Yoav Freund และ Robert E. Schapire ความเห็นทั่วไปในเชิงทฤษฎีการตัดสินใจของการเรียนรู้ออนไลน์และแอปพลิเคชันเพื่อส่งเสริม วารสารวิทยาศาสตร์คอมพิวเตอร์และระบบ, 55 (1): 119-139, 1997

คำถามการเรียนรู้ที่อ่อนแอ / แข็งแกร่งเริ่มต้นจากความกังวลทางทฤษฎีเป็นหลัก แต่การเรียงลำดับของ 'reproofs' นี้ส่งผลให้เกิดอัลกอริธึมที่สวยงามซึ่งเป็นหนึ่งในผลลัพธ์ที่มีอิทธิพลมากที่สุดในการเรียนรู้ของเครื่อง ฉันสามารถไปทุกประเภทแทนเจนต์ที่นี่ แต่จะยับยั้งตัวเอง ในบริบทของ TCS ผลลัพธ์เหล่านี้มีชีวิตจำนวนมากในบริบทของ (1) อัลกอริธึมน้ำหนักแบบคูณและ (2) ชุดผลลัพธ์แบบฮาร์ดคอร์ เกี่ยวกับ (1) ฉันต้องการชี้แจงว่า AdaBoost สามารถมองเห็นได้เป็นตัวอย่างของงานตุ้มน้ำหนัก / งานฝืดของ Warmuth / Littlestone (Freund เป็นนักเรียน Warmuth) แต่มีความเข้าใจใหม่ ๆ มากมายในการส่งเสริม ผล. ประมาณ (2) ฉัน

เพื่อความถูกต้องทางประวัติศาสตร์ฉันควรจะบอกว่าวันที่ในการอ้างอิงของฉันอาจจะไม่ใช่สิ่งที่บางคนคาดหวังเนื่องจากบางส่วนของสิ่งเหล่านี้มีรุ่นการประชุมก่อนหน้านี้

กลับสู่ธรรมชาติของคำถามของคุณ คุณค่าที่สำคัญของ 'ความแม่นยำ' ที่นี่คือการให้ชั้นเรียนสมมติฐานหนึ่งเรียนรู้เกี่ยวกับ (ส่วนใหญ่ถ่วงน้ำหนักเหนือระดับสมมติฐานเดิม) และอัลกอริทึมที่มีประสิทธิภาพเพื่อค้นหาพวกเขา

ตัวอย่างนี้เป็นไปตามแนวของคำตอบของ Dana และ Scott

$n$$d$$d$$2^{n-1}$$d$$2$$n^{1/(d-1)}$$2^{n^{1/(d-1)}}$$1$$n^{1/(d-1)}$$d-1$$2^{n^{1/(d-1)}}$$2^{n^{1/(d-1)}}$$d$$2^{O(n^{1/(d-1)})}$

$d$$AC^0$

"หลักฐานธรรมชาติ"ของ Rasborov และ Rudich เสนอข้อพิสูจน์ที่ชัดเจนถึงความเจ็บปวด ( "การพิสูจน์อย่างเป็นทางการ") "มันยากมากที่จะพิสูจน์ว่า P ≠ NP"

แนวคิดที่ว่าปัญหาอัลกอริทึมบางอย่างจำเป็นต้องมีขั้นตอนจำนวนมากหรือการค้นหาที่เหนือกว่าทุกความเป็นไปได้ถูกยกขึ้นมาตั้งแต่ยุค 50 และอาจจะก่อนหน้านี้ (แน่นอนความคิดที่ไร้เดียงสาของคู่แข่งที่คอมพิวเตอร์สามารถทำได้ทุกอย่างก็เป็นเรื่องธรรมดาเช่นกัน) ความก้าวหน้าครั้งสำคัญของ Cook และ Levin คือการวางแนวคิดนี้ไว้ในพื้นที่ที่เข้มงวด แน่นอนว่าสิ่งนี้เปลี่ยนแปลงทุกอย่าง

อัปเดต:ฉันเพิ่งรู้ว่าคำตอบของฉันเหมือนกับคำตอบที่ดีของ Turkistanyกล่าวถึงชื่อของคำถามที่ว่า "ความแม่นยำที่นำไปสู่ความเข้าใจที่ลึกซึ้ง" แต่อาจไม่ใช่ถ้อยคำเฉพาะซึ่งเกี่ยวกับ

อลันทัวริงทำให้ความเชื่อมั่นของอัลกอริทึมเป็นไปอย่างมีประสิทธิภาพโดยใช้เครื่องจักรทัวริง เขาใช้วิธีการแบบใหม่นี้เพื่อพิสูจน์ว่าปัญหา Halting นั้นไม่สามารถตัดสินใจได้ (เช่นอัลกอริธึมไม่สามารถแก้ไขได้โดยอัลกอริทึมใด ๆ ) สิ่งนี้นำไปสู่โครงการวิจัยที่ยาวนานซึ่งพิสูจน์ว่าเป็นไปไม่ได้ของปัญหาฮิลแบร์ต 10 Matiyasevich ในปี 1970 พิสูจน์ว่าไม่มีอัลกอริทึมที่สามารถตัดสินใจได้ว่าสมการไดโอแฟนไทน์จำนวนเต็มมีวิธีแก้ปัญหาจำนวนเต็มหรือไม่