เหตุใดจึงมีผู้สมัครที่เป็นธรรมชาติจำนวนน้อยสำหรับสถานะ NP ระดับกลาง

ทฤษฎีบทของ Ladner เป็นที่รู้จักกันดีว่าหาก${\mathsf P}\neq \mathsf {NP}$ดังนั้นจะมีปัญหา$\mathsf {NP}$ -intermediate ( $\mathsf{NPI}$ ) ที่ไม่สิ้นสุดจำนวนมาก นอกจากนี้ยังมีผู้สมัครที่เป็นธรรมชาติสำหรับสถานะนี้เช่นกราฟมอร์ฟและจำนวนของผู้อื่นให้ดูที่ ปัญหาระหว่าง P และ NPC แต่ส่วนใหญ่อยู่ในกลุ่มที่รู้จักกัน$natural$ $\mathsf {NP}$ -problems เป็นที่รู้จักเป็นอย่างใดอย่างหนึ่งใน$\mathsf {P}$หรือ$\mathsf {NPC}$ C เพียงเศษเสี้ยวเล็ก ๆ ของพวกเขายังคงเป็นผู้สมัครสำหรับ$\mathsf {NPI}$. ในคำอื่น ๆ ถ้าเราสุ่มเลือกธรรมชาติ -problem ในหมู่คนที่รู้จักเรามีโอกาสน้อยมากที่จะเลือกN P ฉันผู้สมัคร มีคำอธิบายใด ๆ สำหรับปรากฏการณ์นี้หรือไม่?$\mathsf {NP}$$\mathsf {NPI}$

ฉันสามารถคิดคำอธิบายที่เป็นไปได้ 3 ข้อขึ้นด้านปรัชญามากขึ้น:

1. สาเหตุของการมีผู้สมัครสอบเป็นธรรมชาติเพียงเล็กน้อยก็คือ N P Iในที่สุดจะกลายเป็นว่างเปล่า ฉันรู้ว่านี่หมายถึงP = N Pดังนั้นจึงไม่น่าเป็นไปได้มาก ถึงกระนั้นก็ตามเรายังคงสามารถโต้แย้งได้ (แม้ว่าฉันไม่ใช่คนใดคนหนึ่งของพวกเขา) ว่าปัญหาความหายากของN P Iตามธรรมชาติคือการสังเกตเชิงประจักษ์ที่ดูเหมือนจะสนับสนุนP = N Pซึ่งตรงกันข้ามกับการสังเกตอื่น ๆ ส่วนใหญ่$\mathsf {NPI}$$\mathsf {NPI}$${\mathsf P} =\mathsf {NP}$$\mathsf {NPI}$${\mathsf P} =\mathsf {NP}$

2. ความเล็กของ "natural- $\mathsf {NPI}$ " แสดงให้เห็นถึงการเปลี่ยนแปลงเฟสที่คมชัดระหว่างปัญหาที่ง่ายและยาก เห็นได้ชัดว่าปัญหาอัลกอริทึมตามธรรมชาติที่มีความหมายมีพฤติกรรมในแบบที่พวกเขามีแนวโน้มว่าจะง่ายหรือยากการเปลี่ยนแปลงนั้นแคบ (แต่ยังคงมีอยู่)

3. อาร์กิวเมนต์ที่ 2 สามารถนำไปมาก: ปัญหาในที่สุดทั้งหมดใน "natural- " จะถูกใส่ลงไปในP ∪ N P CยังP ≠ N Pดังนั้นN P ฉัน ≠ ∅ นี่จะหมายความว่าปัญหาที่เหลืออยู่ทั้งหมดในN P $\mathsf {NPI}$$\mathsf {P} \cup \mathsf {NPC}$${\mathsf P}\neq \mathsf {NP}$$\mathsf {NPI}\neq \emptyset$$\mathsf {NPI}$คือ "ผิดธรรมชาติ" (วางแผนโดยไม่มีความหมายในชีวิตจริง) การตีความสิ่งนี้อาจเป็นได้ว่าปัญหาทางธรรมชาตินั้นง่ายหรือยาก การเปลี่ยนแปลงเป็นเพียงการสร้างเชิงตรรกะโดยไม่มีความหมาย "ทางกายภาพ" นี่ค่อนข้างชวนให้นึกถึงกรณีของตัวเลขที่ไม่มีเหตุผลซึ่งเป็นเหตุผลอย่างสมบูรณ์ แต่ไม่ได้เกิดขึ้นในขณะที่ค่าที่วัดได้ของปริมาณทางกายภาพใด ๆ เช่นนี้พวกเขาไม่ได้มาจากความเป็นจริงทางกายภาพพวกเขาค่อนข้างจะอยู่ใน "การปิดทางตรรกะ" ของความเป็นจริงนั้น

คำอธิบายใดที่คุณชอบที่สุดหรือคุณสามารถแนะนำอีกหนึ่งคำ

ตามที่คนอื่น ๆ ได้ชี้ให้เห็นก็เป็นที่ถกเถียงกันอยู่ว่าสิ่งที่คุณพยายามอธิบายนั้นมีขอบเขตเพียงใด ใคร ๆ ก็สามารถโต้แย้งได้ว่าในยุค 60 และ 70 นักวิทยาศาสตร์คอมพิวเตอร์เชิงทฤษฎีมีความสนใจในปัญหาประเภทต่างๆมากกว่าที่จะเป็น P หรืออื่น ๆ ที่ทำให้เสร็จสมบูรณ์ วันนี้เนื่องจากการเพิ่มขึ้นของความซับซ้อน - การเข้ารหัสเชิงทฤษฎี, การคำนวณควอนตัม, โปรย ฯลฯ - - รวมทั้งความจริงง่ายๆที่ NP-ครบถ้วนกลายเป็นที่เข้าใจกันมากขึ้น - เรากลายเป็นที่สนใจมากขึ้น ประเภทของปัญหาที่กลายเป็นปัญหาระดับกลาง

ถึงกระนั้นใคร ๆ ก็สามารถถาม: เท่าที่สิ่งนั้นเป็นจริง --- นั่นคือเท่าที่การค้นหาตามธรรมชาติและปัญหาการหาค่าเหมาะที่สุดจำนวนมาก "snap" จนกลายเป็นปัญหาที่สมบูรณ์หรืออย่างอื่นใน P --- , ทำไมมันเป็นความจริง? ที่นี่ฉันคิดว่าคุณจะได้รับปรีชาญาณจำนวนมากโดยการดูปรากฏการณ์ก่อนหน้านี้จากการคำนวณ: แบบจำลองการคำนวณ "snap" แบบธรรมชาติมากมายจนกลายเป็นทัวริงที่สมบูรณ์ ในกรณีนี้ฉันจะบอกว่าคำอธิบายคือเมื่อคุณมีองค์ประกอบพื้นฐานไม่กี่อย่างเช่นหน่วยความจำการอ่าน / เขียนลูปเงื่อนไขและอื่น ๆ --- มันยากที่จะหลีกเลี่ยงความสามารถในการจำลองเครื่องทัวริงและทำให้ทัวริงเสร็จสมบูรณ์ ในทำนองเดียวกันเมื่อปัญหาการค้นหาหรือการเพิ่มประสิทธิภาพของคุณมีองค์ประกอบพื้นฐานไม่กี่ข้อที่สำคัญที่สุดคือความสามารถในการสร้าง "แกดเจ็ต" ที่เลียนแบบประตูตรรกะเช่น AND, OR และไม่ใช่ --- มันยากที่จะหลีกเลี่ยงความสามารถ เพื่อเข้ารหัส SAT และดังนั้นจึงเป็น NP-complete

วิธีที่ฉันชอบคิดปัญหาเช่น SAT ออกแรง "แรงโน้มถ่วงดึง" ที่มีประสิทธิภาพในทุกปัญหาการคำนวณอื่น ๆ ในละแวกของพวกเขาทำให้พวกเขาต้องการ "สแนปอัพ" เพื่อให้ NP สมบูรณ์ ดังนั้นปกติแล้วมันไม่จำเป็นต้องมีคำอธิบายพิเศษเมื่อยังมีปัญหาอื่นเกิดขึ้นกับการดึง! สิ่งที่โดดเด่นมากขึ้นและต้องการคำอธิบายเพิ่มเติมก็คือเมื่อปัญหา NP ที่เห็นได้ยากมีคุณสมบัติบางอย่างที่ช่วยให้ต้านทานแรงดึงโน้มถ่วงของ SAT ได้ เราต้องการทราบว่า: อะไรคือคุณสมบัติ? ทำไมคุณไม่สามารถเล่นเคล็ดลับความสมบูรณ์แบบ NP ปกติสำหรับปัญหานี้ได้จากการสร้างแกดเจ็ตที่เข้ารหัสประตูตรรกะบูลีน ฉันสร้างรายการคำตอบทั่วไปสำหรับคำถามนั้นคำตอบ CS.SE ล่าสุดนี้แต่ (เนื่องจากผู้แสดงความคิดเห็นคนอื่นชี้ไปแล้ว) มีคำตอบอื่น ๆ ที่เป็นไปได้ที่ฉันพลาดไป

ปัญหาธรรมชาติหลายอย่างสามารถแสดงเป็นปัญหาความพึงพอใจของข้อ จำกัด และมีทฤษฎีบทการแบ่งขั้วสำหรับ CSP

เพียงแค่เรื่องตลก: หลังจากคิดถึง "แรงดึงดูด SAT" ในคำตอบที่ดีของ Scott Aaronson คำอุปมาอุปมัยอีกหนึ่งมาถึงใจของฉัน: แซนวิช 3-SAT 2-SAT !

... แต่ฉันไม่รู้ว่าแซนวิชสามารถเติมด้วยส่วนผสมจากธรรมชาติได้หรือไม่ (แต่ฉันพบว่ามันอาจจะเต็มไปด้วยบางส่วน-SAT sauce [1] หากสมมติฐานของ Exponential-Time เป็นจริง) :-D$(2 + \frac{(\log n)^k}{n^2})$

ผลใน [1] ก็คือว่ามันไม่สามารถจะเต็มไปด้วย 2$(2+1/n^{2−\epsilon}),0<\epsilon<2$

[1] Yunlei Zhao, Xiaotie Deng, CH Lee, Hong Zhu, -SAT และคุณสมบัติของมัน$(2+f(n))$ , คณิตศาสตร์ประยุกต์แบบไม่ต่อเนื่อง, เล่มที่ 136, ฉบับที่ 1, 30 มกราคม 2004, หน้า 3-11, ISSN 0166 -218X

เราไม่สามารถแยกแยะความเป็นไปได้ที่มีปัญหาตามธรรมชาติ ระดับกลางมากมาย ความขาดแคลนที่เห็นได้ชัดคือเกิดจากการขาดเทคนิคที่จำเป็นและเครื่องมือที่จำเป็นที่จะพิสูจน์N Pสถานะ -intermediate ภายใต้การคาดเดาไปได้บางซับซ้อน (ร่าและบาราตั้งข้อสังเกตว่าเราไม่สามารถพิสูจน์N Pสถานะ -intermediate ธรรมชาติใด ๆN Pปัญหาแม้สมมติP ≠ N P )$NP$$NP$$NP$$NP$$P \ne NP$

It seems that the floodgates of natural $NP$-intermediate problems are open. Jonsson, Lagerkvist, and Nordh extended the diagonalization technique of Ladner, known as blowing holes in problems, and applied it to Constraint Satisfaction Problems. They obtained a CSP that is a candidate for $NP$-intermediate status. They proved that propositional abduction problem has $NP$-intermediate fragments.

นอกจากนี้Groheพิสูจน์แล้วว่าการดำรงอยู่ของปัญหา -intermediate CSP สมมติว่าF P T ≠ W [ 1 ] เขาได้รับปัญหาดังกล่าวโดยการ จำกัด ความกว้างของต้นไม้ของกราฟปฐมที่สอดคล้องกัน$NP$$FPT \ne W[1]$

การอ้างอิง :

1- M. Grohe ความซับซ้อนของโฮโมมอร์ฟิซึมและปัญหาความพึงพอใจของข้อ จำกัด ที่มองเห็นจากอีกด้านหนึ่ง วารสาร ACM, 54 (1), บทความ 1, 2007

2- Peter Jonsson, Victor Lagerkvist และ Gustav Nordh การเป่ารูในแง่มุมต่าง ๆ ของปัญหาการคำนวณด้วยการประยุกต์ใช้เพื่อความพึงพอใจของข้อ จำกัด ในรายงานการประชุมวิชาการระดับนานาชาติครั้งที่ 19 เรื่องหลักการและการปฏิบัติการเขียนโปรแกรมข้อ จำกัด (CP-2013) 2013

นี่คือเทพนิยายเกี่ยวกับโครงสร้าง Goldilocks ของปัญหาระดับกลาง (คำเตือน: เรื่องราวนี้อาจเป็นความเข้าใจผิดที่เป็นประโยชน์ในการสร้างและทดสอบสมมติฐานที่เป็นไปได้ แต่ไม่ได้หมายถึงการเข้มงวดทางวิทยาศาสตร์มันอาศัยสมมติฐาน Hypothesis เวลาส่วนหนึ่งส่วนหนึ่งของเวทมนตร์ที่ซับซ้อนของ Kolmogorov บางชิ้นยืมมาจากทฤษฎี SAT การแก้ปัญหาและการแก้ปัญหาสามอย่างของเทอเรนซ์เทารสำหรับปัญหาใช้ความเสี่ยงของตัวเองเช่นเดียวกับการปรุงด้วยมือที่โบกมือทั้งหมดเกี่ยวกับคณิตศาสตร์)

If nearly all instances in a problem in NP are highly structured, then the problem is actually in P. The instances thus nearly all contain a lot of redundancy, and a polynomial-time algorithm for the problem is a way to factor out the redundancy. It is even conceivable that every problem in P can be obtained by taking some problem in EXP and adding some structured redundancy, via some form of padding (not necessarily the usual kind). If this were so, then a polynomial-time algorithm could be seen as an efficient way to undo that padding.

If there are enough instances that are not structured, forming a "core of hardness", then the problem is NP-complete.

However, if this "core of hardness" is too sparse, then it only has room to represent some of SAT, so the problem is in P or NP-intermediate. (This argument is the essence of Ladner's theorem). To use Scott's analogy, the "core of hardness" exerts a gravitational pull on the problem, toward it being NP-complete. The instances in the "core of hardness" do not contain much redundancy, and the only realistic algorithm that works for all those instances is brute force search (of course, if there are only finitely many, then table lookup works, too).

จากมุมมองนี้ปัญหาระดับกลางปัญหาควรจะหายากในทางปฏิบัติเนื่องจากพวกเขาต้องการความสมดุลของโกลด์ล็อกที่ดีระหว่างอินสแตนซ์ที่มีโครงสร้างและไม่มีโครงสร้าง อินสแตนซ์ควรมีความซ้ำซ้อนมากพอที่พวกเขาสามารถแก้ไขบางส่วนของอัลกอริทึมได้ แต่ควรมีแกนของความแข็งที่เพียงพอซึ่งปัญหาไม่ได้อยู่ในพี

เราสามารถบอกเล่าเรื่องราวที่เรียบง่าย (และน่าขบขัน แต่อาจทำให้เข้าใจผิดได้มากขึ้น) ตามปริศนา ด้วยข้อ จำกัด เพียงไม่กี่อย่างเราสามารถบังคับให้ทำการค้นหาจำนวนมากได้ตัวอย่างเช่น NxN Sudoku นั้นคือ NP-complete ตอนนี้ให้ลองพิจารณาให้แก้ปริศนาเล็ก ๆ จำนวนมากเป็นตัวอย่างในคราวเดียว (เช่น 9x9 Sudokus จำนวนมาก) เวลาที่ใช้จะเป็นเส้นตรงในจำนวนตัวต่อในแต่ละตัวอย่างและปัญหานี้ก็คือในพีสำหรับปัญหากลางใคร ๆ ก็สามารถคิดว่าแต่ละตัวอย่างมีขนาดใหญ่จำนวนมาก (แต่ไม่ใหญ่เกินไป) กริด เหตุผลที่เราไม่ได้สังเกตปัญหาดังกล่าวเป็นเพราะพวกเขาน่าเบื่อที่จะวางท่าและแก้ปัญหา!

Several answers pointed out that the premise of my question (the relative scarcity of natural $\mathsf{NPI}$-candidates) might be questionable. After some thinking, I must accept that they indeed have a point. In fact, one can even go as far as to make the case that there are actually more natural $\mathsf{NPI}$ candidates than natural $\mathsf{NP}$-complete problems. The argument could go as follows.

Consider the LOGCLIQUE problem, which aims at deciding whether an $n$-vertex input graph has a clique of size $\geq \log n$. This is a natural $\mathsf{NPI}$ candidate. Now, the same type of "scaling down" can be carried out on any $\mathsf{NP}$-complete problem. Simply replace the question "does the input string $x$ have a property $Q$?" by the scaled down question "does $x$ have a logarithmically sized substring that has property $Q$?" (We may restrict ourselves only to those substrings that represent the appropriate type of structure, such as subgraphs etc.) Arguably, if the original problem was natural, the scaling down does not change this, since we only alter the size of what is sought for. The resulting problem will be an $\mathsf{NPI}$ candidate, since it is solvable in quasi-polynomial time, but still unlikely to fall into $\mathsf{P}$, as the mere size restriction probably does not introduce new structure.

This way, we can construct a natural $\mathsf{NPI}$ candidate for every natural $\mathsf{NP}$-complete problem. Additionally, there are also generic candidates that do not arise via scaling down, such as Graph Isomorphism, Factoring etc. Thus, one can indeed make the case that "natural-$\mathsf{NPI}$" is actually more populous than "natural $\mathsf{NPC}$."

Of course, this scaling down process, using Scott's nice metaphor, gives an obvious reason for resisting the "gravitational pull" of SAT. While there are papers published about LOGCLIQUE and similar problems, they did not draw too much attention, as these problems are less exciting than the the generic $\mathsf{NPI}$ candidates, where there is no clear understanding of how the gravitational pull is resisted, without falling into $\mathsf{P}$.