ความซับซ้อนของเวลาของอัลกอริทึม Held-Karp สำหรับ TSP

เมื่อฉันดู " วิธีการเขียนโปรแกรมแบบไดนามิกเพื่อแก้ไขปัญหาลำดับ " โดย Michael Held และ Richard M. Karp ฉันพบคำถามต่อไปนี้: เหตุใดความซับซ้อนของอัลกอริธึมสำหรับ TSP จึงเป็น $(\sum_{k=2}^{n-1}k(k-1)\binom{n-1}{k})+(n-1)$ (หน้า 199) ฉันหมายถึงพวกเขาใช้ปัจจัย $k$ ที่ไหน? หากฉันเข้าใจถูกต้อง $k-1$ หมายถึงจำนวนการเพิ่มสำหรับแต่ละชุดย่อยของเมือง แล้วทำไมการดำเนินการแต่ละนอกจากเป็นคู่กับรู้จักกับผม $k$ การดำเนินงาน? ฉันคิดว่ามันเชื่อมต่อกันเพื่อลดขั้นต่ำ แต่การคำนวณขั้นต่ำดูเหมือนจะไม่ต้องการการดำเนินการมากมาย

อัลกอริธึมการเขียนโปรแกรมแบบไดนามิกโดย Held และ Karp และเป็นอิสระจาก Bellman ทำงานดังนี้: สำหรับแต่ละคู่ $(S,c_i)$ หมายถึงเส้นทางที่จะผ่าน $c_1$ องค์ประกอบทั้งหมดของ $S$ และสิ้นสุดที่การคำนวณ $c_i$

$OPT[S,c_i]=min\{OPT[S\setminus\{c_i\},c_j]+d(c_j,c_i):c_j\in S\setminus\{c_i\}\},$

ที่ $d(c_j,c_i)$ หมายถึงระยะทางระหว่างเมือง $c_j$ และC_i $c_i$ จากนั้นในสูตรจากกระดาษ $k$ หมายความว่าขนาดของS $S$

ds.algorithms tsp exp-time-algorithms

— Bondarenko Oleksandr
แหล่งที่มา

คำตอบ:

ภาคผนวกลงไปด้านล่างชี้แจงข้อกำหนด $k(k-1)$ :

ดังนั้นถ้าคุณตรวจสอบเงื่อนไขในนิพจน์คุณสามารถจินตนาการ (ตามความคล้ายคลึง)เทอมคือการแจกแจงของสตริงไบนารี่ทั้งหมดที่มี 1 ที่มี 1 ในตำแหน่งแรก กล่าวอีกนัยหนึ่งเราปล่อยให้แต่ละตำแหน่งในสตริงไบนารีแสดงตัวเลือกว่าหนึ่งในเมืองที่ระบุในปัญหานั้นอยู่ในชุดย่อยที่แน่นอนที่เรากำลังพิจารณาอยู่หรือไม่ ดังนั้นสำหรับ 5 เมือง 1,0101 สอดคล้องกับส่วนย่อย {1,3,5} $n-1 \choose k$ $k$ $n$

ดังนั้นในการคำนวณข้ามเซตย่อยทั้งหมดของ {1, ... , } เราจะนับผ่านแต่ละเซตย่อยไบนารี (เช่นนับผ่านสตริงไบนารี่) ของขนาด = 2 (เช่นสตริงไบนารี่ขนาดที่มีสอง 1) จากนั้น ขนาด = 3 แล้วขนาด = 4, ... แล้วขนาด = n (โปรดทราบว่าชุดย่อยขนาด = 1 จะต้องประกอบด้วยเมืองแรกเท่านั้นจึงไม่เกี่ยวข้องกับการคำนวณระยะทางบางส่วนเนื่องจากระยะทางตั้งแต่ 1 -> เมืองอื่น ๆ ทั้งหมดในชุดย่อย -> 1 มีค่าเท่ากับ 0) $n$ $n$

ในแต่ละชุดย่อยที่มีเมืองเราจะต้องพิจารณาเส้นทางที่เหมาะสมและบางส่วนได้สูงสุดโดยเฉพาะอย่างยิ่งเส้นทางที่ดีที่สุดทั้งหมดอาจข้ามผ่านส่วนย่อยที่กำหนดและสิ้นสุดในเมืองๆ ยกเว้นเมืองแรก จากนั้นสำหรับแต่ละเส้นทางย่อยของผู้สมัครเราคำนวณการเดินทางที่ดีที่สุดจนถึงจุดต่ำสุดของเส้นทางย่อยขนาด =ก่อนหน้าใด ๆบวกระยะทางจากเมืองปลายทางสำหรับเส้นทางย่อยนั้นไปยัง เทอร์มินัลซิตี้สำหรับเส้นทางย่อยของผู้สมัครปัจจุบัน สิ่งนี้ให้การเปรียบเทียบดังกล่าวที่เราต้องทำ ความแตกต่างระหว่างเทอมของฉันและ $k$ $k-1$ $k-1$ $k-1$ $(k-1)(k-2)$ $(k-1)(k-2)$ $k(k-1)$ คำในการวิเคราะห์ที่เชื่อมโยงกันเป็นความแตกต่างที่เป็นสัญกรณ์ (ฉันจะรวมช่วงที่ต่างกันให้นิยามของมากกว่าที่ทำ) อย่างน้อยที่สุดก็ควรแสดงให้เห็นถึงความซับซ้อนของกำลังสองของคำนั้น $k$

น่าสนใจมาก - ฉันเพิ่งเขียนโค้ดอัลกอริธึมที่แน่นอนนี้ขึ้นใน C ++ ไม่กี่นาทีที่ผ่านมา (ดังนั้นให้อภัยแทนเจนต์จากทฤษฏีบริสุทธิ์ไปสู่การสนทนาเชิงปฏิบัติเล็กน้อย :))

มันมีค่าใช้จ่ายเวลาและพื้นที่ - อย่างน้อยภายใต้การใช้งานของฉัน แม้ว่าในทางปฏิบัติเมื่อความต้องการพื้นที่ของคุณเพิ่มขึ้นอย่างรวดเร็วพวกเขาก็เจ็บปวดกว่าเวลาที่กำหนด ตัวอย่างเช่นบนพีซีของฉัน (ที่มี RAM 4 GB) ฉันสามารถแก้ปัญหาอินสแตนซ์ที่มีได้ถึง 24 เมือง - ยิ่งไปกว่านั้นและฉันมีหน่วยความจำไม่เพียงพอ $O(2^n n^2)$ $O(2^n n)$

แน่นอนฉันอาจเป็นโปรแกรมเมอร์ที่ไม่ดีและคุณอาจทำได้ดีกว่าฉันในทางปฏิบัติ :)

แก้ไข: มีรายละเอียดเพิ่มเติมเกี่ยวกับคำถามของคุณเพียงเล็กน้อย: เทอมมาจากข้อเท็จจริงที่ว่าคุณต้องคำนวณระยะทางที่เหมาะสมที่สุดจากชุดย่อยก่อนหน้า (ในกรณีส่วนใหญ่)ของพวกเขาโปรดทราบว่าถูกหาผลรวมในการวิเคราะห์ที่คุณเชื่อมโยง) กับค่าปัจจุบัน นี้ต้องใช้อีกครั้งในกรณีที่เลวร้ายที่สุดเปรียบเทียบกับขนาดย่อยของรวมเป็น2) $k(k-1)$ $n$ $k$ $n$ $O(k)$ $k-1$ $O(k^2)$

นอกจากนี้หากคำอธิบายของฉันไม่ชัดเจนพอนี่คือบันทึกการบรรยายที่ดีของ Vazirani ( PDF ) เลื่อนลงมาที่หน้า 188 เพื่อหารือเกี่ยวกับ TSP รวมถึงการวิเคราะห์ Held-Karp

— Daniel Apon
แหล่งที่มา

โอ้แน่นอน! ตอนนี้ฉันรู้สึกเซ่อคิดอยู่ ฉันจะอัปเดตคำตอบของฉัน ฉันเคยได้ยินความคิดเห็นที่แน่นอนก่อนหน้านี้และเพิ่งส่งต่อโดยไม่ต้องคิด และใช่ - การเขียนไปที่ไฟล์ / การอ่านจากไฟล์จะช่วยให้คุณไปได้อย่างมีประสิทธิภาพสูงตามจำนวนเมือง ... มันเป็นความเจ็บปวดที่ไม่น่ากังวลหากคุณกำลังพยายามแก้ไขอินสแตนซ์ของ TSP เพื่อจุดประสงค์ที่แท้จริง ฉันก็ไม่ได้มีวัตถุประสงค์เพื่อการปฏิบัติจริง ;)

— Daniel Apon

ใช้เวลาในการดำเนินการตามขั้นตอนวิธีการ Bjorklund :)

— Suresh Venkat

@Suresh: ความคิดที่ดี!

— Daniel Apon

@Daniel Apon คุณช่วยกรุณาทำให้ถูกต้องว่าทำไมเราต้องทำการเปรียบเทียบเมื่อคำนวณ "ระยะทางที่เหมาะสมบางส่วน"

— Oleksandr Bondarenko

@Oleksandr: แน่นอนฉันจะเพิ่มไปที่ด้านบนของคำตอบของฉัน

— Daniel Apon

หมายเหตุหลัก

โปรดทราบว่าเราคำนวณและจัดเก็บไม่ใช่
"ระยะทางของเส้นทางที่เหมาะสมที่สุดcombination of k cities"
แต่
"ระยะทางเส้นทางที่เหมาะสมที่สุดสำหรับcombination of k cities และสำหรับend-point city from this combination"
การทำความเข้าใจจะช่วยให้มีความหมายของตัวคูณสองตัวแรกในสูตรต่อไปนี้

ระยะแรก

จำนวนการดำเนินการในระยะแรกคือ:

\sum_{k >= 2} \underset{\begin{matrix} choose city combination \\ of size = k - 1 \end{matrix}}{\underset{⏟}{(\binom{n - 1}{k - 1})}} \cdot \underset{\begin{matrix} choose city to be the last \\ from k - 1 cities \\ in chosen combination \end{matrix}}{\underset{⏟}{(k - 1)}} \cdot \underset{\begin{matrix} choose city \\ that is not in chosen combination \\ to add to path \end{matrix}}{\underset{⏟}{((n - 1) - (k - 1))}}

$\displaystyle \sum_{k>=2} \underbrace{ \binom{n-1}{k-1} }_{\substack{ \text{choose city combination} \\ \text{of size = $k-1$}}} \cdot \underbrace{ (k-1) }_{\substack{ \text{choose city to be the last} \\ \text{from $k-1$ cities} \\ \text{in chosen combination} } } \cdot \underbrace{ ((n-1)-(k-1)) }_{ \substack{ \text{choose city} \\ \text{that is not in chosen combination} \\ \text{to add to path} } }$

for all k>=2 that is valid for binomial coefficientที่ขาดหายไปในยกผลรวมหมายถึง ดังนั้นคำที่ถูกต้องไม่เป็นโมฆะของผลรวมจะเป็น นั่นหมายความว่าผลรวมของเราไม่จับตัวเลือกสุดท้าย เพื่อเชื่อมต่อกับเมืองแรก มีเมืองจะเชื่อมต่อกับเมืองแรก ดังนั้นในที่สุดเราจะเพิ่มคำนี้ลงในผลรวม $k=n-1$

(\binom{n - 1}{n - 2}) \cdot (n - 2) \cdot 1

$\binom{n-1}{n-2} \cdot (n-2) \cdot 1$

n - 1

$n-1$

อนุญาตเปลี่ยนสูตรในรูปแบบที่คุณให้ว่าก็ยัง ถือคาร์พหน้าวิกิพีเดีย

\sum_{k >= 2} (\binom{n - 1}{k - 1}) \cdot (k - 1) \cdot ((n - 1) - (k - 1)) = \sum_{k >= 2} \frac{(n - 1)!}{(k - 1)! (n - k)!} \cdot (k - 1) \cdot (n - k) = \sum_{k >= 2} \frac{(n - 1)!}{k! (n - 1 - k)!} \cdot k \cdot (k - 1) = \sum_{k >= 2} (\binom{n - 1}{k}) \cdot k \cdot (k - 1)

$\displaystyle \sum_{k>=2} \binom{n-1}{k-1} \cdot (k-1) \cdot ((n-1)-(k-1))= \sum_{k>=2} \frac{(n-1)!}{(k-1)!(n-k)!} \cdot (k-1) \cdot (n-k)= \sum_{k>=2} \frac{(n-1)!}{k!(n-1-k)!} \cdot k \cdot (k-1)= \sum_{k>=2} \binom{n-1}{k} \cdot k \cdot (k-1)$ การจัดการสัมประสิทธิ์ทวินามนำไปสู่: ดังนั้นจำนวนการดำเนินการในครั้งแรก เฟสคือ

\sum_{k >= 2} (\binom{n - 1}{k}) \cdot k \cdot (k - 1) = \sum_{k >= 2} \frac{(n - 1)!}{k! (n - 1 - k)!} \cdot k \cdot (k - 1) = \sum_{k >= 2} \frac{(n - 3)!}{(k - 2)! (n - 3 - (k - 2))!} \cdot (n - 1) \cdot (n - 2) = (n - 1) \cdot (n - 2) \sum_{k >= 2} (\binom{n - 3}{k - 2}) = (n - 1) \cdot (n - 2) \cdot 2^{n - 3}

$\displaystyle \sum_{k>=2} \binom{n-1}{k} \cdot k \cdot (k-1) = \sum_{k>=2} \frac{(n-1)!}{k!(n-1-k)!} \cdot k \cdot (k-1) = \sum_{k>=2} \frac{(n-3)!}{(k-2)!(n-3-(k-2))!} \cdot (n-1) \cdot (n-2)= (n-1) \cdot (n-2)\sum_{k>=2} \binom{n-3}{k-2}=(n-1) \cdot (n-2) \cdot 2^{n-3}$

(n - 1) \cdot (n - 2) \cdot 2^{n - 3} + (n - 1)

$(n-1) \cdot (n-2) \cdot 2^{n-3}+(n-1)$

ระยะที่สอง

ขั้นตอนที่สองคือการกู้คืนเส้นทางที่ดีที่สุดด้วยเครื่องหมายที่เราทำในระยะแรกพร้อมกับระยะการคำนวณ

สำหรับแต่ละเส้นทางที่ดีที่สุด "สำหรับcombination of k cities และสำหรับend-point city from this combination" เราได้บันทึกเมืองที่สองไปยังหน้าสุดท้ายแล้ว

ในการย้อนเส้นทางที่ดีที่สุดเราจำเป็นต้องขอโครงสร้างข้อมูลบางอย่างเพื่อส่งคืนเมืองที่สองไปยังท้าย "สำหรับcombination of k cities และสำหรับend-point city from this combination" ดังนั้นโครงสร้างข้อมูลนี้ต้องเป็นอย่าง
Map<combination of k cities, Map<last city, second-to-last city>>นั้น ในฐานะที่เป็นดัชนีของเราสามารถใช้ยกตัวอย่างเช่นcombination of k cities binary_string[city id]=1 if city id is in combinationดังนั้นเราจำเป็นต้องดูองค์ประกอบทั้งหมดของcombination of k citiesการระบุชุดค่าและดัชนีโครงสร้างข้อมูลของเรา สิ่งนี้ทำให้เรามีจำนวนการดำเนินงานสำหรับเฟสที่สอง:

\sum_{k >= 2}^{n - 1} k = \frac{(n) (n - 1)}{2} - 1

$\displaystyle \sum_{k>=2}^{n-1} k = \frac{(n)(n-1)}{2} - 1$

— dimathe47
แหล่งที่มา