อัลกอริทึมสำหรับปรับการตัดสินใจต้นไม้ให้เหมาะสม

พื้นหลัง

ต้นไม้ตัดสินใจเลขฐานสอง$T$เป็นต้นไม้ที่ถูกรูตซึ่งแต่ละโหนดภายใน (และรูท) จะมีป้ายกำกับโดยดัชนีซึ่งไม่มีเส้นทางจากรากหนึ่งไปยังอีกใบหนึ่งทำดัชนี จะมีป้ายกำกับโดยเอาท์พุทในและแต่ละขอบจะมีป้ายกำกับสำหรับลูกซ้ายและสำหรับลูกขวา ในการใช้ต้นไม้กับอินพุต :{ A , B } 0 1 $j \in \{1,..., n\}$$\{A,B\}$$0$$1$$x$

1. เริ่มต้นที่รูท
2. ถ้าคุณอยู่ที่ลีฟคุณจะส่งเอาท์พุตฉลากหรือBและยุติ$A$$B$
3. อ่านเลเบล$j$ของโหนดปัจจุบันของคุณหาก$x_j = 0$ให้เลื่อนไปที่ลูกด้านซ้ายและหาก$x_j = 1$ให้ย้ายไปที่ลูกที่ถูกต้อง
4. ข้ามไปที่ขั้นตอน (2)

ต้นไม้ที่ถูกนำมาใช้เป็นวิธีการประเมินผลการทำงานโดยเฉพาะอย่างยิ่งที่เราบอกว่าต้นไม้$T$หมายถึงฟังก์ชั่นรวม$f$ถ้าสำหรับแต่ละ$x \in \{0,1\}^n$เรามี$T(x) = f(x)$ ) ความซับซ้อนของแบบสอบถามของต้นไม้คือความลึกของมันและความซับซ้อนของแบบสอบถามของฟังก์ชันคือความลึกของต้นไม้ที่เล็กที่สุดที่แสดงถึงมัน

ปัญหา

รับแผนภูมิการตัดสินใจแบบสองจุด T เอาต์พุตการตัดสินใจแบบไบนารี T ของความลึกน้อยที่สุดซึ่ง T และ T แสดงถึงฟังก์ชันเดียวกัน

คำถาม

อัลกอริทึมที่รู้จักกันดีที่สุดสำหรับสิ่งนี้คืออะไร? ขอบเขตที่ต่ำกว่าเป็นที่รู้จักกัน? เกิดอะไรขึ้นถ้าเรารู้ว่า$\text{depth}(T') = O(\log \text{depth}(T))$ ? แล้วถ้าเราต้องการให้$T'$มีความลึกเพียงเล็กน้อยเท่านั้น

วิธีการไร้เดียงสา

วิธีการที่ไร้เดียงสาจะได้รับเพื่อระบุต้นไม้การตัดสินใจแบบไบนารีทั้งหมดของความลึกd - 1ในขณะที่ทดสอบว่าพวกเขาประเมินในสิ่งเดียวกันกับTหรือไม่ ดูเหมือนว่าจะต้องใช้O ( d 2 n n $d = \text{depth}(T)$$d - 1$$T$ขั้นตอน (สมมติว่าใช้ขั้นตอนdเพื่อตรวจสอบสิ่งที่T(x)ประเมินว่าเป็นค่าใด ๆx) มีแนวทางที่ดีกว่านี้ไหม?$O(\frac{d 2^n n!}{(n - d)!})$$d$$T(x)$$x$

แรงจูงใจ

คำถามนี้เป็นแรงบันดาลใจจากคำถามก่อนหน้านี้ในการค้าออกระหว่างความซับซ้อนแบบสอบถามและความซับซ้อนเวลา โดยเฉพาะเป้าหมายคือการ จำกัด เวลาสำหรับฟังก์ชั่นทั้งหมด เราสามารถสร้าง tree จากอัลกอริธึมที่เหมาะสมที่สุดกับ runtime tและจากนั้นเราต้องการแปลงเป็น tree T ′สำหรับอัลกอริทึมการค้นหาที่ดีที่สุด แต่ถ้าเสื้อ∈ O ( n ! / ( n - d ) ! ) (และมักจะd ∈ Θ ( n $T$$t$$T'$$t \in O(n!/(n - d)!)$$d \in \Theta(n)$) คอขวดคือการแปลง มันจะดีถ้าเราสามารถแทนที่โดยสิ่งที่ต้องการ2 d$n!/(n - d)!$$2^d$

ฉันมี 3 คำตอบทั้งหมดให้ผลความแข็งที่แตกต่างกันบ้าง

ให้เป็นฟังก์ชัน$f: \{0,1\}^n \rightarrow \{0,1\}$

คำตอบ 1

ได้รับต้นไม้ตัดสินใจคำนวณฉและจำนวนก็เป็น NP-ยากที่จะบอกได้ว่ามีอยู่ต้นไม้ตัดสินใจT 'คอมพิวเตอร์ฉขนาดที่บ้านเลขที่มากที่สุดที่ $T$$f$$T'$$f$( Zantema and Bodlaender '00 )

คำตอบ 2

เนื่องจากต้นไม้การตัดสินใจ computing fนั้นเป็นเรื่องยากที่ NP จะประมาณค่าต้นไม้การตัดสินใจที่เล็กที่สุดfให้กับปัจจัยคงที่ $T$$f$$f$( Sieling '08 )

คำตอบ 3

Let มีขนาดที่เล็กที่สุดต้นไม้ตัดสินใจคอมพิวเตอร์ฉ ได้รับต้นไม้ตัดสินใจTคำนวณฉสมมติN P ⊊ D T ฉันM E ( 2 n ε )สำหรับบางε < 1หนึ่งไม่สามารถหาการตัดสินใจเทียบเท่าต้นไม้T 'ขนาดs kสำหรับการใด ๆk ≥ 0$s$$f$$T$$f$$NP \subsetneq DTIME(2^{n^\epsilon})$$\epsilon < 1$$T'$$s^k$$k \ge 0$

ฉันคิดว่าคำตอบที่ดีกว่านี้ (ขึ้นอยู่กับข้อสมมติที่อ่อนแอกว่า) สามารถสร้างจากผลลัพธ์ที่ทราบในทฤษฎีการเรียนรู้ของอัลกอริธึม Occamสำหรับต้นไม้ตัดสินใจผ่านทางอาร์กิวเมนต์ต่อไปนี้:

1. มันเป็นไปได้ที่จะหาต้นไม้การตัดสินใจเกี่ยวกับตัวแปรในเวลา n บันทึกsที่sเป็นต้นไม้ที่มีขนาดเล็กที่สุดการตัดสินใจที่สอดคล้องกับตัวอย่างมาจากการจัดจำหน่าย (PAC รุ่น) ( Blum '92 ) $n$$n^{\log s}$$s$
2. สมมติว่าสำหรับบางε < 1เราไม่สามารถ PAC เรียนรู้ขนาดของต้นไม้ตัดสินใจตามขนาดs kต้นไม้ตัดสินใจใด ๆk ≥ 0 ( Alekhnovich et al. '07 )$NP \subsetneq DTIME(2^{n^\epsilon})$$\epsilon < 1$$s$$s^k$$k \ge 0$

ผลลัพธ์ทั้งสองดูเหมือนจะบ่งบอกถึงความแข็งสำหรับปัญหาของคุณ ในอีกด้านหนึ่ง (1) เราสามารถพบต้นไม้ตัดสินใจขนาดใหญ่ ในมืออื่น ๆ (2) เราไม่ควรจะสามารถลดความมันเพื่อให้ได้เทียบเท่า "เล็ก" หนึ่งขนาดแม้ในขณะที่มีอยู่ขนาดs$s^k$$s$