ค่าใช้จ่ายตัวอย่างของ

ฉันเจอปัญหาการจำลองต่อไปนี้: เนื่องจากชุดของจำนวนจริงที่รู้จักการแจกแจงถูกกำหนดโดย ที่หมายถึงการเป็นส่วนหนึ่งในเชิงบวกของZในขณะที่ฉันสามารถนึกถึงตัวอย่างของ Metropolis-Hastings ที่กำหนดเป้าหมายการกระจายตัวนี้ฉันสงสัยว่ามีตัวเก็บตัวอย่างโดยตรงที่มีประสิทธิภาพโดยใช้ประโยชน์จากความน่าจะเป็นศูนย์จำนวนมากเพื่อลดลำดับของอัลกอริทึมจากถึงง) $\{\omega_1,\ldots,\omega_d\}$ $\{-1,1\}^d$

P (X = (x_{1}, \dots, x_{d})) \propto (x_{1} ω_{1} + \dots + x_{d} ω_{d})_{+}

$\mathbb{P}(X=(x_1,\ldots,x_d))\propto (x_1\omega_1+\ldots+x_d\omega_d)_+$

(z)_{+}

$(z)_+$

z

$z$

O (2^{d})

$O(2^d)$

O (d)

$O(d)$

— ซีอาน
แหล่งที่มา

ต่อไปนี้เป็นตัวอย่างแบบเรียกซ้ำที่ค่อนข้างชัดเจนคือในกรณีที่ดีที่สุด (ในแง่ของน้ำหนัก ) แต่เป็นเลขชี้กำลังในกรณีเลวร้ายที่สุด $O(d)$ $\omega_i$

สมมติว่าเราได้เลือกแล้วและความปรารถนาที่จะเลือก{i} เราจำเป็นต้องคำนวณ และเลือกด้วยความน่าจะเป็น ตัวหารจะไม่ใช่ศูนย์สำหรับทางเลือกที่ถูกต้องใด ๆ ของกลุ่มตัวอย่าง{i-1} $x_1, \dots, x_{i-1}$ $x_{i}$

w (x_{1}, \dots, x_{i - 1}, x_{i}) = \sum_{x_{i + 1} \in {- 1, 1}} \dots \sum_{x_{d} \in {- 1, 1}} {(\sum_{j = 1}^{d} ω_{j} x_{j})}_{+}

$w(x_1, \dots, x_{i-1}, x_i) = \sum_{x_{i+1} \in \{-1, 1\}} \cdots \sum_{x_{d} \in \{-1, 1\}} \left( \sum_{j=1}^d \omega_j x_j \right)_+$

x_{i} = 1

$x_i = 1$

\frac{w (x_{1}, \dots, x_{i - 1}, 1)}{w (x_{1}, \dots, x_{i - 1}, 1) + w (x_{1}, \dots, x_{i - 1}, - 1)} .

$\frac{w(x_1, \dots, x_{i-1}, 1)}{w(x_1, \dots, x_{i-1}, 1) + w(x_1, \dots, x_{i-1}, -1)}.$

x_{1}, \dots, x_{i - 1}

$x_1, \dots, x_{i-1}$

ตอนนี้แน่นอนคำถามคือวิธีการคำนวณx_i) $w(x_1, \dots, x_i)$

หากเรามีดังนั้นสำหรับใด ๆ ที่มีรายการนำหน้า , และดังนั้นจึงกลายเป็น: $C := \sum_{j=1}^{i} \omega_j x_j \ge \sum_{j=i+1}^{d} \lvert \omega_j \rvert$ $\omega \cdot x \ge 0$ $x$ $x_{1:i}$ $w$

\begin{aligned} \sum_{x_{i + 1}} \dots \sum_{x_{d}} ω \cdot x & = ω \cdot (\sum_{x_{i + 1}} \dots \sum_{x_{d}} x) \\ = \sum_{j = 1}^{i} ω_{j} \underset{2^{d - i} x_{j}}{\underset{⏟}{(\sum_{x_{i + 1}} \dots \sum_{x_{d}} x_{j})}} + \sum_{j = i + 1}^{d} ω_{j} \underset{0}{\underset{⏟}{(\sum_{x_{i + 1}} \dots \sum_{x_{d}} x_{j})}} \\ = 2^{d - i} C . \end{aligned}

$\begin{align} \sum_{x_{i+1}} \cdots \sum_{x_d} \omega \cdot x &= \omega \cdot \left( \sum_{x_{i+1}} \cdots \sum_{x_d} x \right) \\&= \sum_{j=1}^i \omega_j \underbrace{\left( \sum_{x_{i+1}} \cdots \sum_{x_d} x_j \right)}_{2^{d-i} x_j} + \sum_{j=i+1}^d \omega_j \underbrace{\left( \sum_{x_{i+1}} \cdots \sum_{x_d} x_j \right)}_{0} \\&= 2^{d-i} C .\end{align}$

ในกรณีที่ตรงกันข้ามเรามีและ0 $C \le - \sum_{j=i+1}^{d} \lvert \omega_j \rvert$ $\omega \cdot x \le 0$ $w(x_1, \dots, x_i) = 0$

มิฉะนั้นเราจะต้อง recurse ใช้-1) $w(x_1, \dots, x_i) = w(x_1, \dots, x_i, 1) + w(x_1, \dots, x_i, -1)$

สมมติว่าหน่วยความจำไม่ใช่ปัญหาและเราสามารถแคชการคำนวณย่อยทั้งหมดใน ,ในทรี - จนถึงจุดที่เราเข้าสู่หนึ่งใน "ดี" กรณีหลังจากนั้น การโทรต้องใช้เวลาคงที่ (เราจะต้องคำนวณทรีทั้งหมดนี้เพื่อเลือก ) จากนั้นเมื่อการคำนวณทรีของนี้ถูกสร้างขึ้นเครื่องเก็บตัวอย่างจะใช้เวลาเท่านั้น คำถามคือใช้เวลานานแค่ไหนในการสร้างต้นไม้หรือเท่ากับขนาดของต้นไม้ $w(1)$ $w(-1)$ $x_1$ $w$ $O(d)$

แน่นอนว่าเราจะตี "ดี" กรณีได้เร็วขึ้นถ้าจะเรียง,\ $\omega_i$ $\omega_1 \ge \omega_2 \ge \dots \ge \omega_d$

ในกรณีที่ดีที่สุด\ แล้วเราตี "ดี" กรณีทันทีสำหรับทั้งหรือดังนั้นก่อสร้างต้นไม้ต้องใช้เวลาอย่างต่อเนื่องและตัวอย่างทั้งหมดใช้เวลาเวลา $\lvert \omega_1 \rvert > \sum_{j=2}^d \lvert \omega_j \rvert$ $w(1)$ $w(-1)$ $w$ $O(d)$

ในที่เลวร้ายที่สุด (เรียงลำดับ) กรณีที่\ ถ้าอย่างนั้นคำถามคือต้นไม้ทั้งหมดมีขนาดใหญ่แค่ไหน? $\omega_1 = \omega_2 = \dots = \omega_d$

ดีเส้นทางแรกที่จะยุติแน่นอนและความยาว\ ดังนั้นต้นไม้จึงมีความสมบูรณ์จนถึงความลึกดังกล่าวและมีโหนดอย่างน้อย(มีมากกว่านั้นคุณอาจพบว่ามันมีข้อโต้แย้งเหมือนกับที่ใช้ในปัญหาความหายนะของนักพนัน แต่ฉันไม่สามารถหามันได้ในสองนาทีของ Googling และไม่สนใจเป็นพิเศษ - ไม่ดี พอ....) $(1, 1, \dots, 1)$ $(-1, -1, \dots, -1)$ $\lceil d/2 \rceil$ $O(2^{d/2})$ $2^{d/2}$

หากการตั้งค่าของคุณมีขนาดใหญ่มากนี่อาจเป็นวิธีการที่ใช้งานได้จริง ถ้ามีทั้งหมดของขนาดที่คล้ายกันก็อาจจะยังคงมีการชี้แจงและมีราคาแพงเกินไปสำหรับขนาดใหญ่d $\omega_i$ $\omega_i$ $d$

— Dougal
แหล่งที่มา

ขอบคุณสำหรับการกำจัด Viterbi ประเภทนี้ เมื่อคุณเขียน "ในกรณีตรงข้าม",ฉันเข้าใจคุณไม่ได้หมายถึงการเติมเต็มของกรณีแรก

C_{i} \leq - \sum_{j = i + 1}^{d} | ω_{j} |

$C_i\le -\sum_{j=i+1}^{d} \lvert \omega_j \rvert$

C_{i} \geq \sum_{j = i + 1}^{d} | ω_{j} |

$C_i\ge \sum_{j=i+1}^{d} \lvert \omega_j \rvert$

— ซีอาน

ไม่ไม่ใช่ส่วนเสริม: เมื่อมันมีขนาดใหญ่มากคุณจะรู้ว่าการตัดไม่ได้ถูกนำไปใช้เมื่อมันมีขนาดเล็กมากมันจะถูกนำไปใช้เสมอ

— Dougal