ความเข้าใจที่เป็นรูปธรรมของความแตกต่างระหว่างคำจำกัดความของ PP และ BPP

ฉันกำลังสับสนเกี่ยวกับวิธี PPและBPPมีการกำหนด ให้เราสมมติเป็นลักษณะการทำงานสำหรับภาษา{L} Mเป็นเครื่องจักรทัวริงที่น่าจะเป็น คำจำกัดความต่อไปนี้ถูกต้อง: $\chi$ $\mathcal{L}$
$BPP =\{\mathcal{L} :Pr[\chi(x) \ne M(x)] \geq \frac{1}{2} + \epsilon \quad \forall x \in \mathcal{L},\ \epsilon > 0 \}$
$PP =\{\mathcal{L} :Pr[\chi(x) \ne M(x)] > \frac{1}{2} \}$

หากคำจำกัดความไม่ถูกต้องโปรดพยายามเปลี่ยนแปลงให้น้อยที่สุดเพื่อให้ถูกต้อง (เช่นไม่ให้คำจำกัดความอื่น ๆ ที่เทียบเท่าซึ่งใช้เครื่องนับหรือรุ่นที่ดัดแปลงบางส่วน) ฉันไม่สามารถแยกแยะเงื่อนไขความน่าจะเป็นได้อย่างชัดเจนทั้งบนคำจำกัดความ

ตัวอย่างที่เป็นรูปธรรมบางอย่างที่มีความเข้าใจอย่างลึกซึ้งในจุดที่ลึกซึ้งจะเป็นประโยชน์อย่างมาก

— DurgaDatta
แหล่งที่มา

มันดูถูกต้องสำหรับฉัน ความแตกต่างระหว่าง BPP และ PP เป็นที่สำหรับ BPP ความน่าจะเป็นที่จะต้องมีมากกว่าโดยคงที่ในขณะที่สำหรับ PP มันอาจจะเป็น n ดังนั้นสำหรับปัญหา BPP คุณสามารถทำการขยายความน่าจะเป็นด้วยการทำซ้ำ ๆ จำนวนเล็กน้อยในขณะที่ปัญหา PP ทั่วไปคุณไม่สามารถทำได้ $1/2$ $1/2+ 1/2^n$

— adrianN
แหล่งที่มา

คำตอบของ Vor ให้คำจำกัดความมาตรฐาน ผมขออธิบายความแตกต่างให้เห็นได้ชัดขึ้น

Letจะมีความน่าจะเป็นขั้นตอนวิธีการพหุนามข้อผิดพลาดเวลา จำกัด สำหรับภาษาว่าคำตอบถูกต้องกับความน่าจะเป็นอย่างน้อยPให้เป็นอินพุตและขนาดของอินพุต $M$ $L$ $p\geq\frac{1}{2}+\delta$ $x$ $n$

สิ่งที่แตกต่างโดยพลขั้นตอนวิธีการจากขั้นตอนวิธีการเป็นช่องว่างในเชิงบวกระหว่างความน่าจะเป็นของการยอมรับและน่าจะเป็นของการยอมรับL $\mathsf{PP}$ $\mathsf{BPP}$ $x\in L$ $x\notin L$ สิ่งที่สำคัญเกี่ยวกับคือช่องว่างที่มีอย่างน้อย(1)} ฉันจะพยายามที่จะอธิบายว่าทำไมความแตกต่างนี้มีความสำคัญและช่วยให้เราสามารถพิจารณาได้รับการพิจารณากลไกที่มีประสิทธิภาพ (คาดคะเนแม้จะเท่ากับ ) ในขณะที่ถือว่าไม่มีประสิทธิภาพ (ที่จริงมี $\mathsf{BPP}$ $n^{-O(1)}$ $\mathsf{BPP}$ $\mathsf{P}$ $\mathsf{PP}$ $\mathsf{PP}$ $\mathsf{NP}$ ) ทั้งหมดนี้มาจากช่องว่างนี้

เริ่มต้นด้วยการดูให้ละเอียดยิ่งขึ้น $\mathsf{PP}$

โปรดทราบว่าหากอัลกอริทึมใช้บิตสุ่มมากที่สุดในระหว่างการดำเนินการและความน่าจะเป็นข้อผิดพลาดน้อยกว่าดังนั้นความน่าจะเป็นข้อผิดพลาดนั้นเป็นจริง ๆไม่สามารถเลือกบิตสุ่มใด ๆ ทำให้คำตอบของอัลกอริทึมไม่ถูกต้อง $r(n)$ $2^{-r(n)}$ $0$

นอกจากนี้อัลกอริทึมที่ใช้เวลารันไม่สามารถใช้บิตสุ่มมากกว่าดังนั้นหากข้อผิดพลาดของอัลกอริธึมที่น่าจะเป็นกับกรณีที่แย่ที่สุดในการรันไทม์จะดีกว่า $t(n)$ $t(n)$ $t(n)$

ด้วยเหตุผลที่คล้ายคลึงกันเราสามารถแสดงให้เห็นว่ากรณีที่ความแตกต่างระหว่างความน่าจะเป็นที่จะยอมรับและความน่าจะเป็นที่จะรับนั้นเล็กเกินไปนั้นคล้ายกับกรณีที่เราไม่มีความแตกต่างกันเกือบ เช่นเดียวกับใน $x\in L$ $x\notin L$ $\mathsf{PP}$ กรณี.

ตอนนี้เราไปต่อ $\mathsf{BPP}$ .

ในอัลกอริธึมความน่าจะเป็นเราสามารถเพิ่มความน่าจะเป็นสำหรับการตอบได้อย่างถูกต้อง สมมติว่าเราต้องการเพิ่มความน่าจะเป็นที่ถูกต้องให้ $1-\epsilon$ สำหรับพูดความน่าจะเป็นข้อผิดพลาด $\epsilon=2^{-n}$ (ข้อผิดพลาดเล็กน้อยชี้แจง)

ความคิดนั้นง่าย: รัน $M$ หลายครั้งและรับคำตอบส่วนใหญ่

เราควรวิ่งกี่ครั้ง $M$ เพื่อให้ได้ความน่าจะเป็นข้อผิดพลาดให้มากที่สุด $\epsilon$ ? $\Theta(\delta^{-1} \lg \epsilon)$ ครั้ง หลักฐานจะได้รับที่ด้านล่างของคำตอบนี้

ทีนี้ลองมาพิจารณากันดีกว่าว่าอัลกอริทึมที่เราคุยกันนั้นจำเป็นต้องเป็นพหุนาม นั่นหมายความว่าเราไม่สามารถวิ่งได้ $M$ มากกว่าพหุนามหลายครั้ง ในคำอื่น ๆ $\Theta(\delta^{-1} \ln \epsilon) = n^{O(1)}$ หรือมากกว่านั้น

δ^{- 1} \lg ϵ = n^{O (1)}

$\delta^{-1} \lg \epsilon = n^{O(1)}$

ความสัมพันธ์นี้จัดหมวดหมู่อัลกอริธึมข้อผิดพลาดน่าจะเป็นขอบเขตในคลาสขึ้นอยู่กับความน่าจะเป็นข้อผิดพลาดของพวกเขา ไม่มีความแตกต่างระหว่างความน่าจะเป็นข้อผิดพลาด $\epsilon$ ความเป็นอยู่ $2^{-n}$ หรือค่าคงที่ในเชิงบวก (เช่นไม่เปลี่ยนแปลง $n$ ) หรือ $\frac{1}{2}-n^{O(1)}$ . เราสามารถได้จากสิ่งเหล่านี้ไปยังสิ่งอื่นในขณะที่เหลืออยู่ภายในเวลาพหุนาม

อย่างไรก็ตามหาก $\delta$ เล็กเกินไปพูด $0$ , $2^{-n}$ , หรือแม้กระทั่ง $n^{-\omega(1)}$ จากนั้นเราไม่มีวิธีเพิ่มความน่าจะเป็นของความถูกต้องและลดความน่าจะเป็นข้อผิดพลาดให้พอเข้าไป $\mathsf{BPP}$ .

ประเด็นหลักที่นี่คือสิ่งต่อไปนี้ $\mathsf{BPP}$ เราสามารถลดความน่าจะเป็นข้อผิดพลาดได้อย่างมีประสิทธิภาพเป็นแบบทวีคูณดังนั้นเราจึงเกือบมั่นใจเกี่ยวกับคำตอบและนั่นคือสิ่งที่ทำให้เราพิจารณาอัลกอริธึมระดับนี้เป็นอัลกอริธึมที่มีประสิทธิภาพ ความน่าจะเป็นข้อผิดพลาดสามารถลดลงได้มากจนความล้มเหลวของฮาร์ดแวร์มีแนวโน้มมากขึ้นหรือแม้แต่ดาวตกที่ตกลงมาบนคอมพิวเตอร์ก็มีโอกาสมากกว่าที่จะเกิดข้อผิดพลาดโดยอัลกอริธึมความน่าจะเป็น

นั่นไม่เป็นความจริงสำหรับ $\mathsf{PP}$ เราไม่ทราบวิธีการลดความน่าจะเป็นข้อผิดพลาดและเราถูกทิ้งไว้เกือบราวกับว่าเรากำลังตอบรับโดยการขว้างเหรียญเพื่อให้ได้คำตอบ (เรายังไม่สมบูรณ์ความน่าจะเป็นไม่ใช่ครึ่งหนึ่ง แต่ใกล้ กับสถานการณ์นั้น)

ส่วนนี้ให้การพิสูจน์ว่าจะได้รับความน่าจะเป็นข้อผิดพลาด $\epsilon$ เมื่อเราเริ่มต้นด้วยอัลกอริทึมที่มีช่องว่าง $(\frac{1}{2}-\delta,\frac{1}{2}+\delta)$ เราควรวิ่ง $M$ $\Theta(\delta^{-1} \lg \epsilon)$ ครั้ง

ปล่อย $N_k$ เป็นอัลกอริทึมที่ทำงาน $M$ สำหรับ $k$ ครั้งแล้วตอบตามคำตอบของคนส่วนใหญ่ เพื่อความง่ายลองสมมติว่า $k$ แปลกเราจึงไม่มีความสัมพันธ์

พิจารณากรณีที่ $x \in L$ . กรณี $x \notin L$ คล้ายกัน. แล้วก็

P r {M (x) accepts} = p \geq \frac{1}{2} + δ

$\mathsf{Pr}\{M(x) \text{ accepts}\} = p \geq \frac{1}{2} + \delta$ เพื่อวิเคราะห์ความน่าจะเป็นที่ถูกต้องของ

N_{k}

$N_k$ เราจำเป็นต้องประเมินความน่าจะเป็นที่ส่วนใหญ่ของ

k

$k$ วิ่งยอมรับ

ปล่อย $X_i$ เป็น 1 ถ้า $i$ th run ยอมรับและเป็น $0$ ถ้ามันปฏิเสธ โปรดทราบว่าการรันแต่ละครั้งไม่ขึ้นอยู่กับผู้อื่นเนื่องจากใช้บิตสุ่มอิสระ ดังนั้น $X_i$ s เป็นตัวแปรสุ่มแบบบูลอิสระ

E [X_{i}] = P r {X_{i} = 1} = P r {M (x) accepts} = p \geq \frac{1}{2} + δ

$\mathbb{E}[X_i] = \mathsf{Pr}\{X_i=1\} = \mathsf{Pr}\{M(x)\text{ accepts}\} = p \geq \frac{1}{2}+\delta$

ปล่อย $Y = \Sigma_{i=1}^k X_i$ . เราจำเป็นต้องประเมินความน่าจะเป็นที่คนส่วนใหญ่ยอมรับเช่นความน่าจะเป็นที่ $Y\geq\frac{k}{2}$ .

P r {N_{k} (x) accepts} = P r {Y \geq \frac{k}{2}}

$\mathsf{Pr}\{N_k(x) \text{ accepts}\} = \mathsf{Pr}\{Y \geq \frac{k}{2}\}$

ทำอย่างไร? เราสามารถใช้ Chernoff bound ซึ่งบอกเราถึงความเข้มข้นของความน่าจะเป็นใกล้กับค่าที่คาดไว้ สำหรับตัวแปรสุ่มใด ๆ $Z$ ด้วยมูลค่าที่คาดหวัง $\mu$ , เรามี

P r {| Z - μ | > α μ} < e^{\frac{α^{2}}{4} μ}

$\mathsf{Pr}\{|Z-\mu| > \alpha\mu\} < e^{\frac{\alpha^2}{4}\mu}$

ซึ่งบอกว่าความน่าจะเป็นนั้น $Z$ คือ $\alpha\mu$ ห่างจากค่าที่คาดหวัง $\mu$ จะลดลงอย่างชี้แจงเป็น $\alpha$ เพิ่มขึ้น เราจะใช้มันเพื่อจำกัดความน่าจะเป็นของ $Y < \frac{k}{2}$ .

โปรดทราบว่าเรามีความเป็นเส้นตรงของความคาดหวัง

E [Y] = E [Σ_{i = 1}^{k} X_{i}] = Σ_{i = 1}^{k} E [X_{i}] = k p \geq \frac{k}{2} + k δ

$\mathbb{E}[Y] = \mathbb{E}[\Sigma_{i=1}^k X_i] = \Sigma_{i=1}^k \mathbb{E}[X_i] = kp \geq \frac{k}{2} + k\delta$

ตอนนี้เราสามารถใช้ Chernoff ที่ถูกผูกไว้ เราต้องการขอบเขตบนของความน่าจะเป็น $Y< \frac{k}{2}$ . Chernoff ที่ถูกผูกไว้จะให้ขอบเขตบนความน่าจะเป็นของ $|Y-(\frac{k}{2}+k\delta)| > k\delta$ ซึ่งเพียงพอ เรามี

P r {| Y - k p | > α k p} < e^{- \frac{α^{2}}{4} k p}

$Pr\{|Y - kp| > \alpha kp\} < e^{-\frac{\alpha^2}{4}kp}$

และถ้าเราเลือก $\alpha$ ดังนั้น $\alpha kp = k\delta$ เราทำเสร็จแล้วดังนั้นเราเลือก $\alpha = \frac{\delta}{p} \leq \frac{2\delta}{2\delta+1}$ .

ดังนั้นเราจึงมี

P r {Y < \frac{k}{2}} \leq P r {| Y - (\frac{k}{2} + k δ) | > k δ} \leq P r {| Y - k p | > α k p} < e^{- \frac{α^{2}}{4} k p}

$Pr\{Y < \frac{k}{2} \} \leq Pr\{|Y - (\frac{k}{2}+k\delta)| > k\delta\} \leq Pr\{|Y - kp| > \alpha kp\} < e^{-\frac{\alpha^2}{4}kp}$

และถ้าคุณทำการคำนวณคุณจะเห็นว่า

\frac{α^{2}}{4} k p \leq \frac{δ^{2}}{4 δ + 2} k = Θ (k δ)

$\frac{\alpha^2}{4}kp \leq \frac{\delta^2}{4\delta+2}k = \Theta(k\delta)$

เรามี

P r {Y < \frac{k}{2}} < e^{- Θ (k δ)}

$Pr\{Y < \frac{k}{2} \} < e^{-\Theta(k\delta)}$

เราต้องการให้ข้อผิดพลาดเป็นอย่างมาก $\epsilon$ ดังนั้นเราจึงต้องการ

e^{- Θ (k δ)} \leq ϵ

$e^{-\Theta(k\delta)} \leq \epsilon$

หรือในคำอื่น ๆ

Θ (δ^{- 1} \lg ϵ) \leq k

$\Theta(\delta^{-1} \lg \epsilon) \leq k$

จุดสำคัญอย่างหนึ่งที่นี่ก็คือในกระบวนการเราจะใช้บิตสุ่มอีกมากมายและเวลาการทำงานจะเพิ่มขึ้นนั่นคือเวลาที่เลวร้ายที่สุด $N_k$ จะคร่าวๆ $k$ คูณเวลาทำงานของ $M$ .

ที่นี่จุดกึ่งกลางของช่องว่างคือ $\frac{1}{2}$ . แต่โดยทั่วไปไม่จำเป็นต้องเป็นอย่างนั้น เราสามารถนำวิธีการที่คล้ายกันมาใช้สำหรับค่าอื่น ๆ โดยใช้เศษส่วนอื่นแทนส่วนใหญ่สำหรับการยอมรับ

— Kaveh
แหล่งที่มา

ใช้สัญลักษณ์ของคุณ:

$BPP =\{L : \exists$ เครื่องทัวริงที่น่าจะเป็นแบบโพลิโนเมียลเวลา $M,$ และ costant $0 < c \leq 1/2$ ดังนั้น $\forall x \; Pr[\chi_L(x) = M(x)] \geq \frac{1}{2} + c\}$

$PP =\{L : \exists$ เครื่องทัวริงที่น่าจะเป็นแบบโพลิโนเมียลเวลา $M$ ดังนั้น $\forall x \; Pr[\chi_L(x) = M(x)] > \frac{1}{2}\}$

ความแตกต่างได้รับการชี้ให้เห็นโดย adrianN และคุณยังสามารถดู Wikipedia PP กับ BPP

— Vor
แหล่งที่มา