วิธีที่ดีที่สุดในการรับเหรียญที่ใกล้เคียงกับการโยนจากเหรียญลำเอียงที่เหมือนกันคืออะไร?

21

(ฟอนนอยมันน์ให้อัลกอริทึมที่จำลองเหรียญที่ยุติธรรมให้การเข้าถึงเหรียญลำเอียงที่เหมือนกันอัลกอริทึมอาจต้องใช้จำนวนอนันต์ของเหรียญ bounded.)

สมมติว่าเรามีเหรียญเหมือนกันกับอคติ[Tail] จุดมุ่งหมายคือการจำลองเหรียญโยนเดียวในขณะที่ลดอคติ $n$ $\delta=P[Head]-P[Tail]$

การจำลองจะต้องมีประสิทธิภาพในความรู้สึกต่อไปนี้: ขั้นตอนการทำงานในลักษณะพหุนามเวลาที่บิตแบบสุ่มและผลบิตเดียว อคติของอัลกอริทึมถูกกำหนดให้เป็นที่คาดหวังจะได้รับการกระจายที่กำหนดโดยบิต IIDเช่นว่าProb $n$ $Bias(A)=|E[A=0]-E[A=1]|$ $n$ ${x_1,\ldots,x_n}$ $Prob[x_i=1]-Prob[x_i=0]=\delta$

ซึ่งขั้นตอนวิธีการทำงานในเวลาพหุนามมีอคติน้อย ? $A$ $Bias(A)$

คำถามนี้ดูเป็นธรรมชาติมากสำหรับฉันและมีโอกาสมากที่จะได้รับการพิจารณาก่อน

ปัญหานี้เกิดจากอะไร มีสิ่งใดที่เป็นที่รู้จักเมื่อพิจารณาคลาสที่อ่อนกว่า (ในและอื่น ๆ ) ของอัลกอริทึม? $AC_0$

cc.complexity-theory circuit-complexity pr.probability

— hrushikesh
แหล่งที่มา

15

โยนเหรียญ n ลำเอียงและสละความเท่าเทียมกันของหัวที่ได้รับการชี้แจงใกล้กับ{2} $\frac{1}{2}$

[สำหรับการพิสูจน์ให้พิจารณาตัวแปรสุ่มนั่นคือ -1 เมื่อหัวและ 1 เมื่อก้อยแล้วความน่าจะเป็นที่มีจำนวนคี่ของหัวเป็นเพียง ] $E\left[\frac{1}{2} + \frac{1}{2}\prod_i X_i\right] = \frac{1}{2} + \frac{1}{2}\delta^n$

บางทีนี่อาจเป็นเหตุผลที่ดีที่สุดด้วยเหตุผลดังต่อไปนี้ ให้เป็นฟังก์ชันการจัดองค์ประกอบใด ๆ ของบิตเหล่านี้ จากนั้นและดีที่สุดน่าจะเป็นฟังก์ชั่นพาริตี้ (ใช่มั้ย?) $f$ $\text{Bias}(f) = \sum_S \hat{f}(S) \delta^{|S|}$ $f$

หากคุณสนใจฟังก์ชั่นการจัดวางองค์ประกอบที่มีความซับซ้อนลดลงอาจเป็นกระดาษของ Ryan O'Donnell เกี่ยวกับ`การขยายความแข็งภายใน NP 'จะมีความเกี่ยวข้องมาก ที่นั่นเขาใช้ฟังก์ชั่นการจัดองค์ประกอบโมโนโทนสำหรับการขยายความแข็งและฟังก์ชั่นที่ทำงานนั้นมีความไวต่อเสียงรบกวน

— Ramprasad
แหล่งที่มา

คุณช่วยอธิบายได้อย่างละเอียดว่าทำไมความเท่าเทียมกันควรเป็นฟังก์ชั่นที่ดีที่สุด? (ไม่ใช่ว่ามันมีความสำคัญมาก แต่ไม่ควรเป็นในการขยายฟูริเยร์ตั้งแต่ ?) ขอบคุณสำหรับตัวชี้กระดาษ!

d e l t a^{| S |}

$delta^{|S|}$

E [x_{i}] = δ

$E[x_i]=\delta$

— Hrushikesh

โอ้ฉันขอโทษคุณพูดถูก นิพจน์ไม่ถูกต้องและแก้ไขได้แล้ว ฉันไม่มีหลักฐานของการเพิ่มประสิทธิภาพ (บางทีมันอาจไม่เหมาะสม) แต่เหตุผลที่ฉันเดาเช่นนั้นก็คือมันจะเป็นจริงถ้าการแสดงออกเป็นตั้งแต่นี้เป็นชุดค่าผสมนูน

\sum_{S} \hat{f} (S)^{2} δ^{| S |}

$\sum_S \hat{f}(S)^2 \delta^{|S|}$

— Ramprasad

บางทีนี่อาจทำให้แสงหลั่ง โดย Cauchy-Schwarz เรารู้ว่า|}} วิธีหนึ่งในการปรับให้เหมาะสมคือลดขอบเขตบนให้มากที่สุดและเกิดขึ้นเมื่อฟังก์ชันคือฟังก์ชันพาริตีและในกรณีนั้นปริมาณที่เราสนใจก็ตรงกับขอบเขตบนเช่นกัน อย่างไรก็ตามมันอาจเป็นกรณีที่เวกเตอร์ของสัมประสิทธิ์ฟูริเยร์ตั้งฉากกับ -vector อย่างสมบูรณ์ในกรณีที่ LHS นั้นเป็นศูนย์! มีค่าพิเศษของที่เรารู้ตัวอย่างเช่น?

\sum_{S} \hat{f} (S) \leq \sqrt{\sum_{S : \hat{f} (S) \neq 0} δ^{2 | S |}}

$\sum_{S} \hat{f}(S) \leq \sqrt{\sum_{S:\hat{f}(S)\neq 0} \delta^{2|S|}}$

f

$f$

δ

$\delta$

δ

$\delta$

— Ramprasad

ที่จริงถ้าใครจะใช้เวลาบางส่วนที่ไม่น่ารำคาญฟังก์ชั่นเดียวแล้วที่การคาดการณ์ความน่าจะเป็นของคือ 0 และมันเป็น1ดังนั้นสำหรับบางกลางนั้นจะต้องใช้ค่า{2} ดังนั้นจึงไม่ยุติธรรมที่จะคาดหวังว่าสำหรับทุก ๆฟังก์ชั่นพาริตี้จะดีที่สุด

f

$f$

δ = - 1

$\delta = -1$

f (x_{1}, \dots, x_{n}) = 1

$f(x_1,\cdots, x_n) = 1$

δ = 1

$\delta=1$

1

$1$

δ

$\delta$

\frac{1}{2}

$\frac{1}{2}$

δ

$\delta$

— Ramprasad

คุณสามารถอธิบายความคิดเห็นล่าสุดในรายละเอียดเพิ่มเติมได้หรือไม่ การไม่คำนึงถึงปัญหาของความซับซ้อนของ f ไม่ใช่ข้อสรุปของคุณเป็นจริงเฉพาะเมื่อสำหรับเนื่องจากพาริตี้ใช้อคติจากถึง ?

E [f] = 1 / 2

$E[f]=1/2$

δ \geq \frac{1}{2^{1 / n}}

$\delta \geq \frac{1}{2^{1/n}}$

δ

$\delta$

δ^{n}

$\delta^n$

— Hrushikesh

12

คุณไม่ได้พูดว่าอคตินั้นเป็นที่รู้จักหรือไม่รู้จัก ความมหัศจรรย์ของอัลกอรึทึมของ von Neumann ก็คือมันทำงานได้ทั้งสองกรณี

สมมติว่าเป็นที่รู้จักกัน คำตอบที่ดีที่สุดนั้นขึ้นอยู่กับช่วงสำคัญของคุณลักษณะเชิงทฤษฎีของอคติ ลองหา p = 2/3 โยนเหรียญสองครั้งแล้วทำแผนที่ HH ถึง 0 และ TH และ HT เป็น 1 โดยทำซ้ำการทดลองหากผลลัพธ์คือ TT จากนั้น 0 และ 1 มีโอกาสเท่ากันและโอกาสในการเกิดซ้ำมีเพียง 1/9 แทนที่จะเป็น 5/9 ด้วยอัลกอริทึมของ von Neumann หรือเพื่อระบุไว้ในข้อตกลงของคุณคุณมีอคติอย่างใดอย่างหนึ่งของผลลัพธ์โดย 1/9 ถ้าขีด จำกัด การทำซ้ำของคุณคือ 2

ทั้งหมดนี้เกี่ยวข้องอย่างใกล้ชิดกับทฤษฎีข้อมูลและทฤษฎีการเข้ารหัส เมื่อ p เป็นเศษส่วนที่มีตัวเศษและส่วนที่ซับซ้อนยิ่งกว่าอัลกอริธึมที่ดีที่สุดจะต้องใช้ความยาวบล็อกที่ยาวกว่า 2 คุณสามารถใช้อาร์กิวเมนต์การดำรงอยู่สไตล์แชนนอนเพื่อแสดงว่าสำหรับอคติที่กำหนด คุณต้องการ แต่ความยาวของบล็อกนั้นใหญ่มาก

Peres ในกระดาษของเขาการทำซ้ำขั้นตอนของ Von Neumann สำหรับการแยก Random Bitsพิสูจน์ว่ารุ่นของอัลกอริทึมของ von Neumann สามารถเข้าใกล้ขีด จำกัด ของ Shannon ได้โดยพลการ ดูเหมือนว่าจะมีการทำงานมากมายในสาขานี้โดยนักทฤษฎีสารสนเทศและนักสถิติดังนั้นฉันจึงไม่สามารถคิดถึงบทความใด ๆ ที่มีความซับซ้อนเชิงทฤษฎีที่เอียงซึ่งจะให้คำตอบสำหรับคำถามของคุณโดยตรง

มีปัญหาที่เกี่ยวข้องกับความสนุกสนานซึ่งถามถึงสิ่งที่ตรงกันข้าม: หากคุณมีแหล่งบิตที่ยุติธรรมคุณจะสร้างการกระจายแบบสม่ำเสมอได้อย่างมีประสิทธิภาพเหนือชุดที่ไม่ได้ใช้กำลังสองหรือไม่? ปัญหาที่มีข้อ จำกัด ในการวนซ้ำที่คล้ายกับคำถามของคุณขอให้เพิ่มเอนโทรปีให้มากที่สุด (นั่นคือทำให้การกระจายมีความสม่ำเสมอเท่าที่จะเป็นไปได้) ด้วยการโยนเหรียญที่ยุติธรรม

— ต่อ Vognsen
แหล่งที่มา

1

มันเกิดขึ้นกับฉันว่าการปรับเวลาการทำงานให้เหมาะสมโดยไม่มีอคติ (สิ่งที่กระดาษทำ) คือ Lagrange dual เพื่อการปรับแต่งอคติภายใต้เวลาทำงาน ดังนั้นฉันคิดว่ากระดาษจริงตอบคำถามของคุณ!

— ต่อ Vognsen

5

ฉันชอบที่จะคิดถึงคำถามในรูปแบบที่ทำให้เป็นรูปแบบทั่วไปดังต่อไปนี้: เรามีต้นไม้ไบนารีสมบูรณ์ของ hight n โดยที่แต่ละโหนดจะถูกกำหนดหมายเลขผลรวมของตัวเลขคือ 1 เราสามารถแบ่งใบเป็นสองชุด ตัวเลขพวกเขาอยู่ใกล้?

ถ้าเราได้ลำเอียงเหรียญพารามิเตอร์และโหนดจะมีค่าฉัน $p$ $q=1-p$ $p^i q^{n-i}$

ดังที่ระบุไว้ในคำตอบอื่น ๆ สำหรับวัตถุประสงค์การละเมิดลิขสิทธิ์ส่วนใหญ่ที่มีความเท่าเทียมกันของบิตเป็นสิ่งที่ดี อคติจะเป็น n $\sum_{i} {\binom{n}{i} parity(x) p^i q^{n-i}} = \sum_{i} {\binom{n}{i} (-p)^i q^{n-i}} = (q-p)^n$

โดยทั่วไปถ้าเรามีทรัพยากรในการคำนวณเพียงพอ (พูดจำนวนบิตแบบสุ่ม) เราสามารถแบ่งพาร์ติชั่นโหนดได้อย่างดีที่สุด $PSpace$

แก้ไข "นี่เป็นปัญหาการเข้ารหัสของแชนนอน" (ขอบคุณ Per Vognsen) END จาก EDIT

ในทางกลับกันถ้าเราได้รับอนุญาตให้ใช้เท่านั้นก็ไม่ยากที่จะแสดงให้เห็นว่าเราไม่สามารถบรรลุผลได้มากนักเนื่องจากการเปลี่ยนบทแทรก วงจรจะประมาณได้ดีโดยชี้แจงโดย CNF และไม่ยากที่จะแสดงว่า CNF ไม่สามารถคำนวณคำตอบด้วยอคติที่ดี $AC^0$

(คำตอบนี้อาจมีข้อผิดพลาดฉันไม่ได้ตรวจสอบรายละเอียด)

— Kaveh
แหล่งที่มา

2

"เราสามารถแบ่งใบเป็นสองชุดได้ด้วยผลรวมของตัวเลขที่พวกเขาอยู่ใกล้กันหรือไม่" นี่เป็นปัญหาการเข้ารหัสของแชนนอน อัลกอริทึม Shannon-Fano นั้นเป็นแบบบนลงล่างและเริ่มต้นด้วยชุดขององค์ประกอบที่มีความน่าจะเป็นแบบถ่วงน้ำหนักและถามถึง bipartition ที่เป็นไปได้ การใช้สิ่งนี้ซ้ำจะให้รหัสที่ไม่มีคำนำหน้า อัลกอริทึมของ Huffman อยู่ด้านล่างสุด: มันเริ่มต้นจากต้นไม้เดี่ยวและผสานคู่กับความน่าจะเป็นที่ใกล้เคียงที่สุด หากคุณรู้เกี่ยวกับการเข้ารหัสเลขคณิตนี่เป็นการแสดงให้เห็นอย่างถูกต้องว่าเป็นการดีกว่าที่จะสร้างบิตแฟร์หลายอันพร้อมกันแทนที่จะดีทีละครั้ง

— ต่อ Vognsen

4

นอกจากนี้คุณยังสามารถรับบิตสุ่มจำนวนมากจากเหรียญอคติดูที่อัลกอริทึม Derandomizing กระดาษของ Gabizon ภายใต้ Product Distribution (http://sites.google.com/site/arielgabizon1/)

3

คำถามที่เกี่ยวข้องไซต์ต่าง ๆ : ฟอกสีลำดับบิตแบบสุ่ม

— BCS
แหล่งที่มา

1

หากคุณต้องการให้มีการโยนเหรียญจำนวนเท่ากันโดยไม่เสียอคติกับเหรียญที่มีลำเอียงวิธีที่ง่ายที่สุดในการลบอคติคือการย้อนกลับผลลัพธ์ของการทอยอื่น ๆ

— คณบดีเจ
แหล่งที่มา

1

สิ่งนี้จะไม่ส่งผลในลำดับสุ่มอย่างสม่ำเสมอ ลองนึกภาพกรณี จำกัด เมื่ออคติของเหรียญไปที่ 1 - คุณจะได้รับลำดับสลับบิตที่กำหนดขึ้น

— Aaron Roth

กลยุทธ์ใด ๆ ที่ส่งผลทางอ้อมอย่างมีความหมายจะรักษาเอนโทรปีดังนั้นมันจึงไม่สามารถเปลี่ยนการกระจายจากเอนโทรปีที่ไม่ได้อยู่ในระดับสูงสุด

— ต่อ Vognsen