การแจกแจงความน่าจะเป็นและความซับซ้อนเชิงคำนวณ

คำถามนี้เกี่ยวกับจุดตัดของทฤษฎีความน่าจะเป็นและความซับซ้อนในการคำนวณ ข้อสังเกตสำคัญอย่างหนึ่งคือการแจกแจงบางอย่างง่ายกว่าการสร้างอื่น ๆ ตัวอย่างเช่นปัญหา

ได้รับหมายเลขกลับมาเป็นจำนวนมากกระจายเหมือนกันกับ<n $n$ $i$ $0 \leq i < n$

แก้ง่าย ในทางตรงกันข้ามปัญหาต่อไปนี้คือหรือดูเหมือนจะยากขึ้นมาก

รับตัวเลขส่งคืนตัวเลขซึ่งคือ (จำนวนGödel) หลักฐานที่ถูกต้องของความยาว n ใน Peano เลขคณิต นอกจากนี้หากจำนวนการพิสูจน์ดังกล่าวเป็นแล้วน่าจะเป็นที่จะได้รับหลักฐานใด ๆ ที่เฉพาะเจาะจงของความยาว ควรจะ(n)} $n$ $i$ $i$ $pr(n)$ $n$ $\frac{1}{pr(n)}$

สิ่งนี้ชี้ให้เห็นว่าการแจกแจงความน่าจะเป็นมาพร้อมกับแนวคิดเรื่องความซับซ้อนในการคำนวณ ยิ่งไปกว่านั้นความซับซ้อนนี้อาจเกี่ยวข้องกับปัญหาการตัดสินใจอย่างใกล้ชิด (ไม่ว่าจะเรียกซ้ำย่อยเช่น $P$ , $EXP$ ซ้ำซ้ำนับซ้ำหรือแย่กว่านั้น)

คำถามของฉันคือใครจะกำหนดความซับซ้อนในการคำนวณของการแจกแจงความน่าจะเป็นได้อย่างไรโดยเฉพาะอย่างยิ่งในกรณีที่ปัญหาการตัดสินใจไม่สามารถตัดสินใจได้ ฉันแน่ใจว่าสิ่งนี้ได้รับการตรวจสอบแล้ว แต่ฉันไม่แน่ใจว่าจะมองที่ใด

— Martin Berger
แหล่งที่มา

อีกตัวอย่างที่น่าสนใจ (แต่สิ่งที่สามารถตัดสินใจได้) คือการแปลงควอนตัมฟูริเยร์ รับคืนค่าตัวเลขดังนั้นความน่าจะเป็นของคือสัดส่วนกับ,N}

f (k) = a^{k} \mod b

$f(k)=a^k \mod b$

l \in [0, N]

$l \in [0,N]$

l

$l$

| F (l) |

$\left|F(l)\right|$

F (l) = \sum_{k = 0}^{N} f (k) e^{- 2 π i k l / N}

$F(l) = \sum_{k=0}^N f(k) e^{-2\pi ikl/N}$

— หลงทางตรรกะ

ตัวอย่างของคุณทั้งสองเป็นการกระจายแบบไม่ต่อเนื่อง ฉันจะจินตนาการถึงความซับซ้อนที่แตกต่างกันว่ามันยากเพียงใดในการนับโดยที่คือส่วนสนับสนุน

| χ |

$|\chi|$

χ

$\chi$

— Nicholas Mancuso

@NicholasMancuso ฉันยอมรับว่าสามารถใช้ตัวเลือกการนับ + unform ได้เสมอ ดังนั้นในบางแง่ก็ให้ขอบเขตบน นี่คือทั้งหมดที่สามารถพูดได้? มีการสืบสวนเรื่องนี้ในวรรณคดีที่ไหน

— Martin Berger

@NicholasMancuso ตัวอย่างที่ฉันให้คือการแจกแจงแบบสม่ำเสมอ แต่เราสามารถถามคำถามเดียวกันเกี่ยวกับการแจกแจงแบบไม่สม่ำเสมอ หนึ่งยังสามารถสงสัยเกี่ยวกับการกระจายใน{R} ในฐานะที่เป็นเรื่องที่เกี่ยวกับการกระจายต่อเนื่อง: เบื้องต้นนับไม่ปรากฏจะเพียงพอโดยทั่วไปคุณยังจะต้องมีความสามารถที่จะสร้างองค์ประกอบ -th หลังจากที่คุณได้รับการแต่งตั้งอย่างสม่ำเสมอฉันที่กล่าวมาอาจเป็นกรณีที่การนับเป็นแกนหลักของปัญหา

R

$\mathbb{R}$

i

$i$

i

$i$

— Martin Berger

@NikosM ขอบคุณ แต่ลิงค์นั้นก็ไม่ได้พูดอะไรเกี่ยวกับความซับซ้อนของการแจกแจงพื้นฐาน การอ้างอิงพูดคุยเกี่ยวกับการเปลี่ยนแปลง

ϕ

$\phi$ ในการกระจายเครื่องแบบ แต่การเปลี่ยนแปลงนั้นอาจเป็นการยากหรือง่ายในการคำนวณ

— Martin Berger

ความซับซ้อนของการแจกแจงความน่าจะเป็นเกิดขึ้นโดยเฉพาะอย่างยิ่งในการศึกษาปัญหาการกระจายเช่น DistNPในทฤษฎีของ Levin ของทฤษฎีความซับซ้อนของกรณีโดยเฉลี่ยทฤษฎีความซับซ้อนกรณีเฉลี่ย

การแจกแจงแบบP คำนวณได้หากฟังก์ชันความหนาแน่นสะสมสามารถประเมินได้ในเวลาพหุนาม

การแจกแจงแบบP-samplableถ้าเราสามารถสุ่มตัวอย่างจากพวกมันในเวลาพหุนาม

ถ้าการแจกแจงเป็นแบบ P- ก็จะเป็นแบบ P-sampable การย้อนกลับไม่เป็นความจริงหากมีฟังก์ชั่นทางเดียวบางอย่างอยู่

คุณสามารถขยายคำจำกัดความไปยังคลาสความซับซ้อนอื่น ๆ

Oded Goldreichมีข้อความแนะนำเบื้องต้นเกี่ยวกับหัวข้อที่คุณอาจต้องการตรวจสอบ

— Kaveh
แหล่งที่มา

ขอบคุณฉันคิดว่าเป็นทฤษฎีของ

P

$P$ -samplable distributions เป็นสิ่งที่ฉันต้องการ แต่ไม่มีเหตุผลใดที่จะจำกัดความสนใจ

P

$P$ คุณสามารถกำหนด

C

$C$ -samplable distributions สำหรับคลาสความซับซ้อนใด ๆ

C

$C$ . ด้วยการเพิ่มขึ้นล่าสุดของ ภาษาโปรแกรมน่าจะเป็นสิ่งที่สำคัญ

— Martin Berger

@ มาร์ตินใช่ มีการสอนเกี่ยวกับการเขียนโปรแกรมน่าจะเป็น ( สไลด์วิดีโอจะถูกโพสต์เช่นกัน) ที่ NIPS 2015 ฉันได้ยินคนที่เข้าร่วมพบว่ามันน่าสนใจมาก ยินดีที่ได้เห็นคนทำงานที่จุดตัดของ ML / สถิติและ PL :)

— Kaveh

ใช่และปัญหาหลักคือภาษาดังกล่าว (= ตัวอย่างทั่วไปที่ตั้งโปรแกรมได้) นั้นช้า เราจะเร่งความเร็วให้เร็วขึ้นได้อย่างไร?

— Martin Berger