คำถามติดแท็ก probability-theory

เป็นที่ทราบกันดีว่าอัลกอริทึม 'ไร้เดียงสา' สำหรับการสับเปลี่ยนอาเรย์โดยการสลับแต่ละไอเท็มกับอีกอันที่สุ่มเลือกไม่ทำงานอย่างถูกต้อง: for (i=0..n-1) swap(A[i], A[random(n)]); โดยเฉพาะตั้งแต่ที่แต่ละnnnซ้ำหนึ่งของnnnเลือกที่จะทำ (กับความน่าจะเป็นชุด) มีn nnnn^nที่เป็นไปได้ 'เส้นทาง' ผ่านการคำนวณ; เพราะจำนวนการเรียงสับเปลี่ยนที่เป็นไปได้n ! n!n!ไม่แบ่งเท่า ๆ กันตามจำนวนของเส้นทางn nnnn^nมันเป็นไปไม่ได้ที่อัลกอริธึมนี้จะสร้างnแต่ละอัน! n!n!การเรียงสับเปลี่ยนที่มีความน่าจะเป็นเท่ากัน (แต่อย่างใดอย่างหนึ่งควรใช้การสลับแบบFischer-Yatesซึ่งจะเปลี่ยนการโทรเพื่อเลือกหมายเลขสุ่มจาก [0..n) ด้วยการโทรเพื่อเลือกหมายเลขแบบสุ่มจาก [i..n); เป็นสิ่งที่สงสัยกับคำถามของฉัน) สิ่งที่ฉันสงสัยคือการสับเปลี่ยนไร้เดียงสาจะเป็นไปได้อย่างไร โดยเฉพาะอย่างยิ่งการให้P ( n )P(n)P(n)เป็นชุดของพีชคณิตทั้งหมดและC ( ρ )C(ρ)C(\rho)เป็นจำนวนเส้นทางผ่านขั้นตอนวิธีการที่ไร้เดียงสาที่ผลิตที่เกิดการเปลี่ยนแปลงρ ∈ P ( n )ρ∈P(n)\rho\in P(n)สิ่งที่เป็นพฤติกรรมเชิงของการทำงาน M(n)=n!nnmaxρ∈P(n)C(ρ)M(n)=n!nnmaxρ∈P(n)C(ρ)\qquad \displaystyle M(n) = \frac{n!}{n^n}\max_{\rho\in P(n)} C(\rho) และ m(n)=n!nnminρ∈P(n)C(ρ)m(n)=n!nnminρ∈P(n)C(ρ)\qquad \displaystyle m(n) …

33 algorithms  algorithm-analysis  asymptotics  probability-theory  randomness 

คุณมีหนึ่งเหรียญ คุณสามารถพลิกมันได้หลายครั้งตามที่คุณต้องการ คุณต้องการที่จะสร้างตัวเลขสุ่มดังกล่าวว่า≤ R &lt; Bที่R , , ข∈ Z +Rrra ≤ r &lt; ba≤r&lt;ba \leq r < br,a,b∈Z+r,a,b∈Z+r,a,b\in \mathbb{Z}^+ การแจกแจงของตัวเลขควรเหมือนกัน มันง่ายถ้า :b−a=2nb−a=2nb -a = 2^n r = a + binary2dec(flip n times write 0 for heads and 1 for tails) เกิดอะไรขึ้นถ้า ?b−a≠2nb−a≠2nb-a \neq 2^n

25 algorithms  probability-theory  randomness  random-number-generator 

คำถามนี้ถูกย้ายจาก Theoretical Computer Science Exchange Exchange เนื่องจากสามารถตอบได้ใน Computer Science Stack Exchange อพยพ 7 ปีที่ผ่านมา ปัญหานี้มาจากinterviewstreet.com เราจะได้รับอาร์เรย์ของจำนวนเต็มY={y1,...,yn}Y={y1,...,yn}Y=\{y_1,...,y_n\}ที่แสดงถึงnnnกลุ่มสายดังกล่าวที่จุดปลายของส่วนiiiเป็น(i,0)(i,0)(i, 0)และ(i,yi)(i,yi)(i, y_i) ) ลองจินตนาการว่าจากด้านบนของแต่ละส่วนรังสีแนวนอนจะถูกยิงไปทางซ้ายและรังสีนี้จะหยุดเมื่อสัมผัสกับส่วนอื่นหรือกระทบกับแกน y เราสร้างอาร์เรย์ของจำนวนเต็ม n เป็นv1,...,vnv1,...,vnv_1, ..., v_nที่viviv_iเท่ากับความยาวของการยิงเรย์จากด้านบนของส่วนที่ฉันiiiเรากำหนดV(y1,...,yn)=v1+...+vnV(y1,...,yn)=v1+...+vnV(y_1, ..., y_n) = v_1 + ... + v_n n ตัวอย่างเช่นถ้าเรามีY=[3,2,5,3,3,4,1,2]Y=[3,2,5,3,3,4,1,2]Y=[3,2,5,3,3,4,1,2]แล้ว[v1,...,v8]=[1,1,3,1,1,3,1,2][v1,...,v8]=[1,1,3,1,1,3,1,2][v_1, ..., v_8] = [1,1,3,1,1,3,1,2] , ดังที่แสดงในภาพด้านล่าง: สำหรับการเปลี่ยนแปลงแต่ละpppของ[1,...,n][1,...,n][1,...,n]เราสามารถคำนวณV(yp1,...,ypn)V(yp1,...,ypn)V(y_{p_1}, ..., y_{p_n}) ) ถ้าเราเลือกการเปลี่ยนแปลงสุ่มสม่ำเสมอพีppของ[ 1 , . …

23 algorithms  probability-theory 

ในการวางกรอบคำถามในวิทยาการคอมพิวเตอร์บ่อยครั้งที่เราต้องการคำนวณผลคูณของความน่าจะเป็น: P(A,B,C) = P(A) * P(B) * P(C) วิธีที่ง่ายที่สุดคือการคูณตัวเลขเหล่านี้และนั่นคือสิ่งที่ฉันจะทำ อย่างไรก็ตามเจ้านายของฉันกล่าวว่าการเพิ่มบันทึกของความน่าจะเป็นดีกว่า: log(P(A,B,C)) = log(P(A)) + log(P(B)) + log(P(C)) นี่จะให้ความน่าจะเป็นของบันทึก แต่เราสามารถได้ความน่าจะเป็นหลังจากนั้นถ้าจำเป็น: P(A,B,C) = e^log(P(A,B,C)) การเพิ่มบันทึกถือว่าดีกว่าด้วยเหตุผลสองประการ: มันป้องกัน "underflow" โดยผลิตภัณฑ์ของความน่าจะเป็นมีขนาดเล็กจนมันถูกปัดเศษเป็นศูนย์ สิ่งนี้มักเป็นความเสี่ยงเนื่องจากความน่าจะเป็นมีขนาดเล็กมาก มันเร็วกว่าเพราะสถาปัตยกรรมคอมพิวเตอร์จำนวนมากสามารถทำการเพิ่มได้เร็วกว่าการคูณ คำถามของฉันเกี่ยวกับประเด็นที่สอง นี่คือวิธีที่ฉันได้เห็นมันอธิบาย แต่ไม่คำนึงถึงค่าใช้จ่ายเพิ่มเติมในการรับบันทึก! เราควรจะเปรียบเทียบ "ต้นทุนของล็อก + ค่าใช้จ่ายของการเพิ่ม" กับ "ต้นทุนของการคูณ" มันยังมีขนาดเล็กลงหลังจากที่คำนึงถึงเรื่องนี้หรือไม่? นอกจากนี้หน้า Wikipedia ( ความน่าจะเป็นบันทึก ) นั้นสร้างความสับสนในแง่นี้โดยระบุว่า "การแปลงเป็นไฟล์บันทึกมีราคาแพง แต่เกิดขึ้นเพียงครั้งเดียวเท่านั้น" ฉันไม่เข้าใจสิ่งนี้เพราะฉันคิดว่าคุณจะต้องใช้บันทึกของทุกคำศัพท์อย่างอิสระก่อนที่จะเพิ่ม ฉันพลาดอะไรไป ในที่สุดเหตุผลที่ว่า "คอมพิวเตอร์ทำการเพิ่มเร็วกว่าการคูณ" …

21 algorithm-analysis  probability-theory 

สมมติว่าคุณได้รับเหรียญที่ยุติธรรมและคุณต้องการจำลองการแจกแจงความน่าจะเป็นของการโยนเหรียญตาย (หกด้าน) ซ้ำ ๆ ความคิดแรกของฉันคือการที่เราต้องเลือกที่เหมาะสมจำนวนเต็มเช่นว่า6m ดังนั้นหลังจากที่พลิกเหรียญครั้งที่เรา map จำนวนเข้ารหัสโดย K-ยาว bitstring เพื่อผลของการตายโดยการหารช่วงเป็น 6 ช่วงเวลาที่แต่ละความยาวเมตรอย่างไรก็ตามสิ่งนี้เป็นไปไม่ได้เนื่องจากมีสองสิ่งเป็นเพียงปัจจัยหลักเท่านั้น แต่ปัจจัยสำคัญของรวมถึงสาม ควรมีวิธีง่าย ๆ ในการทำเช่นนี้ใช่มั้ย2 k = 6 m k [ 0 , 2 k - 1 ] m 2 k 6 mk , มk,mk,m2k= 6 เมตร2k=6m2^k = 6mkkk[ 0 , 2k- 1 ][0,2k−1][0,2^k-1]ม.mm2k2k2^k6 ม6m6m

21 probability-theory  randomness  sampling 

สมมติว่าเรามีตัวสร้างแบบสุ่มที่ส่งออกตัวเลขในช่วง[0..R−1][0..R−1][0..R-1]ด้วยการแจกแจงแบบเดียวกันและเราจำเป็นต้องสร้างตัวเลขสุ่มในช่วง[0..N−1][0..N−1][0..N-1] ด้วยการแจกแจงแบบเดียวกัน สมมติว่าN&lt;RN&lt;RN < RและNNNไม่เท่ากันแบ่งRRR ; เพื่อให้ได้การกระจายที่เหมือนกันอย่างแท้จริงเราสามารถใช้ วิธีการสุ่มตัวอย่างการปฏิเสธ : ถ้าkkkเป็นจำนวนเต็มที่มากที่สุดเช่นนั้นkN&lt;RkN&lt;Rk N < R เลือกตัวเลขสุ่มrrrใน[0..R−1][0..R−1][0..R-1] ถ้าr&lt;kNr&lt;kNr < k Nจากนั้นเอาท์พุทมิฉะนั้นก็ลองกับตัวเลขสุ่มอื่น ๆ r ', r ", ... จนกว่าจะเจอเงื่อนไขrmodNrmodNr \mod N การปฏิเสธการสุ่มตัวอย่างเป็นวิธีเดียวที่จะได้การกระจายแบบไม่ต่อเนื่องสม่ำเสมออย่างแท้จริงหรือไม่? หากคำตอบคือใช่ทำไม หมายเหตุ: หากความคิดเหมือนกัน: สร้างตัวเลขสุ่มในตัวอย่างเช่นโดยที่เป็นตัวเลขสุ่มในช่วงR ' [ 0 .. R เมตร - 1 ] , R ม &gt; = N R ' = …

21 probability-theory  randomness  random-number-generator  sampling 

สมมติว่าเรามีกล่องดำfffซึ่งเราสามารถสอบถามและรีเซ็ต เมื่อเราตั้งค่าfffรัฐfSfSf_Sของfffถูกตั้งค่าเป็นองค์ประกอบได้รับการแต่งตั้งอย่างสม่ำเสมอโดยการสุ่มจากชุดที่{0,1,...,n−1}{0,1,...,n−1}\{0, 1, ..., n - 1\}ที่nnnได้รับการแก้ไขและรู้จักการให้Ffffในแบบสอบถามfff , องค์ประกอบxxx (เดา) จาก{0,1,...,n−1}{0,1,...,n−1}\{0, 1, ..., n - 1\}ให้บริการและความคุ้มค่าที่ส่งกลับเป็นn นอกจากนี้สถานะของถูกกำหนดเป็นค่าโดยที่ถูกเลือกแบบสุ่มโดยสุ่มจาก(fS−x)modn(fS−x)modn(f_S - x) \mod nfSfSf_Sffff′S=fS±kfS′=fS±kf_S' = f_S \pm kkkk{0,1,2,...,⌊n/2⌋−((fS−x)modn)}{0,1,2,...,⌊n/2⌋−((fS−x)modn)}\{0, 1, 2, ..., \lfloor n/2 \rfloor - ((f_S - x) \mod n)\} โดยการคาดเดาสุ่มเหมือนกันกับแต่ละแบบสอบถามคาดว่าจะต้องให้คาดเดาก่อนที่จะเดินทางกับความแปรปรวน (ตามที่ระบุไว้โดยไม่ต้องพิสูจน์)nnnfS=xfS=xf_S = xn2−nn2−nn^2 - n อัลกอริทึมสามารถออกแบบให้ดีขึ้นได้อย่างไร (เช่นทำการเดาน้อยลงอาจมีความแปรปรวนน้อยลงในจำนวนการเดา) จะดีกว่านี้ได้อีก (เช่นอัลกอริธึมที่เหมาะสมที่สุดและประสิทธิภาพของมันคืออะไร) การแก้ปัญหาที่มีประสิทธิภาพสำหรับปัญหานี้อาจมีผลกระทบต่อการประหยัดต้นทุนที่สำคัญสำหรับการถ่ายภาพที่กระต่าย

20 algorithms  probability-theory  randomized-algorithms 

เมื่อพิจารณาจากการตายของNNNด้านแล้วจะมีการสร้างตัวเลขสุ่มในช่วง[1,N][1,N][1,N]ได้อย่างไร? การแจกแจงความน่าจะเป็นของใบหน้าตายนั้นไม่เป็นที่รู้จักทั้งหมดที่รู้กันคือใบหน้าแต่ละใบหน้ามีความเป็นไปได้ที่ไม่ใช่ศูนย์ นี่คือลักษณะทั่วไปที่เห็นได้ชัดของแฟร์ผลกับการตายที่ไม่เป็นธรรม วางนี้ในแง่วิทยาศาสตร์คอมพิวเตอร์เรามีคำพยากรณ์ที่เป็นตัวแทนของม้วนตาย: D:N→[1,N]D:N→[1,N]D : \mathbb{N} \to [1,N]เช่นว่าจะไม่ใช่ศูนย์และเป็นอิสระจากkเรากำลังมองหาขั้นตอนวิธีการกำหนดซึ่งเป็น parametrized โดย (เช่นอาจโทรไปยัง ) เช่นว่า N อัลกอริทึมจะต้องจบลงด้วยความน่าจะเป็น 1 นั่นคือความน่าจะเป็นที่ทำให้มากกว่าการเรียกถึงต้องมาบรรจบกันเป็นk A D A D Ppi=P(D(k)=i)pi=P(D(k)=i)p_i = P(D(k)=i)kkkAAADDDAAADDDA n D D 0 n → ∞P( A ( ) = i ) = 1 / NP(A()=ผม)=1/ยังไม่มีข้อความP(A()=i) = 1/NAAAnnnDDD000n → ∞n→∞n\to\inftyn สำหรับ (จำลองเหรียญยุติธรรมจากการโยนเหรียญด้วยเหรียญลำเอียง) มีอัลกอริทึมที่รู้จักกันดี:ยังไม่มีข้อความ= 2ยังไม่มีข้อความ=2N=2 …

18 probability-theory  randomized-algorithms  random-number-generator 

เมื่อเร็ว ๆ นี้ฉันได้ศึกษาด้วยตนเองถึงความคาดหวังสูงสุดและคว้าตัวอย่างง่ายๆในกระบวนการ: จากที่นี่ : มีสามเหรียญ ,และมี ,และความน่าจะเป็นที่จะลงจอดบนเฮดเมื่อถูกโยน โยนc_0หากผลลัพธ์คือ Head ให้โยนสามครั้งมิฉะนั้นจะโยนสามครั้ง ข้อมูลที่สังเกตได้ที่ผลิตโดยและเป็นดังนี้: HHH, TTT, HHH, TTT, HHH ข้อมูลที่ซ่อนอยู่เป็นผลมาจากc_0ประมาณการหน้า1 p 2c0c0c_0c1c1c_1c2c2c_2p0p0p_0p1p1p_1p2p2p_2c0c0c_0c1c1c_1c2c2c_2c1c1c_1c2c2c_2c 0 c0c0c_0p0p0p_0 ,และP_2p1p1p_1p2p2p_2 และจากที่นี่ : มีสองเหรียญcAcAc_AและcBcBc_BกับpApAp_AและpBpBp_Bเป็นความน่าจะเป็นที่จะลงจอดบนหัวเมื่อโยน ในแต่ละรอบเลือกหนึ่งเหรียญโดยการสุ่มและโยนสิบครั้ง; บันทึกผลลัพธ์ ข้อมูลที่สังเกตได้คือผลลัพธ์การโยนที่ได้จากสองเหรียญ อย่างไรก็ตามเราไม่ทราบว่าเหรียญใดถูกเลือกสำหรับรอบหนึ่ง ๆ ประมาณการpApAp_AและpBpBp_Bบี ในขณะที่ฉันสามารถคำนวณได้ แต่ฉันไม่สามารถเกี่ยวข้องกับวิธีที่พวกเขาแก้ไขกับทฤษฎี EM ดั้งเดิมได้ โดยเฉพาะอย่างยิ่งระหว่างขั้นตอน M-Step ของทั้งสองตัวอย่างฉันไม่เห็นว่าพวกเขากำลังเพิ่มประสิทธิภาพสูงสุดอย่างไร ดูเหมือนว่าพวกเขากำลังคำนวณพารามิเตอร์ใหม่และพารามิเตอร์ใหม่นั้นดีกว่าพารามิเตอร์เดิม ยิ่งไปกว่านั้น E-Steps ทั้งสองนั้นไม่ได้มีลักษณะที่เหมือนกันซึ่งไม่ต้องพูดถึง E-Step ของทฤษฎีดั้งเดิม ดังนั้นตัวอย่างเหล่านี้ทำงานอย่างไร

18 probability-theory  statistics 

สมมติว่าเรามีคอลเลกชันขนาดใหญ่ของงานτ1,τ2,...,τnτ1,τ2,...,τn\tau_1, \tau_2, ..., \tau_nและคอลเล็กชันของโปรเซสเซอร์ (ในแง่ของประสิทธิภาพ) ที่เหมือนกันซึ่งทำงานได้อย่างสมบูรณ์แบบขนาน สำหรับสถานการณ์ที่น่าสนใจที่เราอาจคิดn แต่ละใช้เวลา / รอบในการดำเนินการให้เสร็จสมบูรณ์เมื่อกำหนดให้กับโปรเซสเซอร์และเมื่อได้รับมอบหมายจะไม่สามารถกำหนดใหม่ได้จนกว่าจะเสร็จสมบูรณ์ สมมติว่าแต่ละτ ฉันใช้เวลาระยะเวลา / รอบρ1,ρ2,...,ρmρ1,ρ2,...,ρm\rho_1, \rho_2, ..., \rho_mm≤nm≤nm \leq nτiτi\tau_iρjρj\rho_jτiτi\tau_iXiXiX_iซึ่งไม่ทราบล่วงหน้านำมาจากการกระจายแบบสุ่มโดยสิ้นเชิง สำหรับคำถามนี้เรายังสามารถสันนิษฐานได้ว่าการกระจายง่าย:P(Xi=1)=P(Xi=5)=1/2P(Xi=1)=P(Xi=5)=1/2P(X_i = 1) = P(X_i = 5) = 1/2และทุกXiXiX_iมีความเป็นอิสระจากจำนวน ดังนั้นμi=3μi=3\mu_i = 3และσ2=4σ2=4\sigma^2 = 4 4 สมมติว่าในเวลา / รอบที่ 0 งานทั้งหมดจะถูกกำหนดอย่างสม่ำเสมอเท่าที่จะเป็นไปได้สำหรับตัวประมวลผลทั้งหมดโดยการสุ่มอย่างสม่ำเสมอ ดังนั้นโปรเซสเซอร์แต่ละชิ้นρjρj\rho_jจึงได้รับมอบหมายงานn/mn/mn/m (เราสามารถสมมติm|nm|nm | nสำหรับวัตถุประสงค์ของคำถามได้เช่นกัน) เราเรียกว่าตัวเลื่อนทำให้เวลา / รอบที่ตัวประมวลผลตัวสุดท้ายρ∗ρ∗\rho^*ให้เสร็จตามที่ได้รับมอบหมายจนเสร็จงานที่ได้รับมอบหมาย คำถามแรก: ในฐานะที่เป็นฟังก์ชันของmmm , nnn …

16 probability-theory  scheduling  parallel-computing 

อัลกอริทึมการเลือกแบบสุ่มมีดังต่อไปนี้: อินพุต: อาร์เรย์ของn (แตกต่างกันเพื่อความง่าย) ตัวเลขและตัวเลขk ∈ [ n ]AAAnnnk∈[n]k∈[n]k\in [n] เอาท์พุท: "อันดับองค์ประกอบ" ของA (กล่าวคือหนึ่งในตำแหน่งkถ้าAถูกจัดเรียง)kkkAAAkkkAAA วิธี: หากมีองค์ประกอบหนึ่งในให้ส่งคืนAAA เลือกองค์ประกอบ ("pivot") อย่างสม่ำเสมอโดยการสุ่มppp คำนวณชุดและR = { a ∈ A : a &gt; p }L={a∈A:a&lt;p}L={a∈A:a&lt;p}L = \{a\in A : a < p\}R={a∈A:a&gt;p}R={a∈A:a&gt;p}R = \{a\in A : a > p\} ถ้ากลับยศkองค์ประกอบของL|L|≥k|L|≥k|L| \ge kkkkLLL มิฉะนั้นส่งคืนอันดับองค์ประกอบของRk−|L|k−|L|k - |L|RRR …

14 algorithms  algorithm-analysis  probability-theory  randomized-algorithms 

พื้นหลัง \newcommand\ms[1]{\mathsf #1}\def\msD{\ms D}\def\msS{\ms S}\def\mfS{\mathfrak S}\newcommand\mfm[1]{#1}\def\po{\color{#f63}{\mfm{1}}}\def\pc{\color{#6c0}{\mfm{c}}}\def\pt{\color{#08d}{\mfm{2}}}\def\pth{\color{#6c0}{\mfm{3}}}\def\pf{4}\def\pv{\color{#999}5}\def\gr{\color{#ccc}}\let\ss\grสมมติว่าฉันมีสองสำหรับกระบวนการที่เหมือนกันของnnnหินอ่อน แต่ละหินอ่อนสามารถเป็นหนึ่งในcccสีที่c≤nc≤nc≤nc≤nให้ninin_iแทนจำนวนหินอ่อนสีiiiในแต่ละชุด ให้SS\msSเป็นมัลติเซ็ต{1,…,1n1,2,…,2n2,…,1c,…,cnc}{1,…,1⏞n1,2,…,2⏞n2,…,1c,…,c⏞nc}\small\{\overbrace{\po,…,\po}^{n_1},\;\overbrace{\pt,…,\pt}^{n_2},\;…,\;\overbrace{\vphantom 1\pc,…,\pc}^{n_c}\}แทนหนึ่งชุด ในการเป็นตัวแทนความถี่ , SS\msSนอกจากนี้ยังสามารถเขียนเป็น(1n12n2…cnc)(1n12n2…cnc)(\po^{n_1} \;\pt^{n_2}\; … \;\pc^{n_c}){n_c}) จำนวนการเรียงสับเปลี่ยนที่แตกต่างกันของSS\msSนั้นมอบโดยMultinomial : |SS|=(nn1,n2,…,nc)=n!n1!n2!⋯nc!=n!∏i=1c1ni!.|SS|=(nn1,n2,…,nc)=n!n1!n2!⋯nc!=n!∏i=1c1ni!.\left|\mfS_{\msS}\right|=\binom{n}{n_1,n_2,\dots,n_c}=\frac{n!}{n_1!\,n_2!\cdots n_c!}=n! \prod_{i=1}^c \frac1{n_i!}. คำถาม มีอัลกอริทึมที่มีประสิทธิภาพในการสร้างการกระจายสองแบบเรียงสับเปลี่ยนPPPและQQQของSS\msSที่สุ่มหรือไม่ (การกระจายควรเป็นแบบเดียวกัน) เปลี่ยนแปลงPPPคือกระจายถ้าองค์ประกอบที่แตกต่างกันทุกiiiของPPPกรณีของiiiมีระยะห่างออกไปประมาณเท่า ๆ กันในPPPP ตัวอย่างเช่นสมมติว่าS=(1424)={1,1,1,1,2,2,2,2}S=(1424)={1,1,1,1,2,2,2,2}\msS=(\po^4\;\pt^4)=\{\po,\po,\po,\po,\pt,\pt,\pt,\pt\}\} {1,1,1,2,2,2,2,1}{1,1,1,2,2,2,2,1}\{\po, \po, \po, \pt, \pt, \pt, \pt, \po\}ไม่กระจาย {1,2,1,2,1,2,1,2}{1,2,1,2,1,2,1,2}\{\po, \pt, \po, \pt, \po, \pt, \po, \pt\}กระจาย อย่างจริงจังมากขึ้น: หากมีเพียงหนึ่งตัวอย่างของไป“พื้นที่ออก” ในเพื่อให้ 0ni=1ni=1n_i=1iiiPPPΔ(i)=0Δ(i)=0\Delta(i)=0 มิฉะนั้นให้เป็นระยะห่างระหว่างอินสแตนซ์ และอินสแตนซ์ …

13 algorithms  combinatorics  probability-theory  permutations  sampling 

ตัวทำนายไร้เดียงสาทำการทำนายโดยใช้สูตรนี้: P(Y=y|X=x)=αP(Y=y)∏iP(Xi=xi|Y=y)P(Y=y|X=x)=αP(Y=y)∏iP(Xi=xi|Y=y)P(Y=y|X=x) = \alpha P(Y=y)\prod_i P(X_i=x_i|Y=y) โดยที่เป็นปัจจัยทำให้ปกติ สิ่งนี้ต้องการประมาณพารามิเตอร์จากข้อมูล ถ้าเราทำเช่นนี้กับ -smoothing เราก็จะได้ค่าประมาณαα\alphaP(Xi=xi|Y=y)P(Xi=xi|Y=y)P(X_i=x_i|Y=y)kkk P^(Xi=xi|Y=y)=#{Xi=xi,Y=y}+k#{Y=y}+nikP^(Xi=xi|Y=y)=#{Xi=xi,Y=y}+k#{Y=y}+nik\hat{P}(X_i=x_i|Y=y) = \frac{\#\{X_i=x_i,Y=y\} + k}{\#\{Y=y\}+n_ik} ที่มีค่าเป็นไปได้สำหรับx_iฉันสบายดีกับสิ่งนี้ อย่างไรก็ตามก่อนหน้านี้เรามีninin_iXiXiX_i P^(Y=y)=#{Y=y}NP^(Y=y)=#{Y=y}N\hat{P}(Y=y) = \frac{\#\{Y=y\}}{N} โดยที่มีตัวอย่างในชุดข้อมูล ทำไมเราไม่ทำให้เรียบก่อนหน้านี้ด้วย? หรือค่อนข้างไม่เราเรียบก่อน? ถ้าเป็นเช่นนั้นเราเลือกพารามิเตอร์การปรับให้เรียบอะไร ดูเหมือนโง่เล็กน้อยที่จะเลือกเนื่องจากเราทำการคำนวณที่แตกต่างกัน มีฉันทามติหรือไม่? หรือมันไม่สำคัญมากเกินไป?NNNkkk

13 machine-learning  probability-theory  statistics 

พิจารณาลำดับของการโยนnnnเหรียญที่ไม่มีอคติ ให้HiHiH_iแทนค่าสัมบูรณ์ของส่วนเกินของจำนวนหัวเหนือก้อยที่เห็นในแรกiiiพลิก กำหนดH=maxiHiH=maxiHiH=\text{max}_i H_iฉัน แสดงว่าE[Hi]=Θ(i√)E[Hi]=Θ(i)E[H_i]=\Theta ( \sqrt{i} )และE[H]=Θ(n−−√)E[H]=Θ(n)E[H]=\Theta( \sqrt{n} ) ) ปัญหานี้ปรากฏในบทแรกของ `อัลกอริทึมแบบสุ่ม 'โดย Raghavan และ Motwani ดังนั้นอาจมีหลักฐานเบื้องต้นของข้อความข้างต้น ฉันไม่สามารถแก้ไขได้ดังนั้นฉันจะขอขอบคุณความช่วยเหลือใด ๆ

12 probability-theory  randomized-algorithms 

ที่ทำงานฉันได้รับมอบหมายให้อนุมานข้อมูลบางประเภทเกี่ยวกับภาษาแบบไดนามิก ฉันเขียนลำดับของข้อความไปยังletนิพจน์ที่ซ้อนกันเช่น: return x; Z =&gt; x var x; Z =&gt; let x = undefined in Z x = y; Z =&gt; let x = y in Z if x then T else F; Z =&gt; if x then { T; Z } else { F; Z } เนื่องจากฉันเริ่มต้นจากข้อมูลประเภททั่วไปและพยายามอนุมานประเภทที่เฉพาะเจาะจงมากขึ้นตัวเลือกที่เป็นธรรมชาติคือประเภทการปรับแต่ง ตัวอย่างเช่นตัวดำเนินการตามเงื่อนไขส่งคืนการรวมของประเภทของสาขาที่เป็นจริงและเท็จ …

11 programming-languages  logic  type-theory  type-inference  machine-learning  data-mining  clustering  order-theory  reference-request  information-theory  entropy  algorithms  algorithm-analysis  space-complexity  lower-bounds  formal-languages  computability  formal-grammars  context-free  parsing  complexity-theory  time-complexity  terminology  turing-machines  nondeterminism  programming-languages  semantics  operational-semantics  complexity-theory  time-complexity  complexity-theory  reference-request  turing-machines  machine-models  simulation  graphs  probability-theory  data-structures  terminology  distributed-systems  hash-tables  history  terminology  programming-languages  meta-programming  terminology  formal-grammars  compilers  algorithms  search-algorithms  formal-languages  regular-languages  complexity-theory  satisfiability  sat-solvers  factoring  algorithms  randomized-algorithms  streaming-algorithm  in-place  algorithms  numerical-analysis  regular-languages  automata  finite-automata  regular-expressions  algorithms  data-structures  efficiency  coding-theory  algorithms  graph-theory  reference-request  education  books  formal-languages  context-free  proof-techniques  algorithms  graph-theory  greedy-algorithms  matroids  complexity-theory  graph-theory  np-complete  intuition  complexity-theory  np-complete  traveling-salesman  algorithms  graphs  probabilistic-algorithms  weighted-graphs  data-structures  time-complexity  priority-queues  computability  turing-machines  automata  pushdown-automata  algorithms  graphs  binary-trees  algorithms  algorithm-analysis  spanning-trees  terminology  asymptotics  landau-notation  algorithms  graph-theory  network-flow  terminology  computability  undecidability  rice-theorem  algorithms  data-structures  computational-geometry