ตัวเลขสุ่มชุดปลอม: กระจายอย่างเท่าเทียมกันมากกว่าข้อมูลชุดที่แท้จริง

ฉันกำลังมองหาวิธีการสร้างตัวเลขสุ่มที่ปรากฏจะได้รับเครื่องแบบกระจาย - และทุกการทดสอบจะแสดงให้พวกเขาเป็นเครื่องแบบ - ยกเว้นว่าพวกเขาจะกระจายกว่าข้อมูลเครื่องแบบจริงอย่างสม่ำเสมอมากขึ้น

ปัญหาที่ฉันมีกับเครื่องแบบ "จริง" คือพวกเขาจะจัดกลุ่มเป็นครั้งคราว เอฟเฟกต์นี้แข็งแกร่งกว่าขนาดตัวอย่างที่ต่ำ Roughly พูดว่า: เมื่อฉันวาด randoms Uniform สองตัวใน U [0; 1] โอกาสอยู่ที่ประมาณ 10% ซึ่งอยู่ในช่วง 0.1 และ 1% ที่อยู่ภายใน 0.01

ดังนั้นฉันกำลังมองหาวิธีที่ดีในการสร้างตัวเลขสุ่มที่มีการกระจายกว่า randoms

ใช้ตัวอย่างกรณี: บอกว่าฉันทำเกมคอมพิวเตอร์และฉันต้องการวางสมบัติแบบสุ่มบนแผนที่ (ไม่สนใจสิ่งอื่นใด) ฉันไม่ต้องการให้สมบัติอยู่ในที่เดียวมันควรอยู่ทั่วแผนที่ ถ้าผมใส่พูดว่าแรนดอมเครื่องแบบ 10 ชิ้นโอกาสที่จะไม่ต่ำมากที่มี 5 หรือใกล้เคียงกันมาก นี่อาจทำให้ผู้เล่นคนหนึ่งได้เปรียบกว่าผู้เล่นคนอื่น นึกถึงเรือกวาดทุ่นระเบิดโอกาส (แม้ว่าจะต่ำถ้ามีเหมืองมากพอ) คุณคิดว่าคุณโชคดีมากและชนะด้วยการคลิกเพียงครั้งเดียว

แนวทางที่ไร้เดียงสามากสำหรับปัญหาของฉันคือการแบ่งข้อมูลออกเป็นกริด ตราบใดที่จำนวนมีขนาดใหญ่พอ (และมีปัจจัย) ก็สามารถบังคับใช้ความสม่ำเสมอเป็นพิเศษได้ด้วยวิธีนี้ ดังนั้นแทนที่จะวาด 12 ตัวแปรสุ่มจาก U [0; 1], ฉันสามารถวาด 6 จาก U [0; .5] และ 6 จาก U [0.5; 1], หรือ 4 จาก U [0; 1/3] + 4 จาก U [1/3; 2/3] + 4 จาก U [2/3; 1]

มีวิธีใดที่ดีกว่าในการเพิ่มความสมดุลให้กับชุดเครื่องแบบนี้หรือไม่? อาจใช้ได้กับแบทช์แรนด์เท่านั้น (เมื่อวาดแบบสุ่มเดี่ยวฉันต้องพิจารณาช่วงทั้งหมด) โดยเฉพาะอย่างยิ่งฉันสามารถสลับการบันทึกอีกครั้งหลังจากนั้น (ไม่ใช่สี่ครั้งแรกจากสามครั้งแรก)

วิธีการเกี่ยวกับการทำมันทีละน้อย? ดังนั้นสิ่งแรกคือใน U [0; 1], สองจากแต่ละครึ่งหนึ่งจากแต่ละสามหนึ่งจากแต่ละสี่? สิ่งนี้ได้รับการตรวจสอบแล้วและมันดีแค่ไหน? ฉันอาจต้องระมัดระวังในการใช้เครื่องกำเนิดไฟฟ้าที่แตกต่างกันสำหรับ x และ y เพื่อไม่ให้มีความสัมพันธ์ (xy แรกมักจะอยู่ในครึ่งล่างเสมอที่สองในครึ่งซ้ายและล่างที่สามที่สามในศูนย์ที่สามและที่สามบน .. ดังนั้นอย่างน้อยก็จำเป็นต้องมีการสับเปลี่ยน bin แบบสุ่มอีกด้วยและในระยะยาวฉันก็เดาด้วยซ้ำ

ในฐานะที่เป็นโหนดด้านข้างมีการทดสอบที่รู้จักกันดีว่าการแจกแจงบางอย่างมีการกระจายอย่างสม่ำเสมอเกินไปที่จะเหมือนกันอย่างแท้จริงหรือไม่? ดังนั้นการทดสอบ "ชุดเหมือนจริง" กับ "บางคนยุ่งกับข้อมูลและกระจายรายการอย่างเท่าเทียมกัน" ถ้าฉันจำได้อย่างถูกต้องสถิติของฮอปกินส์สามารถวัดได้ แต่มันสามารถใช้สำหรับการทดสอบได้หรือไม่ นอกจากนี้ยังมีการทดสอบ KS แบบผกผัน: หากค่าเบี่ยงเบนที่ใหญ่ที่สุดต่ำกว่าเกณฑ์ที่คาดไว้ข้อมูลจะกระจายอย่างสม่ำเสมอหรือไม่

ใช่มีหลายวิธีในการสร้างลำดับของตัวเลขที่กระจายอย่างสม่ำเสมอมากกว่าเครื่องแบบแบบสุ่ม ในความเป็นจริงมีทั้งสนามทุ่มเทให้กับคำถามนี้ มันเป็นกระดูกสันหลังของquasi-Monte Carlo (QMC) ด้านล่างนี้เป็นการทัวร์สั้น ๆ เกี่ยวกับข้อมูลเบื้องต้นแบบสัมบูรณ์

การวัดความสม่ำเสมอ

มีหลายวิธีในการทำเช่นนี้ แต่วิธีที่พบบ่อยที่สุดมีรสชาติที่แข็งแกร่งและใช้งานง่ายเรขาคณิต สมมติว่าเรามีความกังวลกับการสร้างจุดx 1 , x 2 , ... , x nใน[ 0 , 1 ] dสำหรับบางจำนวนเต็มบวกd กำหนด ที่คือสี่เหลี่ยมในเช่นนั้น$n$$x_1,x_2,\ldots,x_n$$[0,1]^d$$d$

$$\newcommand{\I}{\mathbf 1} D_n := \sup_{R \in \mathcal R}\,\left|\frac{1}{n}\sum_{i=1}^n \I_{(x_i \in R)} - \mathrm{vol}(R)\right| \>,$$ $R$$[a_1, b_1] \times \cdots \times [a_d, b_d]$$[0,1]^d$$0 \leq a_i \leq b_i \leq 1$และคือชุดของรูปสี่เหลี่ยมผืนผ้าทั้งหมด ในระยะแรกภายในโมดูลัสคือ "ข้อสังเกต" สัดส่วนของจุดภายในและระยะที่สองคือระดับเสียงของ ,Ä_i)$\mathcal R$$R$$R$$\mathrm{vol}(R) = \prod_i (b_i - a_i)$

ปริมาณมักจะเรียกว่าแตกต่างหรือความแตกต่างมากของชุดของจุด(x_i)โดยสังหรณ์ใจเราพบว่าสี่เหลี่ยม "เลวร้ายที่สุด"ซึ่งสัดส่วนของจุดเบี่ยงเบนมากที่สุดจากสิ่งที่เราคาดหวังภายใต้ความสม่ำเสมอที่สมบูรณ์แบบ$D_n$$(x_i)$$R$

นี่เป็นเรื่องยากในทางปฏิบัติและยากต่อการคำนวณ ส่วนใหญ่คนชอบที่จะทำงานร่วมกับความแตกต่างดาว , ข้อแตกต่างเพียงอย่างเดียวคือเซตซึ่งใช้ supremum มันเป็นชุดของการยึดสี่เหลี่ยม (ที่จุดกำเนิด) คือที่0

$$D_n^\star = \sup_{R \in \mathcal A} \,\left|\frac{1}{n}\sum_{i=1}^n \I_{(x_i \in R)} - \mathrm{vol}(R)\right| \>.$$ $\mathcal A$$a_1 = a_2 = \cdots = a_d = 0$

แทรก :สำหรับทุก , dพิสูจน์ มือซ้ายผูกไว้เป็นที่ชัดเจนตั้งแต่R ทางด้านขวามือ - มัดดังนี้เพราะทุกสามารถประกอบผ่านทางสหภาพแรงงานทางแยกและเติมเต็มไม่เกินสี่เหลี่ยมยึด (กล่าวคือใน )$D_n^\star \leq D_n \leq 2^d D_n^\star$$n$$d$
$\mathcal A \subset \mathcal R$$R \in \mathcal R$$2^d$$\mathcal A$

ดังนั้นเราจะเห็นว่าและเทียบเท่ากันในแง่ที่ว่าถ้ามีขนาดเล็กพอ ๆ กับที่เติบโตขึ้น นี่คือภาพ (การ์ตูน) ที่แสดงรูปสี่เหลี่ยมของผู้สมัครสำหรับแต่ละความคลาดเคลื่อน$D_n$$D_n^\star$$n$

ตัวอย่างของลำดับ "ดี"

ลำดับดาวคลาดเคลื่อนต่ำ verifiablyมักจะเรียกว่าแปลกใจลำดับความคลาดเคลื่อนต่ำ$D_n^\star$

ฟานเดอร์ Corput นี่อาจเป็นตัวอย่างที่ง่ายที่สุด สำหรับลำดับ van der Corput จะเกิดขึ้นโดยการขยายจำนวนเต็มในเลขฐานสองและจากนั้น "สะท้อนตัวเลข" รอบจุดทศนิยม อีกอย่างเป็นทางการนี้จะทำกับผกผันรุนแรงฟังก์ชั่นในฐาน , ที่และเป็นตัวเลขในฐานการขยายตัวของฉันฟังก์ชั่นนี้เป็นพื้นฐานสำหรับลำดับอื่น ๆ อีกมากมายเช่นกัน ตัวอย่างเช่นในไบนารีคือและอื่น ๆ$d=1$$i$$b$

$$\newcommand{\rinv}{\phi} \rinv_b(i) = \sum_{k=0}^\infty a_k b^{-k-1} \>,$$ $i = \sum_{k=0}^\infty a_k b^k$$a_k$$b$$i$$41$$101001$$a_0 = 1$ , , , ,และ1 ดังนั้นจุดที่ 41 ในแวนเดอร์ลำดับ Corput เป็น37/64$a_1 = 0$$a_2 = 0$$a_3 = 1$$a_4 = 0$$a_5 = 1$$x_{41} = \rinv_2(41) = 0.100101\,\text{(base 2)} = 37/64$

โปรดทราบว่าเนื่องจากบิตอย่างมีนัยสำคัญน้อยที่สุดของ oscillates ระหว่างและจุดสำหรับแปลกอยู่ในในขณะที่จุดสำหรับแม้แต่อยู่ใน2)$i$$0$$1$$x_i$$i$$[1/2,1)$$x_i$$i$$(0,1/2)$

ลำดับ Halton ในบรรดาที่นิยมมากที่สุดของลำดับคลาสสิกที่มีความคลาดเคลื่อนต่ำเหล่านี้คือส่วนขยายของลำดับ van der Corput เป็นหลายมิติ ให้เป็นนายกที่เล็กที่สุดของจากนั้นจุดที่ของลำดับ -dimensional Halton คือ ต่ำเหล่านี้ทำงานได้ค่อนข้างดี แต่มีปัญหาในมิติที่สูงขึ้น$p_j$$j$$i$$x_i$$d$

$$x_i = (\rinv_{p_1}(i), \rinv_{p_2}(i),\ldots,\rinv_{p_d}(i)) \>.$$ $d$

Halton ลำดับความพึงพอใจง) พวกเขายังมีความสุขเพราะพวกเขาจะขยายในว่าการก่อสร้างของจุดที่ไม่ได้ขึ้นอยู่ในเบื้องต้นทางเลือกของความยาวของลำดับn$D_n^\star = O(n^{-1} (\log n)^d)$$n$

ลำดับ Hammersley นี่เป็นการแก้ไขลำดับของ Halton ที่ง่ายมาก เราใช้ อาจจะแปลกใจข้อดีคือว่าพวกเขามีความแตกต่างที่ดีกว่าดาว{d-1})

$$x_i = (i/n, \rinv_{p_1}(i), \rinv_{p_2}(i),\ldots,\rinv_{p_{d-1}}(i)) \>.$$ $D_n^\star = O(n^{-1}(\log n)^{d-1})$

นี่คือตัวอย่างของลำดับ Halton และ Hammersley ในสองมิติ

Faure-permuted ลำดับ พีชคณิตชุดพิเศษ (คงที่ในฐานะฟังก์ชันของ ) สามารถนำไปใช้กับการขยายตัวหลักสำหรับแต่ละเมื่อสร้างลำดับ Halton สิ่งนี้จะช่วยแก้ไข (ในระดับหนึ่ง) ปัญหาที่กล่าวถึงในมิติที่สูงขึ้น แต่ละวิธีเรียงสับเปลี่ยนมีคุณสมบัติที่น่าสนใจในการรักษาและเป็นจุดคงที่$i$$a_k$$i$$0$$b-1$

กฎตาข่าย ให้เป็นจำนวนเต็ม รับ ที่หมายถึงส่วนที่เป็นเศษส่วนของYตัวเลือกที่ชาญฉลาดของค่าให้คุณสมบัติความสม่ำเสมอที่ดี ตัวเลือกที่ไม่ดีสามารถนำไปสู่ลำดับที่ไม่ดี พวกเขายังไม่สามารถขยายได้ นี่คือสองตัวอย่าง$\beta_1, \ldots, \beta_{d-1}$

$$x_i = (i/n, \{i \beta_1 / n\}, \ldots, \{i \beta_{d-1}/n\}) \>,$$ $\{y\}$$y$$\beta$

$(t,m,s)$มุ้ง อวนในฐานคือชุดของจุดที่ทุก ๆ รูปสี่เหลี่ยมผืนผ้าของปริมาตรในมีจุดอยู่ นี่คือรูปแบบที่แข็งแกร่งของความสม่ำเสมอ เล็กคือเพื่อนของคุณในกรณีนี้ ลำดับ Halton, Sobol 'และ Faure เป็นตัวอย่างของตาข่ายเหล่านี้ยืมตัวเองอย่างเพื่อสุ่มตัวอย่างผ่าน scrambling สุ่ม scrambling (ทำขวา) ของอัตราผลตอบแทนสุทธิอีกสุทธิ มิ้นท์โครงการช่วยให้คอลเลกชันของลำดับดังกล่าว$(t,m,s)$$b$$b^{t-m}$$[0,1]^s$$b^t$$t$$(t,m,s)$$(t,m,s)$$(t,m,s)$

การสุ่มแบบง่าย: ผลัด ให้เป็นลำดับของคะแนน Let(0,1) จากนั้นจุดมีการกระจายอย่างสม่ำเสมอใน d$x_i \in [0,1]^d$$U \sim \mathcal U(0,1)$$\hat x_i = \{x_i + U\}$$[0,1]^d$

นี่คือตัวอย่างที่มีจุดสีฟ้าเป็นจุดเดิมและจุดสีแดงเป็นจุดที่มีการหมุนซึ่งมีเส้นเชื่อมต่อกัน (และแสดงให้เห็นโดยรอบเมื่อเหมาะสม)

ลำดับสิ้นเชิงกระจายอย่างสม่ำเสมอ นี่คือความคิดที่แข็งแกร่งยิ่งขึ้นของความสม่ำเสมอที่บางครั้งเข้ามาเล่น Letเป็นลำดับของคะแนนในและตอนนี้ในรูปแบบบล็อกขนาดที่ทับซ้อนกันที่จะได้รับตามลำดับ(x_i)ดังนั้นถ้าเรารับดังนั้นฯลฯ ถ้าสำหรับทุก ,แล้วกล่าวจะสมบูรณ์กระจายอย่างสม่ำเสมอ กล่าวอีกนัยหนึ่งลำดับจะให้คะแนนของชุดใด ๆ$(u_i)$$[0,1]$$d$$(x_i)$$s = 3$$x_1 = (u_1,u_2,u_3)$$x_2 = (u_2,u_3,u_4)$ $s \geq 1$$D_n^\star(x_1,\ldots,x_n) \to 0$$(u_i)$ส่วนข้อมูลที่มีคุณสมบัติต้องการ$D_n^\star$

ตัวอย่างเช่นลำดับแวนเดอร์คอร์พุตไม่ได้กระจายอย่างสม่ำเสมอตั้งแต่ , จุดอยู่ในจตุและจุดอยู่ใน2) ดังนั้นมีจุดไม่มีในตารางซึ่งหมายความว่าสำหรับ ,สำหรับทุกn$s = 2$$x_{2i}$$(0,1/2) \times [1/2,1)$$x_{2i-1}$$[1/2,1) \times (0,1/2)$$(0,1/2) \times (0,1/2)$$s=2$$D_n^\star \geq 1/4$$n$

การอ้างอิงมาตรฐาน

เอกสารของNiederreiter (1992)และข้อความFang and Wang (1994)เป็นสถานที่ที่จะไปสำรวจเพิ่มเติม

วิธีหนึ่งในการทำเช่นนี้คือการสร้างตัวเลขสุ่มแบบสม่ำเสมอจากนั้นทดสอบ "ความใกล้ชิด" โดยใช้วิธีการใด ๆ ที่คุณต้องการแล้วลบรายการแบบสุ่มที่ใกล้เคียงกับผู้อื่นมากเกินไปและเลือกชุดเครื่องแบบสุ่มอีกชุดเพื่อชดเชย

การแจกจ่ายดังกล่าวจะผ่านการทดสอบที่สม่ำเสมอทุกครั้งหรือไม่ ฉันหวังว่าจะไม่! มันไม่ได้กระจายอย่างสม่ำเสมออีกต่อไปตอนนี้มันเป็นการกระจายตัวอื่น ๆ

ความน่าจะเป็นด้านหนึ่งที่ไม่เข้าใจง่ายคือโอกาสนั้นเป็นก้อน มีการสุ่มข้อมูลมากกว่าที่ผู้คนคิดว่าจะมี ฉันคิดว่า Tversky ได้ทำการวิจัยบางอย่างเกี่ยวกับเรื่องนี้ (เขาค้นคว้ามาก ๆ ว่ามันยากที่จะจำได้)

สิ่งนี้เรียกว่ากระบวนการจุดปัวซง "ฮาร์ดคอร์" ซึ่งตั้งชื่อโดย Brian Ripley ในปี 1970; นั่นคือคุณต้องการให้มันเป็นแบบสุ่ม แต่คุณไม่ต้องการให้คะแนนอยู่ใกล้กันเกินไป "ฮาร์ดคอร์" สามารถจินตนาการได้ว่าเป็นเขตกันชนรอบ ๆ ซึ่งจุดอื่นไม่สามารถก้าวก่าย

ลองนึกภาพคุณกำลังบันทึกตำแหน่งของรถยนต์บางคันในเมือง - แต่คุณจะบันทึกเฉพาะจุดที่กึ่งกลางของรถ ในขณะที่พวกเขาอยู่บนถนนไม่มีคู่สองจุดใดสามารถเข้ามาใกล้กันได้เพราะคะแนนนั้นได้รับการปกป้องโดย "ฮาร์ดคอร์" ของตัวถังรถ - เราจะไม่สนใจตำแหน่งที่มีศักยภาพสูงในที่จอดรถหลายชั้น :-)

มีขั้นตอนสำหรับการสร้างกระบวนการจุดดังกล่าว - วิธีหนึ่งคือการสร้างจุดอย่างสม่ำเสมอและจากนั้นลบสิ่งที่อยู่ใกล้กันเกินไป

สำหรับรายละเอียดบางอย่างเกี่ยวกับกระบวนการดังกล่าวให้อ้างอิงตัวอย่างนี้

สำหรับการสร้างแบตช์ล่วงหน้าฉันจะสร้างชุดตัวแปร pseudorandom จำนวนมากแล้วทดสอบกับชุดทดสอบเช่นการทดสอบ Kolmogorov-Smirnov คุณจะต้องเลือกชุดที่มีค่า p มากที่สุด (เช่นเหมาะที่สุด) โปรดทราบว่าสิ่งนี้จะช้า แต่เมื่อขึ้นมันอาจมีความจำเป็นน้อยลง $p \approx 1$$N$

ในแง่ของการสร้างที่เพิ่มขึ้นนั้นคุณกำลังมองหาซีรีส์ที่มีความสัมพันธ์เชิงลบในระดับปานกลาง ฉันไม่แน่ใจว่าวิธีที่ดีที่สุดในการทำเช่นนี้จะเป็นอย่างไรเนื่องจากฉันมีประสบการณ์ จำกัด กับอนุกรมเวลา แต่ฉันสงสัยว่ามีอัลกอริทึมที่มีอยู่สำหรับสิ่งนี้

สำหรับการทดสอบสำหรับ "เกินไป" การทดสอบใด ๆ ว่าตัวอย่างตามการแจกแจงที่เฉพาะเจาะจง (เช่น KS ที่ระบุไว้ด้านบน) จะทำอย่างไรคุณเพียงแค่ต้องการตรวจสอบว่ามากกว่า วิธีการมาตรฐาน ผมเขียนเกี่ยวกับตัวอย่างของวิธีทางเลือกนี้ที่นี่: ไคสแควร์เสมอทดสอบด้านเดียว $p > (1-\alpha)$

ฉันจะทำให้ปัญหาของคุณเป็นทางการด้วยวิธีนี้: คุณต้องการกระจายไปทั่วซึ่งความหนาแน่นคือสำหรับบางตัวชี้วัดความน่าเชื่อถือของคะแนน$[0,1]^n$$f(x) \propto e^{\left(\frac1k\sum_{ij}\lvert x_i-x_j \rvert^{k}\right)^{\frac1k}}$$k<0$

วิธีง่ายๆในการสร้างเวกเตอร์ดังกล่าวคือทำการสุ่มตัวอย่างจากกิ๊บส์