เครื่องกำเนิดไฟฟ้าจำนวนเทียมหลอกแบบขนาน

คำถามนี้เกี่ยวข้องกับปัญหาวิศวกรรมซอฟต์แวร์ในทางปฏิบัติเป็นหลัก แต่ฉันอยากรู้ว่านักทฤษฎีสามารถให้ข้อมูลเชิงลึกกับมันได้หรือไม่

พูดง่ายๆก็คือฉันมีการจำลอง Monte Carlo ที่ใช้เครื่องกำเนิดตัวเลขเทียมและฉันต้องการที่จะขนานมันเพื่อให้มีคอมพิวเตอร์ 1,000 เครื่องที่ใช้การจำลองแบบเดียวกันในแบบคู่ขนาน ดังนั้นฉันจึงต้องการสตรีมหมายเลขสุ่มเทียม 1,000 สตรีม

เราสามารถมีสตรีมขนาน 1,000 รายการด้วยคุณสมบัติต่อไปนี้ได้หรือไม่? ที่นี่ควรเป็น PRNG ที่เป็นที่รู้จักและศึกษาอย่างกว้างขวางพร้อมกับคุณสมบัติเชิงทฤษฎีและเชิงประจักษ์ทุกชนิด$X$

1. ลำธารนั้นดีพอ ๆ กับสิ่งที่ฉันจะได้รับถ้าฉันใช้และแยกกระแสที่สร้างโดยเป็น 1000 สตรีม$X$$X$

2. สร้างหมายเลขถัดไปในกระแสใด ๆ ที่เป็น (เกือบ) เป็นอย่างรวดเร็วสร้างหมายเลขถัดไปกับX$X$

ใส่อย่างอื่น: เราสามารถรับสตรีมอิสระหลายรายการ "ฟรี" ได้หรือไม่

แน่นอนว่าถ้าเราใช้เพียงทิ้งหมายเลข 999 และหยิบ 1 เสมอเราก็จะได้ทรัพย์สิน 1 แต่เราจะเสียเวลาในการดำเนินการตามตัวคูณ 1000$X$

ความคิดง่ายๆคือใช้สำเนา 1,000 ชุดโดยมีเมล็ด 1, 2, ... , 1,000 นี่จะเป็นไปอย่างรวดเร็ว แต่ก็ไม่ชัดเจนว่าลำธารมีคุณสมบัติทางสถิติที่ดีหรือไม่$X$

หลังจาก Googling ฉันพบตัวอย่างต่อไปนี้:

• SPRNGห้องสมุดดูเหมือนว่าจะได้รับการออกแบบสำหรับตรงจุดประสงค์นี้และสนับสนุนPRNGs หลาย

• Twers Mersenneดูเหมือนว่าจะเป็น PRNG ยอดนิยมในทุกวันนี้และฉันพบว่ามีการอ้างอิงถึงตัวแปรที่สามารถสร้างกระแสข้อมูลจำนวนมากในแบบคู่ขนาน

แต่ทั้งหมดนี้ยังห่างไกลจากพื้นที่การวิจัยของฉันเองฉันไม่สามารถเข้าใจได้ว่าอะไรคือสิ่งที่ล้ำสมัยและสิ่งก่อสร้างที่ใช้งานได้ดีไม่เพียง แต่ในทางทฤษฎีเท่านั้น แต่ยังใช้ในทางปฏิบัติด้วย

คำอธิบายบางอย่าง: ฉันไม่ต้องการคุณสมบัติการเข้ารหัสใด ๆ นี่คือการคำนวณทางวิทยาศาสตร์ ฉันจะต้องมีพันล้านของตัวเลขสุ่มเพื่อให้เราสามารถลืมกำเนิดใด ๆ กับระยะเวลาของ$< 2^{32}$ 32

แก้ไข:ฉันไม่สามารถใช้ RNG จริงได้ ฉันต้องการ PRNG ที่กำหนดขึ้นเอง ประการแรกมันช่วยได้มากในการแก้ไขข้อบกพร่องและทำให้ทุกอย่างสามารถทำซ้ำได้ ประการที่สองมันช่วยให้ฉันทำเช่นการหาค่ามัธยฐานได้อย่างมีประสิทธิภาพมากโดยการใช้ประโยชน์จากความจริงที่ว่าฉันสามารถใช้รูปแบบหลายผ่าน (ดูคำถามนี้ )

แก้ไข 2: : มีคำถามที่เกี่ยวข้องอย่างใกล้ชิด @ StackOverflow เป็นเครื่องกำเนิดไฟฟ้าจำนวนสุ่มหลอกสำหรับสภาพแวดล้อมแบบคลัสเตอร์

คุณสามารถใช้วิวัฒนาการของอัลกอริทึม Mersenne Twister ที่พัฒนาโดย Saito และ Matsumoto:

Fast Mersenne Twister (SFMT) ที่มุ่งเน้น SIMD

SFMT เป็นเครื่องกำเนิดไฟฟ้า Linear Feedbacked Shift Register (LFSR) ที่สร้างจำนวนเต็มหลอกเทียม 128 บิตในขั้นตอนเดียว SFMT ได้รับการออกแบบพร้อมซีพียูที่ทันสมัยล่าสุดเช่นขั้นตอนการวางท่อแบบหลายขั้นตอนและคำแนะนำ SIMD (เช่นจำนวนเต็ม 128 บิต) รองรับจำนวนเต็ม 32- บิตและ 64- บิตเช่นเดียวกับจุดลอยตัวความแม่นยำสองเท่าเป็นเอาท์พุท SFMT เร็วกว่า MT มากในแพลตฟอร์มส่วนใหญ่ ไม่เพียง แต่ความเร็วเท่านั้น แต่ยังเพิ่มขนาดของการแบ่งเท่ากันที่ความแม่นยำ v-bit ด้วย นอกจากนี้การกู้คืนจากสถานะเริ่มต้น 0 ส่วนเกินจะเร็วกว่ามาก ดูวิทยานิพนธ์ปริญญาโทของ Mutsuo Saito เพื่อดูรายละเอียด

ระยะเวลาที่แตกต่างกันจากที่จะ2 216091 - 1$2^{607}-1$$2^{216091}-1$

การใช้ตัวสร้างตัวเลขแบบสุ่มเดียวเพื่อสร้างกระแสข้อมูลอิสระจำนวนมากโดยการเปลี่ยนค่าเริ่มต้นอาจทำให้เกิดปัญหา เพื่อหลีกเลี่ยงปัญหาที่ต้องการใช้พารามิเตอร์ที่แตกต่างกันสำหรับแต่ละรุ่น เทคนิคนี้เรียกว่าการสร้างแบบไดนามิกของพารามิเตอร์ MT

ในซอร์สโค้ด SFMT คุณสามารถค้นหาตัวอย่างของชุดพารามิเตอร์ (ของช่วงเวลาตัวแปร) และสคริปต์ awk เพื่อแปลงไฟล์ CSV เป็นชุดพารามิเตอร์ที่คอมไพล์ได้ นอกจากนี้ยังมีเครื่องมือที่เรียกว่า " Dynamic Creation of Mersenne Twister generators "

เมื่อเร็ว ๆ นี้ผู้เขียนได้พัฒนา Mersenne Twister รุ่นที่แก้ไขเพิ่มเติม - Mersenne Twister สำหรับโปรเซสเซอร์กราฟิก - ออกแบบมาเพื่อทำงานใน GPU และใช้ประโยชน์จากเธรดการประมวลผลแบบขนานดั้งเดิม คุณสมบัติหลักคือความเร็ว: จำนวนเต็มแบบสุ่มทุกๆ 4.6ms บน GeForce GTX 260$5 \times 10^7$

ช่วงเวลาของลำดับที่สร้างคือ , 2 23209 - 1และ2 44497 - 1สำหรับรุ่น 32 บิตและ2 23209 - 1 , 2 44497 - 1 , 2 110503 - 1สำหรับรุ่น 64 บิต มันรองรับชุดพารามิเตอร์ 128 ตัวสำหรับแต่ละช่วงเวลาในคำอื่น ๆ ก็สามารถสร้างลำดับหมายเลขหลอกเทียม 128 ชุดสำหรับแต่ละช่วงเวลาได้ เราได้พัฒนา Dynamic Creator สำหรับ MTGP ซึ่งสร้างชุดพารามิเตอร์เพิ่มเติม$2^{11213}-1$$2^{23209}-1$$2^{44497}-1$$2^{23209}-1$$2^{44497}-1$$2^{110503}-1$

แน่นอนพวกเขามีเครื่องมือ MTGPDC ในการสร้างชุดพารามิเตอร์ได้สูงสุดชุด (เช่นสตรีมอิสระ)$2^{32}$

อัลกอริทึมผ่านการทดสอบแบบสุ่มหลักเช่นมิจฉาทิฐิและ NIST

กระดาษเบื้องต้นยังมีอยู่บน arXiv: ตัวแปรของ Mersenne Twister เหมาะสำหรับโปรเซสเซอร์กราฟิก

ดูเหมือนจะมีหลายวิธีในการแก้ไขปัญหานี้ แต่วิธีง่าย ๆ อย่างหนึ่งคือใช้Blum Blum Shub PRNG PRNG นี้ถูกกำหนดโดยความสัมพันธ์การเกิดซ้ำโดยที่Nคือ semiprime เพื่อให้ได้บิตแบบสุ่มคุณสามารถหาบิตพาริตี้ของx iได้ สิ่งที่ดีเกี่ยวกับเรื่องนี้คือตั้งแต่x ฉัน+ k = x 2 kฉัน  mod  N = x 2 k  mod  λ ( N )$x_{i+1} = x_i^2 \mbox{ mod }N$$N$$x_i$คุณสามารถคำนวณขั้นตอนใด ๆ ในค่าคงที่เวลาโดยตรงใน k (เช่น O ( บันทึก( N ) 3 )หรือเร็วกว่าขึ้นอยู่กับอัลกอริทึมการคูณที่คุณใช้สำหรับการยกกำลังแบบแยกส่วน) ดังนั้นคุณมีเครื่อง Mแล้วสำหรับเครื่องที่ทำดัชนีโดย yคุณสามารถใช้เครื่องกำเนิดไฟฟ้า x i + 1 , y = x 2 M mod  λ ( N )ฉัน  mod  Nโดยที่ x 0 , y = $x_{i+k} = x_i^{2^k}\mbox{ mod }N = x_i^{2^k \mbox{ mod } \lambda(N)}\mbox{mod }N$$k$$O(\log(N)^3)$$M$$y$$x_{i+1,y} = x_i^{2^M \mbox{mod }\lambda(N)}\mbox{ mod }N$โดยที่x0เป็นเมล็ดของคุณ สิ่งอำนวยความสะดวกนี้จะสร้างสตรีมตัวเลขที่แน่นอนเหมือนกับว่าคุณใช้สตรีมเดียวและกระจายมันจะส่งออกไปยังเครื่องแต่ละเครื่องตามลำดับ$x_{0,y} = x_0^{2^y \mbox{ mod }\lambda(N)}\mbox{ mod }N$$x_0$

อย่างไรก็ตามนี่ไม่ใช่วิธีที่เร็วที่สุดของ PRNG ดังนั้นมันจะมีประโยชน์ก็ต่อเมื่อค่าใช้จ่ายของสิ่งที่คุณกำลังทำในการจำลองนั้นสูงกว่าค่าใช้จ่ายของ PRNG อย่างมาก อย่างไรก็ตามมันมีค่าที่ชี้ให้เห็นว่ามันจะเร็วกว่ามากสำหรับการรวมกันของและNบางอย่างโดยเฉพาะอย่างยิ่งถ้าการแสดงไบนารีของ2 M  mod  λ ( N )มี 1s ไม่กี่หรือมีขนาดเล็ก$M$$N$$2^M \mbox{ mod }\lambda(N)$

ขั้นตอนก่อนการประมวลผลเป็นอย่างไร ได้รับเมล็ดสุ่ม (ขนาดn ) เรียกXที่จะได้รับกระแส pseudorandom ขนาด1000 n แสดงว่ากระแสนี้โดยs 1 , s 2 , ... , s 1000ที่สำหรับ1 ≤ ฉัน≤ 1000 , s ผมเป็นส่วนที่ต่อเนื่องกันของสตรีมของขนาดn$s$$n$$X$$1000n$$s_1,s_2,\ldots,s_{1000}$$1\le i \le 1000$$s_i$$n$

ขั้นตอนการประมวลผลล่วงหน้านี้สามารถทำได้ด้วยค่าใช้จ่ายที่ต่ำมากเนื่องจากความจริงที่ว่าเป็น PRNG ที่มีประสิทธิภาพ (วันนี้เรามี PRNG ที่รวดเร็วมาก)$X$

ตอนนี้ให้เป็นเมล็ดแก่เครื่องi th ซึ่งใช้Xเพื่อสร้างกระแสหลอกเทียมของตัวเอง$s_i$$i$$X$

ที่กำหนดคุณสมบัติที่ดีของเว้นแต่sเป็นที่รู้จักกันสำหรับการใด ๆ1 ≤ ฉัน< J ≤ 1,000เมล็ดs ฉันและs เจมีความเป็นอิสระคอมพิวเตอร์ ยิ่งไปกว่านั้นคุณเพียงแค่ต้องสร้างและบันทึกเพียงหนึ่งเมล็ดเล็ก ๆ (เช่นs ); ดังนั้นวิธีการนี้ไม่จำเป็นต้องมีการสุ่มหรือการจัดเก็บข้อมูลอย่างแท้จริง$X$$s$$1 \le i < j \le 1000$$s_i$$s_j$$s$

คุณสามารถใช้ฟังก์ชัน pseudorandom เช่นAESหรือChaChaด้วยปุ่มสุ่มเดียวเข้ารหัสตัวนับ กำหนดแต่ละกระบวนการM = 1000แบบขนานให้ค่าเริ่มต้นที่ไม่ซ้ำกันใน{ 0 , 1 , … , M - 1 } , จากนั้นคำนวณการสุ่มบล็อกที่jของบิตสำหรับโพรเซสiเป็นf ( i + j M )เช่นการเพิ่มขึ้น ตัวนับในแต่ละกระบวนการโดยMสำหรับทุก ๆ บล็อกที่ตามมาของบิตสุ่ม$f$$M = 1000$$\{ 0, 1, \ldots, M - 1 \}$$j$$i$$f(i + jM)$$M$

สิ่งนี้จะให้ RNG เข้ารหัสลับให้คุณในทุกขั้นตอน แต่ไม่จำเป็นต้องมาพร้อมกับประสิทธิภาพค่าใช้จ่าย AES นั้นรวดเร็วหากคุณมีฮาร์ดแวร์ที่รองรับและ ChaCha นั้นรวดเร็วโดยไม่คำนึงถึง แน่นอนคุณจะต้องวัดสิ่งนี้ในการตั้งค่าเฉพาะของคุณเพื่อให้แน่ใจ

ทั้งคุณสมบัติที่ต้องการ 1 และ 2 มีความพึงพอใจโดยตรงจากสิ่งนี้ นอกจากนี้ยังสะดวกกว่าที่พฤติกรรมของระบบทั้งหมดของงานแบบขนานจะถูกควบคุมโดย "เมล็ด" เดียว (ปุ่มสำหรับ )$f$

ขณะนี้มีฟังก์ชั่นการกระโดดสำหรับSFMT (การใช้งาน Mersenne Twister ที่รวดเร็ว)

สิ่งนี้ทำให้ฉันสามารถเริ่มต้น 1,000 MTs เพื่อให้ไม่มีการทับซ้อนกันของรอบ และ SFMT ควรเร็วกว่า MTGP เกือบจะสมบูรณ์แบบสำหรับจุดประสงค์ของฉัน

คุณสามารถใช้ Mersenne Twister 1,000 อินสแตนซ์ที่เริ่มต้นด้วยเมล็ดที่แตกต่างกัน

คุณสามารถลองตัวอย่างเมล็ดพันธุ์จาก Mersenne Twister อื่นหรือเพื่อสร้างความเป็นอิสระของพวกเขาจากตัวสร้างหมายเลขเข้ารหัสลับระบบปฏิบัติการ OS (/ dev / urandom ใน Linux)

Mersenne Twister ทำงานตามลำดับวงรอบเสมอเสมอเมล็ดควบคุมที่คุณเริ่มสร้างมัน ด้วยเมล็ดที่สุ่มตัวอย่างแยกกันแต่ละเครื่องกำเนิดไฟฟ้าจะเริ่มที่แตกต่างกันซึ่งโดยทั่วไปแล้วจะเป็นจุดที่ไกลมากโดยมีความน่าจะเป็นในการตัดกันน้อยมาก