ทำไม rand () ทำซ้ำตัวเลขบ่อยกว่าบน Linux มากกว่า Mac?

ฉันใช้ hashmap ใน C เป็นส่วนหนึ่งของโครงการที่ฉันกำลังทำงานและใช้การแทรกแบบสุ่มเพื่อทดสอบเมื่อฉันสังเกตเห็นว่าrand()บน Linux ดูเหมือนว่าจะซ้ำตัวเลขบ่อยกว่าบน Mac RAND_MAXคือ 2147483647 / 0x7FFFFFFF บนทั้งสองแพลตฟอร์ม ฉันได้ลดขนาดลงในโปรแกรมทดสอบนี้ที่ทำให้อาร์เรย์แบบRAND_MAX+1ยาว - ยาวสร้างRAND_MAXตัวเลขแบบสุ่มบันทึกว่าแต่ละรายการซ้ำกันหรือไม่และตรวจสอบออกจากรายการตามที่เห็น

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <time.h>

int main() {
    size_t size = ((size_t)RAND_MAX) + 1;
    char *randoms = calloc(size, sizeof(char));
    int dups = 0;
    srand(time(0));
    for (int i = 0; i < RAND_MAX; i++) {
        int r = rand();
        if (randoms[r]) {
            // printf("duplicate at %d\n", r);
            dups++;
        }
        randoms[r] = 1;
    }
    printf("duplicates: %d\n", dups);
}

Linux สร้างข้อมูลซ้ำประมาณ 790 ล้านรายการอย่างสม่ำเสมอ Mac อย่างต่อเนื่องเพียงสร้างหนึ่งจึง loops ผ่านจำนวนสุ่มทุกที่จะสามารถสร้างเกือบได้โดยไม่ต้องทำซ้ำ ใครช่วยอธิบายให้ฉันฟังได้ว่ามันใช้งานได้อย่างไร? ฉันไม่สามารถบอกอะไรที่แตกต่างจากหน้าคนไม่สามารถบอกได้ว่า RNG ใดที่ใช้กันและไม่พบสิ่งใดทางออนไลน์ ขอบคุณ!

ในขณะที่ตอนแรกมันอาจฟังดูเหมือน macOS rand()จะดีกว่าที่จะไม่ทำซ้ำตัวเลขใด ๆ แต่อย่างใดควรทราบว่าด้วยจำนวนตัวเลขที่สร้างขึ้นนี้คาดว่าจะเห็นข้อมูลซ้ำซ้อนมากมาย (อันที่จริงประมาณ 790 ล้านหรือ (2 ³¹ -1 ) / e ) ในทำนองเดียวกันการวนซ้ำตามลำดับจะไม่ทำให้เกิดการซ้ำซ้อน แต่จะไม่ถือว่าสุ่มมากนัก ดังนั้นการrand()ใช้งานลีนุกซ์จึงอยู่ในการทดสอบนี้ซึ่งแยกไม่ออกจากแหล่งสุ่มที่แท้จริงในขณะที่ macOS rand()ไม่ใช่

อีกสิ่งหนึ่งที่น่าประหลาดใจในแวบแรกคือวิธีที่ MacOS rand()สามารถจัดการเพื่อหลีกเลี่ยงการซ้ำซ้อนได้ดี เมื่อมองไปที่ซอร์สโค้ดเราพบว่าการติดตั้งมีดังนี้:

/*
 * Compute x = (7^5 * x) mod (2^31 - 1)
 * without overflowing 31 bits:
 *      (2^31 - 1) = 127773 * (7^5) + 2836
 * From "Random number generators: good ones are hard to find",
 * Park and Miller, Communications of the ACM, vol. 31, no. 10,
 * October 1988, p. 1195.
 */
    long hi, lo, x;

    /* Can't be initialized with 0, so use another value. */
    if (*ctx == 0)
        *ctx = 123459876;
    hi = *ctx / 127773;
    lo = *ctx % 127773;
    x = 16807 * lo - 2836 * hi;
    if (x < 0)
        x += 0x7fffffff;
    return ((*ctx = x) % ((unsigned long) RAND_MAX + 1));

สิ่งนี้จะส่งผลให้ตัวเลขทั้งหมดมีค่าระหว่าง 1 ถึงRAND_MAX, รวมทุกครั้งก่อนที่ลำดับจะซ้ำอีกครั้ง เนื่องจากสถานะถัดไปขึ้นอยู่กับการคูณรัฐจึงไม่มีทางเป็นศูนย์ (หรือสถานะในอนาคตทั้งหมดจะเป็นศูนย์ด้วย) ดังนั้นตัวเลขซ้ำที่คุณเห็นคือตัวเลขแรกและศูนย์คือตัวเลขที่ไม่เคยส่งคืน

Apple ได้ส่งเสริมการใช้ตัวสร้างหมายเลขสุ่มที่ดีขึ้นในเอกสารและตัวอย่างอย่างน้อยตราบใดที่ macOS (หรือ OS X) มีอยู่ดังนั้นคุณภาพของrand()อาจไม่ถือว่ามีความสำคัญและพวกเขาติดอยู่กับหนึ่งใน เครื่องกำเนิดไฟฟ้าหลอกง่ายที่สุดที่มีอยู่ (ตามที่คุณบันทึกไว้พวกเขาrand()จะได้รับความคิดเห็นพร้อมกับข้อเสนอแนะเพื่อใช้arc4random()แทน)

ในบันทึกที่เกี่ยวข้องตัวสร้างหมายเลขปลอมที่ง่ายที่สุดที่ฉันสามารถหาได้ที่ให้ผลลัพธ์ที่ดีในการทดสอบแบบสุ่ม (และอื่น ๆ อีกมากมาย) สำหรับการสุ่มคือxorshift * :

uint64_t x = *ctx;
x ^= x >> 12;
x ^= x << 25;
x ^= x >> 27;
*ctx = x;
return (x * 0x2545F4914F6CDD1DUL) >> 33;

การใช้งานนี้ส่งผลให้เกิดซ้ำซ้อนกันเกือบ 790 ล้านในการทดสอบของคุณ

MacOS จัดเตรียมฟังก์ชัน rand () ที่ไม่มีเอกสารใน stdlib หากคุณไม่ได้ใส่มันไว้ค่าแรกที่ส่งออกคือ 16807, 282475249, 1622650073, 984943658 และ 1144108930 การค้นหาอย่างรวดเร็วจะแสดงให้เห็นว่าลำดับนี้สอดคล้องกับตัวสร้างตัวเลขสุ่ม LCG พื้นฐานมากที่ทำซ้ำสูตรต่อไปนี้:

x _{n +1} = 7 ⁵ · x _n (mod 2 ³¹ - 1)

เนื่องจากสถานะของ RNG นี้ถูกอธิบายโดยสิ้นเชิงด้วยค่าของจำนวนเต็ม 32 บิตเดียวระยะเวลาจึงไม่นานนัก เพื่อความแม่นยำมันจะทำซ้ำทุก 2 ³¹ - 2 ซ้ำการส่งออกทุกค่าจาก 1 ถึง 2 ³¹ - 2

ฉันไม่คิดว่าจะมีการติดตั้งมาตรฐานของ rand () สำหรับ Linux ทุกรุ่น แต่มีฟังก์ชั่น glibc rand ()ที่ใช้บ่อย แทนที่จะเป็นตัวแปรสถานะ 32 บิตเดียวสิ่งนี้ใช้พูลมากกว่า 1,000 บิตซึ่งสำหรับทุกเจตนาและวัตถุประสงค์จะไม่สร้างลำดับการทำซ้ำอย่างสมบูรณ์ อีกครั้งคุณสามารถค้นหารุ่นที่คุณมีโดยพิมพ์ผลลัพธ์สองสามตัวแรกจาก RNG นี้โดยไม่ต้องเริ่มต้นก่อน (ฟังก์ชัน glibc rand () สร้างหมายเลข 1804289383, 846930886, 1681692777, 1714636915 และ 1957747793)

ดังนั้นเหตุผลที่คุณได้รับความขัดแย้งมากขึ้นใน Linux (และแทบจะไม่ได้ใน MacOS) คือรุ่น Linux ของ rand () นั้นสุ่มมากกว่า

rand()ถูกกำหนดโดยมาตรฐาน C และมาตรฐาน C ไม่ได้ระบุอัลกอริทึมที่จะใช้ เห็นได้ชัดว่า Apple กำลังใช้อัลกอริทึมที่ด้อยกว่าสำหรับการใช้งาน GNU / Linux ของคุณ: Linux นั้นแยกไม่ออกจากแหล่งสุ่มที่แท้จริงในการทดสอบของคุณในขณะที่การใช้งานของ Apple นั้นจะสับตัวเลข

หากคุณต้องการตัวเลขสุ่มใด ๆ ที่มีคุณภาพให้ใช้ PRNG ที่ดีกว่าซึ่งให้การรับประกันอย่างน้อยกับคุณภาพของตัวเลขที่ส่งคืนหรือเพียงแค่อ่านจาก/dev/urandomหรือคล้ายกัน ในภายหลังจะให้หมายเลขคุณภาพการเข้ารหัสลับ แต่ช้า แม้ว่าตัวมันเองจะช้าเกินไป แต่/dev/urandomก็สามารถให้เมล็ดที่ยอดเยี่ยมแก่กันและกันได้เร็วกว่า PRNG

โดยทั่วไปคู่แรนด์ / srand ได้รับการพิจารณาว่าเป็นประเภทที่คัดค้านมาเป็นเวลานานเนื่องจากบิตลำดับต่ำแสดงการสุ่มน้อยกว่าบิตลำดับสูงในผลลัพธ์ สิ่งนี้อาจหรืออาจจะไม่มีอะไรเกี่ยวข้องกับผลลัพธ์ของคุณ แต่ฉันคิดว่านี่เป็นโอกาสที่ดีที่จะจำไว้ว่าแม้ว่าการใช้งาน rand / srand บางอย่างจะมีความทันสมัยมากขึ้น แต่การใช้งานแบบเก่ายังคงดีกว่า ) ในกล่อง Arch Linux ของฉันข้อความต่อไปนี้ยังคงอยู่ใน man page สำหรับ rand (3):

  The versions of rand() and srand() in the Linux C Library use the  same
   random number generator as random(3) and srandom(3), so the lower-order
   bits should be as random as the higher-order bits.  However,  on  older
   rand()  implementations,  and  on  current implementations on different
   systems, the lower-order bits are much less random than the  higher-or-
   der bits.  Do not use this function in applications intended to be por-
   table when good randomness is needed.  (Use random(3) instead.)

ด้านล่างนั้นหน้า man จะให้ตัวอย่างสั้น ๆ ที่ง่ายมากการใช้งานของ rand และ srand ที่เกี่ยวกับ LC RNG ที่ง่ายที่สุดที่คุณเคยเห็นและมี RAND_MAX ขนาดเล็ก ฉันไม่คิดว่าพวกเขาจะจับคู่สิ่งที่อยู่ในไลบรารีมาตรฐาน C หากพวกเขาเคยทำ หรืออย่างน้อยฉันก็หวังว่าจะไม่

โดยทั่วไปถ้าคุณจะใช้บางอย่างจากไลบรารีมาตรฐานให้ใช้แบบสุ่มถ้าคุณทำได้ (หน้ารายการแสดงว่าเป็นมาตรฐาน POSIX กลับไปเป็น POSIX.1-2001 แต่ rand เป็นวิธีมาตรฐานก่อนที่ C จะเป็นมาตรฐาน) . หรือดีกว่ายังให้เปิดสูตรตัวเลข (หรือค้นหาทางออนไลน์) หรือ Knuth แล้วนำไปใช้ มันง่ายมากและคุณต้องทำเพียงครั้งเดียวเพื่อมีวัตถุประสงค์ทั่วไป RNG พร้อมคุณสมบัติที่คุณต้องการบ่อยที่สุดและคุณภาพที่เป็นที่รู้จัก