บางคำถามเกี่ยวกับการสุ่มทางสถิติ

จากความแร้นแค้นทางสถิติของ Wikipedia :

การสุ่มทั่วโลกและการสุ่มในท้องถิ่นนั้นแตกต่างกัน แนวคิดเชิงปรัชญาส่วนใหญ่เกี่ยวกับการสุ่มนั้นเป็นสากล - เพราะพวกมันอยู่บนพื้นฐานความคิดที่ว่า "ในระยะยาว" ลำดับนั้นดูสุ่มอย่างแท้จริงแม้ว่าบางลำดับย่อยจะไม่ดูสุ่ม ในการสุ่มตัวเลขที่มีความยาวเพียงพออย่างแท้จริงอาจเป็นไปได้ว่าจะมีการเรียงลำดับแบบยาวของศูนย์ แต่ในทั้งลำดับอาจเป็นแบบสุ่ม Local Randomness หมายถึงแนวคิดที่ว่าสามารถมีความยาวของลำดับขั้นต่ำที่การแจกแจงแบบสุ่มจะถูกประมาณแม้แต่ตัวเลขที่สร้างขึ้นโดยกระบวนการสุ่มอย่างแท้จริงจะลด "การสุ่มแบบท้องถิ่น" ของตัวอย่าง (มันอาจเป็นแบบสุ่มเฉพาะที่สำหรับลำดับ 10,000 หลัก แต่การวนน้อยกว่า 1,000 อาจไม่ปรากฏแบบสุ่ม ตัวอย่างเช่นทั้งหมด)

ลำดับที่แสดงรูปแบบจึงไม่ได้รับการพิสูจน์ว่าไม่สุ่มทางสถิติ ตามหลักการของทฤษฎีแรมซีย์วัตถุขนาดใหญ่อย่างเพียงพอจะต้องมีโครงสร้างพื้นฐานที่กำหนด ("ความไม่สมบูรณ์สมบูรณ์เป็นไปไม่ได้")

ฉันไม่เข้าใจความหมายของประโยคทั้งสองเป็นตัวหนา

1. ประโยคแรกหมายความว่ามีบางสิ่งที่ทำให้เกิดการสุ่มตามลำดับที่ความยาวมากกว่าและไม่ใช่การสุ่มแบบท้องถิ่นที่ความยาวสั้นกว่าหรือไม่

   ตัวอย่างในวงเล็บทำงานอย่างไร

2. ประโยคที่สองหมายความว่าลำดับที่แสดงรูปแบบไม่สามารถพิสูจน์ได้ว่าไม่ได้สุ่มตัวอย่างเชิงสถิติหรือไม่? ทำไม?

ขอบคุณ

แนวคิดนี้สามารถแสดงให้เห็นได้อย่างเรียบร้อยโดยโค้ดที่สามารถใช้งานได้บางตัว เราเริ่มต้น (ในR) โดยใช้ตัวสร้างตัวเลขสุ่มหลอกที่ดีในการสร้างลำดับ 10,000 ศูนย์และคน:

set.seed(17)
x <- floor(runif(10000, min=0, max=2))

วิธีนี้ผ่านการทดสอบหมายเลขสุ่มขั้นพื้นฐาน ยกตัวอย่างเช่น t-test เพื่อเปรียบเทียบหมายถึงมี p-value ของ40.09 % ซึ่งช่วยให้เราสามารถยอมรับสมมติฐานที่ว่าศูนย์และคนอย่างเท่าเทียมกันมีแนวโน้ม$1/2$$40.09$

จากตัวเลขเหล่านี้เราจะแยกลำดับที่ต่อเนื่องกันค่าเริ่มต้นที่ค่า 5081:$1000$

x0 <- x[1:1000 + 5080]

หากสิ่งเหล่านี้ดูสุ่มพวกเขาควรผ่านการทดสอบตัวเลขสุ่มแบบเดียวกัน ตัวอย่างเช่นลองทดสอบว่าค่าเฉลี่ยของพวกเขาคือ 1/2:

> t.test(x0-1/2)

    One Sample t-test

data:  x0 - 1/2 
t = 2.6005, df = 999, p-value = 0.009445
alternative hypothesis: true mean is not equal to 0 
95 percent confidence interval:
 0.01006167 0.07193833 
sample estimates:
mean of x 
    0.041 

ต่ำ p-value (น้อยกว่า 1%) แสดงให้เห็นความหมายอย่างมีนัยสำคัญมากขึ้นกว่า 2 อันที่จริงผลรวมสะสมของลำดับนี้มีแนวโน้มสูงขึ้น:$1/2$

> plot(cumsum(x0-1/2))

นั่นไม่ใช่พฤติกรรมแบบสุ่ม!

การเปรียบเทียบลำดับดั้งเดิม (พล็อตเป็นผลรวมสะสม) กับการเรียงลำดับนี้เผยให้เห็นสิ่งที่เกิดขึ้น:

$9000$

เมื่อการวิเคราะห์อย่างง่ายเหล่านี้แสดงให้เห็นแล้วการทดสอบไม่สามารถ "พิสูจน์" ว่าลำดับปรากฏขึ้นแบบสุ่ม ทั้งหมดที่เราทำได้คือการทดสอบว่าลำดับเบี่ยงเบนจากพฤติกรรมที่คาดว่าจะเกิดขึ้นของลำดับสุ่มเพื่อเสนอหลักฐานว่าพวกเขาไม่ได้สุ่ม นี่คือการทำงานของแบตเตอรี่ในการทดสอบตัวเลขสุ่ม : พวกมันมองหารูปแบบที่ไม่น่าจะเกิดขึ้นอย่างมากในลำดับเลขสุ่ม ทุก ๆ ครั้งในขณะที่พวกเขาจะทำให้เราสรุปได้ว่าตัวเลขสุ่มแบบสุ่มไม่ปรากฏขึ้นแบบสุ่ม: เราจะปฏิเสธมันเป็นอย่างอื่น

ในระยะยาว - เช่นเดียวกับที่เราทุกคนตาย - ตัวสร้างตัวเลขสุ่มใด ๆ ที่แท้จริงจะสร้างลำดับที่เป็นไปได้ทุก 1,000 หลักและมันจะทำเช่นนั้นหลายครั้งอย่างไม่ จำกัด สิ่งที่ช่วยชีวิตเราจากความไม่แน่ใจในเชิงตรรกะคือเราจะต้องรอเป็นเวลานานมากสำหรับความผิดปกติที่จะเกิดขึ้น

ข้อความที่ตัดตอนมานี้ใช้คำว่า "local randomness" และ "global randomness" เพื่อแยกความแตกต่างระหว่างสิ่งที่อาจเกิดขึ้นกับจำนวนตัวอย่างสุ่มของตัวแปรสุ่มและการแจกแจงความน่าจะเป็นหรือความคาดหวังของตัวแปรสุ่ม

$x_i$$\{0,1\}$$\theta$$\theta$$\lim_{n \to \infty} \frac{1}{n} \sum_{i=1}^n x_i = \theta$

$[0,1]$$[a,b]$$0 \leq a < b \leq 1$$\theta$

ไม่มีอะไรใหม่ที่นี่

$n$

ดังนั้นฉันจะไม่เผาเซลล์สมองมากเกินไปที่คิดเกี่ยวกับข้อความที่ตัดตอนมานี้ มันไม่ได้แม่นยำทางคณิตศาสตร์มากนักและทำให้เข้าใจผิดเกี่ยวกับธรรมชาติของการสุ่ม

แก้ไขตามความคิดเห็น: @kjetilbhalvorsen +1 เพื่อแสดงความคิดเห็นของคุณสำหรับความรู้ทางประวัติศาสตร์ อย่างไรก็ตามฉันยังคิดว่ามูลค่าของข้อกำหนดเหล่านี้มี จำกัด และทำให้เข้าใจผิด ตารางที่คุณอธิบายดูเหมือนจะทำให้เกิดความเข้าใจผิดที่ตัวอย่างเล็ก ๆ ซึ่งมีตัวอย่างหมายถึงค่าเฉลี่ยที่ห่างไกลจากค่าที่คาดไว้จริงหรืออาจเป็นลำดับที่ไม่น่าจะเป็นไปได้ แต่อาจเป็นไปได้ สุ่มน้อยลง (โดยการบอกว่าพวกเขาไม่แสดงปลอมนี้ "แบบแผนในท้องถิ่น") ฉันไม่สามารถคิดถึงสิ่งที่ทำให้เข้าใจผิดมากขึ้นสำหรับนักสถิติรุ่นใหม่!

ฉันคิดว่าผู้เขียนของโพสต์ Wikipedia นั้นเข้าใจผิดเกี่ยวกับการสุ่ม ใช่อาจมีการยืดที่ดูเหมือนจะไม่สุ่ม แต่ถ้ากระบวนการที่สร้างลำดับนั้นสุ่มโดยสุ่มดังนั้นจะต้องมีเอาต์พุต หากลำดับบางอย่างดูเหมือนจะไม่สุ่มนั่นคือการรับรู้ที่ผิดพลาดของผู้อ่าน (เช่นมนุษย์ถูกออกแบบมาเพื่อค้นหารูปแบบ) ความสามารถของเราในการมองเห็นกลุ่มดาวกระบวยใหญ่และกลุ่มดาวนายพราน ฯลฯ ในท้องฟ้ายามค่ำคืนไม่มีหลักฐานว่ารูปแบบของดาวไม่ใช่แบบสุ่ม ฉันยอมรับว่าการสุ่มมักจะปรากฏขึ้นโดยไม่สุ่ม หากกระบวนการสร้างรูปแบบที่ไม่ใช่สุ่มอย่างแท้จริงสำหรับลำดับสั้น ๆ นั่นไม่ใช่กระบวนการสุ่ม

ฉันไม่คิดว่ากระบวนการจะเปลี่ยนแปลงตามขนาดตัวอย่างที่แตกต่างกัน คุณเพิ่มขนาดตัวอย่างคุณเพิ่มความน่าจะเป็นที่เราเห็นลำดับสุ่มที่ดูเหมือนว่าเราจะไม่สุ่ม หากมีโอกาส 10% ที่เราจะเห็นรูปแบบในการสังเกตแบบสุ่ม 20 ครั้งการเพิ่มจำนวนการสังเกตทั้งหมดเป็น 10,000 จะเพิ่มโอกาสที่เราจะเห็นการไม่สุ่มตัวอย่างที่ไหนสักแห่ง