ความขัดแย้งของข้อมูล iid (อย่างน้อยสำหรับฉัน)

เท่าที่รวมของฉัน (และหายาก) ความรู้เกี่ยวกับใบอนุญาตสถิติผมเข้าใจว่าถ้า$X_1, X_2,..., X_n$เป็นตัวแปรสุ่มของ iid จากนั้นเมื่อคำเหล่านี้แสดงถึงความเป็นอิสระและการกระจายตัวที่เหมือนกัน

ความกังวลของฉันที่นี่เป็นทรัพย์สินเดิมของตัวอย่าง iid ซึ่งอ่าน:

$$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}),$$

สำหรับคอลเลกชันใด ๆ ที่แตกต่างกัน 's เซนต์<n$i_j$$1 \leq i_j < n$

อย่างไรก็ตามมีใครรู้ว่าการรวมกลุ่มตัวอย่างอิสระของการแจกแจงแบบเดียวกันให้ข้อมูลเกี่ยวกับโครงสร้างการกระจายและเป็นผลเกี่ยวกับในกรณีข้างต้นดังนั้นจึงไม่ควรเป็นกรณีที่: $X_n$

$$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}).$$

ฉันรู้ว่าฉันตกเป็นเหยื่อของการเข้าใจผิด แต่ฉันไม่รู้ว่าทำไม โปรดช่วยฉันออกจากนี้

ฉันคิดว่าคุณมีความสับสนรุ่นประมาณของการกระจายที่มีตัวแปรสุ่ม ลองเขียนสมมติฐานอิสระดังนี้ ที่บอกว่าถ้าคุณรู้ว่าการกระจายพื้นฐานของX n ( และตัวอย่างเช่นสามารถระบุได้โดยชุดพารามิเตอร์

$$P(X_n | \theta, X_{i_1}, X_{i_2}, \dots, X_{i_k}) = P(X_n | \theta) \tag{1}$$ $X_n$$\theta$) จากนั้นการแจกแจงจะไม่เปลี่ยนแปลงเนื่องจากคุณได้สังเกตตัวอย่างจากมัน

ตัวอย่างเช่นคิดว่าเป็นตัวแปรสุ่มที่แสดงผลลัพธ์ของการโยนเหรียญn -th รู้น่าจะเป็นของหัวและหางสำหรับเหรียญ (ซึ่ง BTW สมมติมีการเข้ารหัสในθ ) ก็พอจะรู้ว่าการกระจายของX n โดยเฉพาะอย่างยิ่งผลลัพธ์ของการทอยก่อนหน้านี้ไม่ได้เปลี่ยนความน่าจะเป็นของการโยนหัวหรือหางสำหรับการทอยn -th และ( 1 )ถือ$X_n$$n$$\theta$$X_n$$n$$(1)$

แต่โปรดทราบว่า )$P(\theta | X_n) \neq P(\theta | X_{i_1}, X_{i_2}, \dots, X_{i_k})$

หากคุณใช้วิธีการแบบเบย์และพารามิเตอร์รักษาอธิบายการกระจายของเป็นตัวแปรสุ่ม / เวกเตอร์แล้วสังเกตแน่นอนไม่อิสระ แต่พวกเขาจะเป็นเงื่อนไขที่เป็นอิสระได้รับความรู้เกี่ยวกับθจึงP ( X n | X n - 1 , … X 1 , θ ) = P ( X n ∣ θ )จะถือ$X$$\theta$$P(X_n \mid X_{n-1}, \ldots X_1, \theta) = P(X_n \mid \theta)$

ในวิธีการทางสถิติคลาสสิกคือไม่ได้เป็นตัวแปรสุ่ม การคำนวณเสร็จสิ้นราวกับว่าเรารู้ว่าθคืออะไร ในบางแง่มุมคุณมัก จำกัด อยู่กับθ (แม้ว่าคุณจะไม่ทราบคุณค่า)$\theta$$\theta$$\theta$

เมื่อคุณเขียนว่า "... ให้ข้อมูลเกี่ยวกับโครงสร้างการกระจายและผลที่ตามมาเกี่ยวกับ " โดยปริยายคุณกำลังใช้แนวทางแบบเบย์ แต่ไม่ได้ทำอย่างแม่นยำ คุณกำลังเขียนคุณสมบัติของตัวอย่าง IID ว่า frequentist จะเขียน แต่คำสั่งที่สอดคล้องกันในการตั้งค่าเบส์จะเกี่ยวข้องกับเครื่องบนθ$X_n$$\theta$

เบย์กับนักสถิติคลาสสิก

ให้เป็นผลมาจากการพลิกเหรียญที่ไม่สมดุลและไม่เป็นธรรม เราไม่ทราบความน่าจะเป็นที่เหรียญติดดิน$x_i$

• กับสถิติคลาสสิค frequentist, เป็นพารามิเตอร์บางขอเรียกว่าθ สังเกตว่าθตรงนี้เป็นสเกลาร์เช่นเดียวกับ 1/3 เราอาจไม่ทราบว่าตัวเลขคืออะไร แต่มันเป็นจำนวนหนึ่ง! มันไม่ได้สุ่ม!$P(x_i = H)$$\theta$$\theta$
• สำหรับนักสถิติเบย์นั้นตัวมันเองเป็นตัวแปรสุ่ม! มันแตกต่างกันมาก!$\theta$

ความคิดที่สำคัญที่นี่คือสถิติแบบเบย์ขยายเครื่องมือของความน่าจะเป็นสถานการณ์ที่สถิติคลาสสิกไม่ได้ เพื่อ frequentist ที่ไม่ได้เป็นตัวแปรสุ่มเพราะมันมีค่าที่เป็นไปได้หนึ่ง ! ผลลัพธ์หลายอย่างเป็นไปไม่ได้! ในจินตนาการของเบส์แม้ว่าหลายค่าของθที่เป็นไปได้และเบส์ยินดีที่จะรูปแบบที่มีความไม่แน่นอน (ในใจของเขาเอง) โดยใช้เครื่องมือของความน่าจะเป็น$\theta$$\theta$

จะไปที่ไหน

สมมติว่าเราพลิกเหรียญครั้ง การโยนครั้งเดียวไม่ส่งผลต่อผลลัพธ์ของอีกฝ่าย นักสถิติคลาสสิกจะเรียกการโยนอิสระเหล่านี้ (และแน่นอนพวกเขา) เราจะมี: P ( x n = H ∣ x n - 1 , x n - 2 , … , x 1 ) = P ( x n = H ) = θ โดยที่θเป็นพารามิเตอร์ที่ไม่รู้จัก (จำไว้ว่าเราไม่รู้ว่ามันคืออะไร แต่มันไม่ใช่ตัวแปรสุ่ม! มันมีจำนวนพอสมควร)$n$

$$P(x_n=H \mid x_{n-1}, x_{n-2}, \ldots,x_{1}) = P(x_n=H) = \theta$$ $\theta$

Bayesian ลึกเข้าไปในความน่าจะเป็นอัตนัยจะบอกว่าสิ่งที่สำคัญคือความน่าจะเป็นจากมุมมองของเธอ! . หากเธอเห็น 10 หัวในแถวหัวที่ 11 น่าจะเป็นเพราะ 10 หัวในแถวนำไปสู่การเชื่อว่าเหรียญนั้นไม่สมดุลกับศีรษะ

$$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H) > P(x_1 = H)$$

เกิดอะไรขึ้นที่นี่? ต่างกันอย่างไร! การอัพเดทความเชื่อเกี่ยวกับตัวแปรสุ่มแฝง ! หากθถือเป็นตัวแปรสุ่มการโยนจะไม่ขึ้นกับอีกต่อไป แต่พลิกมีความเป็นอิสระตามเงื่อนไขที่กำหนดค่าของθ$\theta$$\theta$$\theta$

$$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H, \theta) = P(x_1 = H \mid \theta) = \theta$$

$\theta$$\theta$

หมายเหตุเพิ่มเติม

ฉันพยายามอย่างดีที่สุดที่จะให้คำแนะนำสั้น ๆ ที่นี่ แต่สิ่งที่ฉันทำไปนั้นดีที่สุดเพียงผิวเผินและแนวความคิดนั้นค่อนข้างลึก หากคุณต้องการดำดิ่งสู่ปรัชญาแห่งความน่าจะเป็นหนังสือ 1954 ของ Savage รากฐานของสถิติเป็นแบบคลาสสิก Google สำหรับ Bayesian vs. บ่อยครั้งและสิ่งต่าง ๆ จะเกิดขึ้น

วิธีการที่จะคิดเกี่ยวกับ IID ดึงก็คือเดอทฤษฎีบท Finetti ของและความคิดของexchangeability ในกรอบ Bayesian ความสามารถในการแลกเปลี่ยนนั้นเทียบเท่ากับความเป็นอิสระของเงื่อนไขในตัวแปรสุ่มบางอย่างที่แฝงอยู่ (ในกรณีนี้คือความไม่สมดุลของเหรียญ)