อะไรเป็นสิ่งที่เจ๋งมากเกี่ยวกับทฤษฎีบทการเป็นตัวแทนของเดอ Finetti

จากทฤษฎีสถิติโดย Mark J. Schervish (หน้า 12):

แม้ว่าทฤษฎีบทการเป็นตัวแทนของ DeFinetti 1.49 เป็นหัวใจสำคัญของการสร้างแบบจำลองพารามิเตอร์ แต่มันไม่ได้ถูกนำมาใช้จริง

ทฤษฎีบทเป็นศูนย์กลางของแบบจำลองพารามิเตอร์อย่างไร

ฉันคิดว่ามันเป็นศูนย์กลางของแบบจำลองเบย์ ฉันแค่คุยเรื่องนี้กับซิงเกิล มันมีความสำคัญในสถิติแบบเบย์ที่ถูกมองข้ามยกเว้นพวก Bayesians ที่เป็นผู้ติดตามของ deFinetti ดูการอ้างอิงของDiaconis และอิสระจากปี 1980 นี้

— Michael Chernick

@cardinal: หน้า 12 (ฉันอัพเดทคำถาม)

— gui11aume

โปรดทราบว่า Schervish กล่าวว่า "... ศูนย์กลางของ โมเดลพารามิเตอร์ ... "

motivating

$\textbf{motivating}$

— Zen

ฉันมักจะสงสัยว่าการแสดงเป็น "ของจริง" มากแค่ไหนและขึ้นอยู่กับการตีความของทฤษฎีบทเป็นพิเศษ สามารถใช้เพื่ออธิบายการแจกแจงก่อนหน้าเช่นเดียวกับการอธิบายโมเดลได้อย่างง่ายดาย

— ความน่าจะเป็นที่เป็นไปได้

คำตอบ:

De Finetti ของตัวแทนทฤษฎีบทให้ในเวลาที่เดียวในการแปลความหมายของความน่าจะ subjectivistic ที่เหตุผลเลยนะêtreของแบบจำลองทางสถิติและความหมายของค่าพารามิเตอร์และการกระจายของพวกเขาก่อน

สมมติว่าตัวแปรสุ่มแสดงผลลัพธ์ของการโยนเหรียญต่อเนื่องโดยมีค่าและสอดคล้องกับผลลัพธ์ "หัว" และ "ก้อย" ตามลำดับ วิเคราะห์ในบริบทของการตีความ subjectivistic ของแคลคูลัสความน่าจะเป็นความหมายของรูปแบบ frequentist ปกติตามที่ 's มีความเป็นอิสระและกันกระจายเดอ Finetti ตั้งข้อสังเกตว่าสภาพของความเป็นอิสระจะบ่งบอกเช่นที่ และดังนั้นผลลัพธ์ของแรกโยนจะไม่เปลี่ยนความไม่แน่นอนเกี่ยวกับผลลัพธ์ของ $X_1,\dots,X_n$ $1$ $0$ $X_i$

P {X_{n} = x_{n} ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}} = P {X_{n} = x_{n}},

$P\{X_n=x_n\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\} = P\{X_n=x_n\} \, ,$

n - 1

$n-1$

n

$n$ - โยน ตัวอย่างเช่นถ้าฉันเชื่อว่านี่คือเหรียญที่สมดุลจากนั้นหลังจากได้รับข้อมูลว่าการโยนครั้งแรกกลายเป็น "หัว" ฉันก็ยังเชื่อตามเงื่อนไขว่าข้อมูลนั้น ความน่าจะเป็นของการได้รับ "หัว" ในการโยน 1000 เท่ากับ 1/2อย่างมีประสิทธิภาพสมมติฐานของความเป็นอิสระของจะบ่งบอกว่ามันเป็นไปไม่ได้ที่จะเรียนรู้อะไรเกี่ยวกับเหรียญโดยการสังเกตผลลัพธ์ของการโยน

a priori

$\textit{a priori}$

999

$999$

1 / 2

$1/2$

X_{i}

$X_i$

การสังเกตนี้ทำให้ De Finetti นำไปสู่การเปิดตัวของสภาพที่อ่อนแอกว่าความเป็นอิสระที่จะแก้ไขข้อขัดแย้งที่เห็นได้ชัดนี้ กุญแจสำคัญในการแก้ปัญหาของ De Finetti เป็นรูปแบบสมมาตรแบบกระจายที่รู้จักกันในชื่อการแลกเปลี่ยน

$\textbf{Definition.}$ สำหรับชุด จำกัด ที่กำหนดของวัตถุสุ่มให้แสดงถึงการกระจายตัวของพวกมัน เซต จำกัด นี้สามารถแลกเปลี่ยนได้ถ้า , สำหรับการเปลี่ยนแปลงทุกครั้ง\} ลำดับของวัตถุสุ่มสามารถแลกเปลี่ยนได้หากแต่ละเซตย่อยที่แน่นอนของมันสามารถแลกเปลี่ยนได้ $\{X_i\}_{i=1}^n$ $\mu_{X_1,\dots,X_n}$ $\mu_{X_1,\dots,X_n} = \mu_{X_{\pi(1)},\dots,X_{\pi(n)}}$ $\pi:\{1,\dots,n\}\to\{1,\dots,n\}$ $\{X_i\}_{i=1}^\infty$

หากว่าลำดับของตัวแปรสุ่มนั้นสามารถแลกเปลี่ยนได้ De Finetti ได้พิสูจน์ทฤษฎีบทที่โดดเด่นที่ให้ความกระจ่างเกี่ยวกับความหมายของแบบจำลองทางสถิติที่ใช้กันทั่วไป ในกรณีเฉพาะเมื่อรับค่าและทฤษฎีบทการเป็นตัวแทนของ De Finetti กล่าวว่าสามารถแลกเปลี่ยนได้ถ้าหากมีตัวแปรสุ่ม , ที่มีการแจกแจง , นั่นคือ ที่x_i ยิ่งกว่านั้นเรายังมีสิ่งนั้น $\{X_i\}_{i=1}^\infty$ $X_i$ $0$ $1$ $\{X_i\}_{i=1}^\infty$ $\Theta:\Omega\to[0,1]$ $\mu_\Theta$

P {X_{1} = x_{1}, \dots, X_{n} = x_{n}} = \int_{[0, 1]} θ^{s} (1 - θ)^{n - s} d μ_{Θ} (θ),

$P\{X_1=x_1,\dots,X_n=x_n\} = \int_{[0,1]} \theta^s(1-\theta)^{n-s}\,d\mu_\Theta(\theta) \, ,$

s = \sum_{i = 1}^{n} x_{i}

$s=\sum_{i=1}^n x_i$

{\bar{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} \to_{n \to \infty}^{} Θ almost surely,

$\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i \xrightarrow[n\to\infty]{} \Theta \qquad \textrm{almost surely},$ ซึ่งเป็นที่รู้จัก ในฐานะกฎที่แข็งแกร่งของ De Finetti

ทฤษฎีบทการเป็นตัวแทนนี้แสดงให้เห็นว่าแบบจำลองทางสถิติเกิดขึ้นได้อย่างไรในบริบทของ Bayesian: ภายใต้สมมติฐานของความสามารถแลกเปลี่ยนได้ของ , aเช่นนั้นตามมูลค่าของที่สังเกตได้คือเป็นอิสระและกระจายเหมือนกัน ยิ่งกว่านั้นกฎหมายที่รัดกุมของ De Finetti แสดงให้เห็นว่าเรามีความคิดเห็นก่อนหน้าเกี่ยวกับ unobservableซึ่งแสดงโดยการกระจายคือความคิดเห็นเกี่ยวกับขีด จำกัด ของก่อนที่เราจะมีข้อมูลเกี่ยวกับค่าของการรับรู้ ของใด ๆ $\{X_i\}_{i=1}^\infty$ $\textbf{there is}$ $\textit{parameter}$ $\Theta$ $\Theta$ $\textit{conditionally}$ $\Theta$ $\mu_\Theta$ $\bar{X}_n$ $X_i$ 's พารามิเตอร์มีบทบาทในการสร้าง บริษัท ย่อยที่มีประโยชน์ซึ่งช่วยให้เราได้รับความน่าจะเป็นตามเงื่อนไขที่เกี่ยวข้องกับสิ่งที่สังเกตได้ผ่านความสัมพันธ์เช่น $\Theta$

P {X_{n} = 1 ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}} = E [Θ ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}] .

$P\{X_n=1\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\} = \mathrm{E}\left[\Theta\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\right] \, .$

— เซน
แหล่งที่มา

ขอบคุณสำหรับคำตอบที่ลึกซึ้งนี้! ประเด็นของคุณเกี่ยวกับความเป็นอิสระเป็นสิ่งสำคัญมากที่ฉันตระหนักได้เป็นครั้งแรก

— gui11aume

("มีประโยชน์" ดีกว่า :))

— Neil G

ฉันเข้าใจคำสั่ง "มีพารามิเตอร์อยู่ดังนั้น (ให้ )เป็น iid" จากทฤษฎีบทแทนมันก็ดูเหมือนว่าทุกสิ่งที่เราได้มาคือtheta)] นั่นคือค่าคาดหวังของความหนาแน่นที่แท้จริงเป็นเช่นเดียวกับมูลค่าที่คาดว่าจะมีความหนาแน่น Bernoulli IID กับพารามิเตอร์\คุณช่วยอธิบายให้ฉันฟังได้อย่างไรว่าเราจะสามารถลดค่าที่คาดหวังไว้เพื่อที่เราจะเรียกร้องเกี่ยวกับความหนาแน่นที่แท้จริงได้หรือไม่?

Θ

$\Theta$

Θ

$\Theta$

X_{i}

$X_i$

E [θ^{s} (1 - θ)^{s}] = E [P (X_{i} = x_{i} \forall i | θ)]

$E [\theta^s (1-\theta)^s] = E[P(X_i = x_i \, \forall \, i | \theta) ]$

θ

$\theta$

— user795305

integrand เป็น\} เนื่องจากเป็นปัจจัยที่เป็นที่ 's กำลังตามเงื่อนไขที่กำหนด IID \

Pr {X_{1} = x_{1}, \dots, X_{n} = x_{n} ∣ Θ = θ}

$\Pr\{X_1=x_1,\dots,X_n=x_n\mid\Theta=\theta\}$

\prod_{i = 1}^{n} Pr {X_{i} = x_{i} ∣ Θ = θ} = \prod_{i = 1}^{n} θ^{x_{i}} (1 - θ)^{1 - x_{i}}

$\prod_{i=1}^n \Pr\{X_i=x_i\mid\Theta=\theta\}=\prod_{i=1}^n \theta^{x_i}(1-\theta)^{1-x_i}$

X_{i}

$X_i$

Θ = θ

$\Theta=\theta$

— Zen

@ เซนขอบคุณ! ฉันเข้าใจประโยคแรก แต่ส่วนหนึ่ง "เนื่องจากมันเป็น "ยังไม่ชัดเจนสำหรับฉัน คุณจะรู้ได้อย่างไรว่ามันเป็นปัจจัยนั้น ดูเหมือนว่าคุณกำลังทิ้งคุณค่าที่คาดไว้จากตัวตนที่ฉันเขียนไว้ในความคิดเห็นก่อนหน้านี้ แต่ฉันไม่แน่ใจว่ามันถูกต้องหรือไม่

\prod_{i = 1}^{n} Pr {X_{i} = x_{i} ∣ Θ = θ} = \prod_{i = 1}^{n} θ^{x_{i}} (1 - θ)^{1 - x_{i}}

$\prod_{i=1}^n \Pr\{X_i=x_i\mid\Theta=\theta\}=\prod_{i=1}^n \theta^{x_i}(1-\theta)^{1-x_i}$

— user795305

ทุกอย่างถูกต้องทางคณิตศาสตร์ในคำตอบของเซน อย่างไรก็ตามฉันไม่เห็นด้วยในบางประเด็น โปรดทราบว่าฉันไม่ได้อ้าง / เชื่อในมุมมองของฉันคือสิ่งที่ดี ในทางตรงกันข้ามฉันรู้สึกว่าประเด็นเหล่านี้ยังไม่ชัดเจนสำหรับฉันเลย เหล่านี้เป็นคำถามเชิงปรัชญาเกี่ยวกับที่ฉันชอบที่จะหารือ (และแบบฝึกหัดภาษาอังกฤษที่ดีสำหรับฉัน) และฉันก็สนใจในคำแนะนำใด ๆ

เกี่ยวกับตัวอย่างที่มี "หัว" ความคิดเห็นของเซน: "สมมติฐานของความเป็นอิสระของจะแปลว่ามันเป็นไปไม่ได้ที่จะเรียนรู้ทุกอย่างเกี่ยวกับเหรียญโดยการสังเกตผลของการโยน" สิ่งนี้ไม่เป็นความจริงจากมุมมองของผู้ใช้บ่อย: การเรียนรู้เกี่ยวกับเหรียญหมายถึงการเรียนรู้เกี่ยวกับซึ่งเป็นไปได้โดยการประเมิน (ช่วงจุดประเมินหรือช่วงความมั่นใจ)จากผลลัพธ์ก่อนหน้า หากผู้ถี่สังเกต "หัว" เขา / เธอสรุปว่าน่าจะใกล้กับและจึงเป็นเช่นนั้น $999$ $X_i$ $\theta$ $\theta$ $999$ $999$ $\theta$ $1$ $\Pr(X_n=1)$
ในตัวอย่างเหรียญนี้การสุ่มคืออะไร? ลองนึกภาพว่าคนสองคนเล่นเกมโยนเหรียญจำนวนไม่ จำกัด ด้วยเหรียญเดียวกันทำไมพวกเขาถึงพบแตกต่างกัน? ฉันทราบอยู่แล้วว่าลักษณะของการโยนเหรียญคือค่าคงที่ซึ่งเป็นค่าทั่วไปของสำหรับนักเล่นเกมทุกคน ("นักเล่นเกมเกือบทุกคน" ด้วยเหตุผลทางคณิตศาสตร์เชิงเทคนิค) ตัวอย่างที่เป็นรูปธรรมมากขึ้นซึ่งไม่มี interpretable สุ่มเป็นกรณีของการสุ่มแบบมี replacment ในประชากร จำกัด ของและ1 $\Theta$ $\theta = \bar X_\infty$ $\theta$ $\bar X_\infty$ $\Theta$ $0$ $1$
เกี่ยวกับหนังสือของ Schervish และคำถามที่เกิดขึ้นจาก OP ฉันคิดว่า (พูดเร็ว) Schervish หมายความว่าการแลกเปลี่ยนเป็นสมมติฐานที่ "ยอดเยี่ยม" และจากนั้นทฤษฎีบทของ DeFinetti ก็คือ "เจ๋ง" เพราะมันบอกว่าแบบจำลองที่แลกเปลี่ยนได้ทุกตัว แน่นอนฉันเห็นด้วยทั้งหมด อย่างไรก็ตามถ้าฉันสมมติว่าเป็นแบบจำลองการแลกเปลี่ยนเช่นและแล้วฉันจะมีความสนใจในการปฏิบัติเกี่ยวกับการอนุมานและ , ไม่เกี่ยวกับการก่อให้เกิดการ\ถ้าฉันสนใจที่จะรับรู้ฉันจะไม่เห็นความสนใจในการแลกเปลี่ยน $(X_i\mid\Theta=\theta)\sim_\text{iid} \text{Bernoulli}(\theta)$ $\Theta \sim \text{Beta}(a,b)$ $a$ $b$ $\Theta$ $\Theta$

สายแล้ว...

— Stéphane Laurent
แหล่งที่มา

สวัสดีStéphane! ขอบคุณสำหรับความคิดเห็นในคำตอบของฉัน เกี่ยวกับประเด็นแรกของคุณที่ในคำตอบของฉันทุกอย่างมีการระบุไว้ในบริบทของเบย์ ไม่มีความพยายามจริงที่จะสร้างความแตกต่างกับกระบวนทัศน์การอนุมานอื่น ๆ ในระยะสั้นฉันได้พยายามที่จะแสดงความหมายของทฤษฎีบท De Finetti สำหรับฉันเป็น Bayesian

"this is not true from the frequentist perspective"

$\textbf{"this is not true from the frequentist perspective"}$

— Zen

เกี่ยวกับสัญลักษณ์แสดงหัวข้อย่อยที่สองของคุณ: การสุ่มคือ (ตาม) ขีด จำกัด ของตามที่ระบุใน LLN ของ De Finetti ดังนั้นเมื่อ Bayesian บางคนบอกว่าของฉันก่อนหน้านี้คือเขาหมายความว่าการกระจายนี้แสดงถึงความไม่แน่นอนของเขาเกี่ยวกับขีด จำกัด นี้ก่อนที่จะเข้าถึงข้อมูล Bayesians ที่แตกต่างกันอาจมีนักบวชที่แตกต่างกัน แต่ด้วยเงื่อนไขที่เหมาะสมอย่างสม่ำเสมอพวกเขาจะมีข้อตกลงเกี่ยวกับ (ผู้ตกแต่งที่คล้ายกัน) เนื่องจากพวกเขาได้รับข้อมูลมากขึ้นเกี่ยวกับผลลัพธ์ของการโยน

Θ

$\Theta$

{\bar{X}}_{n}

$\bar{X}_n$

Θ

$\Theta$

μ_{Θ}

$\mu_\Theta$

a posteriori

$\textit{a posteriori}$

Θ

$\Theta$

— เซน

แบบคงที่ แต่ไม่ทราบไม่ใช่แนวคิดแบบเบย์

θ

$\theta$

— เซน

เกี่ยวกับสัญลักษณ์แสดงหัวข้อที่สามของคุณได้รับ: 1) Schervish นั้นเป็นนักสถิติแบบเบย์ 2) จำนวนเวลาและพลังงานที่เขาใช้คุยเรื่องการแลกเปลี่ยนในหนังสือของเขา ฉันเชื่อว่าบทบาทของทฤษฎีบทของ De Finetti สำหรับเขานั้นลึกซึ้งมาก แต่ฉันยอมรับว่ามันเจ๋งมาก!

— Zen

เพื่อชี้แจงมุมมองของฉัน: ฉันไม่เชื่อว่ามีการสุ่มในรูปแบบเบส์ "แบบพื้นฐาน" (ไม่ใช่แบบลำดับชั้น) มีการแก้ไขที่ไม่รู้จักและการกระจายก่อนหน้านี้อธิบายถึงความเชื่อเกี่ยวกับมัน บทบาทของตัวแปรสุ่มเป็นเพียงการรักษาทางคณิตศาสตร์ของการอนุมานแบบเบย์มันไม่มีการตีความใด ๆ ในการทดลอง หากคุณสมมติจริงๆแลกเปลี่ยน แต่ไม่ได้เป็นอิสระสังเกตเช่นตัวอย่างของกระสุนที่สามของฉันแล้วคุณจะต้องใส่ hyperpriors บนและข

θ

$\theta$

θ

$\theta$

Θ

$\Theta$

a

$a$

b

$b$

— Stéphane Laurent

พวกคุณอาจสนใจบทความเกี่ยวกับเรื่องนี้ (การสมัครสมาชิกวารสารที่จำเป็นสำหรับการเข้าถึง - ลองเข้าถึงจากมหาวิทยาลัยของคุณ):

O'Neill, B. (2011) การแลกเปลี่ยน, ความสัมพันธ์และผลของ Bayes การทบทวนทางสถิติระหว่างประเทศ 77 (2), หน้า 241-250

บทความนี้กล่าวถึงทฤษฎีบทการเป็นตัวแทนเป็นพื้นฐานสำหรับแบบจำลอง IID แบบเบย์และแบบประจำและยังนำไปใช้กับตัวอย่างการโยนเหรียญ มันควรจะมีการถกเถียงกันอย่างถี่ถ้วนเกี่ยวกับการตั้งสมมติฐานของกระบวนทัศน์ของผู้ถี่ถ้วน จริง ๆ แล้วมันใช้ส่วนขยายที่กว้างกว่ากับทฤษฎีบทการแสดงซึ่งอยู่นอกเหนือจากโมเดลทวินาม แต่มันก็ยังควรมีประโยชน์

— สถิติ
แหล่งที่มา

คุณอาจมีรุ่นกระดาษที่ใช้งานได้หรือไม่ ฉันไม่สามารถเข้าถึง atm :-(

— IMA

@ สถานะฉันอ่านบทความนั้นหลังจากดูคำตอบของคุณ ฉันต้องบอกว่านั่นเป็นบทความที่ดีที่สุดที่แสดงให้เห็น Bayesian และ Frequentist เกี่ยวกับปัญหาที่ฉันเคยเห็น ฉันหวังว่าฉันจะอ่านบทความนี้เร็วขึ้นมาก (+1)

— KevinKim