การกระจายแบบไม่แสดงอาการของมัลติโนเมียล

10

ฉันกำลังมองหาการ จำกัด การกระจายตัวของการกระจายตัวแบบมัลติโนเมียมากกว่าผลลัพธ์ IE กระจายดังต่อไปนี้

lim_{n \to \infty} n^{- \frac{1}{2}} X_{n}

$\lim_{n\to \infty} n^{-\frac{1}{2}} \mathbf{X_n}$

โดยที่เป็นตัวแปรสุ่มค่าเวกเตอร์ที่มีความหนาแน่นสำหรับเช่นนั้น , และ 0 สำหรับอื่น ๆ ทั้งหมดโดยที่ $\mathbf{X_n}$ $f_n(\mathbf{x})$ $\mathbf{x}$ $\sum_i x_i=n$ $x_i\in \mathbb{Z}, x_i\ge 0$ $\mathbf{x}$

f_{n} (x) = n! \prod_{i = 1}^{d} \frac{p_{i}^{x_{i}}}{x_{i}!}

$f_{n}(\mathbf{x})=n!\prod_{i=1}^d\frac{p_i^{x_i}}{x_i!}$

ฉันพบหนึ่งรูปแบบใน "ทฤษฎีทั้งหมด" ของ Larry Wasserman 14.6 หน้า 237แต่สำหรับการ จำกัด การกระจายมันให้ Normal กับเมทริกซ์ความแปรปรวนร่วมเอกพจน์ดังนั้นฉันไม่แน่ใจว่าจะทำให้มาตรฐานเป็นปกติได้อย่างไร คุณสามารถฉายเวกเตอร์สุ่มลงในช่องว่างมิติ (d-1) เพื่อสร้างเมทริกซ์ความแปรปรวนร่วมแบบเต็มอันดับได้

อัปเดต 11/5

Ray Koopman มีบทสรุปที่ดีเกี่ยวกับปัญหาของ Gaussian เอกพจน์ โดยทั่วไปเมทริกซ์ความแปรปรวนร่วมเอกพจน์เป็นตัวแทนของความสัมพันธ์ที่สมบูรณ์แบบระหว่างตัวแปรซึ่งเป็นไปไม่ได้ที่จะเป็นตัวแทนของเกาส์เซียน อย่างไรก็ตามหนึ่งสามารถรับการแจกแจงแบบเกาส์สำหรับความหนาแน่นแบบมีเงื่อนไขซึ่งมีเงื่อนไขว่าค่าของเวกเตอร์แบบสุ่มนั้นถูกต้อง (ส่วนประกอบเพิ่มขึ้นเป็นในกรณีข้างต้น) $n$

ความแตกต่างของเงื่อนไขแบบเกาส์คือการผกผันนั้นถูกแทนที่ด้วยการหลอกแบบผกผันและปัจจัยการทำให้เป็นมาตรฐานใช้ผลิตภัณฑ์ "ค่าลักษณะเฉพาะที่ไม่ใช่ศูนย์" แทนที่จะเป็น "ผลิตภัณฑ์ของค่าลักษณะเฉพาะทั้งหมด" Ian Frisce ให้การเชื่อมโยงกับรายละเอียดบางอย่าง

นอกจากนี้ยังมีวิธีในการแสดงปัจจัยการทำให้เป็นมาตรฐานของ Gaussian แบบมีเงื่อนไขโดยไม่ได้อ้างอิงถึงค่าลักษณะเฉพาะ นี่คือการสืบทอด

asymptotics multinomial

— Yaroslav Bulatov
แหล่งที่มา

คุณหมายถึงอะไรโดย จำกัด การแจกจ่ายในกรณีนี้

— Robby McKilliam

คือสิ่งที่คุณได้รับจากทฤษฎีการ จำกัด ขั้นกลางให้ฉันอัปเดตรายละเอียด

— Yaroslav Bulatov

1

สิ่งที่คุณอ้างถึงคือการกระจายแบบซีมโทติคของตัวประมาณความน่าจะเป็นสูงสุดของ multinomial นอกจากนี้สมการแรกควรเป็น n ^ {- 1} ไม่ใช่ n ^ {- 1/2}

— Simon Byrne

1

ในรูปแบบด้านบนสำหรับ d = 2, X_n คือจำนวนหัวหลังจากโยนเหรียญ n เหรียญดังนั้น X_n / sqrt (n) ที่เข้าใกล้ปกติไม่ใช่ X_n / n ใช่ไหม?

— Yaroslav Bulatov

1

ใช่คุณพูดถูก. ฉันแค่สับสนตัวเอง

— Simon Byrne

6

ความแปรปรวนร่วมยังคงไม่เป็นลบแน่นอน (เช่นการแจกแจงปกติหลายตัวแปรที่ถูกต้อง) แต่ไม่ใช่บวกแน่นอน: สิ่งนี้หมายความว่าอะไร (อย่างน้อย) องค์ประกอบหนึ่งของเวกเตอร์สุ่มคือการรวมกันเชิงเส้นของผู้อื่น

$R^d$

อย่างไรก็ตามตามคำแนะนำของ Robby McKilliam ในกรณีนี้คุณสามารถวางองค์ประกอบสุดท้ายของเวกเตอร์แบบสุ่ม เมทริกซ์ความแปรปรวนร่วมของเวกเตอร์ที่ลดลงนี้จะเป็นเมทริกซ์ดั้งเดิมโดยที่คอลัมน์สุดท้ายและแถวตกซึ่งตอนนี้จะเป็นค่าบวกแน่นอนและจะมีความหนาแน่น (เคล็ดลับนี้จะใช้ได้ในกรณีอื่น แต่คุณต้องระวังองค์ประกอบ คุณวางและคุณอาจต้องวางมากกว่าหนึ่ง)

— Simon Byrne
แหล่งที่มา

สิ่งที่น่าพอใจเล็กน้อยคืออิสระในการเลือกเพื่อให้ได้ความหนาแน่นที่ถูกต้องฉันต้องถามการกระจายของ A x โดยที่ A คือเมทริกซ์ d-1 อันดับ (d) x (d-1) ข้อผิดพลาดของการประมาณ CLT สำหรับ finite n จะเทียบเท่ากับตัวเลือกทั้งหมดของ A หรือไม่ นั่นไม่ชัดเจนสำหรับฉัน

— Yaroslav Bulatov

1

ใช่ข้อผิดพลาดควรเหมือนกันเสมอ โปรดทราบว่าองค์ประกอบสุดท้ายของเวกเตอร์นั้นขึ้นอยู่กับองค์ประกอบอื่น ๆ (d-1) (ทั้งในไฟไนต์ตัวอย่างและซีมโทติคเคส)

— Simon Byrne

ไม่ใช่ว่าองค์ประกอบสุดท้ายจะขึ้นอยู่กับปัญหาของยาโรสลาฟคือเขาไม่ชอบความคิดที่จะเลือกองค์ประกอบที่จะทิ้ง ฉันเห็นด้วยกับคำตอบที่คุณได้รับ แต่ฉันก็คิดว่าต้องมีความคิดและการดูแลเอาใจใส่มากกว่านี้

— Robby McKilliam

@Yaroslav: อาจเป็นการดีถ้าคุณมีความคิดเกี่ยวกับแอปพลิเคชันที่คุณนึกไว้ที่นี่เพราะในขั้นตอนนี้อาจมีคำตอบให้กับคำถามของคุณมากมาย

— Robby McKilliam

1

Robby - แอปพลิเคชันที่ฉันมีอยู่ในใจอยู่ที่นี่mathoverflow.net/questions/37582/ ... โดยพื้นฐานอินทิกรัลของ Gaussian ที่เสนอโดย CLT ให้การประมาณที่ดีมากกับผลรวมของสัมประสิทธิ์ทวินาม (สำหรับ n ขนาดเล็กดีกว่าการรวมแกมมาแทนโดยตรง!) ดังนั้นฉันจึงเห็นว่าฉันสามารถทำสิ่งที่คล้ายกันเพื่อรับผลรวมของสัมประสิทธิ์ multinomial ประมาณซึ่งฉันต้องได้รับขอบเขตข้อผิดพลาดที่ไม่ใช่เชิงเส้นกำกับสำหรับ fitters ต่าง ๆ (เช่นโอกาสสูงสุด)

— Yaroslav Bulatov

2

ไม่มีปัญหาโดยธรรมชาติกับความแปรปรวนร่วมเอกพจน์ที่นี่ การกระจายเชิงเส้นกำกับของคุณเป็นเรื่องปกติ ดูhttp://fedc.wiwi.hu-berlin.de/xplore/tutorials/mvahtmlnode34.htmlซึ่งให้ความหนาแน่นของเอกพจน์ปกติ

— Ian Fiske
แหล่งที่มา

ในทางเทคนิคปัญหาคือเมทริกซ์ความแปรปรวนร่วมเอกพจน์หมายความว่าเซตย่อยของตัวแปรบางตัวมีความสัมพันธ์กันอย่างสมบูรณ์ดังนั้นความหนาแน่นของความน่าจะเป็นควรเป็น 0 อย่างแน่นอนในบางพื้นที่ ทางออกหนึ่งคือการดูความหนาแน่นแบบมีเงื่อนไขแทนความจริงที่ว่าตัวแปรสุ่มอยู่ในพื้นที่ที่เป็นไปได้ ดูเหมือนว่าสิ่งที่พวกเขากำลังทำอยู่ในลิงค์ ไม่เคยได้ยินคำว่า "G- ผกผัน" ฉันเดาว่ามันคือ Penrose-Moore หลอกหลอก?

— Yaroslav Bulatov

ℜ^{d}

$\Re^d$

1

$d$ $[1,1,1,\dots,1]^\prime$ $d$

$n$

\frac{X_{n} - n p}{\sqrt{n}}

$\frac{X_n - np}{\sqrt{n}}$

\frac{C}{n}

$\frac{C}{n}$

C

$C$

p

$p$

[p_{1}, \dots, p_{d}]

$[p_1,\dots,p_d]$

— Robby McKilliam
แหล่งที่มา

1

แต่เมทริกซ์ความแปรปรวนร่วมของ Multinomial ที่เป็นปัญหานั้นเป็นเอกพจน์คุณแสดงมันด้วยตัวคุณเอง ...

— Yaroslav Bulatov

d

$d$

C

$C$

[p_{1}, p_{2}, \dots, p_{d - 1}]

$[p_1,p_2,\dots,p_{d-1}]$

ข้อเสนอแนะข้อหนึ่งที่ฉันพบคือยังคงใช้ Gaussian อยู่ แต่ใช้การหลอกแบบผกผันแทนการผกผันและ "ผลิตภัณฑ์ของค่าลักษณะเฉพาะที่ไม่เป็นศูนย์" แทนตัวกำหนด สำหรับ d = 2 สิ่งนี้ดูเหมือนจะให้รูปแบบความหนาแน่นที่ถูกต้อง แต่ตัวประกอบการทำให้เป็นมาตรฐานนั้นปิด

— Yaroslav Bulatov

1

$|S_{-i}|=|S_{-j}|$ $i,j$ $S_{-i}$ $i$

— jvdillon
แหล่งที่มา

เมทริกซ์เหล่านั้นไม่เท่ากันนี่คือเมทริกซ์ความแปรปรวนร่วมyaroslavvb.com/upload/multinomial-covariance-matrix.png

— Yaroslav Bulatov

ใช่นี่คือเมทริกซ์ความแปรปรวนร่วมแน่นอน การลดลงของคอลัมน์ ith และแถวผลลัพธ์ในเงื่อนไขการทำให้เป็นมาตรฐานเดียวกันสำหรับ Gaussian คือจุดของฉัน บางทีฉันขาดอะไรบางอย่างที่ชัดเจน?

— jvdillon

n

$n$

p_{i} = 1 - \sum_{j \neq i} p_{j}

$p_i=1-\sum_{j\ne i}p_j$

p_{i}

$p_i$

S

$S$

BTW ฉันชอบการประยุกต์ใช้ความคิดของคุณ - ดังนั้นฉันสนใจที่จะตอบสนอง

— jvdillon