การกระจายตัวของเศษไม้ที่ใหญ่ที่สุด (spacings)

ปล่อยให้แท่งที่มีความยาว 1 แตกเป็นชิ้นเล็ก ๆ น้อย ๆ โดยมีการสุ่ม $k+1$ การกระจายตัวของความยาวของส่วนที่ยาวที่สุดคืออะไร?

เป็นทางการมากขึ้นให้เป็น IIDและให้เป็นคำสั่งทางสถิติที่เกี่ยวข้องนั่นคือเราเพียงแค่สั่ง ตัวอย่างในลักษณะที่{(k)} ให้ขวา) $(U_1, \ldots U_k)$ $U(0,1)$ $(U_{(1)}, \ldots, U_{(k)})$ $U_{(1)} \leq U_{(2)} \leq, \ldots , \leq U_{(k)}$ $Z_k = \max \left(U_{(1)}, U_{(2)}-U_{(1)}, \ldots, U_{(k)} - U_{(k-1)}, 1-U_{(k)}\right)$

ฉันสนใจในการกระจายของZ_kช่วงเวลาผลลัพธ์แบบอะซิมโทติคหรือการประมาณสำหรับก็น่าสนใจเช่นกัน $Z_k$ $k \uparrow \infty$

— gui11aume
แหล่งที่มา

นี่เป็นปัญหาที่ได้รับการศึกษาเป็นอย่างดี ดู R. Pyke (1965), "Spacings," JRSS (B) 27 : 3, pp. 395-449 ฉันจะพยายามกลับมาเพิ่มข้อมูลในภายหลังเว้นแต่มีคนชนะฉัน นอกจากนี้ยังมีกระดาษ 1972 โดยผู้เขียนคนเดียวกัน (" Spacings revisited ") แต่ฉันคิดว่าสิ่งที่คุณหลังจากนั้นค่อนข้างมากในครั้งแรก มี asymptotics ในDevroye (1981) , "กฎของลอการิทึมซ้ำสำหรับสถิติการสั่งซื้อของชุดอวกาศ" แอน Probab , 9 : 5, 860-867

— Glen_b -Reinstate Monica

สิ่งเหล่านั้นควรให้คำค้นหาที่ดีเพื่อหางานภายหลังหากคุณต้องการ

— Glen_b -Reinstate Monica

นี่มันเจ๋งมาก. การอ้างอิงแรกหายาก สำหรับผู้ที่สนใจฉันวางมันลงบนแกรนด์ที

— gui11aume

โปรดแก้ไขพิมพ์ผิดไปนี้:

Y_{(k)}

$Y_{(k)}$ แทน

U_{(k)}

$U_{(k)}$ {(k)}

— Viktor

ขอบคุณ @Viktor! สำหรับสิ่งเล็ก ๆ น้อย ๆ อย่าลังเลที่จะแก้ไขด้วยตัวคุณเอง (ฉันคิดว่าผู้ใช้รายอื่นจะได้รับการตรวจสอบเพื่อขออนุมัติ)

— gui11aume

ด้วยข้อมูลที่ได้รับจาก @Glen_b ฉันสามารถหาคำตอบได้ ใช้สัญลักษณ์เดียวกับคำถาม

P (Z_{k} \leq x) = Σ_{J = 0}^{k + 1} (\binom{k + 1}{J}) (- 1)^{J} (1 - J x)_{+}^{k},

$P(Z_k \leq x) = \sum_{j=0}^{k+1} { k+1 \choose j } (-1)^j (1-jx)_+^k,$

โดยที่หากและอย่างอื่น ฉันยังให้ความคาดหวังและการบรรจบกันแบบซีมโทติคกับการกระจายGumbel ( NB : ไม่ใช่เบต้า) $a_+ = a$ $a > 0$ $0$

E (Z_{k}) = \frac{1}{k + 1} \sum_{i = 1}^{k + 1} \frac{1}{i} \sim \frac{\log (k + 1)}{k + 1}, P (Z_{k} \leq x) \sim \exp (- e^{- (k + 1) x + \log (k + 1)}) .

$E(Z_k)= \frac{1}{k+1}\sum_{i=1}^{k+1}\frac{1}{i} \sim \frac{\log(k+1)}{k+1}, \\ P(Z_k \leq x) \sim \exp\left(- e^{-(k+1)x + \log(k+1)} \right).$

เนื้อหาของบทพิสูจน์ถูกนำมาจากสิ่งพิมพ์หลายฉบับที่เชื่อมโยงในเอกสารอ้างอิง ค่อนข้างยาว แต่ตรงไปตรงมา

1. หลักฐานการกระจายที่แน่นอน

Letตัวแปรสุ่ม พ.ศ. IID เครื่องแบบในช่วงเวลา(0,1)โดยการสั่งซื้อพวกเราได้รับสถิติเพื่อแสดง {(k)}) ระยะปลูกเครื่องแบบจะถูกกำหนดเป็นกับและ1 ระยะปลูกที่สั่งซื้อจะสอดคล้องสถิติสั่งซื้อ1)} ตัวแปรที่น่าสนใจคือ1)} $(U_1, \ldots, U_k)$ $(0,1)$ $k$ $(U_{(1)}, \ldots, U_{(k)})$ $\Delta_i = U_{(i)} - U_{(i-1)}$ $U_{(0)} = 0$ $U_{(k+1)} = 1$ $\Delta_{(1)} \leq \ldots \leq \Delta_{(k+1)}$ $\Delta_{(k+1)}$

สำหรับการแก้ไขเรากำหนดตัวแปรตัวบ่งชี้\}} โดยสมมาตรเวกเตอร์แบบสุ่มสามารถแลกเปลี่ยนได้ดังนั้นการกระจายตัวของเซตย่อยขนาดจึงเหมือนกับการกระจายข้อต่อของ คนแรกที่เจด้วยการขยายผลิตภัณฑ์เราจึงได้รับ $x \in (0,1)$ $\mathbb{1}_i = \mathbb{1}_{\{\Delta_i > x\}}$ $(\mathbb{1}_1, \ldots, \mathbb{1}_{k+1})$ $j$ $j$

P (Δ_{(k + 1)} \leq x) = E (Π_{ผม = 1}^{k + 1} (1 - 1_{ผม})) = 1 + Σ_{J = 1}^{k + 1} (\binom{k + 1}{J}) (- 1)^{J} E (Π_{ผม = 1}^{J} 1_{ผม}) .

$P(\Delta_{(k+1)} \leq x) = E \left( \prod_{i=1}^{k+1} (1 - \mathbb{1}_i) \right) = 1 + \sum_{j=1}^{k+1} { k+1 \choose j } (-1)^j E \left( \prod_{i=1}^j \mathbb{1}_i \right).$

ตอนนี้เราจะพิสูจน์ว่าซึ่งจะสร้างการแจกแจงดังกล่าวข้างต้น เราพิสูจน์สิ่งนี้สำหรับเนื่องจากกรณีทั่วไปได้รับการพิสูจน์ในทำนองเดียวกัน $E \left( \prod_{i=1}^j \mathbb{1}_i \right) = (1-jx)_+^k$ $j=2$

E (\prod_{i = 1}^{2} 1_{i}) = P (Δ_{1} > x \cap Δ_{2} > x) = P (Δ_{1} > x) P (Δ_{2} > x | Δ_{1} > x) .

$E \left( \prod_{i=1}^2 \mathbb{1}_i \right) = P(\Delta_1 > x \cap \Delta_2 > x) = P(\Delta_1 > x) P(\Delta_2 > x | \Delta_1 > x).$

หากที่จุดพักอยู่ในช่วงเวลา1) โดยมีเงื่อนไขในเหตุการณ์นี้เบรกพอยต์ยังคงสามารถแลกเปลี่ยนได้ดังนั้นความน่าจะเป็นที่ระยะทางระหว่างจุดที่สองและจุดพักแรกมากกว่าเท่ากับความน่าจะเป็นที่ระยะทางระหว่างจุดพักจุดแรกและจุดกั้นด้านซ้าย (ที่ตำแหน่ง ) มีค่ามากกว่าxดังนั้น $\Delta_1 > x$ $k$ $(x,1)$ $x$ $x$ $x$

P (Δ_{2} > x | Δ_{1} > x) = P (all points are in (2 x, 1) | all points are in (x, 1)), so P (Δ_{2} > x \cap Δ_{1} > x) = P (all points are in (2 x, 1)) = (1 - 2 x)_{+}^{k} .

$P(\Delta_2 > x | \Delta_1 > x) = P\big(\text{all points are in } (2x,1) \big| \text{all points are in } (x,1)\big), \; \text{so} \\ P(\Delta_2 > x \cap \Delta_1 > x) = P\big(\text{all points are in } (2x,1)\big) = (1-2x)_+^k.$

2. ความคาดหวัง

สำหรับการแจกแจงด้วยการสนับสนุนที่ จำกัด เรามี

E (X) = \int P (X > x) d x = 1 - \int P (X \leq x) d x .

$E(X) = \int P(X > x)dx = 1 - \int P(X \leq x)dx.$

การบูรณาการการกระจายของเราได้รับ $\Delta_{(k+1)}$

E (Δ_{(k + 1)}) = \frac{1}{k + 1} \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) \frac{(- 1)^{j + 1}}{j} = \frac{1}{k + 1} \sum_{j = 1}^{k + 1} \frac{1}{j} .

$E\left(\Delta_{(k+1)}\right) = \frac{1}{k+1}\sum_{j=1}^{k+1}{k+1 \choose j}\frac{(-1)^{j+1}}{j} = \frac{1}{k+1}\sum_{j=1}^{k+1}\frac{1}{j}.$

ความเท่าเทียมกันสุดท้ายเป็นตัวแทนคลาสสิกของตัวเลขฮาร์โมนิซึ่งเราแสดงให้เห็นด้านล่าง $H_i = 1+ \frac{1}{2}+ \ldots + \frac{1}{i}$

H_{k + 1} = \int_{0}^{1} 1 + x + \dots + x^{k} d x = \int_{0}^{1} \frac{1 - x^{k + 1}}{1 - x} d x .

$H_{k+1} = \int_0^1 1 + x + \ldots + x^k dx = \int_0^1 \frac{1-x^{k+1}}{1-x}dx.$

ด้วยการเปลี่ยนแปลงของตัวแปรและการขยายผลิตภัณฑ์เราได้รับ $u = 1-x$

H_{k + 1} = \int_{0}^{1} \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) (- 1)^{j + 1} u^{j - 1} d u = \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) \frac{(- 1)^{j + 1}}{j} .

$H_{k+1} = \int_0^1\sum_{j=1}^{k+1}{ k+1 \choose j }(-1)^{j+1}u^{j-1}du = \sum_{j=1}^{k+1}{k+1 \choose j}\frac{(-1)^{j+1}}{j}.$

3. การก่อสร้างทางเลือกของการเว้นระยะสม่ำเสมอ

ในการที่จะได้รับการกระจายเชิงซีมโทติคของชิ้นส่วนที่ใหญ่ที่สุดเราจะต้องแสดงการสร้างแบบดั้งเดิมของการเว้นวรรคแบบสม่ำเสมอเป็นตัวแปรเลขชี้กำลังหารด้วยผลรวมของพวกมัน ความหนาแน่นของความน่าจะเป็นของสถิติคำสั่งซื้อที่เกี่ยวข้อง คือ $(U_{(1)}, \ldots, U_{(k)})$

f_{U_{(1)}, \dots U_{(k)}} (u_{(1)}, \dots, u_{(k)}) = k!, 0 \leq u_{(1)} \leq \dots \leq u_{(k + 1)} .

$f_{U_{(1)}, \ldots U_{(k)}}(u_{(1)}, \ldots, u_{(k)}) = k!, \; 0 \leq u_{(1)} \leq \ldots \leq u_{(k+1)}.$

หากเราแสดงถึงการเว้นวรรคอย่างสม่ำเสมอ , ด้วยเราจะได้รับ $\Delta_i = U_{(i)} - U_{(i-1)}$ $U_{(0)} = 0$

f_{Δ_{1}, \dots Δ_{k}} (δ_{1}, \dots, δ_{k}) = k!, 0 \leq δ_{i} + \dots + δ_{k} \leq 1.

$f_{\Delta_1, \ldots \Delta_k}(\delta_1, \ldots, \delta_k) = k!, \; 0 \leq \delta_i + \ldots + \delta_k \leq 1.$

โดยการกำหนดเราจะได้รับ $U_{(k+1)} = 1$

f_{Δ_{1}, \dots Δ_{k + 1}} (δ_{1}, \dots, δ_{k + 1}) = k!, δ_{1} + \dots + δ_{k} = 1.

$f_{\Delta_1, \ldots \Delta_{k+1}}(\delta_1, \ldots, \delta_{k+1}) = k!, \; \delta_1 + \ldots + \delta_k = 1.$

ตอนนี้ให้จะ IID ชี้แจงตัวแปรสุ่มที่มีค่าเฉลี่ย 1 และให้1} ด้วยการเปลี่ยนแปลงอย่างง่ายของตัวแปรเราจะเห็นได้ว่า $(X_1, \ldots, X_{k+1})$ $S = X_1 + \ldots + X_{k+1}$

f_{X_{1}, \dots X_{k}, S} (x_{1}, \dots, x_{k}, s) = e^{- s} .

$f_{X_1, \ldots X_k, S}(x_1, \ldots, x_k, s) = e^{-s}.$

กำหนดเช่นนั้นโดยการเปลี่ยนแปลงของตัวแปรที่เราได้รับ $Y_i = X_i/S$

f_{Y_{1}, \dots Y_{k}, S} (y_{1}, \dots, y_{k}, s) = s^{k} e^{- s} .

$f_{Y_1, \ldots Y_k, S}(y_1, \ldots, y_k, s) = s^k e^{-s}.$

การรวมความหนาแน่นนี้เข้ากับเราจึงได้ $s$

ฉ_{Y_{1}, ... Y_{k},} (Y_{1}, ..., Y_{k}) = \int_{0}^{\infty} s^{k} {อี}^{- s} d s = k!, 0 \leq Y_{ผม} + ... + Y_{k} \leq 1, และดังนั้น ฉ_{Y_{1}, ... Y_{k + 1},} (Y_{1}, ..., Y_{k + 1}) = k!, Y_{1} + ... + Y_{k + 1} = 1

$f_{Y_1, \ldots Y_k,}(y_1, \ldots, y_k) = \int_0^{\infty}s^k e^{-s}ds = k!, \; 0 \leq y_i + \ldots + y_k \leq 1, \; \text{and thus} \\ f_{Y_1, \ldots Y_{k+1},}(y_1, \ldots, y_{k+1}) = k!, \; y_1 + \ldots + y_{k+1} = 1.$

ดังนั้นการกระจายข้อต่อของชุดอวกาศในช่วงเวลาจึงเท่ากับการกระจายตัวแบบร่วมของตัวแปรสุ่มเลขชี้กำลังหารด้วยผลรวมของพวกเขา เรามาถึงความเท่าเทียมกันของการกระจายต่อไปนี้ $k+1$ $(0,1)$ $k+1$

Δ_{(k + 1)} \equiv \frac{X_{(k + 1)}}{X_{1} + \dots + X_{k + 1}} .

$\Delta_{(k+1)} \equiv \frac{X_{(k+1)}}{X_1 + \ldots + X_{k+1}}.$

4. การกระจายเชิงเส้นกำกับ

เราได้รับการใช้ความเท่าเทียมกันข้างต้น

\begin{aligned} P ((k + 1) Δ_{(k + 1)} - \log (k + 1) \leq x) & = P (X_{(k + 1)} \leq (x + \log (k + 1)) \frac{X_{1} + \dots + X_{k + 1}}{k + 1}) \\ = P (X_{(k + 1)} - \log (k + 1) \leq x + (x + \log (k + 1)) T_{k + 1}), \end{aligned}

$\begin{align} P\big((k+1)\Delta_{(k+1)} - \log(k+1) \leq x\big) &= P\left(X_{(k+1)} \leq (x + \log(k+1))\frac{X_1 + \ldots + X_{k+1}}{k+1}\right) \\ &= P\left(X_{(k+1)} - \log(k+1) \leq x + (x + \log(k+1))T_{k+1}\right), \end{align}$

ที่-1 ตัวแปรนี้หายไปในความน่าจะเป็นเพราะและ0 asymptotically กระจายเป็นเช่นเดียวกับที่ของ1) เนื่องจากเป็น IID เราจึงมี $T_{k+1} = \frac{X_1+\ldots+X_{k+1}}{k+1} -1$ $E\left(T_{k+1}\right) = 0$ $Var\big(\log(k+1)T_{k+1}\big) = \frac{(\log(k+1))^2}{k+1} \downarrow 0$ $X_{(k+1)} - \log(k+1)$ $X_i$

\begin{aligned} P (X_{(k + 1)} - \log (k + 1) \leq x) & = P {(X_{1} \leq x + \log (k + 1))}^{k + 1} \\ = {(1 - e^{- x - \log (k + 1)})}^{k + 1} = {(1 - \frac{e^{- x}}{k + 1})}^{k + 1} \sim \exp {- e^{- x}} . \end{aligned}

$\begin{align} P\left(X_{(k+1)} - \log(k+1) \leq x \right) &= P\left(X_1 \leq x + \log(k+1)\right)^{k+1} \\ &= \left(1-e^{-x - \log(k+1)}\right)^{k+1} = \left(1-\frac{e^{-x}}{k+1}\right)^{k+1} \sim \exp\left\{-e^{-x}\right\}. \end{align}$

5. ภาพรวมกราฟิก

พล็อตด้านล่างแสดงการกระจายของชิ้นส่วนที่ใหญ่ที่สุดสำหรับค่าที่แตกต่างของkสำหรับฉันได้ซ้อนการกระจายกัมเบลแบบซีมโทติค (เส้นบาง ๆ ) ด้วย กัมเบลนั้นเป็นค่าประมาณที่แย่มากสำหรับค่าเล็ก ๆ ของดังนั้นฉันจึงไม่ใช้มันเพื่อไม่ให้ภาพเกินพิกัด กัมเบลประมาณเป็นสิ่งที่ดีจาก50 $k$ $k=10, 20, 50$ $k$ $k \approx 50$

6. การอ้างอิง

หลักฐานข้างต้นมาจากการอ้างอิง 2 และ 3 วรรณกรรมที่อ้างถึงมีผลลัพธ์อีกมากมายเช่นการกระจายของการเว้นวรรคที่ได้รับคำสั่งของตำแหน่งใด ๆ การกระจายขีด จำกัด และการสร้างทางเลือกอื่นของชุดอวกาศที่ได้รับคำสั่ง การอ้างอิงที่สำคัญนั้นไม่สามารถเข้าถึงได้ง่ายดังนั้นฉันจึงให้ลิงก์ไปยังข้อความเต็ม

Bairamov และคณะ (2010) จำกัด ผลลัพธ์สำหรับการเว้นระยะห่างแบบสม่ำเสมอเอกสารสถิติ 51: 1, pp 227-240
โฮลส์ (1980) เมื่อวันที่ความยาวของชิ้นส่วนของไม้ที่เสียที่สุ่มเจ Appl Prob., 17, pp 623-634
Pyke (1965) Spacings , JRSS (B) 27: 3, pp. 395-449
Renyi (1953) ตามทฤษฎีของสถิติการสั่งซื้อ Acta math Hung, 4, pp 191-231

— gui11aume
แหล่งที่มา

สุกใส มีวิธี asymptotics ที่รู้จักกับไหม?

E (Z_{k}^{2})

$E(Z_k ^2)$

— Amir Sagiv

@ AmirSagiv นี่เป็นคำถามที่ดี ฉันดูข้อมูลอ้างอิงอย่างรวดเร็วและหาไม่พบ ฉันไม่สามารถปรับหลักฐานข้างต้นได้ นี่ทำให้ฉันรู้ว่าฉันไม่รู้ว่าการกระจายตัวของกัมเบลเป็นอย่างไร อาจเป็นจุดเริ่มต้นที่ดี

— gui11aume

$ gui11aume ดูที่นี่: mathoverflow.net/a/293381/42864

— Amir Sagiv

@AmirSagiv นี่เป็นบทความที่ดีมาก ด้วยเหตุผลบางอย่างฉันเข้าใจผิดคำถามของคุณและคิดว่าคุณสนใจในการแจกจ่ายของ (แม้ว่าความคิดเห็นของคุณจะชัดเจนมาก) ดังนั้นความคิดเห็นของฉันด้านบนจึงไม่เกี่ยวข้องกัน

Z_{k}^{2}

$Z_k^2$

— gui11aume

นี่ไม่ใช่คำตอบที่สมบูรณ์ แต่ฉันทำแบบจำลองอย่างรวดเร็วและนี่คือสิ่งที่ฉันได้รับ: ฮิสโตแกรมของส่วนที่ยาวที่สุด

ลักษณะนี้น่าทึ่งเบต้า ish และสิ่งนี้ทำให้บิตของความรู้สึกตั้งแต่สถิติคำสั่งของการกระจายสม่ำเสมอ IID มีเบต้าวิกิพีเดีย

นี่อาจเป็นจุดเริ่มต้นในการรับผล PDF

ฉันจะอัปเดตถ้าฉันไปหาโซลูชันที่ปิดท้าย

ไชโย!

— ลิมา
แหล่งที่มา

อีกสิ่งหนึ่งรูปร่างของฮิสโตแกรมสำหรับการเพิ่ม k ไม่เปลี่ยนแปลงอย่างมากนอกเหนือจากการ "squished" ใกล้กับ 0

— ลิมา

ขอบคุณสำหรับความคิดของคุณ @Lima (และยินดีต้อนรับสู่การตรวจสอบข้าม) ฉันคิดว่าคำตอบของคุณจะดีขึ้น ก่อนอื่นฉันจะงดเว้นจากการพูดโดยไม่มีข้อพิสูจน์ หากสิ่งนี้ไม่ถูกต้องคุณอาจทำให้คนที่เห็นกระทู้นี้ไม่ถูกต้อง ประการที่สองฉันจะบันทึกสิ่งที่คุณทำ หากไม่มีค่าที่คุณใช้หรือรหัสตัวเลขจะไม่ช่วยใครเลย ในที่สุดฉันจะคัดลอกแก้ไขคำตอบและลบทุกสิ่งที่ไม่ตอบคำถามโดยตรง

k

$k$

— gui11aume

ขอบคุณสำหรับคำแนะนำ พวกมันใช้ได้ดีกว่าการแลกเปลี่ยนแบบสแต็คและฉันจะจำมันได้

— ลิมา

ผมผลิตคำตอบสำหรับการประชุมในเซียนา (อิตาลี) ที่ในปี 2005 กระดาษ (2006) จะนำเสนอบนเว็บไซต์ของฉันนี่ (PDF) การแจกแจงที่แน่นอนของการเว้นระยะทั้งหมด (น้อยไปหามากที่สุด) พบได้ในหน้า 75 & 76

ฉันหวังว่าจะนำเสนอหัวข้อนี้ในการประชุม RSS Conference ที่แมนเชสเตอร์ (อังกฤษ) ในเดือนกันยายน 2559

— CJStephens
แหล่งที่มา

ยินดีต้อนรับสู่เว็บไซต์ เราพยายามสร้างที่เก็บถาวรของข้อมูลสถิติคุณภาพสูงในรูปแบบของคำถาม & คำตอบ ดังนั้นเราจึงต้องระวังคำตอบเฉพาะลิงก์เนื่องจาก linkrot คุณสามารถโพสต์การอ้างอิงแบบเต็ม & สรุปข้อมูลที่ลิงค์ในกรณีที่มันจะตาย? นอกจากนี้โปรดอย่าเซ็นบทความของคุณที่นี่ ทุกโพสต์มีลิงค์ไปยังหน้าผู้ใช้ของคุณซึ่งคุณสามารถโพสต์ข้อมูลนั้น

— gung - Reinstate Monica