ขอบเขตล่างสำหรับการทดสอบความใกล้ชิดในบรรทัดฐาน

11

ฉันสงสัยว่ามีขอบเขตต่ำกว่า (ในแง่ของความซับซ้อนตัวอย่าง) ที่ทราบสำหรับปัญหาต่อไปนี้:

ให้ oracle เข้าถึงตัวอย่างการแจกแจงที่ไม่รู้จักสอง $D_1$ , $D_2$ ใน $\{1,\dots,n\}$ , ทดสอบ (whp)

$D_1=D_2$
$\operatorname{d_2}(D_1,D_2)=\lVert D_1-D_2\rVert_2 = \sqrt{\sum_{i=1}^n\left(D_1(i)-D_2(i)\right)^2} \geq \epsilon$

บาตูและคณะ [BFR + 00]พบว่าตัวอย่างเพียงพอ แต่ฉันไม่พบการพูดถึงขอบเขตล่างเลย? $O\left(\frac{1}{\epsilon^4}\right)$

ฉันคิดว่าคนหนึ่งสามารถแสดงโดยลดภาระของการแยกแยะความยุติธรรมเทียบกับอิงเหรียญกับปัญหานี้ (จำลองการกระจายที่รองรับเพียงสอง ชี้และตอบคำถามของผู้ทดสอบตามการโยนเหรียญ iid) แต่ยังคงมีช่องว่างกำลังสอง ... $\Omega(\frac{1}{\epsilon^2})$ $\epsilon$

(อีกประเด็นที่ฉันสนใจคือขอบเขตที่ต่ำกว่าในการประมาณ (ขึ้นกับสารเติมแต่ง ) ระยะทางนี้- อีกครั้งฉันไม่พบการอ้างอิงถึงผลลัพธ์ดังกล่าวในวรรณคดี) $\epsilon$ $L_2$

ขอบคุณสำหรับความช่วยเหลือของคุณ,

— ผ่อนผัน C.
แหล่งที่มา

ปัญหาสัญญานี้ดูเหมือนจะคล้ายกับความแตกต่างทางสถิติที่เรียกว่าSahai และ Vadhan ซึ่งเป็นปัญหาที่สมบูรณ์สำหรับชั้นเรียน SZK (ศูนย์ความรู้ทางสถิติ); อย่างไรก็ตามพวกเขาใช้ระยะทางcs.ucla.edu/~sahai/work/web/2003%20Publications/J.ACM2003.pdf (แก้ไข: นอกจากนี้ฉันคิดว่าพวกเขากำลังสมมติว่าคุณมีวงจรคำนวณการกระจายไม่ใช่การเข้าถึง oracle)

L_{1}

$L_1$

— usul

สวัสดีตามที่กล่าวไว้ในความคิดเห็นของอีกความแตกต่างระหว่างและบรรทัดฐานเป็นจริงที่สำคัญที่นี่ - เพิ่มเติมในกระดาษบิดาพวกเขาตั้งขึ้นอย่างชัดเจน (และไม่พล) เกณฑ์ (หนึ่งในคำพูดที่ พวกเขาอธิบายว่าเกณฑ์นี้จำเป็นต้องตอบสนองข้อ จำกัด บางประการ); และต้องการแยกแยะความแตกต่างเทียบกับ (ซึ่งใกล้เคียงกับการทดสอบ / การประมาณระยะทางที่อดทนมากกว่า "การทดสอบปกติ" ซึ่งคุณต้องการทดสอบกับ (แต่สำหรับใด ๆ ที่คงที่)

L_{2}

$L_2$

L_{1}

$L_1$

τ = 1 / 3

$\tau=1/3$

d_{1} \leq τ

$d_1 \leq \tau$

d_{2} \geq 1 - τ

$d_2 \geq 1-\tau$

d_{2} = 0

$d_2=0$

d_{2} \geq ϵ

$d_2 \geq \epsilon$

ϵ

$\epsilon$

— ผ่อนผัน C.

6

ปรากฏว่าตัวอย่าง - ตามที่ usul แสดงไว้ด้านล่าง - ก็เพียงพอสำหรับการทดสอบเพื่อให้ความซับซ้อนของตัวอย่างนั้นแน่นอน ; อันที่จริงแล้วปรากฎว่าเรามีตัวอย่างจำนวนมากพอที่จะเรียนรู้จนถึงสารเติมแต่ง wrtปกติ $O(1/\epsilon^2)$ $\Theta(1/\epsilon^2)$ $D$ $\epsilon$ $L_2$

ปล่อยเป็นฟังก์ชันความหนาแน่นเชิงประจักษ์ที่ได้จากการวาดตัวอย่าง iidและการตั้งค่า จากนั้น โดยที่(k)) $\hat{D}$ $m$ $s_1,\dots, s_m\sim D$

\hat{D} (k) \overset{d e f}{=} \frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}}, k \in [n]

$\hat{D}(k) \stackrel{\rm{}def}{=} \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}},\qquad k\in[n]$

\begin{aligned} ‖ D - \hat{D} ‖_{2}^{2} & = \sum_{k = 1}^{n} {(\frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - D (k))}^{2} = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(\sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - m D (k))}^{2} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(X_{k} - E X_{k})}^{2} \end{aligned}

$\begin{align*} \lVert D - \hat{D} \rVert_2^2 &= \sum_{k=1}^n \left( \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - D(k) \right)^2 = \frac{1}{m^2}\sum_{k=1}^n \left( \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - mD(k) \right)^2 \\ &= \frac{1}{m^2}\sum_{k=1}^n \left( X_k - \mathbb{E} X_k \right)^2 \end{align*}$

X_{k} \overset{d e f}{=} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} \sim Bin (m, D (k))

$X_k\stackrel{\rm{}def}{=} \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}}\sim\operatorname{Bin}( m, D(k) )$

X_{k}

$X_k$ 's (สำหรับ ) ไม่เป็นอิสระ แต่เราสามารถเขียน ดังนั้นสำหรับ , และการใช้อสมการของมาร์คอฟ

k \in [n]

$k\in[n]$

\begin{aligned} E ‖ D - \hat{D} ‖_{2}^{2} & = \frac{1}{m^{2}} \sum_{k = 1}^{n} E [{(X_{k} - E X_{k})}^{2}] = \frac{1}{m^{2}} \sum_{k = 1}^{n} Var X_{k} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} m D (k) (1 - D (k)) \leq \frac{1}{m} \sum_{k = 1}^{n} D (k) \\ = \frac{1}{m} \end{aligned}

$\begin{align*} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 &= \frac{1}{m^2}\sum_{k=1}^n \mathbb{E}\left[ \left( X_k - \mathbb{E} X_k \right)^2 \right] = \frac{1}{m^2}\sum_{k=1}^n \operatorname{Var} X_k \\ &= \frac{1}{m^2}\sum_{k=1}^n mD(k)\left( 1- D(k) \right) \leq \frac{1}{m}\sum_{k=1}^n D(k) \\ &= \frac{1}{m} \end{align*}$

m \geq \frac{3}{ϵ^{2}}

$m\geq \frac{3}{\epsilon^2}$

E ‖ D - \hat{D} ‖_{2}^{2} \leq \frac{ϵ^{2}}{3}

$\begin{equation} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 \leq \frac{\epsilon^2}{3} \end{equation}$

P {‖ D - \hat{D} ‖_{2} \geq ϵ} \leq \frac{1}{3} .

$\begin{equation} \mathbb{P}\left\{ \lVert D - \hat{D} \rVert_2 \geq \epsilon \right\} \leq \frac{1}{3}. \end{equation}$

— ผ่อนผัน C.
แหล่งที่มา

(ฉันหมายถึงคำตอบของ usul ที่เริ่มต้นด้วย"ฉันจะพยายามแก้ไขข้อผิดพลาดก่อนหน้าโดยแสดงบางสิ่งที่ตรงกันข้าม [... ]" - ซึ่งอยู่เหนือความจริงข้อนี้ฉันไม่ได้คาดหวังสิ่งนี้ :)) สำหรับการเรียนรู้ บนขอบเขตมันจะแสดงให้เห็นว่าอัลกอริธึมไร้เดียงสาที่สุด (นั่นคือสิ่งที่ดึงตัวอย่างและเอาท์พุทความหนาแน่นเชิงประจักษ์ที่กำหนด) ทำให้การกระจายซึ่ง คือด้วยความน่าจะเป็นคงที่ - ใกล้ในระยะ

m = O (1 / ϵ^{2})

$m=O(1/\epsilon^2)$

\hat{D}

$\hat{D}$

ϵ

$\epsilon$

D

$D$

L_{2}

$L_2$

— ผ่อนผัน C.

@DW ฉันเพิ่งแก้ไขคำตอบของฉัน

— ผ่อนผัน C.

3

ฉันจะพยายามแก้ไขข้อผิดพลาดก่อนหน้าโดยแสดงสิ่งที่ตรงกันข้าม - นั่นตัวอย่างเพียงพอ (ขอบเขตล่างของเกือบจะแน่น)! ดูว่าคุณคิดอย่างไร $\tilde{\Theta}\left(\frac{1}{\epsilon^2}\right)$ $1/\epsilon^2$

สัญชาตญาณที่สำคัญเริ่มต้นจากการสังเกตสองครั้ง อันดับแรกเพื่อให้การแจกแจงมีระยะทางของจะต้องมีจุดที่มีความน่าจะเป็นสูง ( ) ตัวอย่างเช่นถ้าเรามีความน่าจะเป็นจุดเราจะมี<\ $L_2$ $\epsilon$ $\Omega(\epsilon^2)$ $1/\epsilon^3$ $\epsilon^3$ $\|D_1 - D_2\|_2 \leq \sqrt{\frac{1}{\epsilon^3} (\epsilon^3)^2} = \epsilon^{3/2} < \epsilon$

ประการที่สองพิจารณาการกระจายสม่ำเสมอกับระยะทาง\ถ้าเรามีจุดที่น่าจะเป็นแล้วพวกเขาแต่ละคนจะแตกต่างกันโดยและตัวอย่างจะพอเพียง ในทางตรงกันข้ามถ้าเรามีคะแนนพวกเขาแต่ละคนจะต้องแตกต่างกันโดยและอีกตัวอย่าง (จำนวนคงที่ต่อ จุด) พอเพียง ดังนั้นเราอาจหวังว่าในบรรดาคะแนนความน่าจะเป็นสูงที่กล่าวถึงก่อนหน้านี้มักจะมีบางจุดที่แตกต่างกัน "พอ" ที่ดึงความแตกต่างออกมา $L_2$ $\epsilon$ $O(1)$ $O(1)$ $O(\epsilon)$ $1/\epsilon^2$ $O(1/\epsilon^2)$ $O(\epsilon^2)$ $O(1/\epsilon^2)$ $O(1/\epsilon^2)$

ขั้นตอนวิธี ได้รับและความเชื่อมั่นพารามิเตอร์ให้2) วาดตัวอย่างจากการแจกแจงแต่ละครั้ง ให้จะสูงขึ้นตามลำดับลดจำนวนตัวอย่างสำหรับการจุดฉันหากมีประเด็นใดที่ซึ่งและให้ประกาศ การแจกแจงที่แตกต่างกัน มิฉะนั้นให้ประกาศเหมือนกัน $\epsilon$ $M$ $X = M \log(1/\epsilon^2)$ $\frac{X}{\epsilon^2}$ $a_i,b_i$ $i$ $i \in [n]$ $a_i \geq \frac{X}{8}$ $a_i-b_i \geq \sqrt{a_i} \frac{\sqrt{X}}{4}$

ความถูกต้องและความเชื่อมั่นของขอบเขต ( ) ขึ้นอยู่กับการแทรกต่อไปนี้ที่บอกว่าทั้งหมดของการเบี่ยงเบนในระยะทางมาจากจุดที่มีความน่าจะแตกต่างกันโดย2) $1-e^{-\Omega(M)}$ $L_2$ $\Omega(\epsilon^2)$

ข้อเรียกร้อง สมมติว่า\ Let. ให้\} จากนั้น $\|D_1 - D_2\|_2 \geq \epsilon$ $\delta_i = |D_1(i) - D_2(i)|$ $S_k = \{i : \delta_i > \frac{\epsilon^2}{k}\}$
$\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (1 - \frac{2}{k}) .$ $\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2\left(1-\frac{2}{k}\right).$

พิสูจน์ เรามี ขอให้เรา จำกัด ผลรวมที่สอง เราต้องการที่จะขยายภายใต้2 ตั้งแต่ฟังก์ชั่นเป็นอย่างเคร่งครัดนูนและเพิ่มขึ้นเราสามารถเพิ่มวัตถุประสงค์โดยการใด ๆและเพิ่มโดยลดลงในขณะโดย\ดังนั้นเป้าหมายจะถูกขยายให้มากที่สุดโดยมีคำให้มากที่สุดเท่าที่จะเป็นไปได้ที่ค่าสูงสุดและที่เหลือคือ

\sum_{i \in S_{k}} δ_{i}^{2} + \sum_{i \notin S_{k}} δ_{i}^{2} \geq ϵ^{2} .

$\sum_{i \in S_k} \delta_i^2 ~ + ~ \sum_{i \not\in S_k} \delta_i^2 \geq \epsilon^2.$

\sum_{i \notin S_{k}} δ_{i}^{2}

$\sum_{i \not\in S_k} \delta_i^2$

\sum_{i \notin S_{k}} δ_{i} \leq 2

$\sum_{i \not\in S_k} \delta_i \leq 2$

x \mapsto x^{2}

$x \mapsto x^2$

δ_{i} \geq δ_{j}

$\delta_i \geq \delta_j$

δ_{i}

$\delta_i$

γ

$\gamma$

δ_{j}

$\delta_j$

γ

$\gamma$

0

$0$ . ค่าสูงสุดของแต่ละเทอมคือและมีจำนวนมากที่สุดข้อกำหนดของค่านี้ (เนื่องจากผลรวมสูงสุด ) ดังนั้น

\frac{ϵ^{2}}{k}

$\frac{\epsilon^2}{k}$

\frac{2 k}{ϵ^{2}}

$\frac{2k}{\epsilon^2}$

2

$2$

\sum_{i \notin S_{k}} δ_{i}^{2} \leq \frac{2 k}{ϵ^{2}} {(\frac{ϵ^{2}}{k})}^{2} = \frac{2 ϵ^{2}}{k} . ◻

$\sum_{i \not\in S_k} \delta_i^2 \leq \frac{2k}{\epsilon^2}\left(\frac{\epsilon^2}{k}\right)^2 = \frac{2\epsilon^2}{k} . ~~~~ \square$

ข้อเรียกร้อง ให้\} ถ้ามีอยู่อย่างน้อยหนึ่งจุดด้วยและ{2} $p_i = \max\{D_1(i),D_2(i)\}$ $\|D_1 - D_2\|_2 \geq \epsilon$ $i \in [n]$ $p_i > \frac{\epsilon^2}{4}$ $\delta_i \geq \frac{\epsilon \sqrt{p_i}}{2}$

พิสูจน์ ขั้นแรกคะแนนทั้งหมดในมีตามคำจำกัดความ (และไม่สามารถว่างสำหรับโดยการอ้างสิทธิ์ก่อนหน้า) $S_k$ $p_i \geq \delta_i > \frac{\epsilon^2}{k}$ $S_k$ $k > 2$

ที่สองเนื่องจากเรามี หรือจัดเรียงใหม่ ดังนั้นความไม่เท่าเทียม ถือสำหรับอย่างน้อยหนึ่งจุดในS_kตอนนี้รับ 4 $\sum_i p_i \leq 2$

\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (\frac{1}{2} - \frac{1}{k}) \sum_{i \in S_{k}} p_{i},

$\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right) \sum_{i \in S_k} p_i,$

\sum_{i \in S_{k}} (δ_{i}^{2} - p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})) \geq 0,

$\sum_{i \in S_k} \left( \delta_i^2 - p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)\right) \geq 0 ,$

δ_{i}^{2} \geq p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})

$\delta_i^2 \geq p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)$

S_{k}

$S_k$

k = 4

$k=4$

◻

$\square$

การเรียกร้อง (บวกเท็จ) หากอัลกอริทึมของเราบอกพวกเขาแตกต่างกับความน่าจะเป็นที่มากที่สุด(M)} $D_1 = D_2$ $e^{-\Omega(M)}$

ร่าง พิจารณาสองกรณีและ\ ในกรณีแรกจำนวนตัวอย่างของจะไม่เกินจากการแจกแจง: จำนวนเฉลี่ยของตัวอย่างคือและหางผูกบอกว่าด้วยความน่าจะเป็น , 's ตัวอย่างไม่เกินค่าเฉลี่ยของพวกเขาโดยสารเติมแต่ง ; หากเราระมัดระวังที่จะเก็บค่าไว้ในหางที่ถูกผูกไว้เราสามารถรวมเข้าด้วยกันได้ไม่ว่าจะมีกี่จุดเช่นนั้น (โดยสังหรณ์ใจ $p_i < \epsilon^2/16$ $p_i \geq \epsilon^2/16$ $i$ $X/8$ $< X/16$ $e^{-\Omega(X/p_i)} = \epsilon^2 e^{-\Omega(M/p_i)}$ $i$ $X/16$ $p_i$

ในกรณีเราสามารถใช้ขอบเขตเชอร์นอฟ: มันบอกว่าเมื่อเราใช้เวลาตัวอย่างและเป็นจุดที่ถูกวาดด้วยความน่าจะน่าจะเป็นของที่แตกต่างจากค่าเฉลี่ยของโดยที่มากที่สุด2)} นี่ให้ดังนั้นความน่าจะเป็นที่สิ้นสุดโดย(M)} $p_i \geq \epsilon^2/16$ $m$ $p$ $pm$ $c \sqrt{pm}$ $e^{-\Omega((c\sqrt{pm})^2/pm)} = e^{-\Omega(c^2)}$ $c = \frac{\sqrt{X}}{16}$ $e^{-\Omega(X)} = \epsilon^2 e^{-\Omega(M)}$

ดังนั้นด้วยความน่าจะเป็น , (สำหรับการแจกแจงทั้งคู่) จำนวนตัวอย่างของอยู่ภายในค่าเฉลี่ยของ2} ดังนั้นการทดสอบของเราจะไม่จับประเด็นเหล่านี้ (พวกเขาอยู่ใกล้กันมาก) และเราสามารถรวมกันทั้งหมดของพวกเขา $1-\epsilon^2e^{-\Omega(M)}$ $i$ $\sqrt{p_i\frac{X}{\epsilon^2}}\frac{\sqrt{X}}{16}$ $p_i\frac{X}{\epsilon^2}$ $16/\epsilon^2$ $\square$

การเรียกร้อง (เชิงลบเท็จ) หากอัลกอริทึมของเราบอกพวกเขาเหมือนกันกับความน่าจะเป็นที่มากที่สุด(M)} $\|D_1 - D_2\|_2 \geq \epsilon$ $\epsilon^2 e^{-\Omega(M)}$

ร่าง มีบางประเด็นก็คือกับและ 2 Chernoff เดียวกันกับที่กล่าวอ้างก่อนหน้านี้ว่าด้วยความน่าจะเป็นจำนวนตัวอย่างของแตกต่างจากค่าเฉลี่ยโดยมากที่สุด{16} นั่นคือการแจกแจง (WLOG)ซึ่งมี ; แต่มีความน่าจะเป็นที่ลดลงของจำนวนตัวอย่างของจากการแจกแจง $i$ $p_i > \epsilon^2/4$ $\delta_i \geq \epsilon \sqrt{p_i}/2$ $1-\epsilon^2 e^{-\Omega(M)}$ $i$ $p_i m$ $\sqrt{p_i m} \frac{\sqrt{X}}{16}$ $1$ $p_i = D_1(i) = D_2(i) + \delta_i$ $i$ $2$ แตกต่างจากค่าเฉลี่ยของจำนวนสารเติมแต่งนี้ (เนื่องจากค่าเฉลี่ยและความแปรปรวนต่ำกว่า)

ดังนั้นด้วยความน่าจะเป็นสูงจำนวนตัวอย่างของจากการแจกแจงแต่ละครั้งจะอยู่ภายในของค่าเฉลี่ย; แต่ความน่าจะเป็นของพวกเขาแตกต่างกันโดยดังนั้นวิธีการของพวกเขาจึงแตกต่างกันโดย $i$ $\sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{16}$ $\delta_i$

\frac{X}{ϵ^{2}} δ_{i} \geq \frac{X \sqrt{p_{i}}}{2 ϵ} = \sqrt{\frac{p_{i} X}{ϵ^{2}}} \frac{\sqrt{X}}{2} .

$\frac{X}{\epsilon^2}\delta_i \geq \frac{X \sqrt{p_i}}{2\epsilon} = \sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{2} .$

ดังนั้นมีโอกาสสูงสำหรับจุดจำนวนของกลุ่มตัวอย่างแตกต่างกันโดยอย่างน้อย{4} $i$ $\sqrt{\# samples(1)} \frac{\sqrt{X}}{4}$ $\square$

เพื่อให้ร่างภาพสมบูรณ์เราจะต้องแสดงให้เห็นอย่างจริงจังว่าสำหรับใหญ่พอจำนวนตัวอย่างของใกล้เคียงกับค่าเฉลี่ยของมันเมื่ออัลกอริทึมใช้มากกว่ามันไม่เปลี่ยนแปลงอะไรเลย (ซึ่งควรจะตรงไปตรงมาโดยออกจากห้องเลื้อยในค่าคงที่) $M$ $i$ $\sqrt{\# samples}$ $\sqrt{mean}$

— usul
แหล่งที่มา

สวัสดีขอบคุณสำหรับสิ่งนี้ - ฉันมีคำถามสองสามข้อเกี่ยวกับอัลกอริทึมและการวิเคราะห์ (เกี่ยวกับประเด็นสองสามข้อที่ฉันไม่แน่ใจว่าจะได้รับ): สมมติว่าฉันต้องการในตอนท้ายเท่านั้นความน่าจะเป็นคงที่ของความสำเร็จคงที่ถ้าฉันเข้าใจถูกต้อง (ยกเว้นว่าฉันไม่ได้รับ ) ดังนั้นในกรณีนี้การเปลี่ยนเป็น : ตามอัลกอริทึมมันจะกลายเป็น - ถูกต้องหรือไม่

2 / 3

$2/3$

M

$M$

M

$M$

X

$X$

Θ (\log \frac{1}{ϵ})

$\Theta(\log\frac{1}{\epsilon})$

— ผ่อนผัน C.

@ClementC ขอโทษฉันไม่ชัดเจน! การเรียกร้องคือถ้าเราวาดตัวอย่างความน่าจะเป็นที่จะผิดคือดังนั้นสำหรับ ความน่าจะเป็นค่าคงที่ของถูกผิดมันตัวอย่าง

\frac{1}{ϵ^{2}} M \log (1 / ϵ^{2})

$\frac{1}{\epsilon^2} M \log(1/\epsilon^2)$

O (e^{- M})

$O(e^{-M})$

O (\frac{1}{ϵ^{2}} \log (1 / ϵ^{2}))

$O\left(\frac{1}{\epsilon^2} \log(1/\epsilon^2)\right)$

— usul

ตกลงนั่นคือสิ่งที่ฉันรวบรวม ฉันจะผ่านการพิสูจน์ด้วยสิ่งนี้ในใจ - ขอบคุณอีกครั้งสำหรับเวลาที่คุณใช้ไปกับเรื่องนี้!

— ผ่อนผัน C.

1

คุณอาจเริ่มต้นด้วยการพยายามที่จะแก้ปัญหานี้สำหรับกรณีที่ 2 ฉันค่อนข้างแน่ใจว่าตัวอย่างจะมีความจำเป็นและเพียงพอในกรณีนี้ $n=2$ $\Theta(1/\epsilon^2)$

เป็นไปได้ที่คุณอาจพบว่ามีประโยชน์ในการดูการแปลงระหว่างระยะทางและระยะทาง (ระยะทางความแปรปรวนทั้งหมด) $L_2$ $L_1$

เป็นที่ทราบกันว่าหากมีการแจกแจงที่ทราบแล้วว่ามีตัวอย่างหนึ่งการกระจายระยะทางรวมทั้งหมดนั้นจะเป็นข้อได้เปรียบที่สามารถแยกแยะจากได้อย่างสมบูรณ์ ดังนั้นหากระยะการแปรผันรวมมีขนาดใหญ่และการกระจายนั้นเป็นที่รู้จักเราสามารถสร้างการทดสอบที่ถูกต้องโดยมีความน่าจะเป็นสูง หากระยะห่างของการแปรผันโดยรวมเล็กจะไม่สามารถทำได้ ฉันไม่รู้ว่าจะพูดอะไรเกี่ยวกับกรณีที่ความแปรปรวนรวมมีขนาดใหญ่ แต่ไม่ทราบการแจกแจง $D_1$ $D_2$
ถัดไปคุณอาจจะดูที่การกระจายสินค้า,และ n ใช้ระยะทางรูปแบบรวม (ระยะทาง) มีไม่ดูเหมือนจะมีขอบเขตที่ดีใด ๆ ที่เกี่ยวข้องเพื่อD_2 แต่เมื่อใช้ระยะทาง, ผมเชื่อว่ามีการประมาณการที่ดีของเป็นหน้าที่ของD_2 (น่าเสียดายที่ฉันไม่สามารถขุดการอ้างอิงเฉพาะกับค่าประมาณ / ขอบเขตเหล่านั้นได้ดังนั้นฉันหวังว่าฉันจะไม่ทำการลบข้อมูลผิด) นอกจากนี้ยังมีขอบเขตที่รู้จักที่อนุญาตให้คุณประเมินระยะทางเป็นฟังก์ชันของระยะทาง . $D_1^n$ $D_2^n$ $L_1$ $||D_1^n - D_2^n||_1$ $||D_1 - D_2||_1$ $L_2$ $||D_1^n - D_2^n||_2$ $||D_1 - D_2||_2$ $L_1$ $L_2$
ดังนั้นหนึ่งวิธีการที่คุณอาจจะพยายามที่จะผูกแล้วจากว่าการที่ถูกผูกไว้บนD_2 $||D_1^n - D_2^n||_2$ $||D_1^n - D_2^n||_1$

ฉันไม่รู้ว่าสิ่งนี้จะนำไปสู่ทุกที่ดีหรือไม่; มันเป็นแค่ความคิด อาจเป็นผู้เขียนบทความที่คุณอ้างถึงแล้วจะได้ลองหรือพิจารณาบางอย่างเช่นนี้

อาจอ้างอิงที่เป็นประโยชน์:

— ใบสำคัญแสดงสิทธิอนุพันธ์
แหล่งที่มา

สวัสดีขอบคุณสำหรับคำตอบของคุณ! แต่ผมกำลังสนใจในเชิงผูกพันลดลงเมื่อnโดยเฉพาะอย่างยิ่งความสัมพันธ์ระหว่างและบรรทัดฐานเกี่ยวข้องกับปัจจัย - ความหมายพวกเขาเป็นจริงเทียบเท่าคงที่ แต่ asymptotically ที่แตกต่างกันมาก การใช้ dstance เป็นพร็อกซี่ไม่ใช่ตัวเลือกเท่าที่ฉันสามารถบอกได้ (สำหรับการทดสอบความใกล้ชิดในระยะทางความซับซ้อนที่แน่นอนเรียกได้ว่า [BFR + 10 , Val11 ]

n \to \infty

$n\to\infty$

L_{2}

$L_2$

L_{1}

$L_1$

\sqrt{n}

$\sqrt{n}$

n

$n$

L_{1}

$L_1$

L_{1}

$L_1$

Θ (n^{2 / 3} / p o l y (ϵ))

$\Theta(n^{2/3}/{\rm{}poly}(\epsilon))$

— Clement C.

0

แก้ไข: นี่ไม่ถูกต้อง! ดูการสนทนาในความคิดเห็น - ฉันจะชี้ให้เห็นข้อบกพร่องด้านล่าง

ฉันคิดว่าเราสามารถพูดได้ว่าจำเป็น $\frac{1}{\epsilon^4}$

ชุดขวา) ให้เป็นชุดการแจกแจง (ความน่าจะเป็นของแต่ละจุด ) และปล่อยให้แตกต่างจากชุดเครื่องแบบด้วยจำนวนสารเติมแต่งที่แต่ละจุด ตรวจสอบว่าระยะคือ\ $n = \Theta\left(\frac{1}{\epsilon^2}\right)$ $D_1$ $= \Theta(\epsilon^2)$ $D_2$ $\pm \Theta\left(\epsilon^2\right)$ $L_2$ $\epsilon$

ดังนั้นเราจะต้องแยกความแตกต่างเหรียญยุติธรรมด้านเดียวจากด้านเดียวเหรียญ -biased ฉันคิดว่านี่น่าจะเป็นเรื่องยากพอ ๆ กับการบอกเหรียญยุติธรรมด้านจากเหรียญด้านเหรียญธรรมดาซึ่งต้องใช้ตัวอย่าง แก้ไข:นี่ไม่ถูกต้อง! เหรียญนั้นเพิ่มพื้นฐาน แต่มันมีอคติคูณด้วยปัจจัยคงที่ เป็นจุด DW ออกนั่นหมายความว่าจำนวนคงที่ของตัวอย่างต่อจุดที่แตกต่างจากD_2 $n$ $n$ $\Theta(\epsilon^2)$ $2$ $2$ $\Theta(\epsilon^2)$ $\Theta\left(\frac{1}{(\epsilon^2)^2}\right) = \Theta\left(\frac{1}{\epsilon^4}\right)$ $\epsilon^2$ $D_1$ $D_2$

ขอให้สังเกตว่านั้นไกลเท่าที่เราจะสามารถโต้เถียงกันได้ เป็นรูปธรรมเช่นสมมติว่าเราพยายามที่จะเพิ่มเพื่อพูด,3} ในการจัดจำหน่ายเครื่องแบบแต่ละจุดมีความน่าจะเป็น 3 แต่ในเราจะต้องจุดแต่ละจุดจะแตกต่างจากชุดโดย{2.5} ว่าเป็นไปไม่ได้ตั้งแต่ 3 $\frac{1}{\epsilon^4}$ $n$ $\frac{1}{\epsilon^3}$ $\epsilon^3$ $D_2$ $\epsilon^{2.5}$ $\epsilon^{2.5} \gg \epsilon^3$

เพิ่มเติม abstractly สมมติว่าเราต้องการแต่ละจุดจะแตกต่างจากชุดโดย k แล้วที่สุดที่เราสามารถตั้งค่าเพื่อจะk} เพื่อให้ได้ระยะทางของเราต้องทำให้แน่ใจว่าสแควร์รูทของผลรวมของระยะทางคือดังนั้นดังนั้นดังนั้น , และเราได้รับ2} $\epsilon^k$ $n$ $\frac{1}{\epsilon^k}$ $L_2$ $\epsilon$ $\epsilon$ $\sqrt{n(\epsilon^k)^2} = \epsilon$ $\epsilon^{k/2} = \epsilon$ $k = 2$ $n = \frac{1}{\epsilon^2}$

นอกจากนี้ฉันคิดว่าอาร์กิวเมนต์เดียวกันบอกว่าถ้าเราสนใจระยะทางด้วยเราต้องการดังนั้นเราจะเลือกดังนั้นจำนวนของกลุ่มตัวอย่างจะเป็น{p-1}} ผมคิดว่านี้ทำให้รู้สึกว่าเป็นความผูกพันที่เป็นอิสระจากnแนวทางอินฟินิตี้เป็น1 หากคุณพยายามแยกความแตกต่างสองดิสทริบิวชันที่ระยะทางของโดยไม่มีข้อผูกมัดกับฉันจะทำให้มีขนาดใหญ่มากและกระจายความแตกต่างแบบบางไปโดยพลการ $L_p$ $p > 1$ $k = \frac{p}{p-1}$ $n = 1/\epsilon^{\frac{p}{p-1}}$ $1 / \epsilon^{2\frac{p}{p-1}}$ $n$ $p \to 1$ $L_1$ $\epsilon$ $n$ $n$ นั่นคือไม่มีจำนวนตัวอย่างเพียงพอสำหรับทุก ) นอกจากนี้ยังใกล้เป็น ; เรื่องนี้ทำให้รู้สึกว่าถูกผูกไว้เพราะสำหรับบรรทัดฐานเราสามารถตั้งและปล่อยให้ทุกจุดแตกต่างโดย ; เราจำเป็นที่จะลิ้มลองบางจุดครั้งเพื่อให้แน่ใจว่ามันแตกต่างจากชุดซึ่งจะใช้เวลาตัวอย่าง $n$ $\frac{1}{\epsilon^3}$ $p \to \infty$ $L_{\infty}$ $n = \frac{1}{\epsilon}$ $\Theta(\epsilon)$ $\frac{1}{\epsilon^2}$ $\frac{1}{\epsilon^3}$

— usul
แหล่งที่มา

1. คุณหมายถึงว่าแตกต่างจากชุดเครื่องแบบโดยในแต่ละจุดหรือไม่? ฉันสงสัยว่าเป็นพิมพ์ผิดและคุณหมายถึง 2

D_{2}

$D_2$

\pm 1 / ϵ^{2}

$\pm 1/\epsilon^2$

\pm ϵ^{2}

$\pm \epsilon^2$

— DW

1

2. ฉันไม่ได้ซื้อที่แตกต่างจากต้องตัวอย่าง ดูเหมือนว่าฉันตัวอย่างเพียงพอแล้ว คำอธิบาย (ปรีชา): สมมติว่าเรารวบรวมตัวอย่างและนับจำนวนครั้งที่เป็นไปได้ที่จะเกิดค่าแต่ละครั้ง หากมาจากแต่ละรายการควรเกิดขึ้น 100 ครั้ง (ด้วย std dev 10) หากพวกเขามาจากแต่ละคนควรเกิดขึ้น 200 ครั้ง (std dev 14) สำหรับครึ่งหนึ่งของพวกเขา / 0 ครั้ง (std dev 0) สำหรับอีกครึ่งหนึ่ง นั่นคือได้อย่างง่ายดายมากพอที่จะแยกแยะความแตกต่างระหว่างสองถ้าคุณรู้ว่าคุณกำลังจัดการกับทั้งหรือD_2

D_{1}

$D_1$

D_{2}

$D_2$

1 / ϵ^{4}

$1/\epsilon^4$

Θ (1 / ϵ^{2})

$\Theta(1/\epsilon^2)$

m = 100 / ϵ^{2}

$m=100/\epsilon^2$

D_{1}

$D_1$

D_{2}

$D_2$

D_{1}

$D_1$

D_{2}

$D_2$

— DW

@DW (1) คุณพูดถูก! แก้ไขแล้ว. (2) ในขณะที่คุณใส่มันฉันเห็นด้วย แต่ฉันคิดว่าการเลือกค่าคงที่ที่แตกต่างกันมันยากกว่า ฉันกำลังนึกภาพสิ่งนี้:ดังนั้นทำให้ความน่าจะเป็นในแต่ละจุด จากนั้นแตกต่างกันในแต่ละจุด (ตรวจสอบว่าระยะทางคือ ) ดังนั้นจึงทำให้มีความน่าจะเป็นหรือในแต่ละจุด

n = 1 / 100 ϵ^{2}

$n = 1/100\epsilon^2$

D_{1}

$D_1$

100 ϵ^{2}

$100\epsilon^2$

D_{2}

$D_2$

10 ϵ^{2}

$10\epsilon^2$

L_{2}

$L_2$

ϵ

$\epsilon$

90 ϵ^{2}

$90\epsilon^2$

110 ϵ^{2}

$110\epsilon^2$

— usul

1

ฉันคิดว่าตัวอย่างยังพอเพียง รวบรวมตัวอย่างและนับจำนวนครั้งที่เป็นไปได้ที่จะเกิดค่าแต่ละค่า สำหรับแต่ละรายการควรเกิดขึ้น 1,000,000 ครั้ง (std dev ) สำหรับแต่ละควรเกิดขึ้น 900,000 ครั้ง (std dev ) หรือ 1,100,000 ครั้ง (std dev ) นั่นง่ายพอที่จะแยกความแตกต่างระหว่างสองถ้าเรารู้ว่าเรากำลังติดต่อกับหรือเพราะความแตกต่างระหว่าง 1,000,000 ถึง 1,100,000 นั้นคือ 100 ส่วนเบี่ยงเบนมาตรฐานนั่นคือมาก

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

m = 10^{6} n

$m=10^6n$

D_{1}

$D_1$

1000

$1000$

D_{2}

$D_2$

\approx 1000

$\approx 1000$

\approx 1000

$\approx 1000$

D_{1}

$D_1$

D_{2}

$D_2$

— DW

@DW ฉันคิดถึงมันมากกว่านี้ - คุณพูดถูก หากค่าเฉลี่ยของพวกเขาแตกต่างกันโดยปัจจัยคูณคงที่จำนวนตัวอย่างต่อจุดคงที่ควรแยกพวกเขา มันเป็นตัวคูณที่ไม่ใช่สารเติมแต่งที่สำคัญ วิธีการนี้แล้วเพียง แต่ช่วยให้ผูกไว้ที่ต่ำกว่าของ 2

1 / ϵ^{2}

$1/\epsilon^2$

— usul