เหตุใดคำจำกัดความของตัวประมาณที่สอดคล้องกันจึงเป็นเช่นนั้น แล้วนิยามทางเลือกของความสอดคล้องล่ะ

อ้างอิงจากวิกิพีเดีย:

ในสถิติการประมาณการที่สอดคล้องกันหรือประมาณการสอดคล้อง asymptotically เป็นประมาณการ-กฎสำหรับการประมาณการของพารามิเตอร์การคำนวณ $θ^*$ -having ทรัพย์สินที่เป็นจำนวนจุดข้อมูลที่ใช้เพิ่มขึ้นเรื่อย ๆ ตามลำดับที่เกิดจากลู่ประมาณการในความน่าจะเป็น $θ^*$ .

ที่จะทำให้คำสั่งนี้ช่วยให้แม่นยำ $\theta^*$ เป็นค่าของพารามิเตอร์ที่แท้จริงคุณต้องการที่จะประเมินและให้เป็นกฎสำหรับการประเมินพารามิเตอร์นี้เป็นหน้าที่ของข้อมูล จากนั้นคำจำกัดความของความสอดคล้องของตัวประมาณสามารถแสดงด้วยวิธีต่อไปนี้: $\hat\theta(S_n)$

lim_{n \to \infty} P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] = 0

$\lim_{n \to \infty} Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ]=0$

คำถามของฉันดูเหมือนผิวเผินตั้งแต่แรกเห็น แต่เป็น: ทำไมคำว่า "ความสอดคล้อง / สอดคล้องกัน" ใช้เพื่ออธิบายพฤติกรรมของตัวประมาณนี้

เหตุผลที่ฉันสนใจเรื่องนี้ก็เพราะว่าสำหรับฉันโดยสังหรณ์ใจคำที่สอดคล้องกันหมายถึงสิ่งที่แตกต่าง (หรืออย่างน้อยก็ดูเหมือนจะแตกต่างจากฉันบางทีพวกเขาอาจจะแสดงให้เห็นว่าเท่ากัน) ให้ฉันบอกความหมายของตัวอย่างด้วย พูดว่า "คุณ" มีความสม่ำเสมอ "ดี" (สำหรับคำนิยามบางอย่างของความดี) จากนั้นก็หมายความว่าทุกครั้งที่คุณมีโอกาสที่จะพิสูจน์ / แสดงให้ฉันเห็นว่าคุณเป็นคนดีจริง ๆ คุณพิสูจน์ฉันว่าคุณเป็นคนดีทุกครั้ง (หรืออย่างน้อยก็ในเวลาส่วนใหญ่)

ให้ใช้สัญชาตญาณของฉันเพื่อกำหนดความสอดคล้องของตัวประมาณ ขอให้ "คุณ" เป็นฟังก์ชั่นการคำนวณและปล่อยให้ "ดี" หมายถึงวิธีการที่คุณจะห่างไกลจากการประมาณการจริง(ดีในความรู้สึกบรรทัดฐานทำไมไม่) จากนั้นนิยามที่ดีกว่าของความสอดคล้องจะเป็น: $\hat{\theta}$ $\theta^*$ $l_1$

\forall n, \forall S_{n}, P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] < δ

$\forall n,\forall S_n, Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ] < \delta$

แม้ว่ามันอาจจะเป็นความหมายที่มีประโยชน์น้อยของความมั่นคงก็จะทำให้รู้สึกมากขึ้นกับผมในทางที่ผมจะกำหนดความสอดคล้องเพราะสำหรับการฝึกอบรม / ชุดตัวอย่างที่คุณโยนในการประมาณการของฉันผมจะสามารถทำผลงานได้ดี คือฉันจะทำดีอย่างต่อเนื่อง ฉันรู้ว่ามันไม่สมจริงที่จะทำเพื่อ n ทั้งหมด (อาจเป็นไปไม่ได้) แต่เราสามารถแก้ไขคำจำกัดความนี้ได้โดยพูดว่า: $\hat\theta$

\exists n_{0}, \forall n \geq n_{0}, \forall S_{n}, P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] < δ

$\exists n_0, \forall n \geq n_0,\forall S_n, Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ] < \delta$

เช่นมีขนาดใหญ่พอ n ตัวประมาณของเราจะไม่แย่กว่า (เช่นไม่เกินห่างจาก "ความจริง") จากจริง ( พยายามจับสัญชาตญาณที่คุณต้องการอย่างน้อยจำนวนหนึ่ง ตัวอย่างเพื่อเรียนรู้ / ประเมินสิ่งใด ๆ และเมื่อคุณได้ตัวเลขครบแล้วตัวประมาณของคุณจะใช้เวลาส่วนใหญ่ถ้ามันสอดคล้องกันในแบบที่เราพยายามกำหนดไว้) $\epsilon$ $\epsilon$ $\theta^*$ $n_0$

แต่ความหมายก่อนหน้านี้คือการที่แข็งแกร่งบางทีเราอาจจะช่วยให้เรามีความน่าจะเป็นที่ต่ำของการห่างไกลจากสำหรับส่วนมากของชุดการฝึกอบรมที่มีขนาด (คือไม่จำเป็นต้องนี้สำหรับแต่เหนือ การกระจายตัวของหรืออะไรทำนองนั้น) ดังนั้นเราจะมีข้อผิดพลาดสูงเพียงเล็กน้อยมากสำหรับชุดตัวอย่าง / การฝึกอบรมส่วนใหญ่ที่เรามี $\theta^*$ $n \geq n_0$ $S_n$ $S_n$

อย่างไรก็ตามคำถามของฉันคือคำจำกัดความที่นำเสนอเหล่านี้ของ "ความสอดคล้อง" จริง ๆ แล้วเหมือนกับคำจำกัดความ "อย่างเป็นทางการ" ของความมั่นคง แต่การเทียบเคียงนั้นยากที่จะพิสูจน์ หากคุณรู้ว่าหลักฐานโปรดแบ่งปัน! หรือสัญชาตญาณของฉันปิดตัวลงอย่างสมบูรณ์และมีเหตุผลที่ลึกกว่าสำหรับการเลือกความสอดคล้องของนิยามในแบบที่มันมักจะถูกกำหนดเป็นอย่างไร ทำไมความสอดคล้อง ("เป็นทางการ") จึงกำหนดวิธีการที่สอดคล้องกัน

ความคิดของฉันเกี่ยวกับการพิสูจน์ผู้สมัครสำหรับความเท่าเทียมบางประเภทหรือบางทีความคล้ายคลึงกันระหว่างแนวคิดเรื่องความมั่นคงและความคิดที่ยอมรับได้ของความมั่นคงอาจจะคลี่คลายคำจำกัดความในคำจำกัดความความมั่นคงอย่างเป็นทางการโดยใช้คำจำกัดความของขีด จำกัด อย่างไรก็ตามฉันไม่แน่ใจ 100% ว่าจะทำอย่างไรและแม้ว่าฉันพยายามแล้วคำนิยามความสอดคล้องอย่างเป็นทางการดูเหมือนจะไม่คำนึงถึงการพูดคุยเกี่ยวกับชุดฝึกอบรม / ตัวอย่างที่เป็นไปได้ทั้งหมด เนื่องจากฉันเชื่อว่าพวกเขาเทียบเท่าคำนิยามอย่างเป็นทางการที่ฉันให้ไม่สมบูรณ์ (เช่นทำไมมันไม่ได้พูดถึงชุดข้อมูลที่เราสามารถทำได้หรือชุดข้อมูลอื่นทั้งหมดที่สามารถสร้างชุดตัวอย่างของเราได้) $(\epsilon, \delta)-$

หนึ่งของความคิดสุดท้ายของฉันมีความหมายใด ๆ ที่เราจัดหาควรจะ WRT แม่นยำมีการกระจายความน่าจะเป็นที่เราพูดคุยเกี่ยวกับมันเป็นหรือมันคือ nฉันคิดว่าผู้สมัครควรจะแม่นยำถ้าสิ่งที่มันรับประกันถ้ามันรับประกันได้ว่ามันจะกระจายไปยังบางส่วนคงที่หรือการกระจายไปยังชุดการฝึกอบรม ... ใช่มั้ย $P_x$ $P_{S_n}$

machine-learning mathematical-statistics consistency

— ชาร์ลีปาร์คเกอร์
แหล่งที่มา

(+1) ความคิดสร้างสรรค์ ขอบคุณสำหรับการแบ่งปันกับเรา ฉันเชื่อว่าฉันจะสามารถให้ความคิดบางอย่างเป็นคำตอบที่นี่

— Alecos Papadopoulos

คำจำกัดความแรกมีประโยชน์เพียงเล็กน้อยเนื่องจากต้องการให้ตัวประมาณค่าทั้งหมดมีความแม่นยำสูง อันที่สองไม่มีเหตุผลเพราะมันพยายามควบคุมตัวแปรโลจิคัลเดียว

มีปริมาณหลายตัว

n

$n$

— whuber

พิจารณาประโยคแถลงการณ์ที่สองโดย OP แก้ไขเล็กน้อย

\begin{matrix} (1) & \forall θ \in Θ, ε > 0, δ > 0, S_{n}, \exists n_{0} (θ, ε, δ) : \forall n \geq n_{0}, P_{n} [| \hat{θ} (S_{n}) - θ^{* * * *} | \geq ε] < δ \end{matrix}

$\forall \theta\in \Theta, \epsilon>0, \delta>0, S_n, \exists n_0(\theta, \epsilon, \delta): \forall n \geq n_0,\;\\P_n\big[|{\hat \theta(S_{n}}) - \theta^*|\geq \epsilon \big] < \delta \tag{1}$

เรากำลังตรวจสอบขอบเขตในลำดับของจำนวนจริง $[0,1]$

{P_{n} [| \hat{θ} (S_{n}) - θ^{* * * *} | \geq ε]}

$\big\{ P_n\big[|{\hat\theta(S_{n}}) - \theta^*|\geq \epsilon \big]\big\}$

จัดทำดัชนีโดยnหากลำดับนี้มีขีด จำกัด เป็นเรียกมันว่าเราจะได้มัน $n$ $n\rightarrow \infty$ $p$

\begin{matrix} (2) & \forall θ \in Θ, ϵ > 0, δ > 0, S_{n}, \exists n_{0} (θ, ϵ, δ) : \forall n \geq n_{0}, | P_{n} [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] - p | < δ \end{matrix}

$\forall \theta\in \Theta, \epsilon>0, \delta>0, S_n,\,\exists n_0(\theta, \epsilon, \delta): \forall n \geq n_0,\;\\\Big| P_n\big[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon \big] -p\Big|< \delta \tag{2}$

$(1)$ $n\rightarrow \infty$ $p=0$

$(1)$ $P_n\big[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon\big]$ $n\rightarrow \infty$ $0$

ดังนั้นดูเหมือนว่า OP จะเสนอนิพจน์ทางเลือกสำหรับคุณสมบัติเดียวกันที่แน่นอนและไม่ใช่คุณสมบัติที่แตกต่างกันของตัวประมาณ

เพิ่ม (ลืมส่วนประวัติ)

ใน "รากฐานของทฤษฎีความน่าจะเป็น" (1933), Kolmogorov กล่าวถึงในเชิงอรรถว่า (แนวคิดของการลู่เข้าในความน่าจะเป็น)

"... เกิดจาก Bernoulli การรักษาทั่วไปโดยสมบูรณ์ได้รับการแนะนำโดย EESlutsky"

(ในปี 1925) งานของ Slutsky อยู่ในภาษาเยอรมัน - มีแม้กระทั่งอาจเป็นปัญหาว่าคำภาษาเยอรมันถูกแปลเป็นภาษาอังกฤษ (หรือคำที่ใช้โดย Bernoulli) แต่อย่าพยายามอ่านคำมากเกินไป

— Alecos Papadopoulos
แหล่งที่มา