หากการหดตัวถูกนำไปใช้อย่างชาญฉลาดมันจะทำงานได้ดีขึ้นสำหรับผู้ประมาณค่าที่มีประสิทธิภาพมากกว่าหรือไม่

สมมติว่าฉันมีตัวประมาณสองตัวและที่เป็นตัวประมาณที่สอดคล้องกันของพารามิเตอร์เดียวกันและนั่น ด้วยในแง่ของ psd ดังนั้น asymptoticallyจะมีประสิทธิภาพมากกว่า\ตัวประมาณสองค่านี้ขึ้นอยู่กับฟังก์ชันการสูญเสียที่แตกต่างกัน $\widehat{\beta}_1$ $\widehat{\beta}_2$ $\beta_0$

\sqrt{n} ({\hat{β}}_{1} - β_{0}) \overset{d}{\to} N (0, V_{1}), \sqrt{n} ({\hat{β}}_{2} - β_{0}) \overset{d}{\to} N (0, V_{2})

$\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)$

V_{1} \leq V_{2}

$V_1 \leq V_2$

{\hat{β}}_{1}

$\widehat{\beta}_1$

{\hat{β}}_{2}

$\widehat{\beta}_2$

ตอนนี้ฉันต้องการค้นหาเทคนิคการหดตัวเพื่อปรับปรุงคุณสมบัติตัวอย่าง จำกัด ของตัวประมาณของฉัน

สมมติว่าผมพบว่าเทคนิคการหดตัวที่ช่วยเพิ่มประมาณการในตัวอย่างแน่นอนและทำให้ฉันมีค่าของ MSE เท่ากับ\นี่หมายความว่าฉันสามารถหาเทคนิคการหดตัวที่เหมาะสมเพื่อนำไปใช้กับ ที่จะให้ MSE ไม่มากไปกว่าหรือไม่? $\widehat{\beta}_2$ $\widehat{\gamma}_2$ $\widehat{\beta}_1$ $\widehat{\gamma}_2$

กล่าวอีกนัยหนึ่งถ้าการหดตัวถูกนำไปใช้อย่างชาญฉลาดมันจะทำงานได้ดีขึ้นสำหรับเครื่องมือประมาณค่าที่มีประสิทธิภาพมากกว่าหรือไม่

— alik
แหล่งที่มา

คำตอบ:

ผมขอแนะนำตัวอย่างที่น่าเบื่อเล็กน้อยที่ยอมรับกัน พูดว่าไม่เพียง แต่มีประสิทธิภาพมากกว่า asymptoticallyเท่านั้น แต่ยังบรรลุ Cramer Rao Lower Bound เทคนิคการหดตัวที่ชาญฉลาดสำหรับจะเป็น: มี(0,1) ความแตกต่างของ asymptoticคือ ที่ความเท่าเทียมกันครั้งสุดท้ายใช้เล็มม่า ในกระดาษ Hausman ของ เรามี $\hat{\beta}_1$ $\hat{\beta}_2$ $\hat{\beta}_2$

{\hat{β}}_{2}^{*} = w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}

$\hat{\beta}_2^\ast = w \hat{\beta}_2 + (1 - w) \hat{\beta}_1$

w \in (0, 1)

$w\in(0,1)$

{\hat{β}}_{2}^{*}

$\hat{\beta}_2^\ast$

V^{*} = A v a r (w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}) = A v a r (w ({\hat{β}}_{2} - {\hat{β}}_{1}) + {\hat{β}}_{1}) = V_{1} + w^{2} (V_{2} - V_{1})

$V^\ast = \mathbb{Avar}(w \hat{\beta}_2 + (1 - w) \hat{\beta}_1) = \mathbb{Avar}(w (\hat{\beta}_2 - \hat{\beta}_1) + \hat{\beta}_1 ) = V_1 + w^2 (V_2 - V_1)$

V_{2} - V^{*} = V_{2} (1 - w^{2}) - V_{1} (1 - w^{2}) \geq 0

$V_2 - V^\ast = V_2(1-w^2) - V_1(1-w^2) \geq 0$ ดังนั้นจึงมีการปรับปรุงความเสี่ยงแบบ asymptotic (ไม่มีเงื่อนไขอคติ) ดังนั้นเราจึงพบเทคนิคการหดตัวที่ช่วยให้ asymptotic บางคน (และดังนั้นจึงตัวอย่างแน่นอนหวังว่า) การปรับปรุงมากกว่า\ยังไม่มีตัวประมาณค่าการหดตัวที่ตามมาจากขั้นตอนนี้

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}^{*}

$\hat{\beta}_1^\ast$

จุดที่แน่นอนที่นี่คือการหดตัวจะทำต่อตัวประมาณประสิทธิภาพดังนั้นจึงไม่สามารถใช้กับตัวประมาณประสิทธิภาพได้ ดูเหมือนว่าจะค่อนข้างชัดเจนในระดับสูง แต่ฉันเดาว่าในตัวอย่างเฉพาะสิ่งนี้ไม่ชัดเจน ( MLE และวิธีการประมาณช่วงเวลาสำหรับการแจกแจงแบบสม่ำเสมออาจเป็นตัวอย่างหรือไม่)

— Matthias Schmidtblaicher
แหล่งที่มา

ขอบคุณสำหรับตัวอย่างที่น่าสนใจ! (+1) อย่างไรก็ตามมันไม่ชัดเจนสำหรับฉันที่ควรถือว่าเป็นตัวอย่างการนับ: มันเป็นทั้งแบบเชิงและไม่แสดงว่าไม่สามารถปรับปรุงให้มีความเสี่ยงเท่าเดิมหรือต่ำกว่าได้ (อันที่จริงแล้วมีความเสี่ยงโดยอัตโนมัติเช่นเดียวกับ ) เพื่อให้ตัวอย่างตอบโต้ความเสี่ยงของตัวประมาณปรับเปลี่ยนจะต้องเป็น น้อยกว่าความเสี่ยงของและไม่ชัดเจนว่าเป็นไปได้กับโครงการนี้

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

— user795305

ขอบคุณและประเด็น แต่ผมขอชี้ให้เห็นว่าไม่มีที่ไหนในคำถามมันก็ระบุว่า MSE ของการปรับเปลี่ยนจะต้องต่ำกว่าที่ของ\ดังนั้น เป็นเทคนิคการหดตัวที่ถูกต้องในบริบทนี้ แต่ฉันยอมรับว่านี่เป็นเพียงคำตอบบางส่วนและฉันรอคอยที่จะเห็นสิ่งที่คนอื่นพูดถึงคำถามนี้

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}

$\hat{\beta}_1$

{\hat{β}}_{2}^{⋆}

$\hat{\beta}^\star_2$

— Matthias Schmidtblaicher

ในย่อหน้าที่เริ่มต้น "สมมติว่าฉันพบ ... ", OP ดูเหมือนจะระบุว่า ฉันเข้าใจผิดหรือเปล่า? ในสิ่งต่อไปนี้ให้ดาวแสดงว่าประมาณแก้ไขเพื่อให้สำหรับบางคน (อาจจะหดตัว) ฟังก์ชั่นf_jสมมติว่าเราพบเพื่อให้*) ในวรรคที่อ้างถึง OP ถามว่าเราสามารถหาบางเพื่อให้*)

{\hat{β}}_{j}^{*} = f_{j} ({\hat{β}}_{j})

$\hat\beta_j^* = f_j(\hat\beta_j)$

f_{j}

$f_j$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

r i s k ({\hat{β}}_{2}) \geq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_2) \ge risk(\hat\beta_2^*)$

f_{1}

$f_1$

r i s k ({\hat{β}}_{1}^{*}) \leq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_1^*) \le risk(\hat\beta_2^*)$

— user795305

ฉันเห็น. หากนี่คือคำถามเป็นเพียงตัวตนและคำตอบนั้นยืนยันในตัวอย่าง ฉันอ่านคำถามว่า "ถ้าเราสามารถหาฟังก์ชั่นดังนั้นอยู่ที่นั่นไหม มีดังนั้น ? "

f_{1}

$f_1$

f (β, x)

$f(\beta, x)$

r i s k (f ({\hat{β}}_{2}, x)) < r i s k ({\hat{β}}_{2})

$risk(f(\hat{\beta}_2,x)) < risk(\hat{\beta}_2)$

g (β, x)

$g(\beta, x)$

r i s k (g ({\hat{β}}_{1}, x)) < r i s k ({\hat{β}}_{1})

$risk(g(\hat{\beta}_1,x)) < risk(\hat{\beta}_1)$

— Matthias Schmidtblaicher

ขอบคุณที่แบ่งปันเครดิตเหล่านี้แม้ว่าฉันจะไม่ได้ตอบคำถามของคุณจริงๆ ...

— Matthias Schmidtblaicher

-2

นี่เป็นคำถามที่น่าสนใจที่ฉันต้องการชี้ให้เห็นถึงไฮไลท์บางอย่างก่อน

ตัวประมาณสองตัวมีความสอดคล้องกัน
$\hat{\beta}_1$ นั้นมีประสิทธิภาพมากกว่าเนื่องจากมีความผันแปรน้อยกว่า $\hat\beta_2$
ฟังก์ชั่นการสูญเสียไม่เหมือนกัน
วิธีการหดตัวหนึ่งถูกนำไปใช้กับหนึ่งเพื่อที่จะลดความแปรปรวนที่ด้วยตัวเองจบลงด้วยการประมาณที่ดีขึ้น
คำถาม : กล่าวอีกนัยหนึ่งถ้าใช้การหดตัวอย่างชาญฉลาดมัน จะทำงานได้ดีขึ้นสำหรับเครื่องมือประมาณค่าที่มีประสิทธิภาพมากขึ้นหรือไม่?

โดยพื้นฐานแล้วมันเป็นไปได้ที่จะปรับปรุงตัวประมาณในกรอบการทำงานบางอย่างเช่นคลาสของตัวประมาณค่าแบบไม่เอนเอียง อย่างไรก็ตามตามที่คุณระบุไว้ฟังก์ชั่นการสูญเสียที่แตกต่างกันทำให้สถานการณ์ยากขึ้นเพราะฟังก์ชั่นการสูญเสียหนึ่งอาจลดการสูญเสียกำลังสองได้ ยิ่งไปกว่านั้นการใช้คำว่า "เสมอ" นั้นยุ่งยากมากเพราะหากตัวประมาณหนึ่งตัวดีที่สุดในชั้นเรียนคุณจะไม่สามารถเรียกร้องตัวประมาณค่าที่ดีกว่านี้ได้

สำหรับตัวอย่างง่ายๆ (ในกรอบเดียวกัน) ให้ตัวประมาณสองตัวคือบริดจ์ (ลงโทษด้วยการถดถอยเชิงบรรทัดฐาน ) และ Lasso (โอกาสแรกที่ถูกลงโทษนอร์ม) และชุดพารามิเตอร์ที่กระจัดกระจายคือ , โมเดลเชิงเส้น , ปกติของระยะผิดพลาดหรือที่รู้จักกันฟังก์ชั่นการสูญเสียกำลังสอง (ตารางข้อผิดพลาดน้อยที่สุด) และเป็นอิสระของตัวแปรในxให้เลือกสำหรับสำหรับตัวประมาณตัวแรกและสำหรับตัวประมาณตัวที่สอง จากนั้นคุณสามารถปรับปรุงตัวประมาณโดยเลือก $l_p$ $\beta$ $y=x\beta+e$ $e\sim N(0,\sigma^2<\infty)$ $\sigma$ $x$ $l_p$ $p=3$ $p=2$ $p\rightarrow 1$ ซึ่งจะกลายเป็นตัวประมาณที่ดีกว่าด้วยค่าความแปรปรวนต่ำ จากนั้นในตัวอย่างนี้มีโอกาสในการปรับปรุงตัวประมาณ

ดังนั้นคำตอบของฉันสำหรับคำถามของคุณคือใช่เนื่องจากคุณถือว่าครอบครัวตัวประมาณค่าเดียวกันและฟังก์ชันการสูญเสียเดียวกันรวมถึงสมมติฐาน

— TPArrow
แหล่งที่มา

มันไม่ชัดเจนกับผมว่าคุณหมายถึงโดยใช้1 ให้ตัวประมาณสองตัว (กล่าวว่าจากการมีและในการทำให้เป็นอย่างน้อยกำลังสองเช่นคุณพูดคุยในการตอบกลับของคุณ) คำถามถามเกี่ยวกับวิธีโพสต์ประมวลผลตัวประมาณเหล่านี้ (ผ่านพูดลดขนาด) โดยเฉพาะมันถามว่ามีวิธีการที่สามารถสร้างการปรับปรุงที่คล้ายกัน (ในแง่ของ MSE) ในตัวประมาณค่าปกติและแบบอะซิมโตติติกหรือไม่ ยังไม่ชัดเจนสำหรับฉันว่าคำตอบของคุณควรสื่อถึงสิ่งนี้อย่างไร

p \to 1

$p \to 1$

p = 3

$p=3$

p = 2

$p=2$

ℓ_{p}

$\ell_p$

— user795305

@Ben ขอบคุณ คำถามเกี่ยวกับการหดตัวและฉันพยายามที่จะเป็นตัวอย่างง่ายๆที่ใช้การหดตัวโดยกำหนดโทษบรรทัดฐานในตัวประมาณ ฉันเห็นมันค่อนข้างเกี่ยวข้อง PS: LASSO (ไปได้ที่ถูกลงโทษในบรรทัดฐาน) หมายถึงผู้ปฏิบัติงานการหดตัวและการคัดเลือกน้อยที่สุด

l_{p}

$l_p$

l_{1}

$l_1$

— TPArrow

มันยังไม่ชัดเจนสำหรับฉัน คุณกำลังเสนอให้เราใช้การประมาณค่าเริ่มต้นและแล้วประเมินตัวดำเนินการใกล้เคียงของพวกเขาเพื่อให้ประมาณการใหม่คือ , สำหรับ ? ถ้าเป็นเช่นนั้นคุณสามารถแสดงหลักฐาน (หรือข้อโต้แย้งอื่น ๆ ) สำหรับการอ้างสิทธิ์ของคุณเกี่ยวกับการปรับปรุง MSE ได้หรือไม่? ฉันพยายามเน้นย้ำก่อนหน้านี้ว่าคำถามกำลังถามเกี่ยวกับตัวประมาณค่าประมวลผลภายหลัง -ค่าประมาณของคุณสำหรับการประมวลผลภายหลังคืออะไร?

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

ℓ_{p}

$\ell_p$

{\hat{α}}_{j}^{p} = \arg min_{α} ‖ α - {\hat{β}}_{j} ‖_{2}^{2} + λ ‖ α ‖_{p}

$\hat\alpha^p_j = \arg\min_\alpha \|\alpha-\hat\beta_j\|_2^2 + \lambda \|\alpha\|_p$

j \in {1, 2}

$j \in \{1,2\}$

p = 2, 3

$p=2,3$

— user795305

ขอบคุณ @Ben ฉันรู้สึกว่าเราไม่ได้มีฉันทามติในความหมายของการหดตัว คุณคิดว่ามันเป็นกระบวนการแบบโพสต์ แต่ฉันเป็นการประมวลผลแบบอินไลน์ ฉันคิดว่าเราทั้งคู่คิดถูกเพราะคำถามไม่ได้คำนึงถึงประเภทของการหดตัว PS: ฉันคิดว่าสิ่งที่คุณหมายถึงจากการหดตัวเป็นเหมือนการนวดแป้งหนัก

— TPArrow

การหดตัวสามารถเป็นได้ทั้งแบบอินไลน์และหลังการประมวลผล ตัวอย่างที่คุณกล่าวถึงในการตอบสนองของคุณเกี่ยวกับ "การหดตัวแบบอินไลน์" ในขณะที่คำถามถามเกี่ยวกับ "การหดตัวภายหลังการประมวลผล" แจ้งให้ทราบว่าคำถามให้สองประมาณและแล้วขอเทคนิคการหดตัวที่จะนำไปใช้กับหรือ\ฉันคิดว่ามันอาจจะคุ้มค่าที่จะอ่านคำถามในแง่นี้

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

— user795305