การระบุตัวแบบคืออะไร

ฉันรู้ว่าด้วยตัวแบบที่ไม่สามารถระบุตัวตนได้ข้อมูลสามารถกล่าวได้ว่าถูกสร้างขึ้นโดยการกำหนดค่าพารามิเตอร์แบบจำลองที่แตกต่างกันหลายอย่าง ฉันรู้ว่าบางครั้งเป็นไปได้ที่จะ จำกัด พารามิเตอร์เพื่อให้สามารถระบุตัวตนได้ดังตัวอย่างใน Cassella & Berger 2nd ed, หัวข้อ 11.2

จากรูปแบบเฉพาะฉันจะประเมินได้อย่างไรว่าสามารถระบุตัวตนได้หรือไม่

identifiability

— แจ็คแทนเนอร์
แหล่งที่มา

คำตอบ:

สำหรับการระบุตัวตนเรากำลังพูดถึงพารามิเตอร์ (ซึ่งอาจเป็นเวกเตอร์) ซึ่งอยู่เหนือพื้นที่พารามิเตอร์และตระกูลการแจกแจง (เพื่อความง่ายคิดว่า PDF) จัดทำดัชนีโดยซึ่งโดยทั่วไปเราเขียนอะไรบางอย่าง\} ตัวอย่างเช่นอาจเป็นและอาจเป็นได้ $\theta$ $\Theta$ $\theta$ $\{ f_{\theta}|\, \theta \in \Theta\}$ $\theta$ $\theta = \beta$ $f$

f_{θ} (x) = \frac{1}{β} e^{- x / β}, x > 0, β > 0,

$f_{\theta}(x) = \frac{1}{\beta}\mathrm{e}^{-x/\beta}, \ x>0,\ \beta >0,$ ซึ่งจะหมายความว่าinfty) เพื่อหารูปแบบที่จะระบุการเปลี่ยนแปลงที่แผนที่จะควรจะเป็นแบบหนึ่งต่อหนึ่ง ให้แบบจำลองบนตักของคุณวิธีที่ตรงไปตรงมาที่สุดในการตรวจสอบคือเริ่มต้นด้วยสมการ , (ความเสมอภาคนี้ควรจะเป็น (เกือบ)ทั้งหมดในสนับสนุน ) และพยายามที่จะใช้พีชคณิต (หรือบางคนโต้แย้งอื่น ๆ ) เพื่อแสดงให้เห็นว่าเพียงเช่นสมการแสดงให้เห็นว่าในความเป็นจริง{2}

Θ = (0, \infty)

$\Theta = (0,\infty)$

θ

$\theta$

f_{θ}

$f_{\theta}$

f_{θ_{1}} = f_{θ_{2}}

$f_{\theta_{1}} = f_{\theta_{2}}$

x

$x$

θ_{1} = θ_{2}

$\theta_{1} = \theta_{2}$

หากคุณประสบความสำเร็จกับแผนนี้โมเดลของคุณจะสามารถระบุตัวตนได้ ไปกับธุรกิจของคุณ หากคุณไม่ทำเช่นนั้นโมเดลของคุณจะไม่สามารถระบุตัวตนได้หรือคุณต้องหาอาร์กิวเมนต์อื่น สัญชาตญาณเหมือนกันโดยไม่คำนึงถึง: ในแบบจำลองที่สามารถระบุได้มันเป็นไปไม่ได้สำหรับพารามิเตอร์ที่แตกต่างกันสองตัว (ซึ่งอาจเป็นเวกเตอร์) เพื่อก่อให้เกิดความน่าจะเป็นของฟังก์ชันเดียวกัน

สิ่งนี้สมเหตุสมผลเนื่องจากถ้าสำหรับข้อมูลคงที่พารามิเตอร์ที่ไม่ซ้ำกันสองตัวก่อให้เกิดความเป็นไปได้เดียวกันมันจะเป็นไปไม่ได้ที่จะแยกแยะความแตกต่างระหว่างพารามิเตอร์ตัวเลือกสองตัวที่ยึดตามข้อมูลเพียงอย่างเดียว มันเป็นไปไม่ได้ที่จะระบุพารามิเตอร์จริงในกรณีนั้น

สำหรับตัวอย่างข้างต้นสมการคือ สำหรับ (เกือบ) ทุก0 หากเราบันทึกทั้งสองด้านเราจะได้รับ สำหรับซึ่งแสดงถึงฟังก์ชันเชิงเส้น คือ (เกือบ) ศูนย์เหมือนกัน บรรทัดเดียวที่ทำสิ่งนั้นคือเส้นที่มีความชัน 0 และศูนย์ตัดแกน y หวังว่าคุณจะเห็นส่วนที่เหลือ $f_{\theta_{1}} = f_{\theta_{2}}$

\frac{1}{β_{1}} e^{- x / β_{1}} = \frac{1}{β_{2}} e^{- x / β_{2}},

$\frac{1}{\beta_{1}}\mathrm{e}^{-x/\beta_{1}} = \frac{1}{\beta_{2}}\mathrm{e}^{-x/\beta_{2}},$

x > 0

$x > 0$

- \ln β_{1} - \frac{x}{β_{1}} = - \ln β_{2} - \frac{x}{β_{2}}

$-\ln\,\beta_{1} - \frac{x}{\beta_{1}} = -\ln\,\beta_{2} - \frac{x}{\beta_{2}}$

x > 0

$x > 0$

- (\frac{1}{β_{1}} - \frac{1}{β_{2}}) x - (\ln β_{1} - \ln β_{2})

$-\left(\frac{1}{\beta_{1}} - \frac{1}{\beta_{2}}\right)x - (\ln\,\beta_{1} - \ln\,\beta_{2})$

โดยวิธีการถ้าคุณสามารถบอกได้โดยดูที่แบบจำลองของคุณว่ามันไม่สามารถระบุตัวตนได้ (บางครั้งคุณสามารถทำได้) ดังนั้นจึงเป็นเรื่องธรรมดาที่จะแนะนำข้อ จำกัด เพิ่มเติมเกี่ยวกับแบบจำลองนั้นเพื่อให้สามารถระบุตัวตนได้ นี่คล้ายกับการรับรู้ว่าฟังก์ชั่นไม่ใช่แบบหนึ่งต่อหนึ่งสำหรับในแต่เป็นแบบหนึ่งต่อหนึ่งถ้าเรา จำกัดให้นอน ภายใน[0,1]ในแบบจำลองที่ซับซ้อนกว่าสมการจะรุนแรงขึ้น แต่ความคิดก็เหมือนกัน $f(y) = y^{2}$ $y$ $[-1,1]$ $y$ $[0,1]$

(+1) คำอธิบายที่ดีครอบคลุมครอบคลุมทั่วโลก การเปรียบเทียบที่คุณวาดทำให้แนวคิดนั้นชัดเจน

— พระคาร์ดินัล

แน่นอนคุณตอบคำถามที่ฉันถาม แต่ฉันเป็นสามเณรมากเกินไปที่จะเข้าใจคำตอบของคุณ หากคุณรู้คำอธิบายที่ดีสำหรับมือใหม่โปรดแจ้งให้เราทราบ

— Jack Tanner

@ คาร์ดินัลขอบคุณ สำหรับแจ็คเอาล่ะฉันเข้าใจแล้ว ถ้ามีอะไรข้างต้นที่ยังไม่ชัดเจนและถ้าคุณชี้ให้ฉันฉันก็สามารถลองแยกมันออกมาได้มากกว่านี้ หรือหากคุณต้องการคุณสามารถเขียนคำถามอื่นที่ขอคำอธิบาย "คนธรรมดา" หรือตัวอย่างของความคิดเหล่านี้ ฉันคิดว่ามันยุติธรรมที่จะบอกว่าการระบุตัวตนเป็นหัวข้อที่มักจะเกิดขึ้นหลังจากช่วงเวลาเบื้องต้นของการศึกษาทั่วไปดังนั้นหากคุณต้องการที่จะอธิบายบริบทของสาเหตุที่คุณต้องเผชิญกับเรื่องนี้ในตอนนี้

+1, คำตอบที่ดี มันอาจจะคุ้มค่าที่ชี้หนึ่งคลาสสิกและง่ายที่จะเห็นตัวอย่างของรูปแบบที่ไม่สามารถระบุเป็นรุ่นที่ไม่มีข้อ จำกัด ของการวิเคราะห์ความแปรปรวน: ในการแก้ไขปัญหานี้ถืออ้างอิงการเข้ารหัสเป็น โดยทั่วไปแล้วจะใช้ค่าเฉลี่ยของระดับหนึ่งเป็นข้อมูลอ้างอิง (ซึ่งประมาณโดยการสกัดกั้น) & ค่าเฉลี่ยแกรนด์ไม่ได้ถูกประเมินอย่างชัดเจน

y_{i j} = μ + α_{1} + α_{2} + \dots + α_{k} + ε_{i}

$y_{ij}=\mu+\alpha_1+\alpha_2+\ldots+\alpha_k+\varepsilon_i$

— gung - Reinstate Monica

วิธีหนึ่งคือตรวจสอบความแปรปรวนร่วมของการประมาณค่าพารามิเตอร์ของคุณ หากการประมาณการพารามิเตอร์สองรายการนั้นมีความสัมพันธ์กันอย่างสมบูรณ์ (โดยประมาณ) หรือการประมาณการพารามิเตอร์หนึ่งรายการเป็นการรวมกันเชิงเส้น (โดยประมาณ) ของอีกหลาย ๆ โมเดลดังนั้นโมเดลของคุณจะไม่ถูกระบุ ไม่จำเป็นต้องใช้พารามิเตอร์ที่เป็นหน้าที่ของผู้อื่น ในแต่ละกรณีเหล่านี้จะเป็นเอกพจน์ด้วย (ประมาณ) ดังนั้นถ้ามีค่าเอกพจน์โดยประมาณนี่อาจเป็นเหตุผลที่ทำให้คุณกังวลเกี่ยวกับปัญหาการระบุตัวตน (แม้ว่าฉันจะไม่คิดว่าสิ่งนี้จะตรวจจับความสัมพันธ์ที่ไม่ใช่เชิงเส้นตรงระหว่างการประมาณค่าพารามิเตอร์ที่จะทำให้เกิดการไม่สามารถระบุตัวตนได้) $\Sigma$ $\Sigma$ $\Sigma$

ปัญหาในทางปฏิบัติก็คือมันมักจะยากที่จะคำนวณสำหรับแบบจำลองที่ซับซ้อนเล็กน้อย $\Sigma$

หากคุณกำลังทำปัญหาความน่าจะเป็นสูงสุดคุณจะรู้ว่าเมทริกซ์ความแปรปรวนร่วมแบบไม่แสดงความแปรปรวนของค่าประมาณเท่ากับค่าผกผันของข้อมูลการประมงที่ประเมินที่ MLE ดังนั้นการตรวจสอบเมทริกซ์ข้อมูลการประมงเพื่อหาภาวะเอกฐาน (โดยประมาณ) จึงเป็นวิธีที่เหมาะสมในการประเมินความสามารถในการระบุตัวตน สิ่งนี้ยังใช้งานได้ซึ่งข้อมูลการคำนวณเชิงทฤษฎีเป็นเรื่องยากที่จะคำนวณเพราะมักจะเป็นไปได้ที่จะประมาณค่าตัวเลขที่สอดคล้องกันอย่างแม่นยำของเมทริกซ์ข้อมูลการประมงโดยประมาณเช่นการประมาณผลิตภัณฑ์นอกที่คาดหวังของฟังก์ชันคะแนน .

ในคุณไม่ได้ทำปัญหา ML คุณอาจจะสามารถจัดการกับโดยการจำลองข้อมูลจากแบบจำลองและการประมาณค่าพารามิเตอร์เป็นจำนวนมากครั้งและคำนวณเมทริกซ์ความแปรปรวนร่วมตัวอย่าง $\Sigma$

— มาโคร
แหล่งที่มา

(+1) ทำได้ดีมาก ฉันไม่เคยคิดที่จะถามคำถามนี้จากทิศทางนั้น

เหตุผลหนึ่งที่ความคิดเกี่ยวกับการคำนวณเมทริกซ์ความแปรปรวนร่วมจากข้อมูลจำลองเป็นระเบียบโดยเฉพาะอย่างยิ่งคือว่าเราควรจำลองข้อมูลต่อไปเพื่อทำการตรวจสอบCook-Gelman-Rubin

— Jack Tanner