การสร้างแบบจำลองเมื่อตัวแปรตามมี "ตัด"

ขออภัยล่วงหน้าหากคำศัพท์ใด ๆ ที่ฉันใช้ไม่ถูกต้อง ฉันยินดีต้อนรับการแก้ไขใด ๆ หากสิ่งที่ฉันอธิบายว่าเป็น "การตัด" ใช้ชื่ออื่นให้แจ้งให้ฉันทราบและฉันสามารถอัปเดตคำถามได้

สถานการณ์ที่ฉันสนใจคือ: คุณมีตัวแปรอิสระและตัวแปรที่ขึ้นอยู่กับเดียว ฉันจะปล่อยให้มันคลุมเครือ แต่สมมติว่ามันค่อนข้างตรงไปตรงมาที่จะได้แบบจำลองการถดถอยที่ดีสำหรับตัวแปรเหล่านี้ $\bf{x}$ $y$

แต่รูปแบบที่คุณกำลังเล็งที่จะสร้างเป็นตัวแปรอิสระและตัวแปรตามที่บางค่าคงที่ในช่วงของปีอย่างเท่าเทียมกันข้อมูลที่คุณมีการเข้าถึงไม่ได้รวมเท่านั้นW $\bf{x}$ $w = \min(y,a)$ $a$ $y$ $y$ $w$

ตัวอย่างนี้เป็นตัวอย่างที่ค่อนข้างไม่สมจริงหากคุณพยายามทำตัวเป็นแบบอย่างว่าจะมีคนเก็บเงินบำนาญของพวกเขาเป็นเวลากี่ปี ในกรณีนี้ $\bf{x}$ อาจเป็นข้อมูลที่เกี่ยวข้องเช่นเพศน้ำหนักชั่วโมงการออกกำลังกายต่อสัปดาห์ ฯลฯ ตัวแปร 'พื้นฐาน' $y$ จะเป็นอายุขัย อย่างไรก็ตามตัวแปรที่คุณสามารถเข้าถึงได้และพยายามทำนายในแบบจำลองของคุณคือ $w = \min(0, y-r)$ โดยที่ r คืออายุเกษียณ (สมมติว่ามันเรียบง่ายคงที่)

มีวิธีที่ดีในการจัดการกับปัญหานี้ในการสร้างแบบจำลองการถดถอยหรือไม่?

— เบ็นอรุณสัน
แหล่งที่มา

ฉันไม่แน่ใจ แต่ดูเหมือนว่ามันจะเข้าถึงได้ผ่านการวิเคราะห์การเอาชีวิตรอด 1) มันเกี่ยวข้องกับการเซ็นเซอร์ 2) อย่างน้อยในตัวอย่างของคุณมันเกี่ยวข้องกับเวลา แต่มันจะถูกเซ็นเซอร์ซ้ายมากกว่าเซ็นเซอร์ขวา (ซึ่งเป็นเรื่องธรรมดามากขึ้น) หากคุณเห็นด้วยกับฉันคุณสามารถเพิ่มแท็กการเอาชีวิตรอดและดูว่ามีใครกระโดดข้ามหรือไม่

— Peter Flom - Reinstate Monica

@ ปีเตอร์แน่นอนว่ามันจะถูกเซ็นเซอร์ฉัน ด้านใดที่การเซ็นเซอร์เกิดขึ้นมีการนำเข้าเพียงเล็กน้อยเนื่องจากการลบตัวแปรที่ต้องพึ่งพาหนึ่งสวิตช์ระหว่างการเซ็นเซอร์ด้านขวาและซ้าย

— whuber

@ โฮเบอร์ฉันคิดว่าคุณพูดถูก แต่อย่างที่คุณพูดการเซ็นเซอร์สามารถสลับได้ง่ายพอ

— Peter Flom - Reinstate Monica

ตัวอย่างการเกษียณอายุดูเหมือนจะเรียกใช้ตัวแบบข้อมูลนับ (ถ้าคุณเต็มใจที่จะปัดเศษไปทั้งปีและตราบใดที่ทุกคนเสียชีวิตตามเวลาที่คุณทำการวิเคราะห์) วิธีตัวแปรแฝงดูเหมือนยืดออกด้วยสิ่งนี้ตั้งแต่เวลาไม่สามารถลบได้

— Dimitriy V. Masterov

รุ่นนี้มีหลายชื่อขึ้นอยู่กับสาขาวิชาและหัวข้อ ชื่อสามัญสำหรับชื่อนี้คือตัวแปรที่ขึ้นกับการเซ็นเซอร์, ตัวแปรที่ขึ้นอยู่กับการถูกตัดทอน, ตัวแปรที่ขึ้นอยู่กับการ จำกัด , การวิเคราะห์การอยู่รอด, Tobit และการถดถอยแบบเซ็นเซอร์ ฉันอาจจะทิ้งชื่ออื่นไว้หลายชื่อ

การตั้งค่าที่คุณแนะนำว่าถูกเรียกว่า "การเซ็นเซอร์ที่ถูกต้อง" เนื่องจากค่าของอยู่ไกลเกินไปทางด้านขวาบนบรรทัดที่แท้จริงถูกเซ็นเซอร์ --- และแทนที่จะเห็นจุดตรวจสอบ . $\min\{y_i,a\}$ $y_i$ $a$

วิธีหนึ่งในการจัดการกับข้อมูลเช่นนี้คือการใช้ตัวแปรแฝง (และนี่คือสิ่งที่คุณเสนอ) นี่คือวิธีหนึ่งในการดำเนินการ:

\begin{aligned} y_{i} & = x_{i}^{'} β + ε_{i} \\ w_{i} & = min {y_{i}, a} \\ ε_{i} & \sim N (0, σ^{2}) i i d \end{aligned}

$\begin{align} y_i &= x_i'\beta+\varepsilon_i\\ w_i &= \min\{y_i, a\}\\ \varepsilon_i &\sim N(0,\sigma^2)\; \ {\rm iid} \end{align}$

จากนั้นคุณสามารถวิเคราะห์สิ่งนี้ได้โดยโอกาสสูงสุด การสังเกตที่การเซ็นเซอร์เกิดขึ้นมีส่วนช่วยให้ไปยังฟังก์ชั่นความน่าจะเป็นและการสังเกตที่การเซ็นเซอร์ไม่ได้มีส่วนร่วมไปยังฟังก์ชันความน่าจะเป็น CDF มาตรฐานปกติและความหนาแน่นของมาตรฐานปกติคือ\ดังนั้นฟังก์ชันความน่าจะเป็นมีลักษณะดังนี้: $P\{y_i>a\}=\Phi(\frac{1}{\sigma}x_i'\beta-a)$ $\frac{1}{\sigma}\phi((y_i-x_i'\beta)/\sigma)$ $\Phi$ $\phi$

\begin{aligned} L (β, σ) & = \prod_{i \in censored} Φ (\frac{1}{σ} x_{i}^{'} β - a) \prod_{i \notin censored} \frac{1}{σ} ϕ ((y_{i} - x_{i}^{'} β) / σ) \end{aligned}

$\begin{align} L(\beta,\sigma) &= \prod_{i\ \in\ \text{censored}} \Phi\left(\frac{1}{\sigma}x_i'\beta-a\right) \prod_{i\ \not\in\ \text{censored}} \frac{1}{\sigma}\phi\big((y_i-x_i'\beta)/\sigma\big) \end{align}$

คุณประมาณและโดยการเพิ่มขนาดนี้ คุณได้รับข้อผิดพลาดมาตรฐานเป็นข้อผิดพลาดมาตรฐานโอกาสสูงสุดปกติ $\beta$ $\sigma$

อย่างที่คุณอาจจินตนาการว่านี่เป็นเพียงหนึ่งในหลายแนวทาง

— บิล
แหล่งที่มา

+1 ทำงานตัวอย่างของการแก้ปัญหา ML ปรากฏที่stats.stackexchange.com/questions/49443

— whuber

@whuber นั่นเป็นนิทรรศการที่ดี

— Bill