การประมาณค่าแบบจำลองเลขชี้กำลัง

รูปแบบเลขชี้กำลังเป็นรูปแบบที่อธิบายโดยสมการต่อไปนี้:

$$\hat{y_{i}}=\beta_{0}\cdot e^{\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki}}$$

วิธีที่ใช้กันมากที่สุดที่ใช้ในการประเมินแบบจำลองนี้คือการทำให้เป็นเส้นตรงซึ่งสามารถทำได้อย่างง่ายดายโดยการคำนวณลอการิทึมของทั้งสองฝ่าย อะไรคือแนวทางอื่น ๆ ? ฉันสนใจเป็นพิเศษสำหรับผู้ที่สามารถจัดการในการสังเกต$y_{i}=0$

อัปเดต 31.01.2011
ฉันตระหนักถึงความจริงที่ว่ารุ่นนี้ไม่สามารถสร้างศูนย์ได้ ฉันจะอธิบายรายละเอียดเล็กน้อยเกี่ยวกับสิ่งที่ฉันทำตัวแบบและทำไมฉันถึงเลือกรุ่นนี้ สมมติว่าเราต้องการทำนายจำนวนเงินที่ลูกค้าใช้ในร้าน แน่นอนว่าลูกค้าจำนวนมากกำลังมองหาอยู่และพวกเขาไม่ได้ซื้ออะไรเลยทำไมมี 0 ฉันไม่ต้องการใช้แบบจำลองเชิงเส้นเพราะมันสร้างค่าลบจำนวนมากซึ่งไม่สมเหตุสมผล เหตุผลอื่นคือโมเดลนี้ทำงานได้ดีจริง ๆ ดีกว่าแบบเส้นตรงมาก ฉันใช้อัลกอริทึมทางพันธุกรรมเพื่อประมาณค่าพารามิเตอร์เหล่านั้นดังนั้นมันจึงไม่ใช่วิธีการทางวิทยาศาสตร์ ตอนนี้ฉันอยากจะรู้วิธีจัดการกับปัญหาโดยใช้วิธีการทางวิทยาศาสตร์มากขึ้น สามารถสันนิษฐานได้ว่าตัวแปรส่วนใหญ่หรือทั้งหมดเป็นตัวแปรไบนารี่

มีหลายประเด็นที่นี่

(1) รูปแบบที่จะต้องมีความน่าจะเป็นอย่างชัดเจน ในเกือบทุกกรณีจะไม่มีชุดของพารามิเตอร์ที่ lhs ตรงกับ rhs สำหรับข้อมูลทั้งหมดของคุณ: จะมีส่วนที่เหลือ คุณต้องตั้งสมมติฐานเกี่ยวกับสิ่งที่เหลืออยู่ คุณคาดหวังให้พวกเขาเป็นศูนย์โดยเฉลี่ย? มีการกระจายแบบสมมาตรหรือไม่? จะกระจายประมาณปกติ?

ต่อไปนี้เป็นสองรุ่นที่เห็นด้วยกับรุ่นที่ระบุ แต่อนุญาตให้มีพฤติกรรมการตกค้างที่แตกต่างกันอย่างเห็นได้ชัด คุณสามารถเปลี่ยนแปลงแบบจำลองเหล่านี้ได้โดยสมมติฐานที่แตกต่างกันเกี่ยวกับการแจกแจงร่วมของ :$\epsilon_{i}$

B: y i = β 0 exp ( β 1 x

$$\text{A:}\ y_{i} =\beta_{0} \exp{\left(\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki} + \epsilon_{i}\right)}$$ $$\text{B:}\ y_{i} =\beta_{0} \exp{\left(\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki}\right)} + \epsilon_{i}.$$

(โปรดทราบว่าสิ่งเหล่านี้เป็นแบบจำลองสำหรับข้อมูล โดยปกติจะไม่มีสิ่งเช่นค่าข้อมูลโดยประมาณ )^ y $y_i$$\hat{y_i}$

(2) ความจำเป็นในการจัดการค่าศูนย์สำหรับ y หมายถึงรูปแบบที่ระบุไว้ (A) ทั้งผิดและไม่เพียงพอเพราะมันไม่สามารถสร้างค่าเป็นศูนย์ไม่ว่าข้อผิดพลาดแบบสุ่มจะเท่ากับ รุ่นที่สองด้านบน (B) อนุญาตให้มีค่าศูนย์ (หรือลบ) ของ y อย่างไรก็ตามเราไม่ควรเลือกแบบจำลองเพียงอย่างเดียวบนพื้นฐานดังกล่าว หากต้องการย้ำข้อ # 1: เป็นสิ่งสำคัญที่ควรสร้างแบบจำลองข้อผิดพลาดที่เหมาะสม

(3) Linearization การเปลี่ยนแปลงรูปแบบ โดยทั่วไปแล้วจะส่งผลในรูปแบบเช่น (A) แต่ไม่ชอบ (B) มันถูกใช้โดยผู้ที่วิเคราะห์ข้อมูลของพวกเขามากพอที่จะรู้ว่าการเปลี่ยนแปลงนี้จะไม่ส่งผลกระทบอย่างมีนัยสำคัญต่อการประมาณค่าพารามิเตอร์และโดยคนที่ไม่รู้ในสิ่งที่เกิดขึ้น (มันยากหลายครั้งที่จะบอกความแตกต่าง)

(4) วิธีทั่วไปในการจัดการกับความเป็นไปได้ของค่าศูนย์คือการเสนอว่า (หรือการแสดงออกอีกครั้งของมันเช่นรากที่สอง) มีโอกาสในเชิงบวกอย่างเคร่งครัดเท่ากับศูนย์ ในทางคณิตศาสตร์เรากำลังผสมมวลจุด ("ฟังก์ชันเดลต้า") เข้ากับการแจกแจงแบบอื่น โมเดลเหล่านี้มีลักษณะดังนี้:$y$

$$\eqalign{ f(y_i) &\sim F(\mathbf{\theta}); \cr \theta_j &= \beta_{j0} + \beta_{j1} x_{1i} + \cdots + \beta_{jk} x_{ki} }$$

โดยที่เป็นหนึ่งในพารามิเตอร์โดยปริยายในเวกเตอร์ ,คือบางส่วนของการแจกแจงพารามิเตอร์ โดยและคือการแสดงออกของฟังก์ชัน (ฟังก์ชัน "ลิงก์" ของโมเดลเชิงเส้นทั่วไป: ดูการตอบกลับของ onestop) (แน่นอนดังนั้น =เมื่อ ) ตัวอย่างคือศูนย์พอง Poisson และรูปแบบทวินามเชิงลบθ F θ 1 , … , θ j f y Pr F θ [ f ( Y ) ≤ t ] ( 1 - θ j + 1 ) F θ ( t ) t ≠ $\Pr_{F_\theta}[f(Y) = 0] = \theta_{j+1} \gt 0$$\mathbf{\theta}$$F$$\theta_1, \ldots, \theta_j$$f$$y$$\Pr_{F_\theta}[f(Y) \le t]$$(1 - \theta_{j+1})F_\theta(t)$$t \ne 0$

(5) ปัญหาของการสร้างรูปแบบและเนื้อมันมีความสัมพันธ์กัน แต่ที่แตกต่างกัน เป็นตัวอย่างง่ายๆแม้รูปแบบการถดถอยปกติสามารถทำได้หลายวิธีโดยใช้กำลังสองน้อยที่สุด (ซึ่งให้ค่าพารามิเตอร์เดียวกันกับโอกาสสูงสุดและข้อผิดพลาดมาตรฐานเดียวกันเกือบทั้งหมด) การทำซ้ำอย่างน้อยกำลังสองน้อยที่สุดรูปแบบอื่น ๆ ของ "ความแข็งแกร่งกำลังสองน้อยที่สุด " ฯลฯ การเลือกอุปกรณ์ที่เหมาะสมมักจะขึ้นอยู่กับความสะดวกความสะดวก ( เช่นความพร้อมของซอฟต์แวร์) ความคุ้นเคยนิสัยหรือการประชุม แต่อย่างน้อยบางคนก็ควรคิด มอบให้กับสิ่งที่เหมาะสมสำหรับการกระจายที่สันนิษฐานของข้อผิดพลาดไปยังสิ่งที่ϵ $Y = \beta_0 + \beta_1 X + \epsilon$$\epsilon_i$ฟังก์ชั่นการสูญเสียสำหรับปัญหาอาจจะสมเหตุสมผลและเป็นไปได้ของการใช้ประโยชน์จากข้อมูลเพิ่มเติม (เช่นการกระจายก่อนหน้าสำหรับพารามิเตอร์)

นี่คือโดยทั่วไปรูปแบบเชิงเส้น (GLM) ด้วยการเข้าสู่ระบบฟังก์ชั่นการเชื่อมโยง

การแจกแจงความน่าจะเป็นใด ๆ ในโดยไม่มีความหนาแน่นเป็นศูนย์ที่ศูนย์จะจัดการในการสังเกตการณ์บางอย่าง; ที่พบมากที่สุดจะเป็นการกระจาย Poisson ผลในPoisson ถดถอยการสร้างแบบจำลองอาคาเข้าสู่ระบบเชิงเส้น อีกทางเลือกหนึ่งที่จะเป็นการกระจายทวินามเชิงลบ$[0,\infty)$$y_i=0$

หากคุณไม่มีข้อมูลการนับหรือถ้ารับค่าที่ไม่ใช่จำนวนเต็มคุณยังสามารถใช้เฟรมเวิร์กของตัวแบบเชิงเส้นทั่วไปโดยไม่ต้องระบุการแจกแจงแบบเต็มสำหรับแทน เพียงระบุความสัมพันธ์ระหว่างค่าเฉลี่ยและความแปรปรวนของตนโดยใช้กึ่งโอกาส P ( y i | x$y_i$$\operatorname{P}(y_i|\bf{x})$

คุณสามารถใช้กำลังสองน้อยที่สุดเชิงเส้นไม่ได้ จากนั้นโมเดลของคุณจะเป็น:

$$y_i=\beta_0\exp(\beta_1x_{1i}+...+\beta_kx_{ki})+\varepsilon_i$$

ศูนย์ในนั้นจะได้รับการปฏิบัติเหมือนเบี่ยงเบนจากแนวโน้มที่ไม่ใช่เชิงเส้น$y_i$