ความแตกต่างระหว่างโมเดลเชิงเส้นและไม่เชิงเส้น

13

ฉันได้อ่านคำอธิบายบางอย่างเกี่ยวกับคุณสมบัติของตัวแบบเชิงเส้นตรงและแบบไม่เชิงเส้น แต่บางครั้งฉันก็ไม่แน่ใจว่าแบบจำลองในมือเป็นแบบเส้นตรงหรือแบบไม่เชิงเส้น ตัวอย่างเช่นโมเดลเชิงเส้นหรือไม่เชิงเส้นต่อไปนี้คืออะไร

y_{t} = β_{0} + β_{1} B (L; θ) X_{t} + ε_{t}

$y_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t$

ด้วย:

B (L; θ) = \sum_{k = 1}^{K} b (k; θ) L^{k}

$B(L;\theta)=\sum_{k=1}^{K}b(k;\theta)L^k$

L^{k} X_{t} = X_{t - k}

$L^kX_t=X_{t-k}$

โดยที่แทน (การสลาย) ฟังก์ชันเลขชี้กำลังพหุนาม Almon ของรูปแบบ: $b(k;\theta)$

b (k; θ) = \frac{\exp (θ_{1} k + θ_{2} k^{2})}{\sum_{k = 1}^{K} \exp (θ_{1} k + θ_{2} k^{2})}

$b(k;\theta)=\frac{\exp(\theta_1 k+\theta_2k^2)}{\sum_{k=1}^{K}\exp(\theta_1k+\theta_2k^2)}$

ในมุมมองของฉันสมการหลักของฉัน (อันแรก) เป็นแบบเชิงเส้นเทียบกับเพราะเทอมนี้คูณด้วยน้ำหนัก แต่ผมจะบอกว่าฟังก์ชั่นการถ่วงน้ำหนัก (สมการที่ผ่านมา) คือไม่เชิงเส้นที่เกี่ยวกับพารามิเตอร์ ans 2 $X_t$ $\theta_1$ $\theta_2$

ใครสามารถอธิบายให้ฉันฟังก์ชั่นหลักของฉันเป็นเชิงเส้นหรือไม่เชิงเส้นและสิ่งที่มันมีความหมายสำหรับขั้นตอนการประเมิน - ฉันต้องใช้วิธีการเชิงเส้นหรือไม่เชิงเส้นอย่างน้อยสี่เหลี่ยม? นอกจากนี้คุณสมบัติที่มองเห็นได้โดยใช้วิธีการที่ฉันสามารถระบุได้อย่างแน่นอนว่าฟังก์ชั่นเป็นแบบไม่เชิงเส้นหรือเชิงเส้นหรือไม่?

linear-model nonlinear-regression nonlinear

— DatamineR
แหล่งที่มา

17

ด้วยคำจำกัดความตามปกติของแบบเชิงเส้นและแบบไม่เชิงเส้นสำหรับการสร้างแบบจำลองมันไม่ได้เป็นแบบเชิงเส้นตรงกับตัวทำนายซึ่งเป็นมุมมองที่สำคัญ แต่เป็นแบบเชิงเส้นตรงกับพารามิเตอร์ โมเดลที่ไม่ใช่เชิงเส้นเป็นแบบไม่เชิงเส้นเนื่องจากไม่ใช่เชิงเส้นในพารามิเตอร์

ตัวอย่างประโยคแรกตรงนี้บอกว่า:

ในสถิติการถดถอยแบบไม่เชิงเส้นเป็นรูปแบบหนึ่งของการวิเคราะห์การถดถอยซึ่งข้อมูลเชิงสังเกตถูกจำลองโดยฟังก์ชันซึ่งเป็นการรวมกันแบบไม่เชิงเส้นของพารามิเตอร์แบบจำลองและขึ้นอยู่กับตัวแปรอิสระหนึ่งตัวหรือมากกว่า

$\eta$

$\theta$ $\theta$

— Glen_b -Reinstate Monica
แหล่งที่มา

คุณหมายถึง "ด้วยความเคารพต่อพารามิเตอร์"? คุณสามารถยกตัวอย่าง 2 แบบสำหรับแบบเชิงเส้นและแบบไม่เชิงเส้นได้หรือไม่?

— NoName

1

f (c v) = c f (v)

$f(cv)=cf(v)$

f (u + v) = f (u) + f (v)

$f(u+v) = f(u)+f(v)$

u

$u$

v

$v$

f

$f$

η = X β

$\eta=X\beta$

β

$\beta$

η (β)

$\eta(\beta)$

E [Y] = β_{0} + β_{1} x + β_{2} \log (x)

$E[Y]=\beta_0+\beta_1x+\beta_2 \log(x)$

β

$\beta$

1

E [Y] = β_{0} + β_{1} \exp (β_{2} x)

$E[Y]=\beta_0+\beta_1\exp(\beta_2 x)$

β

$\beta$

β

$\beta$

9

ฉันเห็นด้วยกับ Glen_b ในปัญหาการถดถอยจุดสนใจหลักอยู่ที่พารามิเตอร์และไม่ใช่ตัวแปรหรือตัวทำนายอิสระ x และจากนั้นหนึ่งสามารถตัดสินใจว่าต้องการเชิงเส้นปัญหาใช้การแปลงง่ายหรือดำเนินการดังกล่าว

$y = ax + bx^2 + cx^3 + d x^{2/3} + e/x + f x^{-4/7}$ $x$ $x$ $a$ $b$ $c$ $f$

$y = \exp(ax)$ $\exp(ax) = 1 + ax/ 1! + (ax)^2 / 2! + \dots$

$y = a / (1+b \exp(cx)$ $a$ $b$ $c$ $b$ $c$ $(a/y)-1 = Y$

$y = a_1 / (1+b_1\exp(c_1x)) + a_2 / (1+b_2\exp(c_2x))$

โดยหลักการแล้วการใช้กลยุทธ์เชิงเส้นเพื่อแก้ปัญหาการถดถอยแบบไม่เชิงเส้นไม่ใช่ความคิดที่ดี ดังนั้นแก้ไขปัญหาเชิงเส้น (เมื่อพารามิเตอร์ทั้งหมดมีกำลัง 1) โดยใช้การถดถอยเชิงเส้นและนำการถดถอยแบบไม่เชิงเส้นมาใช้หากพารามิเตอร์ของคุณไม่เชิงเส้น

$\beta_0$ $\beta_1$ $\theta_1$ $\theta_2$

ใช้เทคนิคกำลังสองน้อยที่สุดแบบไม่เชิงเส้นเพื่อแก้ปัญหา เลือกค่าเริ่มต้นอย่างชาญฉลาดและใช้วิธีการหลายขั้นตอนเพื่อค้นหาขั้นต่ำระดับโลก

วิดีโอนี้จะมีประโยชน์ (แม้ว่าจะไม่ได้พูดเกี่ยวกับโซลูชันระดับโลก): http://www.youtube.com/watch?v=3Fd4ukzkxps

การใช้ GRG แบบไม่เชิงเส้นใน Excel สเปรดชีต (ติดตั้งชุดเครื่องมือแก้ปัญหาโดยไปที่ตัวเลือก - Add-Ins - Excel Add-In แล้วเลือก Solver Add-In) และเรียกใช้ Multistart ในรายการตัวเลือกโดยกำหนดช่วงเวลาให้กับพารามิเตอร์และความต้องการ ความแม่นยำของข้อ จำกัด และการบรรจบกันที่มีขนาดเล็กสามารถแก้ปัญหาระดับโลกได้

หากคุณใช้ Matlab ให้ใช้กล่องเครื่องมือเพิ่มประสิทธิภาพทั่วโลก มันมีหลายตัวเลือกและค้นหา globals รหัสบางอย่างที่มีอยู่ที่นี่สำหรับการแก้ปัญหาระดับโลกที่นี่ และ ที่นี่

หากคุณกำลังใช้ Mathematica ดูที่นี่

หากคุณกำลังใช้ R ลองที่นี่

— BIPI
แหล่งที่มา

1

ขอบคุณ @Bipi สำหรับตัวอย่าง! สำหรับอันที่สองของคุณหากคุณตั้งค่า Y = (a / y - 1) คุณจะแยกพารามิเตอร์จากตัวแปร y ได้อย่างไร

— Vivek Subramanian

0

ฟังก์ชั่นหลักคือเชิงเส้น

$B(L;\theta)$

ฉันจะดำเนินการกับกำลังสองน้อยที่สุดเชิงเส้นถ้าฉันเป็นคุณ

นี่คือวิธีที่คุณยืนยันหรือปฏิเสธลิเนียริตี้:

https://en.wikipedia.org/wiki/Non-linear#Definition