จะมีคำตอบที่ดีที่สุดในท้องถิ่นหลายอย่างเมื่อเราแก้ปัญหาการถดถอยเชิงเส้นหรือไม่?

ฉันอ่านข้อความนี้ในการสอบจริง / เท็จหนึ่งครั้ง:

เราสามารถหาวิธีแก้ปัญหาที่เหมาะสมในท้องถิ่นได้หลายอย่างหากเราแก้ปัญหาการถดถอยเชิงเส้นโดยการลดผลรวมของข้อผิดพลาดกำลังสองโดยใช้การไล่ระดับสี

วิธีแก้ปัญหา: เท็จ

คำถามของฉันคือส่วนใดของคำถามนี้ผิด ทำไมข้อความนี้ถึงเป็นเท็จ?

คำถามนี้น่าสนใจตราบเท่าที่มันเปิดเผยการเชื่อมต่อบางอย่างระหว่างทฤษฎีการปรับให้เหมาะสมวิธีการปรับให้เหมาะสมและวิธีการทางสถิติที่ผู้ใช้ที่มีความสามารถด้านสถิติจำเป็นต้องเข้าใจ แม้ว่าการเชื่อมต่อเหล่านี้จะง่ายและเรียนรู้ได้ง่าย แต่ก็บอบบางและมักถูกมองข้าม

เพื่อสรุปแนวคิดจากข้อคิดเห็นไปยังคำตอบอื่น ๆ ฉันอยากจะชี้ให้เห็นว่ามีอย่างน้อยสองวิธีที่ "การถดถอยเชิงเส้น" สามารถสร้างโซลูชันที่ไม่ซ้ำกัน - ไม่เพียง แต่ในทางทฤษฎี แต่ในทางปฏิบัติ

ขาดความสามารถในการระบุตัวตน

สิ่งแรกคือเมื่อโมเดลไม่สามารถระบุได้ สิ่งนี้สร้างฟังก์ชั่นวัตถุประสงค์นูน แต่ไม่เคร่งครัดซึ่งมีวิธีแก้ปัญหาหลายอย่าง

พิจารณาเช่นถอยกับและ (ด้วยการสกัดกั้น) สำหรับข้อมูล-2) ทางออกหนึ่งคือY อีกประการหนึ่งคือ1-x เมื่อต้องการดูว่าต้องมีวิธีแก้ปัญหาหลายวิธีให้ปรับพารามิเตอร์โมเดลด้วยพารามิเตอร์จริงสามตัวและคำศัพท์ข้อผิดพลาดในแบบฟอร์มx Y ( x , Y , Z ) ( 1 , - 1 , 0 ) , ( 2 , - 2 , - 1 ) , ( 3 , - 3 , - 2 ) Z = 1 + Y Z = 1 - x ( λ , μ , ν ) $z$$x$$y$$(x,y,z)$$(1,-1,0),(2,-2,-1),(3,-3,-2)$$\hat z = 1 + y$$\hat z = 1-x$$(\lambda,\mu,\nu)$$\varepsilon$

ผลรวมของกำลังสองตกค้างทำให้ง่ายขึ้น

(นี่เป็นกรณี จำกัด ของฟังก์ชันวัตถุประสงค์ที่เกิดขึ้นในทางปฏิบัติเช่นที่กล่าวถึงที่hessian เชิงประจักษ์ของ M-estimator ที่ไม่มีขีด จำกัดคุณสามารถอ่านการวิเคราะห์โดยละเอียดและดูพล็อตของฟังก์ชันได้)

เนื่องจากสัมประสิทธิ์ของกำลังสอง (และ ) เป็นค่าบวกและดีเทอร์มีแนนต์เป็นค่าบวกนี่คือรูปสมการกำลังสองเชิงบวก - semidefinite ในแลมบ์ดา) มันจะลดลงเมื่อ , แต่สามารถมีค่าใด ๆ เนื่องจากฟังก์ชันวัตถุประสงค์ไม่ได้ขึ้นอยู่กับดังนั้นจึงไม่มีการไล่ระดับสี (หรืออนุพันธ์อื่น ๆ ) ดังนั้นอัลกอริธึมการไล่ระดับสีใด ๆ - ถ้ามันไม่ได้ทำการเปลี่ยนแปลงทิศทางโดยพลการ - จะกำหนดค่าของโซลูชันให้เป็นค่าเริ่มต้น56 3 × 56 - ( 24 / 2 ) 2 = 24 ( μ , ν , λ ) μ = ν = 0 λ SSR λ $3$$56$$3\times 56 - (24/2)^2 = 24$$(\mu,\nu,\lambda)$$\mu=\nu=0$$\lambda$$\operatorname{SSR}$$\lambda$$\lambda$

แม้ว่าจะไม่ได้ใช้การไล่ระดับสี แต่โซลูชันอาจแตกต่างกัน ในRตัวอย่างเช่นมีสองง่ายวิธีที่เทียบเท่ากับการระบุรูปแบบนี้: เป็นหรือz ~ x + y z ~ y + xเป็นครั้งแรกที่อัตราผลตอบแทนแต่สองให้Y Z =1+$\hat z = 1 - x$$\hat z = 1 + y$

> x <- 1:3
> y <- -x
> z <- y+1

> lm(z ~ x + y)
Coefficients:
(Intercept)            x            y  
          1           -1           NA  


> lm(z ~ y + x)
Coefficients:
(Intercept)            y            x  
          1            1           NA 

( NAค่าควรถูกตีความว่าเป็นศูนย์ แต่มีคำเตือนว่ามีวิธีแก้ปัญหาหลายคำเตือนเกิดขึ้นได้เนื่องจากการวิเคราะห์ขั้นต้นที่ดำเนินการโดยไม่ขึ้นRอยู่กับวิธีการแก้ปัญหาของตนวิธีการลาดลงของการไล่ระดับสี แม้ว่าคนที่ดีจะเตือนคุณถึงความไม่แน่นอนว่าสิ่งนั้นมาถึงจุดที่เหมาะสมแล้ว)

ข้อ จำกัด ของพารามิเตอร์

Strict convexity รับประกันความเหมาะสมระดับโลกที่ไม่เหมือนใครโดยโดเมนของพารามิเตอร์นั้นนูนออกมา ข้อ จำกัด ของพารามิเตอร์สามารถสร้างโดเมนที่ไม่ได้นำไปสู่การแก้ปัญหาระดับโลก

ตัวอย่างง่ายๆคือปัญหาของการประมาณค่า "mean"สำหรับข้อมูลภายใต้ข้อ จำกัด1/2 แบบจำลองนี้เป็นสถานการณ์ที่ตรงกันข้ามกับวิธีการทำให้เป็นปกติเช่น Ridge Regression, Lasso หรือ Elastic Net: เป็นการยืนยันว่าพารามิเตอร์ของแบบจำลองไม่เล็กเกินไป (มีคำถามมากมายปรากฏบนไซต์นี้เพื่อถามวิธีแก้ปัญหาการถดถอยด้วยข้อ จำกัด ของพารามิเตอร์ดังกล่าวซึ่งแสดงว่าพวกเขาเกิดขึ้นจริงในทางปฏิบัติ)- 1 , 1 | μ | ≥ 1 /$\mu$$-1, 1$$|\mu| \ge 1/2$

มีวิธีแก้ปัญหาอย่างน้อยสองสแควร์สสำหรับตัวอย่างนี้ทั้งสองมีความเท่าเทียมกัน พวกเขาพบโดยย่อภายใต้ข้อ จำกัด1/2 ทั้งสองโซลูชั่น1/2 สามารถแก้ไขได้มากกว่าหนึ่งวิธีเนื่องจากข้อ จำกัด ของพารามิเตอร์ทำให้โดเมน nonconvex:| μ | ≥ 1 / 2 μ = ± 1 / 2 μ ∈ ( - ∞ , - 1 / 2 ] ∪ [ 1 / 2 , ∞ $(1-\mu)^2 + (-1-\mu)^2$$|\mu| \ge 1/2$$\mu=\pm 1/2$$\mu \in (-\infty, -1/2]\cup [1/2, \infty)$

พาราโบลาเป็นกราฟของฟังก์ชันนูน (อย่างเคร่งครัด) ส่วนที่หนาสีแดงเป็นส่วน จำกัด ไว้เฉพาะโดเมนของ : มันมีสองจุดต่ำสุดที่ที่ผลรวมของสี่เหลี่ยมเป็น5/2ส่วนที่เหลือของพาราโบลา (แสดงจุด) จะถูกลบออกโดยข้อ จำกัด จึงช่วยลดขั้นต่ำที่ไม่ซ้ำกันจากการพิจารณาμ = ± 1 / 2 5 /$\mu$$\mu=\pm 1/2$$5/2$

วิธีการไล่ระดับสีโคตรเว้นแต่จะมีความเต็มใจที่จะใช้กระโดดขนาดใหญ่มีแนวโน้มที่จะพบ "ไม่ซ้ำกัน" การแก้ปัญหาเมื่อเริ่มต้นด้วยค่าบวกและมิฉะนั้นก็จะพบว่า "พิเศษ" การแก้ปัญหาเมื่อเริ่มต้นด้วยค่าลบμ = - 1 /$\mu=1/2$$\mu=-1/2$

สถานการณ์เดียวกันสามารถเกิดขึ้นได้กับชุดข้อมูลที่มีขนาดใหญ่ขึ้นและในมิติที่สูงขึ้น (นั่นคือพร้อมกับพารามิเตอร์การถดถอยที่เหมาะสมยิ่งขึ้น)

ฉันเกรงว่าจะไม่มีคำตอบสำหรับคำถามของคุณ หากการถดถอยเชิงเส้นเป็นแบบนูนอย่างเคร่งครัด (ไม่มีข้อ จำกัด เกี่ยวกับสัมประสิทธิ์ไม่มีแบบธรรมดาฯลฯ ) จากนั้นการไล่ระดับสีแบบไล่ระดับจะมีวิธีแก้ปัญหาที่ไม่ซ้ำกันและจะเหมาะสมที่สุดในระดับโลก เชื้อสายการไล่ระดับสีสามารถและจะคืนค่าหลายวิธีถ้าคุณมีปัญหาแบบไม่นูน

แม้ว่า OP จะขอการถดถอยเชิงเส้นตัวอย่างด้านล่างแสดงการย่อเล็กสุดของตารางน้อยที่สุดแม้ว่าการไม่เชิงเส้น (เทียบกับการถดถอยเชิงเส้นที่ OP ต้องการ) สามารถมีการแก้ปัญหาหลายแบบ

ฉันสามารถแสดงให้ประจักษ์โดยใช้ตัวอย่างง่ายๆว่า

1. ผลรวมของข้อผิดพลาดกำลังสองในบางครั้งอาจไม่ใช่แบบนูนดังนั้นจึงมีวิธีแก้ไขปัญหาหลายประการ
2. วิธีการไล่ระดับสีไล่โทนสีสามารถนำเสนอโซลูชั่นที่หลากหลาย

ลองพิจารณาตัวอย่างที่คุณพยายามลดกำลังสองให้น้อยที่สุดสำหรับปัญหาต่อไปนี้:

ตำแหน่งที่คุณพยายามแก้หาค่าโดยย่อฟังก์ชันวัตถุประสงค์ให้เล็กที่สุด funtion ข้างต้นแม้ว่า differentiable ไม่ใช่แบบนูนและสามารถมีหลายวิธี แทนค่าที่แท้จริงสำหรับดูด้านล่าง$w$$a$

$a_{12} =9,a_{13} = 1/9,a_{23}=9,a_{31}=1/9$

( 9 - w $minimize$ ${(9-\frac{w_1}{w_2})^2+(\frac{1}{9}-\frac{w_1}{w_3})^2+(\frac{1}{9}-\frac{w_2}{w_1})^2+(9-\frac{w_2}{w_3})^2+(9-\frac{w_3}{w_1})^2+(\frac{1}{9}-\frac{w_3}{w_2})^2}$

ปัญหาข้างต้นมีวิธีแก้ไข 3 แบบแตกต่างกันและมีดังนี้:

$w = (0.670,0.242,0.080),obj = 165.2$

$w = (0.080,0.242,0.670),obj = 165.2$

$w = (0.242,0.670,0.080),obj = 165.2$

ดังที่แสดงไว้ข้างต้นปัญหากำลังสองน้อยที่สุดอาจไม่ใช่แบบนูนและสามารถมีวิธีแก้ปัญหาหลายวิธี จากนั้นปัญหาข้างต้นสามารถแก้ไขได้โดยใช้วิธีการไล่ระดับสีเช่น microsoft excel solver และทุกครั้งที่เราเรียกใช้เราจะได้รับการแก้ปัญหาที่แตกต่างกัน เนื่องจากการไล่ระดับสีเป็นเครื่องมือเพิ่มประสิทธิภาพในท้องถิ่นและอาจติดอยู่ในโซลูชันท้องถิ่นเราจึงต้องใช้ค่าเริ่มต้นที่แตกต่างกันเพื่อให้ได้ Optima ทั่วโลกอย่างแท้จริง ปัญหาเช่นนี้ขึ้นอยู่กับค่าเริ่มต้น

นี่เป็นเพราะฟังก์ชั่นวัตถุประสงค์ที่คุณกำลังย่อให้เล็กสุดคือนูนมีเพียงหนึ่ง minima / maxima ดังนั้นท้องถิ่นที่เหมาะสมที่สุดก็เป็นสิ่งที่เหมาะสมระดับโลก การไล่ระดับสีจะค้นหาวิธีแก้ปัญหาในที่สุด

ทำไมฟังก์ชั่นวัตถุประสงค์นี้นูน? นี่คือความงามของการใช้ข้อผิดพลาดกำลังสองสำหรับการย่อขนาด การได้มาและความเสมอภาคเป็นศูนย์จะแสดงให้เห็นอย่างชัดเจนว่าทำไมถึงเป็นเช่นนั้น มันเป็นปัญหาตำราเรียนและครอบคลุมเกือบทุกที่