ขีด จำกัด ของ "หน่วยความแปรปรวน" ตัวประมาณการถดถอยของสันเมื่อ


21

พิจารณาสันถดถอยด้วยข้อ จำกัด เพิ่มเติมที่มีผลรวมของหน่วยสแควร์ส (เทียบเท่าความแปรปรวนของหน่วย); หากจำเป็นเราสามารถสันนิษฐานได้ว่ามีผลรวมของหน่วยกำลังสองเช่นกัน: Yy^y

β^λ=argmin{yXβ2+λβ2}s.t.Xβ2=1.

ขีด จำกัด ของβ^λเมื่อλคืออะไร?


นี่คือข้อความบางส่วนที่ฉันเชื่อว่าเป็นจริง:

  1. เมื่อλ=0มีวิธีแก้ไขที่ชัดเจน: ใช้ตัวประมาณ OLS β^0=(XX)1Xyและทำให้เป็นมาตรฐานเพื่อสนองข้อ จำกัด (เราสามารถเห็นสิ่งนี้ได้โดยการเพิ่มตัวคูณและสร้างความแตกต่างของ Lagrange):

    β^0=β^0/Xβ^0.
  2. โดยทั่วไปการแก้ปัญหาคือ

    β^λ=((1+μ)XX+λI)1Xywith μ needed to satisfy the constraint.
    ฉันไม่เห็นวิธีการแก้ปัญหาแบบปิดเมื่อλ>0 0 ดูเหมือนว่าการแก้ปัญหาคือเทียบเท่ากับประมาณ RR ปกติกับบาง λปกติจะตอบสนองข้อ จำกัด แต่ฉันไม่เห็นสูตรที่ปิดสนิทสำหรับλ *
  3. เมื่อλตัวประมาณ RR \ hat {\ boldsymbol \ beta} _ \ lambda = (\ mathbf X ^ \ top \ mathbf X + \ lambda \ mathbf I) ^ {- 1} \ mathbf X ^ \ top \ mathbf y แปลงเป็นศูนย์

    β^λ=(XX+λI)1Xy
    อย่างชัดเจนแต่ทิศทาง β^λ/β^λลู่ไปในทิศทางของXy , อาคาแรกสี่เหลี่ยมอย่างน้อยบางส่วน (PLS) ส่วนประกอบ

ข้อความ (2) และ (3) ร่วมกันทำให้ฉันคิดว่าบางทีβ^λยังรวมเข้ากับXyปกติ แต่ฉันไม่แน่ใจว่าสิ่งนี้หรือไม่ ถูกต้องและฉันไม่สามารถโน้มน้าวตัวเองได้

คำตอบ:


17

การตีความทางเรขาคณิต

ตัวประมาณที่อธิบายในคำถามคือตัวคูณลากรองจ์ของปัญหาการปรับให้เหมาะสมดังต่อไปนี้:

minimize f(β) subject to g(β)t and h(β)=1 

f(β)=yXβ2g(β)=β2h(β)=Xβ2

ซึ่งสามารถดูได้ในเชิงเรขาคณิตเป็นการค้นหา ellipsoidที่เล็กที่สุดซึ่งสัมผัสกับจุดตัดของทรงกลมและ ellipsoidf(β)=RSS g(β)=th(β)=1


เปรียบเทียบกับมุมมองการถดถอยสันมาตรฐาน

ในแง่ของมุมมองทางเรขาคณิตนี้เปลี่ยนแปลงเก่าดู (สำหรับการถดถอยสันเขามาตรฐาน) ของจุดที่ลูกกลม (ข้อผิดพลาด) และทรงกลม ( ) β2=tสัมผัส ในมุมมองใหม่ที่เรามองหาจุดที่ลูกกลม (ข้อผิดพลาด) สัมผัสเส้นโค้ง (บรรทัดฐานของเบต้า จำกัด โดยXβ2=1 ) หนึ่งทรงกลม (สีน้ำเงินในภาพด้านซ้าย) เปลี่ยนเป็นรูปมิติด้านล่างเนื่องจากการแยกด้วยข้อ จำกัดXβ=1

ในกรณีสองมิตินี่เป็นมุมมองที่ง่าย

มุมมองทางเรขาคณิต

เมื่อเราปรับพารามิเตอร์จากนั้นเราเปลี่ยนความยาวสัมพัทธ์ของทรงกลมสีน้ำเงิน / แดงหรือขนาดสัมพัทธ์ของและ (ในทางทฤษฎีของตัวคูณแบบลากรองจ์อาจเป็นวิธีที่เป็นระเบียบเรียบร้อยและเป็นทางการ ว่าอธิบายว่านี้หมายถึงว่าสำหรับแต่ละเป็นหน้าที่ของหรือกลับเป็นฟังก์ชั่นที่น่าเบื่อ. แต่ฉันคิดว่าคุณสามารถเห็นสังหรณ์ใจว่าผลรวมของความคลาดเคลื่อนกำลังสองเพียง แต่เพิ่มเมื่อเราลด .)tf(β)g(β) tλ||β||

โซลูชันสำหรับเป็นตามที่คุณโต้เถียงในบรรทัดระหว่าง 0 และβλλ=0βLS

โซลูชันสำหรับคือ (แน่นอนตามที่คุณแสดงความคิดเห็น) ในการโหลดขององค์ประกอบหลักแรก นี่คือจุดที่เป็นที่เล็กที่สุดสำหรับ1 มันคือจุดที่วงกลมสัมผัส ellipseในจุดเดียวβλλβ2βX2=1β2=t|Xβ|=1

ในมุมมอง 2ขอบของจุดตัดของทรงกลมและรูปทรงกลมเป็นจุด ในหลายมิติสิ่งเหล่านี้จะเป็นส่วนโค้งβ2=tβX2=1

(ฉันจินตนาการก่อนว่าเส้นโค้งเหล่านี้จะเป็นรูปวงรี แต่มันซับซ้อนกว่าคุณสามารถจินตนาการรูปวงรีถูกตัดโดยลูกบอลเหมือนบางอย่าง ประเภทของ ellipsoid frustum แต่มีขอบที่ไม่ใช่ ellipses ธรรมดา)Xβ2=1β2t


เกี่ยวกับขีด จำกัดλ

ในตอนแรก (การแก้ไขก่อนหน้า) ฉันเขียนว่าจะมีข้อ จำกัดด้านบนซึ่งการแก้ปัญหาทั้งหมดจะเหมือนกัน (และพวกเขาอยู่ในจุด ) แต่นี่ไม่ใช่กรณีλlimβ

พิจารณาการเพิ่มประสิทธิภาพเป็นอัลกอริทึม LARS หรือการไล่ระดับสี หากในจุดใดก็ตามมีทิศทางที่เราสามารถเปลี่ยนเช่นว่าโทษระยะเพิ่มขึ้นน้อยกว่าเทอม SSRลดลงจากนั้นคุณไม่ได้อยู่ในขั้นต่ำ .ββ|β|2|yXβ|2

  • ในการถดถอยสันเขาปกติคุณมีความลาดชันเป็นศูนย์ (ในทุกทิศทาง) สำหรับในจุด 0 ดังนั้นสำหรับ จำกัด ทั้งหมดการแก้ปัญหาจึงไม่สามารถ (เนื่องจากขั้นตอนเล็ก ๆ น้อย ๆ สามารถทำเพื่อลดผลรวมของส่วนที่เหลือกำลังสองโดยไม่เพิ่มค่าปรับ)|β|2β=0λβ=0
  • สำหรับ LASSOสิ่งนี้ไม่เหมือนกันตั้งแต่: การลงโทษคือ (ดังนั้นมันจึงไม่เป็นกำลังสองที่มีความชันเป็นศูนย์) เนื่องจาก LASSO นั้นจะมีค่า จำกัดด้านบนซึ่งการแก้ปัญหาทั้งหมดเป็นศูนย์เพราะระยะการลงโทษ (คูณด้วย ) จะเพิ่มขึ้นมากกว่าผลรวมที่เหลือของกำลังสองลดลง|β|1λlimλ
  • สำหรับสันเขาที่มีข้อ จำกัดคุณจะได้รับเช่นเดียวกับการถดถอยสันเขาปกติ หากคุณเปลี่ยนเริ่มจากการเปลี่ยนแปลงนี้จะตั้งฉากกับ (ตั้งฉากกับพื้นผิวของวงรี ) และสามารถเปลี่ยนแปลงได้โดยขั้นตอนเล็ก ๆ น้อย ๆ โดยไม่ต้องเปลี่ยนเงื่อนไขการลงโทษ แต่ลดผลรวมของส่วนที่เหลือกำลังสอง ดังนั้นสำหรับทุก ๆจุดไม่สามารถแก้ปัญหาได้ββบีตาบีตา* | X β | = 1 บีตาλ บีตา* ββ|Xβ|=1βλβ

หมายเหตุเพิ่มเติมเกี่ยวกับขีด จำกัดλ

ขีด จำกัด การถดถอยของสันเขาตามปกติสำหรับถึงอนันต์สอดคล้องกับจุดที่แตกต่างในการถดถอยสันสันที่มีข้อ จำกัด ข้อ จำกัด 'เก่า' นี้สอดคล้องกับจุดที่เท่ากับ -1 จากนั้นอนุพันธ์ของฟังก์ชันลากรองจ์ในปัญหาที่ทำให้เป็นมาตรฐานλμ

2(1+μ)XTXβ+2XTy+2λβ
สอดคล้องกับวิธีแก้ปัญหาสำหรับอนุพันธ์ของฟังก์ชัน Lagrange ในปัญหามาตรฐาน

2XTXβ+2XTy+2λ(1+μ)βwith β=(1+μ)β


เขียนโดยStackExchangeStrike


+1 ขอบคุณมากนี่เป็นประโยชน์อย่างมาก! ฉันจะต้องใช้เวลาคิดสักหน่อย
อะมีบาพูดว่า Reinstate Monica

มันคุ้มค่าที่จะชี้ให้เห็นว่ารูปไข่สีแดงและสีดำมีรูปร่างเหมือนกัน: นี่คือสาเหตุที่จุดที่พวกมันสัมผัสอยู่บนเส้นที่เชื่อมต่อกึ่งกลางของมัน หลักฐานกราฟิกที่ดีของจุด # 1 ในคำถามของฉัน
อะมีบาพูดว่า Reinstate Monica

ฉันกำลังพยายามที่จะเข้าใจว่าในการวาดภาพของคุณเป็นเบต้าที่ตรงกับตัวประมาณสันกับแลมบ์ดาอนันต์ซึ่งอยู่บนวงรีสีดำ ฉันคิดว่ามันอยู่ระหว่างและ (ใช้สัญลักษณ์ของฉัน) - สองจุดที่มีเครื่องหมายวงกลมเปิดสีดำบนรูปวาดของคุณ ดังนั้นถ้าเราทำการถดถอยแบบสันเขาและทำให้สารละลายกลับมาเป็นปกติและเพิ่มแลมบ์ดาจาก 0 เป็นอินฟินิตี้ก็อาจนำเราไปตามแนวโค้งเดียวกัน แต่ไม่ใช่ทั้งหมดจนถึง PC1 ให้วางในข้อ จำกัด อย่างชัดเจนทำให้การแก้ปัญหาดำเนินไปจนสุด PC1 β * X β = 1β0βXβ=1
อะมีบาพูดว่า Reinstate Monica

+5 (ฉันเริ่มให้รางวัลที่ฉันจะให้รางวัลกับคำตอบของคุณอย่างมีความสุข) ฉันยังโพสต์คำตอบของฉันเองเพราะฉันทำพีชคณิตมาและมันเกินกว่าจะเพิ่มคำถาม ฉันไม่เชื่อมั่นในข้อสรุปของคุณว่าจะมีข้อ จำกัดหลังจากนั้นโซลูชันจะไม่เปลี่ยนแปลงอีกต่อไปและจะได้รับจาก PC1 ฉันไม่เห็นมันเกี่ยวกับพีชคณิตและฉันไม่เข้าใจอาร์กิวเมนต์ของคุณมากว่าทำไมจึงควรมีอยู่ ลองคิดดูสิ λlim
อะมีบาพูดว่า Reinstate Monica

@ amoeba คุณพูดถูกเกี่ยวกับ finiteไม่มีอยู่จริง ฉันถกเถียงกันมากเกินไปอย่างสังหรณ์ใจและกระโดดลงมาอย่างรวดเร็วจากเงื่อนไขเฉพาะสำหรับการถดถอยสันเขาปกติไปสู่การถดถอยสันเขาที่มีข้อ จำกัด RR ปกติมีความลาดชันเป็นศูนย์ (ในทุกทิศทาง) สำหรับในจุด0 ฉันคิดว่า (ตั้งแต่ ) คุณไม่ได้รับสิ่งนี้ด้วยการถดถอยแบบ จำกัด อย่างไรก็ตามเนื่องจากถูก จำกัด กับ ellipsoidคุณไม่สามารถ 'ย้าย'ทุกทิศทาง | β | 2 β = 0 β 0 β | X β | = 1 βλlim|β|2β=0β0β|Xβ|=1β
Sextus Empiricus

10

นี่เป็นพีชคณิตคู่กับคำตอบทางเรขาคณิตที่สวยงามของ @ Martijn

ก่อนอื่นขีด จำกัด ของเมื่อเป็นอย่างมาก ง่ายต่อการได้มา: ในขีด จำกัด เทอมแรกในฟังก์ชั่นการสูญเสียจะเล็กน้อยและสามารถเพิกเฉยได้ ปัญหาการปรับให้เหมาะสมจะกลายเป็นซึ่งเป็นองค์ประกอบหลักตัวแรกของλ →การLim λ →การβ * λ = β * = R กรัม

β^λ=argmin{yXβ2+λβ2}s.t.Xβ2=1
λX
limλβ^λ=β^=argminXβ2=1β2argmaxβ2=1Xβ2,
X(ปรับสัดส่วนอย่างเหมาะสม) คำถามนี้ตอบคำถาม

ตอนนี้ให้เราพิจารณาวิธีแก้ปัญหาสำหรับค่าใด ๆ ของที่ฉันอ้างถึงในจุดที่ 2 ของคำถามของฉัน การเพิ่มฟังก์ชั่นการสูญเสียตัวคูณลากรองจ์และสร้างความแตกต่างเราได้รับμ ( X β 2 - 1 )λμ(Xβ21)

β^λ=((1+μ)XX+λI)1Xywith μ needed to satisfy the constraint.

วิธีการแก้ปัญหานี้จะทำงานอย่างไรเมื่อเติบโตจากศูนย์ถึงไม่มีที่สิ้นสุด?λ

  • เมื่อเราได้รับโซลูชัน OLS ที่ปรับขนาดแล้ว:β * 0 ~ β 0λ=0

    β^0β^0.
  • สำหรับค่าบวก แต่น้อยของวิธีแก้ปัญหาเป็นรุ่นที่ปรับขนาดของตัวประมาณสัน:บีตา * λ ~ บีตา λ *λ

    β^λβ^λ.
  • เมื่อค่าของจำเป็นเพื่อตอบสนองข้อ จำกัด คือ0ซึ่งหมายความว่าวิธีแก้ปัญหาเป็นรุ่นที่ปรับขนาดขององค์ประกอบ PLS แรก (หมายความว่าของตัวประมาณสันเขาที่สอดคล้องกันคือ ):( 1 + μ ) 0 λ *บีตา * X XY ~ X Yλ=XXy(1+μ)0λ

    β^XXyXy.
  • เมื่อมีขนาดใหญ่กว่านั้นคำที่จำเป็นจะกลายเป็นลบ นับจากนี้ไปโซลูชันจะเป็นตัวประมาณขนาดแบบจำลองของ pseudo-ridge ประมาณค่ากับพารามิเตอร์ normalization เชิงลบ ( สันเขาเชิงลบ ) ในแง่ของทิศทางตอนนี้เราผ่านการถดถอยของสันเขากับแลมบ์ดาที่ไม่มีที่สิ้นสุดλ(1+μ)

  • เมื่อคำว่าจะเป็นศูนย์ (หรือเบี่ยงเบนไป อินฟินิตี้) เว้นแต่ที่เป็นค่าเอกพจน์ที่ใหญ่ที่สุดของX นี้จะทำให้จำกัด และสัดส่วนกับแกนหลักแรกV_1 เราจำเป็นต้องตั้งค่าเพื่อตอบสนองข้อ จำกัด ดังนั้นเราจึงได้รับλ((1+μ)XX+λI)1μ=λ/smax2+αsmaxX=USVβ^λV1μ=λ/smax2+U1y1

    β^V1.

โดยรวมแล้วเราจะเห็นว่าปัญหาการย่อขนาดเล็กสุดนี้ครอบคลุมรุ่น OLS, RR, PLS และ PCA ในรุ่นต่อไปนี้:

OLSRRPLSnegative RRPCA

สิ่งนี้ดูเหมือนจะเทียบเท่ากับกรอบทางเคมีที่คลุมเครือ (?) ที่เรียกว่า "การถดถอยแบบต่อเนื่อง" (ดูhttps://scholar.google.de/scholar?q="continuum+regression "โดยเฉพาะอย่างยิ่ง Stone & Brooks 1990, Sundberg 1993 Björkström & Sundberg 2542 ฯลฯ ) ซึ่งอนุญาตให้มีการรวมกันโดยการเพิ่มเกณฑ์เฉพาะกิจเห็นได้ชัดว่าเรื่องนี้ทำให้อัตราส่วน OLS เมื่อ , PLS เมื่อ , PCA เมื่อและสามารถแสดงให้เห็นว่าอัตราผลตอบแทน RR สำหรับ

T=corr2(y,Xβ)Varγ(Xβ)s.t.β=1.
γ=0γ=1γ0<γ<11<γ<ดูที่ Sundberg 1993

แม้จะมีประสบการณ์ค่อนข้างน้อยกับ RR / PLS / PCA / ฯลฯ ฉันต้องยอมรับว่าฉันไม่เคยได้ยินเกี่ยวกับ "การถดถอยต่อเนื่อง" มาก่อน ฉันควรจะพูดด้วยว่าฉันไม่ชอบคำนี้


แผนผังที่ฉันทำตาม @ Martijn's:

การถดถอยของแนวยูนิต - ความแปรปรวน

อัปเดต:รูปที่อัปเดตด้วยเส้นทางริดจ์เชิงลบต้องขอบคุณ @Martijn อย่างมากสำหรับการแนะนำว่าควรมีลักษณะอย่างไร ดูคำตอบของฉันในการทำความเข้าใจการถดถอยเชิงลบของสันเขาสำหรับรายละเอียดเพิ่มเติม


"การถดถอยอย่างต่อเนื่อง" ดูเหมือนจะเป็นหนึ่งในเทคนิคที่กว้างอย่างน่าประหลาดใจที่มุ่งรวม PLS และ PCA ไว้ในกรอบการทำงานร่วมกัน ฉันไม่เคยได้ยินเรื่องนี้มาก่อนจนกระทั่งค้นคว้าเชิงลบ (ฉันให้ลิงก์ไปยัง Bjorkstron & Sundberg, 1999, กระดาษในความคิดเห็นแรกของคำถามเชิงลบเกี่ยวกับสันเขาที่คุณเชื่อมโยงไปถึง) แต่ดูเหมือนว่าจะมีการพูดคุยกันอย่างกว้างขวาง วรรณกรรมเคมี ต้องมีเหตุผลทางประวัติศาสตร์บางประการที่ทำให้เกิดการพัฒนาขึ้นโดยแยกจากสถิติอื่น ๆ (1/3)
Ryan Simmons

หนึ่งกระดาษที่คุณอาจต้องการอ่านคือde Jong et al (2001) สูตรของพวกเขาใน "canonical PLS" ดูเหมือนว่าจะเทียบเท่ากับของคุณอย่างรวดเร็วแม้ว่าฉันยอมรับว่าฉันยังไม่ได้เปรียบเทียบคณิตศาสตร์อย่างจริงจัง (พวกเขายังให้ความเห็นเกี่ยวกับการวางนัยทั่วไปของ PLS-PCA อื่น ๆ ในหลอดเลือดดำเดียวกัน) แต่อาจเป็นเรื่องลึกซึ้งที่จะเห็นว่าพวกเขาอธิบายปัญหาแล้วอย่างไร (2/3)
Ryan Simmons

ในกรณีที่ลิงค์นั้นตายการอ้างอิงทั้งหมดคือ Sijmen de Jong, Barry M. Wise, N. Lawrence Ricker "กำลังสองน้อยที่สุดกำลังสองและการถดถอยแบบต่อเนื่อง" วารสารวิชาเคมี, 2001; 15: 85-100 doi.org/10.1002/… (3/3)
Ryan Simmons

1
อา ok แล้วและไปที่อินฟินิตี้ แต่ยังคงอัตราส่วนของพวกเขา 2 ไม่ว่าในกรณีใดเส้นทางการถดถอยของสันเขาเชิงลบควรอยู่ในเซกเตอร์ (ลบ) ระหว่างเวกเตอร์ PLS และ PCA เพื่อให้การฉายภาพของพวกเขาเข้าสู่วงรีอยู่ระหว่างคะแนน PLS และ PCA (บรรทัดฐานที่จะไม่มีที่สิ้นสุดทำให้รู้สึกว่าไปที่อินฟินิตี้เช่นกันดังนั้นเส้นทางจะดำเนินต่อไปทางขวาล่างเริ่มต้นแทนเจนต์, เชิงลบ, PLS และ PCA ในที่สุด) 1 + μ ± s 2 m a x | X β = 1 | μλ1+μ±smax2|Xβ=1|μ
Sextus Empiricus

1
มันจะเพิ่มการสร้างภาพ ฉันจินตนาการถึงจุดเส้นทาง RR สามจุดในปัจจุบัน (ที่ซึ่งวงกลมและวงรีสัมผัส) ดำเนินต่อไปทางขวาและในที่สุดเมื่อไม่มีที่สิ้นสุดวงกลมและ ellipsoidควร 'สัมผัส' ในทิศทางของจุดที่วงกลมสัมผัสรูปวงรี | X ( β - β ) | 2 = R S S | β | 2 = t p c a | X β | 2 = 1|β|2=t|X(ββ^)|2=RSS|β|2=tpca|Xβ|2=1
Sextus Empiricus
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.