12

ในการตรวจจับแบบบีบอัดมีทฤษฎีบทรับประกันได้ว่า มีวิธีแก้ปัญหากระจัดกระจาย (ดูภาคผนวกสำหรับรายละเอียดเพิ่มเติม)

argmin ‖ c ‖_{1} subject to y = X c

$\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc$

c

$c$

มีทฤษฎีบทที่คล้ายกันสำหรับบ่วงบาศหรือไม่? หากมีทฤษฎีบทดังกล่าวไม่เพียง แต่จะรับประกันความมั่นคงของบาศกัมมันตภาพรังสีเท่านั้น แต่มันยังให้การตีความที่มีความหมายมากขึ้นด้วย

เชือกสามารถค้นพบเบาบางค่าสัมประสิทธิ์การถดถอยเวกเตอร์ $c$ ที่ใช้ในการสร้างการตอบสนอง $y$ โดย $y = Xc$ Xc

มีสองเหตุผลที่ฉันถามคำถามนี้:

ฉันคิดว่า 'lasso เป็นคำตอบที่กระจัดกระจาย' ไม่ใช่คำตอบว่าทำไมใช้ lasso เพื่อเลือกคุณลักษณะเนื่องจากเราไม่สามารถบอกได้ว่าข้อดีของคุณสมบัติที่เราเลือกคืออะไร
ฉันเรียนรู้ Lasso ที่มีชื่อเสียงในเรื่องความไม่แน่นอนในการเลือกคุณสมบัติ ในทางปฏิบัติเราต้องรันตัวอย่างบูตสแตรปเพื่อประเมินความเสถียร อะไรคือเหตุผลที่สำคัญที่สุดที่ทำให้เกิดความไม่แน่นอนนี้

ภาคผนวก:

ได้รับ $X_{N \times M} = (x_1, \cdots, x_M)$ x_M) $c$ คือ $\Omega$ -sparse vector ( $\Omega \leqslant M$ ) กระบวนการ $y = Xc$ สร้างการตอบสนองY $y$ ถ้า $X$ มี NSP (คุณสมบัติช่องว่างว่าง) ของคำสั่ง $\Omega$ และความแปรปรวนร่วมของ $X$ ไม่มีค่าลักษณะเฉพาะใกล้ศูนย์จะมีวิธีแก้ปัญหาเฉพาะสำหรับ

argmin ‖ c ‖_{1} subject to y = X c

$\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc$ ซึ่งเป็นเหมือน

c

$c$ ที่ช่วยให้Y

y

$y$

อะไรทฤษฎีบทนี้ยังบอกคือถ้ามีไม่ NSP ของการสั่งซื้อมันเป็นความหวังเพียงเพื่อแก้\ $X$ $\Omega$ $\text{argmin}_{c: y = Xc} \Vert c \Vert_1$

แก้ไข:

หลังจากได้รับคำตอบที่ยอดเยี่ยมฉันรู้ว่าฉันสับสนเมื่อถามคำถามนี้

ทำไมคำถามนี้ทำให้เกิดความสับสน:

ฉันอ่านรายงานการวิจัยที่เราต้องตัดสินใจว่าจะมีฟีเจอร์ (คอลัมน์) จำนวนเท่าใดเมทริกซ์การออกแบบจะมี (คุณลักษณะเสริมถูกสร้างขึ้นจากคุณสมบัติหลัก) เพราะมันเป็นเรื่องปกติปัญหาคาดว่าจะสร้างดีเพื่อให้วิธีการแก้เชือกสามารถประมาณการที่ดีของการแก้ปัญหาเบาบางจริง $X_{N \times M}$ $n < p$ $D$

เหตุผลที่ทำจากทฤษฎีบทที่ผมกล่าวถึงในภาคผนวก: ถ้าเรามุ่งมั่นที่จะหาแก้ปัญหา -sparse ,มีดีกว่าที่จะมี NSP ของการสั่งซื้อ\ $\Omega$ $c$ $X$ $\Omega$

สำหรับเมทริกซ์ทั่วไปหากถูกละเมิดดังนั้น $N \times M$ $N > C \Omega \ln M$

ไม่สามารถกู้คืนจากและมั่นคงและแข็งแกร่งได้ $c$ $D$ $P$

$D$ สอดคล้องกับ ,สอดคล้องกับ $X$ $P$ $y$

... ตามที่คาดหวังจากความสัมพันธ์การเลือก descriptor จะไม่เสถียรมากขึ้นเช่นสำหรับชุดการฝึกอบรมที่แตกต่างกัน descriptor ที่เลือกมักแตกต่างกัน ... $N = C \Omega \ln M$

คำพูดที่สองคือส่วนที่ทำให้ฉันสับสน ดูเหมือนว่าฉันเมื่อความไม่เท่าเทียมกันถูกละเมิดมันไม่ได้เป็นเพียงวิธีการแก้ปัญหาที่อาจไม่ซ้ำกัน (ไม่ได้กล่าวถึง) แต่ตัวบ่งชี้ก็จะกลายเป็นไม่แน่นอนมากขึ้น

— meTchaikovsky
แหล่งที่มา

2

เพียงแค่บริบทปัญหาการเพิ่มประสิทธิภาพที่คุณเขียนลงในตอนต้นของ Q ของคุณเรียกว่า "การแสวงหาพื้นฐาน" หากคุณแทนที่ความเท่าเทียมกันด้วยความเสมอภาคโดยประมาณ (มากถึงข้อผิดพลาด L2 บางส่วน) ดังนั้นจึงเรียกว่า "การไล่ตามพื้นฐานการไล่คลื่น" การไล่ตามพื้นฐาน denoising เป็นศาสตร์เทียบเท่ากับบ่วงบาศ

y = X c

$y=Xc$

y \approx X c

$y\approx Xc$

— อะมีบา

ชุดภาพนิ่งที่มีประโยชน์ (แต่ไม่ใช่ง่าย ๆ ) พบได้ที่นี่: pages.iu.edu/~dajmcdon/research/talks/lasso.pdfและไม่มีทฤษฎีอาหารกลางวันฟรีusers.ece.utexas.edu/~cmcaram/pubs/ XuCaramanisMannor.NFL.pdf

— Xavier Bourret Sicotte

ทฤษฎีบทที่คุณอ้างถึงนั้นมีความเป็นเอกลักษณ์ คำถามของคุณกำลังสับสนเพราะความเป็นเอกลักษณ์ไม่จำเป็นต้องเกี่ยวข้องกับความมั่นคง

— อะมีบา

2

ใช่ฉันเชื่อว่า OP ค่อนข้างสับสนและคำถามไม่ชัดเจนดังนั้นคำตอบที่เป็นไปได้ที่แตกต่างกัน ... Uniqueness สำหรับจุดข้อมูลชุดเดียวมีความเสถียรสำหรับการตรวจสอบข้ามหรือ bootstrap หรือจุดข้อมูลใหม่

— Xavier Bourret Sicotte

8

UPDATE

ดูโพสต์ที่สองนี้สำหรับคำติชมของ McDonald เกี่ยวกับคำตอบของฉันซึ่งแนวคิดเรื่องความเสี่ยงที่สอดคล้องกับความมั่นคง

1) Uniqueness vs Stability

คำถามของคุณเป็นเรื่องยากที่จะตอบเพราะมันกล่าวถึงสองหัวข้อที่แตกต่างกันมาก: เอกลักษณ์และความมั่นคง

วิธีการแก้ปัญหาที่ไม่ซ้ำกันถ้าได้รับชุดข้อมูลคงที่อัลกอริทึมมักจะให้ผลลัพธ์ที่เหมือนกัน คำตอบของมาร์ตินครอบคลุมจุดนี้อย่างละเอียด
ในขณะที่ความเสถียรสามารถเข้าใจได้โดยสัญชาตญาณซึ่งเป็นคำทำนายที่ไม่เปลี่ยนแปลงมากนักเมื่อข้อมูลการฝึกอบรมถูกดัดแปลงเล็กน้อย

ความเสถียรใช้กับคำถามของคุณเนื่องจากการเลือกคุณลักษณะ Lasso นั้น (มัก) ดำเนินการผ่านการตรวจสอบความถูกต้องของข้อมูลดังนั้นจึงมีการใช้อัลกอริทึม Lasso ในการพับข้อมูลที่แตกต่างกันและอาจให้ผลลัพธ์ที่แตกต่างกันในแต่ละครั้ง

เสถียรภาพและทฤษฎีบทอาหารกลางวันฟรี

การใช้คำจำกัดความจากที่นี่ถ้าเรากำหนดความมั่นคงแบบ :

อัลกอรึทึมมีความเสถียรสม่ำเสมอเทียบกับฟังก์ชั่นการสูญเสียหากมีสิ่งต่อไปนี้: $\beta$ $V$

$\forall S \in Z^{m} \forall i \in {1, . . ., m}, sup | > V (f_{s}, z) - V (f_{S^{| i}, z}) | \leq β$ $\forall S \in Z^m \ \ \forall i \in \{ 1,...,m\}, \ \ \sup | > V(f_s,z) - V(f_{S^{|i},z}) |\ \ \leq \beta$
ถือว่าเป็นหน้าที่ของคำว่าสามารถเขียนเป็น \เราบอกว่าอัลกอริทึมที่มีเสถียรภาพเมื่อลดลงเมื่อ {m} $m$ $\beta$ $\beta_m$ $\beta_m$ $\frac{1}{m}$

จากนั้น"ไม่มีทฤษฎีอาหารกลางวันฟรี, Xu และ Caramis (2012)"กล่าวว่า

หากอัลกอริทึมกระจัดกระจายในแง่ที่ว่ามันระบุคุณสมบัติที่ซ้ำซ้อนแล้วอัลกอริทึมที่ไม่มั่นคง (และความมั่นคงสม่ำเสมอผูกพันไม่ไปที่ศูนย์) [... ] หากอัลกอริทึมเสถียรแล้วก็ไม่มีความหวังว่ามันจะเบาบาง (หน้า 3 และ 4) $\beta$

ตัวอย่างเช่น regression มีความเสถียรและไม่ระบุคุณลักษณะที่ซ้ำซ้อนในขณะที่ regression (Lasso) ไม่เสถียร $L_2$ $L_1$

ความพยายามตอบคำถามของคุณ

ฉันคิดว่า 'Lasso เป็นคำตอบที่กระจัดกระจาย' ไม่ใช่คำตอบว่าทำไมใช้ Lasso เพื่อเลือกคุณลักษณะ

ฉันไม่เห็นด้วยกับเหตุผลที่ Lasso ใช้สำหรับการเลือกคุณสมบัติคือมันให้โซลูชันที่กระจัดกระจายและสามารถแสดงให้เห็นว่ามีคุณสมบัติ IRF เช่นระบุคุณสมบัติที่ซ้ำซ้อน

อะไรคือเหตุผลที่สำคัญที่สุดที่ทำให้เกิดความไม่แน่นอนนี้

ทฤษฎีบทอาหารกลางวันฟรี

ก้าวต่อไป

นี่ไม่ได้เป็นการบอกว่าการรวมกันของการตรวจสอบข้ามและ Lasso ไม่ทำงาน ... อันที่จริงมันได้รับการทดลอง (และด้วยทฤษฎีที่สนับสนุนมาก) เพื่อทำงานได้ดีภายใต้เงื่อนไขต่าง คำหลักที่นี่มีความสอดคล้องความเสี่ยงความไม่เท่าเทียมกันของออราเคิลและอื่น ๆ

สไลด์ต่อไปและกระดาษโดยโดนัลด์และ Homrighausen (2013) อธิบายเงื่อนไขบางอย่างตามที่ตัวเลือกคุณลักษณะเชือกทำงานได้ดี: ภาพนิ่งและกระดาษ: "เชือก, การติดตาและการตรวจสอบข้าม McDonald และ Homrighausen (2013)" Tibshirani ตัวเองยังโพสต์ชุดที่ดีของการบันทึกในsparcity , การถดถอยเชิงเส้น

เงื่อนไขต่าง ๆ สำหรับความสอดคล้องและผลกระทบของพวกเขากับ Lasso เป็นหัวข้อของการวิจัยที่ใช้งานอยู่และไม่แน่นอนคำถามเล็กน้อย ฉันสามารถนำคุณไปสู่งานวิจัยที่เกี่ยวข้อง:

วิดีโอบรรยายเกี่ยวกับทฤษฎีบทอาหารกลางวันฟรีโดย Xu
HM Bøvelstadและทั้งหมด, การเปรียบเทียบวิธีการคัดเลือกคุณสมบัติสำหรับการเลือกยีน, (2007)
The lasso, persistence และ cross-validation, McDonald และ Homrighausen (2013)
Huang and Bowick, บทสรุปและการอภิปรายของ:“ Stability Selection”
Lim และ Yu การประมาณความเสถียรพร้อมการตรวจสอบความถูกต้องของข้อมูล (2015)
คำปราศรัยของ Peter Buhlmann: การเลือกความเสถียรสำหรับข้อมูลมิติสูง, (2008)และเอกสารประกอบ
วังน่านและทั้งหมดสุ่มเชือก (2554)
Stackexchange โพสต์: รุ่นเสถียรภาพเมื่อจัดการกับขนาดใหญ่เล็กปัญหา $p$ $n$
Roberts, Nowakm การทำให้เสถียรของเชือกกับความแปรปรวนข้ามการตรวจสอบความถูกต้อง, (2014)ซึ่งอ้างว่า "เปอร์เซ็นไทล์ - บาศอาจส่งผลให้เกิดการลดลงอย่างมากทั้งในการเลือกแบบไม่มีเสถียรภาพและข้อผิดพลาดในการเลือกแบบจำลอง
ชุดที่น่ากลัวของการบันทึกโดย Tibshirani และ Wasserman บนsparcity , การถดถอยเชิงเส้น

— Xavier Bourret Sicotte
แหล่งที่มา

1

ขอบคุณสำหรับคำตอบที่ครอบคลุม! ชุดสไลด์ที่คุณให้นั้นยอดเยี่ยมมาก!

— meTchaikovsky

1

ฉันยังคงพยายามประมวลผลคำจำกัดความของความมั่นคงนี้ การแปลของฉันคือ"อัลกอริทึมมีเสถียรภาพหากการเปลี่ยนแปลงของข้อผิดพลาด / การสูญเสียฟังก์ชันในการตรวจสอบข้ามออกหนึ่งครั้งมีขอบเขตบนที่ลดลงเป็น " เมื่อเราเพิ่มจำนวน ชุดพับ / ชุดทดสอบ " $\beta$ $\frac{1}{m}$ ฉันหวังว่าฉันถูกต้องแล้วฉันสงสัยว่าทำไมมันเป็นคุณสมบัติที่ต้องการเพื่อให้เชือกทำงานได้ดี (หรือมากกว่านั้นอย่างแน่นอนฉันสงสัยว่ามันเป็นคุณสมบัติที่จำเป็นหรือไม่)

— Sextus Empiricus

1

ใช่ยกเว้น m คือจำนวนจุดข้อมูล ดูที่นี่หน้า 7 สำหรับขอบเขตความน่าจะเป็น: math.arizona.edu/~hzhang/math574m/Read/LOOtheory.pdf - จุดคือว่าไม่มีความผูกพันกับ tability โดยการเพิ่มขนาดชุดข้อมูลซึ่งหมายความว่าอัลกอริธึมสามารถกระโดดได้ ฟังก์ชันสมมติฐานที่อยู่ห่างไกลขึ้นอยู่กับชุดข้อมูลเฉพาะ นี่คือเหตุผลที่มีการเสนอเงื่อนไขทางเลือกซึ่งเกี่ยวข้องกับโครงสร้างการกระจายและความสัมพันธ์ (ฉันคิดว่า) - แต่ต้องการความช่วยเหลือในการทำให้ชัดเจนยิ่งขึ้น

— Xavier Bourret Sicotte

ความคิดที่สำคัญอีกประการหนึ่งคือความมั่นคงตามที่อธิบายไว้ที่นี่เช่น: stat.ethz.ch/~nicolai/stability.pdf - การเชื่อมโยงความมั่นคงและความมั่นคงนั้นยังไม่ชัดเจน แต่ดูเหมือนว่าจะเป็นงานวิจัยที่กระตือรือร้นเช่นcbcl.mit.edu/publications /ps/mukherjee-AImemoOctNov.pdf

— Xavier Bourret Sicotte

คำตอบที่ดี! คุณสามารถอัพเดตบางลิงค์พร้อมคำอธิบายโดยละเอียดเพิ่มเติมได้หรือไม่ในกรณีที่ลิงค์เหล่านั้นเสียชีวิตในอนาคต (ฉันได้ทำเพื่อคุณแล้ว)

— Richard Hardy

7

ความคิดเห็นจากDaniel J. McDonald

ผู้ช่วยศาสตราจารย์ที่ Indiana University Bloomington เขียนสองเอกสารที่กล่าวถึงในการตอบสนองจากเดิมที่ซาเวียร์ Bourret Sicotte

คำอธิบายของคุณโดยทั่วไปค่อนข้างถูกต้อง บางสิ่งที่ฉันจะชี้ให้เห็น:

เป้าหมายของเราในชุดของเอกสารเกี่ยวกับ CV และเชือกที่จะพิสูจน์ให้เห็นว่า"เชือก + ข้ามการตรวจสอบ (CV)"ไม่เช่นเดียวกับ"เชือก + ที่ดีที่สุด $\lambda$ " โดยเฉพาะอย่างยิ่งเราต้องการแสดงให้เห็นว่าการคาดการณ์ทำได้ดีเช่นกัน (ไม่มีแบบจำลอง) เพื่อที่จะทำให้แถลงการณ์เกี่ยวกับการกู้คืนสัมประสิทธิ์ที่ถูกต้อง (การค้นหาสิ่งที่ไม่ใช่แบบเบาบางที่ถูกต้อง) เราจำเป็นต้องยอมรับความจริงที่กระจัดกระจายซึ่งเราไม่ต้องการทำ

ความเสถียรของอัลกอริทึมแสดงถึงความสอดคล้องของความเสี่ยง (ฉันได้รับการพิสูจน์ครั้งแรกโดย Bousquet และ Elisseeff) โดยความเสี่ยงที่สอดคล้องกันฉันหมายถึงไปที่ศูนย์โดยที่ f คือหรือตัวทำนายที่ดีที่สุดในบางคลาสถ้าคลาสนั้นไม่มีการระบุ นี่เป็นเงื่อนไขที่เพียงพอเท่านั้น มันถูกกล่าวถึงบนสไลด์ที่คุณเชื่อมโยงด้วยโดยพื้นฐานแล้ว“ เทคนิคการพิสูจน์ที่เป็นไปได้ที่ไม่สามารถใช้งานได้เนื่องจาก lasso ไม่เสถียร” $||\hat{f}(X) - f(X)||$ $E[Y|X]$

ความเสถียรเพียงพอแล้ว แต่ไม่จำเป็น เราสามารถแสดงว่าภายใต้เงื่อนไขบางอย่าง“ lasso + CV” ทำนายเช่นเดียวกับ“ lasso + ที่สุด ” กระดาษที่คุณอ้างอิงให้สมมติฐานที่เป็นไปได้น้อยที่สุด (ในสไลด์ 16 ซึ่งอนุญาตให้ ) แต่ใช้รูปแบบของบ่วงบาศแบบ จำกัด มากกว่ารุ่นลากรองจ์ทั่วไป กระดาษอื่น ( http://www3.stat.sinica.edu.tw/statistica/J27N3/J27N34/J27N34.html ) ใช้เวอร์ชัน Lagrangian นอกจากนี้ยังแสดงให้เห็นว่าภายใต้เงื่อนไขที่แข็งแกร่งกว่ามากการเลือกรุ่นจะทำงาน บทความล่าสุด ( https://arxiv.org/abs/1605.02214 ) โดยคนอื่นอ้างว่าปรับปรุงผลการค้นหาเหล่านี้ (ฉันยังไม่ได้อ่านอย่างละเอียด) $\lambda$ $p>n$

โดยทั่วไปเนื่องจาก lasso (หรืออัลกอริทึมการเลือกใด ๆ ) ไม่เสถียรเราต้องการการวิเคราะห์ที่ระมัดระวังและ / หรือสมมติฐานที่คาดเดายากเพื่อแสดงว่า "อัลกอริธึม + CV" จะเลือกรูปแบบที่ถูกต้อง ฉันไม่ได้ตระหนักถึงเงื่อนไขที่จำเป็นแม้ว่าจะเป็นเรื่องที่น่าสนใจอย่างยิ่ง มันไม่ยากเกินกว่าที่จะแสดงให้เห็นว่าสำหรับแลมบ์ดาแบบคงที่ตัวทำนายแบบบ่วงบาศคือ Lipschitz ในเวกเตอร์ (ฉันเชื่อว่าเอกสารของ Ryan Tibshirani หนึ่งอันหรือมากกว่านั้นทำ) ถ้าใครสามารถยืนยันว่าสิ่งนี้ถือเป็นจริงในสิ่งนี้จะน่าสนใจและมีความเกี่ยวข้องที่นี่ $Y$ $X_i$

Takeaway ที่สำคัญที่ฉันจะเพิ่มการตอบสนองของคุณ:“ความมั่นคง” หมายถึง "ความเสี่ยงที่สอดคล้องกัน” หรือ ‘การทำนายความถูกต้อง’ นอกจากนี้ยังสามารถบ่งบอกถึง ‘การประมาณค่าพารามิเตอร์สอดคล้อง’ ภายใต้สมมติฐานที่มากขึ้น แต่อาหารกลางวันฟรีไม่มีทฤษฎีบทหมายถึง ‘ตัวเลือก’.. “ ไม่เสถียร” Lasso ไม่เสถียรแม้กับแลมบ์ดาแบบคงที่แน่นอนเมื่อใช้ร่วมกับ CV (ชนิดใดก็ได้) อย่างไรก็ตามถึงแม้จะไม่มีเสถียรภาพ แต่ก็ยังมีความเสี่ยงอยู่ CV. ความโดดเด่นไม่เหมือนใครที่นี่ $\rightarrow$

— Xavier Bourret Sicotte
แหล่งที่มา

5

Lasso ซึ่งแตกต่างจากการถดถอยของสัน (ดูเช่น Hoerl และ Kennard, 1970; Hastie et al., 2009) ไม่ได้มีวิธีการแก้ปัญหาที่ไม่ซ้ำกันแม้ว่ามันจะมี ขึ้นอยู่กับจำนวนของพารามิเตอร์ในแบบจำลองไม่ว่าจะเป็นตัวแปรต่อเนื่องหรือไม่ต่อเนื่องและอันดับของเมทริกซ์การออกแบบของคุณ เงื่อนไขความเป็นเอกลักษณ์สามารถพบได้ใน Tibshirani (2013)

อ้างอิง:

Hastie, T. , Tibshirani, R. และ Friedman, J. (2009) องค์ประกอบของการเรียนรู้ทางสถิติ ชุด Springer ในสถิติ Springer, New York, ฉบับที่ 11, ฉบับที่ 2

Hoerl, AE และ Kennard, RW (1970) การถดถอยของสันเขา: การประเมินแบบเอนเอียงสำหรับปัญหาที่ไม่เกี่ยวข้อง เทคนิค , 12 (1), 55-67

Tibshirani, RJ (2013) ปัญหาเชือกและเอกลักษณ์ วารสารสถิติอิเล็กทรอนิกส์ , 7, 1456-1490

— ฟิล
แหล่งที่มา

@ ขอบคุณ! คุณสามารถเพิ่มข้อมูลสรุปโดยย่อของข้อมูลอ้างอิงที่คุณให้ไว้ได้หรือไม่

— meTchaikovsky

Hasite และคณะ (2009) เป็นหนังสือที่ครอบคลุมหัวข้อมากมายการถดถอยแบบ Lasso และ Ridge เป็นการอ่านที่คุ้มค่าและสามารถดาวน์โหลดได้จากหน้าแรกของ Hastie: web.stanford.edu/~hastie/ElemStatLearn/download.html Hoerl & Kennard (1970) เป็นการอ้างอิงการถดถอยแบบคลาสสิคและไม่น่าจะเกี่ยวข้องกับคำถามของคุณโดยตรง กว่าจะอ่านเกี่ยวกับการถดถอยของสัน Tibshirani (2013) มีข้อมูลเกี่ยวกับเมื่อ Lasso มีวิธีแก้ปัญหาที่ไม่ซ้ำกัน (และเมื่อมันมีจำนวนโซลูชั่นไม่ จำกัด )

— Phil

3

ทำให้เกิดความไม่เป็นเอกลักษณ์อะไร

สำหรับเวกเตอร์ (โดยที่เป็นเครื่องหมายแสดงว่าการเปลี่ยนแปลงของจะเพิ่มขึ้นหรือลดลง ) ทุกครั้งที่มีการพึ่งพาอย่างใกล้ชิด: $s_ix_i$ $s_i$ $c_i$ $\Vert c \Vert_1$

\sum α_{i} s_{i} x_{i} = 0 and \sum α_{i} = 0

$\sum \alpha_i s_i x_i = 0 \qquad \text{and} \qquad \sum \alpha_i =0$

แล้วมีจำนวนอนันต์ของชุดที่ไม่เปลี่ยนแปลงวิธีการแก้ปัญหาและบรรทัดฐานค $c_i + \gamma\alpha_i$ $Xc$ $\Vert c\Vert_1$

ตัวอย่างเช่น:

y = [\begin{matrix} 1 \\ 1 \end{matrix}] = [\begin{matrix} 2 & 1 & 0 \\ 1 & 1 & 1 \end{matrix}] \cdot [\begin{matrix} c_{1} \\ c_{2} \\ c_{3} \end{matrix}] = X c

$y = \begin{bmatrix} 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 2 & 1 & 0 \\ 1 & 1 & 1 \end{bmatrix} \cdot \begin{bmatrix} c_1 \\ c_2 \\ c_3 \end{bmatrix}= Xc$

มีไว้สำหรับวิธีแก้ไข: $\Vert c \Vert_1 = 1$

[\begin{matrix} c_{1} \\ c_{2} \\ c_{3} \end{matrix}] = [\begin{matrix} 0 \\ 1 \\ 0 \end{matrix}] + γ [\begin{matrix} 1 \\ - 2 \\ 1 \end{matrix}]

$\begin{bmatrix} c_1 \\ c_2 \\ c_3 \end{bmatrix}= \begin{bmatrix} 0 \\ 1 \\ 0 \end{bmatrix} + \gamma \begin{bmatrix} 1 \\ -2 \\ 1 \end{bmatrix}$

ด้วย $0\leq \gamma \leq \frac{1}{2}$

เราสามารถจัดเรียงแทนที่เวกเตอร์โดยใช้ $x_2$ $x_2 = 0.5 x_1 + 0.5 x_3$

สถานการณ์ที่ไม่มีเงื่อนไขนี้

ในบทความจากTibshirani (จากคำตอบของฟิล) เงื่อนไขที่เพียงพอสามข้อที่อธิบายไว้สำหรับบ่วงบาศเพื่อให้ได้คำตอบที่ไม่ซ้ำกัน

เป็นอิสระจากกันเชิงเส้นเมื่อช่องว่างเป็นโมฆะหรือเทียบเท่าเมื่ออันดับเท่ากับจำนวนคอลัมน์ (M) ในกรณีนี้คุณไม่มีชุดค่าผสมเชิงเส้นเหมือนด้านบน $X$ $X$
เป็นอิสระอย่างเหมาะสมเมื่อคอลัมน์อยู่ในตำแหน่งทั่วไป $Xs$

นั่นคือไม่มีคอลัมน์แสดงจุดในระนาบมิติเครื่องบิน k-2 มิติสามารถแปรโดยใด ๆคะแนนขณะที่กับ1 ด้วย -th point ในระนาบเดียวกันคุณจะได้เงื่อนไขพร้อม $k$ $k-2$ $k-1$ $\sum \alpha_i s_ix_i$ $\sum \alpha_i = 1$ $k$ $s_jx_j$ $\sum \alpha_i s_ix_i$ $\sum \alpha_i = 0$

โปรดทราบว่าในตัวอย่างคอลัมน์ ,และอยู่ในบรรทัดเดียว (อย่างไรก็ตามมันค่อนข้างงุ่มง่ามเพราะสัญญาณอาจเป็นลบได้เช่นเมทริกซ์มีเพียง ไม่มีวิธีแก้ปัญหาที่ไม่เหมือนใคร) $x_1$ $x_2$ $x_3$ $\left[ [2 \, 1] \, [1 \, 1] \, [-0 \, -1] \right]$
เมื่อคอลัมน์มาจากการแจกแจงแบบต่อเนื่องจึงไม่น่าเป็นไปได้ (เกือบจะเป็นศูนย์) ที่คุณจะมีคอลัมน์ไม่อยู่ในตำแหน่งทั่วไป $X$ $X$

ตรงกันข้ามกับสิ่งนี้หากคอลัมน์เป็นตัวแปรหมวดหมู่ความน่าจะเป็นนี้จะไม่เกือบเป็นศูนย์ ความน่าจะเป็นสำหรับตัวแปรต่อเนื่องจะเท่ากับชุดของตัวเลข (เช่นเครื่องบินที่สอดคล้องกับช่วงเลียนแบบของเวกเตอร์อื่น ๆ ) คือ 'เกือบ' ศูนย์ แต่นี่ไม่ใช่กรณีสำหรับตัวแปรที่ไม่ต่อเนื่อง $X$

— Sextus Empiricus
แหล่งที่มา

+1 แต่ฉันคิดว่าสิ่งที่มีความหมายโดยไม่แน่นอนในการสนทนาเมื่อเร็ว ๆ นี้เกี่ยวข้องกับการเลือกคุณสมบัติผ่านการตรวจสอบข้ามในที่ที่มีคุณสมบัติที่เกี่ยวข้อง

— Xavier Bourret Sicotte

@XavierBourretSicotte คุณหมายถึงว่าแม้จะมีวิธีการแก้ปัญหาที่ไม่ซ้ำกันกระบวนการคัดเลือกอาจไม่เสถียรเนื่องจากคุณสมบัติที่เกี่ยวข้องซึ่งเพิ่มปัญหาให้กับ (ตัวเลข) ในการค้นหาโซลูชันที่ไม่ซ้ำใคร มันค่อนข้างสับสนเพราะคำถามถามในแง่หนึ่งเกี่ยวกับความมั่นคงและอีกด้านเกี่ยวกับความเป็นเอกลักษณ์

— Sextus Empiricus

ใช่นั่นคือสิ่งที่ฉันหมายถึงไม่จำเป็นต้องเป็นเพราะความไม่แน่นอนเชิงตัวเลข แต่เนื่องมาจากความแตกต่างในการพับของข้อมูล (ระหว่าง CV) ซึ่งนำไปสู่การแก้ปัญหาที่แตกต่างกันสำหรับค่าข้ามรอยพับ ในอาจจะยิ่งแย่ลงเมื่อ bootstrapping

λ

$\lambda$

— Xavier Bourret Sicotte

@XavierBourretSicotte ตอนนี้ฉันไม่มีภาพที่เข้าใจง่ายว่าทำไม (โซลูชันที่แตกต่างกันสำหรับและชุดการฝึกอบรมที่แตกต่างกัน) น่าจะไม่เสถียร ฉันเดาว่าคุณสามารถโพสต์สิ่งนี้เป็นคำตอบและอธิบายได้

λ

$\lambda$

— Sextus Empiricus

@Martijn Weterings ขอขอบคุณ! ฉันยังมีคำถามสามข้อ: 1. ฉันจะตรวจสอบการพึ่งพาอย่างเป็นบ้าเป็นหลังได้อย่างไร? ฉันควรทราบหรือไม่ว่ามีความเป็นอิสระหรือไม่( math.stackexchange.com/q/82189 )? 2. ฉันควรกำหนดในทางปฏิบัติ 3. 'ตำแหน่งทั่วไป' ของหมายถึงอะไร

{v_{1} - v_{0}, v_{2} - v_{0}, \dots, v_{k} - v_{0}}

$\{v_1 - v_0, v_2 - v_0, \cdots, v_k - v_0\}$

s_{i}

$s_i$

X

$X$

— meTchaikovsky

อะไรทำให้บ่วงบาศไม่เสถียรสำหรับการเลือกคุณสมบัติ?

UPDATE

1) Uniqueness vs Stability

เสถียรภาพและทฤษฎีบทอาหารกลางวันฟรี

ความพยายามตอบคำถามของคุณ

ก้าวต่อไป

ความคิดเห็นจากDaniel J. McDonald

ทำให้เกิดความไม่เป็นเอกลักษณ์อะไร

สถานการณ์ที่ไม่มีเงื่อนไขนี้