แบบจำลองสมมติฐานของการถดถอยกำลังสองน้อยที่สุด (PLS)

ฉันพยายามค้นหาข้อมูลเกี่ยวกับสมมติฐานของการถดถอย PLS (single ) ฉันสนใจเป็นพิเศษในการเปรียบเทียบสมมติฐานของ PLS เกี่ยวกับการถดถอยของ OLS $y$

ฉันได้อ่าน / อ่านผ่านวรรณกรรมเป็นจำนวนมากในหัวข้อ PLS; เอกสารโดย Wold (Svante และ Herman), Abdi และอื่น ๆ อีกมากมาย แต่ไม่พบแหล่งที่น่าพอใจ

ทุ่งและคณะ (2001) PLS-regression: เครื่องมือพื้นฐานของ chemometricsไม่ได้กล่าวถึงสมมติฐานของ PLS แต่เพียงกล่าวถึงว่า

1. Xs ไม่จำเป็นต้องเป็นอิสระ
2. ระบบเป็นฟังก์ชั่นของตัวแปรแฝงที่แฝงอยู่บางตัว
3. ระบบควรแสดงความเป็นเนื้อเดียวกันตลอดกระบวนการวิเคราะห์และ
4. ข้อผิดพลาดการวัดในเป็นที่ยอมรับ $X$

ไม่มีการเอ่ยถึงข้อกำหนดใด ๆ ของข้อมูลที่สังเกตได้หรือแบบจำลองส่วนที่เหลือ ไม่มีใครรู้ถึงแหล่งที่มาที่อยู่ใด ๆ นี้หรือไม่? การพิจารณาพื้นฐานทางคณิตศาสตร์นั้นคล้ายคลึงกับ PCA (โดยมีเป้าหมายในการเพิ่มความแปรปรวนร่วมระหว่างและ ) คือภาวะปกติหลายตัวแปรของสมมติฐาน? ส่วนที่เหลือของแบบจำลองจำเป็นต้องแสดงความแปรปรวนแบบเดียวกันหรือไม่?$y$$X$$(y, X)$

ฉันยังเชื่อว่าฉันอ่านที่ไหนสักแห่งว่าข้อสังเกตไม่จำเป็นต้องเป็นอิสระ สิ่งนี้หมายความว่าอย่างไรในแง่ของการศึกษาวัดซ้ำ

เมื่อเราบอกว่าการถดถอย OLS มาตรฐานมีข้อสันนิษฐานบางอย่างเราหมายถึงว่าสมมติฐานเหล่านี้จำเป็นต้องได้มาซึ่งคุณสมบัติที่ต้องการของตัวประมาณค่า OLS เช่นว่ามันเป็นตัวประมาณเชิงเส้นที่เป็นกลางที่สุด - ดูทฤษฎีบท Gauss-Markovและคำตอบที่ยอดเยี่ยม โดย @mpiktas ในรายการที่สมบูรณ์ของสมมติฐานปกติสำหรับการถดถอยเชิงเส้นคืออะไร? ไม่มีข้อสมมติฐานที่มีความจำเป็นในการที่จะถอยหลังก็บนXข้อสันนิษฐานจะปรากฏเฉพาะในบริบทของข้อความการใช้ประโยชน์สูงสุด$y$$X$

โดยทั่วไป "สมมติฐาน" เป็นสิ่งที่ผลลัพธ์ทางทฤษฎีเท่านั้น (ทฤษฎีบท) เท่านั้นที่สามารถมีได้

ในทำนองเดียวกันสำหรับการถดถอย PLS มันเป็นไปได้ที่จะใช้ PLS ถดถอยถอยหลังบนXดังนั้นเมื่อคุณถามว่าสมมติฐานของ PLS ถดถอยคืออะไรคุณคิดอย่างไรเกี่ยวกับการมองโลกในแง่ดี ในความเป็นจริงฉันไม่ได้ตระหนักถึงใด ๆ การถดถอย PLS เป็นรูปแบบหนึ่งของการทำให้เป็นมาตรฐานการหดตัวดูคำตอบของฉันในทฤษฎีเบื้องหลังการถดถอยกำลังสองน้อยที่สุดบางส่วนสำหรับบริบทและภาพรวม ตัวประมาณที่ทำเป็นประจำนั้นมีความลำเอียงดังนั้นไม่มีสมมติฐานจำนวนใดที่จะพิสูจน์ความเป็นกลาง$y$$X$

ยิ่งกว่านั้นผลลัพธ์ที่เกิดขึ้นจริงของการถดถอย PLS ขึ้นอยู่กับจำนวนคอมโพเนนต์ของ PLS ที่รวมอยู่ในโมเดลซึ่งทำหน้าที่เป็นพารามิเตอร์การทำให้เป็นมาตรฐาน การพูดคุยเกี่ยวกับข้อสันนิษฐานใด ๆ จะสมเหตุสมผลถ้ามีการระบุขั้นตอนสำหรับการเลือกพารามิเตอร์นี้อย่างสมบูรณ์ (และโดยปกติจะไม่) ดังนั้นฉันไม่คิดว่าจะมีผลลัพธ์ที่ดีที่สุดสำหรับ PLS เลยซึ่งหมายความว่าการถดถอย PLS ไม่มีข้อสมมติฐาน ฉันคิดว่าสิ่งนี้เป็นจริงสำหรับวิธีการถดถอยแบบลงโทษอื่น ๆ เช่นการถดถอยส่วนประกอบหลักหรือการถดถอยแนวสัน

ปรับปรุง:ฉันได้ขยายการโต้แย้งนี้ในคำตอบของฉันไปที่สมมติฐานของการถดถอยสันเขาคืออะไรและวิธีการทดสอบพวกเขา?

แน่นอนว่ายังคงมีกฎของหัวแม่มือที่บอกว่าเมื่อการถดถอย PLS มีแนวโน้มที่จะเป็นประโยชน์และเมื่อไม่ โปรดดูคำตอบของฉันที่ลิงก์ด้านบนสำหรับการสนทนา ผู้ปฏิบัติงานที่มีประสบการณ์ของ PLSR (ฉันไม่ได้เป็นหนึ่งในนั้น) สามารถพูดได้มากกว่านี้

เห็นได้ชัดว่า PLS ไม่ได้ทำให้สมมติฐาน "ยาก" เกี่ยวกับการกระจายร่วมของตัวแปรของคุณ ซึ่งหมายความว่าคุณต้องระมัดระวังในการเลือกสถิติการทดสอบที่เหมาะสม (ฉันถือว่าการขาดการพึ่งพาการกระจายตัวแปรนี้จัดประเภท PLS เป็นเทคนิคที่ไม่ใช้พารามิเตอร์) ข้อเสนอแนะที่ฉันพบสำหรับสถิติที่เหมาะสมคือ 1) การใช้ r-squared สำหรับตัวแปรแฝงและ 2) วิธีการสุ่มตัวอย่างใหม่สำหรับการประเมินเสถียรภาพของการประมาณ

ความแตกต่างที่สำคัญระหว่าง OLS / MLS และ PLS คืออดีตมักใช้การประมาณค่าความน่าจะเป็นสูงสุดของพารามิเตอร์ประชากรเพื่อทำนายความสัมพันธ์ระหว่างตัวแปรในขณะที่ PLS ประมาณค่าของตัวแปรสำหรับประชากรที่แท้จริงเพื่อทำนายความสัมพันธ์ระหว่างกลุ่มของตัวแปร (โดยการเชื่อมโยงกลุ่ม ตัวแปรตอบกลับที่มีตัวแปรแฝง)

ฉันสนใจที่จะจัดการกับการทดลองที่ทำซ้ำ / ซ้ำโดยเฉพาะอย่างยิ่งหลายปัจจัย แต่ฉันไม่แน่ใจว่าจะใช้วิธีนี้ได้อย่างไรโดยใช้ PLS

คู่มือของกำลังสองน้อยที่สุดบางส่วน: แนวคิดวิธีการและการใช้งาน (หน้า 659, มาตรา 28.4)

Wold, H. 2006. ข้อมูลจำเพาะของ Predictor สารานุกรมวิทยาศาสตร์สถิติ 9

http://www.rug.nl/staff/tkdijkstra/latentvariablesandindices.pdf (หน้า 4 & 5)

ฉันพบการศึกษาแบบจำลองเกี่ยวกับอิทธิพลของความไม่ปกติและขนาดตัวอย่างเล็ก ๆ ใน PLS ผู้เขียนสรุปว่า: "ทั้งสามเทคนิค [รวม PLS] มีความแข็งแกร่งอย่างน่าทึ่งเมื่อเทียบกับการจากไปของภาวะปกติและพอ ๆ กัน"

อย่างไรก็ตามสำหรับคุณสมบัติ: "ดูเหมือนว่าทั้งสามเทคนิคมีความแข็งแกร่งพอสมควรถึงระดับเล็กน้อยถึงปานกลางหรือความรุนแรง (จนถึงความลาดเอียง = 1.1 และ kurtosis = 1.6) อย่างไรก็ตามด้วยข้อมูลที่เบ้มากขึ้น (เอียง = 1.8 และ kurtosis = 3.8) เทคนิคทั้งสามประสบการสูญเสียพลังงานอย่างมีนัยสำคัญและมีนัยสำคัญทางสถิติสำหรับทั้ง n = 40 และ n = 90 (ทั้งสองขนาดตัวอย่างที่เราทดสอบ) ตัวอย่างเช่น n = 90 และขนาดเอฟเฟกต์กลางกำลังการถดถอยคือ 76% พร้อมข้อมูลปกติ แต่ลดลงเหลือ 53% สำหรับข้อมูลที่เบ้อย่างมากภายใต้เงื่อนไขเดียวกันพลังของ PLS ลดลงจาก 75% เป็น 48% ในขณะที่ LISREL ลดลงจาก 79% เป็น 50%

(โดยส่วนตัวแล้วฉันจะพิจารณาสิ่งที่ค่อนข้างออกไปจากภาวะปกติด้วยการลดลงของพลังงานที่สูงชัน)

การอ้างอิง: Dale L. Goodhue, William Lewis และ Ron Thompson PLS มีข้อได้เปรียบสำหรับตัวอย่างขนาดเล็กหรือข้อมูลที่ไม่ปกติหรือไม่? ระบบสารสนเทศไตรมาส 2012; 36 (3): 891-1001