คำถามติดแท็ก partial-least-squares

ใครสามารถแนะนำการอธิบายที่ดีของทฤษฎีที่อยู่เบื้องหลังการถดถอยกำลังสองน้อยที่สุด (มีให้ทางออนไลน์) สำหรับคนที่เข้าใจ SVD และ PCA? ฉันดูแหล่งข้อมูลออนไลน์มากมายและไม่พบสิ่งใดที่มีการผสมผสานที่ถูกต้องของความแม่นยำและการเข้าถึง ฉันได้ดูเป็นองค์ประกอบของการเรียนรู้ทางสถิติซึ่งได้รับการแนะนำในความคิดเห็นในคำถามที่ถามเกี่ยวกับการรอการตรวจสอบ , สี่เหลี่ยมอย่างน้อยบางส่วน (PLS) ถดถอยคืออะไรและวิธีการที่แตกต่างจาก OLS? แต่ฉันไม่คิดว่าการอ้างอิงนี้จะทำให้เกิดความยุติธรรมในหัวข้อ (สั้นเกินไปที่จะทำเช่นนั้นและไม่ได้ให้ทฤษฎีเกี่ยวกับเรื่องนี้มากนัก) จากสิ่งที่ฉันได้อ่าน PLS ใช้ประโยชน์จากการรวมกันเชิงเส้นของตัวแปรทำนายที่เพิ่มความแปรปรวนร่วมภายใต้ข้อ จำกัดและz_i ^ Tz_j = 0ถ้าฉัน \ neq j , ที่\ varphi_izi=Xφizi=Xφiz_i=X \varphi_iyTziyTzi y^Tz_i Z T ฉัน Z J = 0 ฉัน≠ เจφ ฉัน∥φi∥=1‖φi‖=1\|\varphi_i\|=1zTizj=0ziTzj=0z_i^Tz_j=0i≠ji≠ji \neq jφiφi\varphi_iจะถูกเลือกซ้ำตามลำดับที่พวกเขาเพิ่มความแปรปรวนร่วมสูงสุด แต่หลังจากทั้งหมดที่ฉันอ่านฉันยังคงไม่แน่ใจว่ามันเป็นเรื่องจริงและถ้าเป็นเช่นนั้นวิธีการที่จะดำเนินการ

33 regression  references  regularization  svd  partial-least-squares 

PCA, LDA, CCA และ PLS เกี่ยวข้องกันอย่างไร พวกเขาดูเหมือน "เชิงสเปกตรัม" และเชิงพีชคณิตเชิงเส้นและเข้าใจเป็นอย่างดี (พูดมากกว่า 50 ปีของทฤษฎีที่สร้างขึ้นรอบ ๆ พวกเขา) พวกเขาจะใช้สำหรับสิ่งที่แตกต่างกันมาก (PCA สำหรับการลดขนาด, LDA สำหรับการจัดหมวดหมู่, PLS สำหรับการถดถอย) แต่พวกเขาก็ยังรู้สึกเกี่ยวข้องอย่างใกล้ชิด

26 pca  discriminant-analysis  partial-least-squares  canonical-correlation 

พิจารณาสันถดถอยด้วยข้อ จำกัด เพิ่มเติมที่มีผลรวมของหน่วยสแควร์ส (เทียบเท่าความแปรปรวนของหน่วย); หากจำเป็นเราสามารถสันนิษฐานได้ว่ามีผลรวมของหน่วยกำลังสองเช่นกัน: Yy^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1. ขีด จำกัด ของβ^∗λβ^λ∗\hat{\boldsymbol\beta}_\lambda^*เมื่อλ→∞λ→∞\lambda\to\inftyคืออะไร? นี่คือข้อความบางส่วนที่ฉันเชื่อว่าเป็นจริง: เมื่อλ=0λ=0\lambda=0มีวิธีแก้ไขที่ชัดเจน: ใช้ตัวประมาณ OLS β^0=(X⊤X)−1X⊤yβ^0=(X⊤X)−1X⊤y\hat{\boldsymbol\beta}_0=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf yและทำให้เป็นมาตรฐานเพื่อสนองข้อ จำกัด (เราสามารถเห็นสิ่งนี้ได้โดยการเพิ่มตัวคูณและสร้างความแตกต่างของ Lagrange): β^∗0=β^0/∥Xβ^0∥.β^0∗=β^0/‖Xβ^0‖.\hat{\boldsymbol\beta}_0^* = \hat{\boldsymbol\beta}_0 \big/ \|\mathbf X\hat{\boldsymbol\beta}_0\|. โดยทั่วไปการแก้ปัญหาคือβ^∗λ=((1+μ)X⊤X+λI)−1X⊤ywith μ needed to satisfy the …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

ในการถดถอยสมการกำลังสองน้อยที่สุด (PLSR) หรือการสร้างแบบจำลองสมการเชิงโครงสร้างบางส่วน (PLS-SEM) คำว่า "บางส่วน" หมายถึงอะไร

16 multiple-regression  least-squares  terminology  sem  partial-least-squares 

การถดถอยอันดับที่ลดลงและการถดถอยส่วนประกอบหลักเป็นเพียงกรณีพิเศษที่มีกำลังสองน้อยที่สุดหรือไม่? บทช่วยสอนนี้ (หน้า 6, "การเปรียบเทียบวัตถุประสงค์") ระบุว่าเมื่อเราทำบางส่วนกำลังสองน้อยที่สุดโดยไม่ต้องฉาย X หรือ Y (เช่น "ไม่ใช่บางส่วน") มันจะกลายเป็นการลดอันดับการถดถอยหรือการถดถอยองค์ประกอบหลักตามลำดับ ข้อความที่คล้ายกันนี้จัดทำขึ้นในหน้าเอกสารของ SAS นี้หัวข้อ "การลดอันดับการถดถอย" และ "ความสัมพันธ์ระหว่างวิธีการ" คำถามติดตามพื้นฐานที่สำคัญกว่าคือมีแบบจำลองความน่าจะเป็นพื้นฐานที่คล้ายคลึงกันหรือไม่

16 regression  pca  dimensionality-reduction  partial-least-squares  reduced-rank-regression 

ฉันพยายามดูว่าจะไปถดถอยสัน , เชือก , หลักถดถอยส่วนประกอบ (PCR) หรือสแควน้อยบางส่วน (PLS) ในสถานการณ์ที่มีจำนวนมากของตัวแปร / คุณสมบัติ ( ) และขนาดเล็กจำนวนตัวอย่าง ( n < p ) และเป้าหมายของฉันคือการทำนายpppn<pn<pn np>10np>10np>10n ตัวแปร ( และY ) มีความสัมพันธ์ซึ่งกันและกันด้วยองศาที่ต่างกันXXXYYY คำถามของฉันคือกลยุทธ์ใดที่ดีที่สุดสำหรับสถานการณ์นี้ ทำไม?

15 regression  pca  lasso  ridge-regression  partial-least-squares 

ฉันพยายามค้นหาข้อมูลเกี่ยวกับสมมติฐานของการถดถอย PLS (single ) ฉันสนใจเป็นพิเศษในการเปรียบเทียบสมมติฐานของ PLS เกี่ยวกับการถดถอยของ OLS Yyy ฉันได้อ่าน / อ่านผ่านวรรณกรรมเป็นจำนวนมากในหัวข้อ PLS; เอกสารโดย Wold (Svante และ Herman), Abdi และอื่น ๆ อีกมากมาย แต่ไม่พบแหล่งที่น่าพอใจ ทุ่งและคณะ (2001) PLS-regression: เครื่องมือพื้นฐานของ chemometricsไม่ได้กล่าวถึงสมมติฐานของ PLS แต่เพียงกล่าวถึงว่า Xs ไม่จำเป็นต้องเป็นอิสระ ระบบเป็นฟังก์ชั่นของตัวแปรแฝงที่แฝงอยู่บางตัว ระบบควรแสดงความเป็นเนื้อเดียวกันตลอดกระบวนการวิเคราะห์และ ข้อผิดพลาดการวัดในเป็นที่ยอมรับ XXX ไม่มีการเอ่ยถึงข้อกำหนดใด ๆ ของข้อมูลที่สังเกตได้หรือแบบจำลองส่วนที่เหลือ ไม่มีใครรู้ถึงแหล่งที่มาที่อยู่ใด ๆ นี้หรือไม่? การพิจารณาพื้นฐานทางคณิตศาสตร์นั้นคล้ายคลึงกับ PCA (โดยมีเป้าหมายในการเพิ่มความแปรปรวนร่วมระหว่างและ ) คือภาวะปกติหลายตัวแปรของสมมติฐาน? ส่วนที่เหลือของแบบจำลองจำเป็นต้องแสดงความแปรปรวนแบบเดียวกันหรือไม่?YyyXXX( y, X)(y,X)(y, …

13 regression  assumptions  partial-least-squares 

ฉันใหม่มากในบางส่วนกำลังสองน้อยที่สุด (PLS) และฉันพยายามที่จะเข้าใจผลลัพธ์ของฟังก์ชัน R plsr()ในplsแพ็คเกจ ให้เราจำลองข้อมูลและเรียกใช้ PLS: library(pls) n <- 50 x1 <- rnorm(n); xx1 <- scale(x1) x2 <- rnorm(n); xx2 <- scale(x2) y <- x1 + x2 + rnorm(n,0,0.1); yy <- scale(y) p <- plsr(yy ~ xx1+xx2, ncomp=1) ฉันคาดหวังว่าตัวเลขต่อไปนี้aaaและbbb > ( w <- loading.weights(p) ) Loadings: Comp 1 xx1 …

12 r  regression  partial-least-squares 

คำถามนี้ถูกถามที่นี่แต่ไม่มีใครให้คำตอบที่ดี ดังนั้นฉันคิดว่ามันเป็นความคิดที่ดีที่จะนำมันขึ้นมาอีกครั้งและฉันต้องการที่จะเพิ่มความคิดเห็น / คำถามเพิ่มเติม คำถามแรกคือ "PLS path modelling" กับ "PLS regression" ต่างกันอย่างไร? เพื่อให้เป็นเรื่องทั่วไปยิ่งขึ้นการสร้างแบบจำลองสมการโครงสร้าง (SEM) การสร้างแบบจำลองเส้นทางและการถดถอยคืออะไร เพื่อความเข้าใจที่ถดถอยของฉันมุ่งเน้นไปที่การทำนายในขณะที่ SEM ให้ความสำคัญกับความสัมพันธ์ระหว่างการตอบสนองและการทำนายและการสร้างแบบจำลองเส้นทางเป็นกรณีพิเศษของ SEM? คำถามที่สองของฉันคือ PLS ที่น่าเชื่อถือแค่ไหน เมื่อไม่นานมานี้มีการวิพากษ์วิจารณ์มากมายที่เน้นในRönkköและคณะ 2559และRönkköและคณะ 2015ซึ่งนำไปสู่การปฏิเสธเอกสารตาม PLS ในวารสารระดับสูงเช่นวารสารการจัดการการดำเนินงาน ( นี่คือบันทึกจากบรรณาธิการวารสาร): เรามีแผนกปฏิเสธจริงทุกต้นฉบับ PLS-based เพราะเราได้ข้อสรุปว่า PLS ได้รับโดยไม่มีข้อยกเว้นวิธีการสร้างแบบจำลองที่ไม่ถูกต้องในทุกชนิดของรูปแบบการใช้งาน OM นักวิจัย ฉันควรทราบว่าสาขาของฉันคือสเปกโทรสโกปีการจัดการ / จิตวิทยาหรือสถิติ ในเอกสารที่ลิงก์ด้านบนผู้เขียนกำลังพูดถึง PLS เป็นวิธี SEM แต่สำหรับฉันคำวิจารณ์ของพวกเขาดูเหมือนจะใช้กับการถดถอย PLS เช่นกัน

12 sem  partial-least-squares  path-model 

สิ่งหนึ่งที่ต้องทำเมื่อทำการวิเคราะห์ส่วนประกอบหลัก (PCA) คือการพล็อตการโหลดสองครั้งต่อกันเพื่อตรวจสอบความสัมพันธ์ระหว่างตัวแปร ในกระดาษที่มาพร้อมกับแพคเกจ PLS Rสำหรับการทำส่วนประกอบหลักการถดถอยและการถดถอย PLS มีพล็อตที่แตกต่างกันที่เรียกว่าพล็อตโหลดความสัมพันธ์ (ดูรูปที่ 7 และหน้า 15 ในกระดาษ) การโหลดความสัมพันธ์ตามที่อธิบายไว้คือความสัมพันธ์ระหว่างคะแนน (จาก PCA หรือ PLS) และข้อมูลที่สังเกตได้จริง สำหรับฉันแล้วการโหลดและความสัมพันธ์มีความคล้ายคลึงกันยกเว้นว่าอัตราส่วนจะถูกปรับให้แตกต่างกันเล็กน้อย ตัวอย่างที่ทำซ้ำได้ใน R พร้อมกับชุดข้อมูล mtcars ในตัวมีดังนี้: data(mtcars) pca <- prcomp(mtcars, center=TRUE, scale=TRUE) #loading plot plot(pca$rotation[,1], pca$rotation[,2], xlim=c(-1,1), ylim=c(-1,1), main='Loadings for PC1 vs. PC2') #correlation loading plot correlationloadings <- cor(mtcars, pca$x) plot(correlationloadings[,1], …

11 r  pca  terminology  partial-least-squares  biplot 

ฉันมีชุดข้อมูลซึ่งประกอบด้วยตัวแปร 10 ตัว ฉันวิ่งสี่เหลี่ยมน้อยที่สุดบางส่วน (PLS) เพื่อทำนายตัวแปรการตอบสนองเดียวโดยตัวแปร 10 ตัวเหล่านี้แยกส่วนประกอบ 10 PLS แล้วคำนวณความแปรปรวนของแต่ละองค์ประกอบ จากข้อมูลเดิมฉันได้รวมผลต่างของตัวแปรทั้งหมดซึ่งก็คือ 702 จากนั้นฉันก็แบ่งความแปรปรวนของส่วนประกอบ PLS แต่ละตัวด้วยผลรวมนี้เพื่อให้ได้เปอร์เซ็นต์ของความแปรปรวนที่อธิบายโดย PLS และส่วนประกอบทั้งหมดด้วยกันน่าประหลาดใจเพียงอธิบาย 44% ของความแปรปรวนดั้งเดิม คำอธิบายของสิ่งนั้นคืออะไร? ไม่ควรจะเป็น 100%

10 regression  pca  covariance-matrix  partial-least-squares 

แบบจำลองพื้นฐานของPLSคือ matrixและ vectorกำหนดสัมพันธ์กับ ที่คือเวลาแฝงเมทริกซ์และเป็นคำที่มีเสียงรบกวน (sssumingอยู่กึ่งกลาง)X n y X = T P ′ + E , y = T q ′ + f , T n × k E , f X , yn × mn×mn \times mXXXnnnYyyX=TP′+E,X=TP′+E,X = T P' + E, y=Tq′+f,y=Tq′+f,y = T q' + f,TTTn×kn×kn \times kE,fE,fE, …

10 regression  confidence-interval  latent-variable  partial-least-squares