คำถามติดแท็ก regression

ปิด คำถามนี้เป็นคำถามความคิดเห็นตาม ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้สามารถตอบข้อเท็จจริงและการอ้างอิงได้โดยแก้ไขโพสต์นี้ ปิดให้บริการใน2 ปีที่ผ่านมา ขณะนี้ฉันอยู่ในชั้นเรียนการถดถอยเชิงเส้น แต่ฉันไม่สามารถสั่นคลอนความรู้สึกว่าสิ่งที่ฉันกำลังเรียนรู้ไม่เกี่ยวข้องในสถิติที่ทันสมัยหรือการเรียนรู้ของเครื่อง เหตุใดจึงใช้เวลามากกับการอนุมานในการถดถอยเชิงเส้นแบบง่าย ๆ หรือหลายครั้งเมื่อชุดข้อมูลที่น่าสนใจมากมายในสมัยนี้ละเมิดข้อสันนิษฐานที่ไม่สมจริงหลายประการของการถดถอยเชิงเส้น ทำไมไม่สอนการอนุมานเกี่ยวกับเครื่องมือที่ทันสมัยและยืดหยุ่นกว่าเช่นการถดถอยโดยใช้เครื่องเวกเตอร์สนับสนุนหรือกระบวนการ Gaussian แม้ว่าจะซับซ้อนกว่าการหาไฮเปอร์เพลนในอวกาศ แต่สิ่งนี้จะไม่ให้ภูมิหลังที่ดีกว่าสำหรับการจัดการปัญหาวันสมัยใหม่หรือไม่?

12 regression  machine-learning  linear  teaching 

การประมาณค่าพารามิเตอร์ / การฝึกอบรมการถดถอยโลจิสติกทำงานอย่างไร ฉันจะพยายามใส่สิ่งที่ฉันได้รับจนถึง เอาต์พุตคือ y เอาต์พุตของฟังก์ชันลอจิสติกในรูปแบบของความน่าจะเป็นขึ้นอยู่กับค่าของ x: P( y= 1 | x ) = 11 + e- ωTx≡ σ( ωTx )P(y=1|x)=11+e−ωTx≡σ(ωTx)P(y=1|x)={1\over1+e^{-\omega^Tx}}\equiv\sigma(\omega^Tx) P( y= 0 | x ) = 1 - P( y= 1 | x ) = 1 - 11 + e- ωTxP(y=0|x)=1−P(y=1|x)=1−11+e−ωTxP(y=0|x)=1-P(y=1|x)=1-{1\over1+e^{-\omega^Tx}} สำหรับหนึ่งมิติ Odds ที่เรียกว่าถูกกำหนดดังนี้: p ( y= …

12 regression  logistic  likelihood 

ฉันกำลังอ่านการสร้างแบบจำลองหลายตัวแปร: แนวทางปฏิบัติในการวิเคราะห์การถดถอยโดยใช้พหุนามเศษส่วนสำหรับการสร้างแบบจำลองตัวแปรต่อเนื่องโดย Patrick Royston และ Willie Sauerbrei จนถึงตอนนี้ฉันประทับใจและเป็นวิธีที่น่าสนใจที่ฉันไม่เคยพิจารณามาก่อน แต่ผู้เขียนไม่ได้จัดการกับข้อมูลที่ขาดหายไป แน่นอนใน p. พวกเขากล่าวว่าข้อมูลที่หายไป "นำเสนอปัญหาเพิ่มเติมมากมายไม่พิจารณาที่นี่" การใส่หลายแบบทำงานกับพหุนามเศษส่วนหรือไม่ FP คือบางวิธี (แต่ไม่ใช่ทั้งหมด) ทางเลือกสำหรับ splines ง่ายต่อการจัดการกับข้อมูลที่ขาดหายไปสำหรับการถดถอยแบบอิสระหรือไม่

12 regression  missing-data  fractional-polynomial 

มีหลายโพสต์เกี่ยวกับวิธีการเลือกคุณสมบัติ หนึ่งในวิธีการอธิบายความสำคัญของคุณสมบัติตามสถิติ t ใน R ที่varImp(model)ใช้กับโมเดลเชิงเส้นพร้อมคุณสมบัติที่เป็นมาตรฐานจะใช้ค่าสัมบูรณ์ของ t-statistic สำหรับพารามิเตอร์แต่ละโมเดล ดังนั้นโดยทั่วไปเราเลือกคุณลักษณะตามสถิติของ t ซึ่งหมายถึงความแม่นยำของสัมประสิทธิ์ แต่ความแม่นยำของค่าสัมประสิทธิ์ของฉันบอกฉันบางอย่างเกี่ยวกับความสามารถในการทำนายของคุณสมบัติหรือไม่ มันจะเกิดขึ้นหรือไม่ที่คุณสมบัติของฉันมี t-statisstics ต่ำ แต่จะยังคงปรับปรุง (สมมติว่า) ความแม่นยำของโมเดลหรือไม่ ถ้าใช่จะมีใครต้องการแยกตัวแปรตามสถิติของ t หรือไม่ หรือเป็นเพียงจุดเริ่มต้นในการตรวจสอบความสามารถในการทำนายของตัวแปรที่ไม่สำคัญ?

12 regression  p-value  feature-selection 

ฉันได้ศึกษาการถดถอยเชิงเส้นและลองใช้ชุดด้านล่าง {(x, y)} ซึ่ง x ระบุพื้นที่ของบ้านเป็นตารางฟุตและ y ระบุราคาเป็นดอลลาร์ นี่คือตัวอย่างแรกในแอนดรูอึ้งหมายเหตุ 2104.400 1600.330 2400.369 1416.232 3000.540 ฉันพัฒนารหัสตัวอย่าง แต่เมื่อฉันเรียกใช้ราคาจะเพิ่มขึ้นในแต่ละขั้นตอนในขณะที่ควรลดลงในแต่ละขั้นตอน รหัสและผลลัพธ์ที่ได้รับด้านล่าง biasคือ W 0 X 0โดยที่ X 0 = 1 featureWeightsคืออาร์เรย์ของ [X 1 , X 2 , ... , X N ] ฉันยังพยายามวิธีการแก้ปัญหาหลามออนไลน์อยู่ที่นี่และอธิบายที่นี่ แต่ตัวอย่างนี้ยังให้ผลลัพธ์เดียวกัน ช่องว่างในการทำความเข้าใจแนวคิดอยู่ที่ไหน รหัส: package com.practice.cnn; import java.util.Arrays; public class LinearRegressionExample { …

12 regression  least-squares  gradient-descent  supervised-learning 

argminwL(w)=∑ni=1|yi−wTx|arg⁡minwL(w)=∑i=1n|yi−wTx| \underset{\textbf{w}}{\arg\min} L(w)=\sum_{i=1}^{n}|y_{i}-\textbf{w}^T\textbf{x}| min∑ni=1uimin∑i=1nui\min \sum_{i=1}^{n}u_{i} ui≥xTw−yii=1,…,nui≥xTw−yii=1,…,nu_i \geq \textbf{x}^T\textbf{w}- y_{i} \; i = 1,\ldots,n ui≥−(xTw−yi)i=1,…,nui≥−(xTw−yi)i=1,…,nu_i \geq -\left(\textbf{x}^T\textbf{w}-y_{i}\right) \; i = 1,\ldots,n แต่ฉันไม่มีความคิดที่จะแก้มันทีละขั้นตอนเพราะฉันเป็นมือใหม่ที่ LP คุณมีความคิดใด ๆ ขอบคุณล่วงหน้า! แก้ไข: นี่คือขั้นตอนล่าสุดที่ฉันได้มาถึงปัญหานี้ ฉันพยายามที่จะแก้ปัญหาตามหมายเหตุนี้: ขั้นตอนที่ 1: กำหนดเป็นรูปแบบมาตรฐาน minZ=∑ni=1uiminZ=∑i=1nui\min Z=\sum_{i=1}^{n}u_{i} xTw−ui+s1=yii=1,…,nxTw−ui+s1=yii=1,…,n \textbf{x}^T\textbf{w} -u_i+s_1=y_{i} \; i = 1,\ldots,n xTw+ui+s2=−yii=1,…,nxTw+ui+s2=−yii=1,…,n \textbf{x}^T\textbf{w} +u_i+s_2=-y_{i} \; i = 1,\ldots,n ภายใต้s1≥0;s2≥0;ui≥0 i=1,...,ns1≥0;s2≥0;ui≥0 i=1,...,ns_1 …

12 regression  optimization  quantile-regression  linear-programming  least-absolute-deviations 

การวิเคราะห์การถดถอยแบบ Moderated มักใช้ในสังคมศาสตร์เพื่อประเมินปฏิสัมพันธ์ระหว่างผู้ทำนาย / เพื่อนร่วมทุนสองคนขึ้นไป โดยทั่วไปด้วยตัวแปรทำนายสองตัวจะใช้โมเดลต่อไปนี้: Y=β0+β1∗X+β2∗M+β3∗XM+eY=β0+β1∗X+β2∗M+β3∗XM+eY = β_0 + β_1*X + β_2*M + β_3*XM + e ขอให้สังเกตว่าการทดสอบการกลั่นกรองดำเนินการโดยคำว่าผลิตภัณฑ์XMXMXM (การคูณระหว่างตัวแปรอิสระXXXและตัวแปรผู้ควบคุมMMM ) คำถามพื้นฐานมากของฉันคือทำไมเราจริงคำนวณระยะสินค้าระหว่างXXXและMMM ? ทำไมไม่เช่นนั้นความแตกต่างที่แน่นอน|M−X||M−X||M-X|หรือแค่ผลรวมX+MX+MX + M ? ที่น่าสนใจ Kenny กล่าวถึงปัญหานี้ที่นี่http://davidakenny.net/cm/moderation.htmโดยพูดว่า: "ตามที่เห็นการทดสอบการกลั่นจะไม่สามารถใช้งานได้โดยคำศัพท์ผลิตภัณฑ์ XM" แต่ไม่มีคำอธิบายเพิ่มเติมใด ๆ . ภาพประกอบหรือหลักฐานที่เป็นทางการน่าจะเป็นความกระจ่างฉันเดา / หวังว่า

12 regression  interaction 

Zou และคณะ "ใน" องศาอิสระ "ของเชือก" (2007) แสดงให้เห็นว่าจำนวนของค่าสัมประสิทธิ์ที่ไม่ใช่ศูนย์เป็นค่าประมาณที่เป็นกลางและสม่ำเสมอสำหรับองศาอิสระของเชือก ดูเหมือนว่าฉันจะต่อต้านได้ง่าย สมมติว่าเรามีรูปแบบการถดถอย (โดยที่ตัวแปรมีค่าเฉลี่ยเป็นศูนย์) y=βx+ε.y=βx+ε.y=\beta x + \varepsilon. สมมติว่า OLS ไม่ จำกัด ประเมินของเป็นβ O L S = 0.5 มันอาจตรงกับประมาณการ LASSO ที่ประมาณβสำหรับความรุนแรงที่ต่ำมากββ\betaβ^OLS=0.5β^OLS=0.5\hat\beta_{OLS}=0.5ββ\beta สมมติต่อไปว่าประมาณการเชือกสำหรับความเข้มโทษโดยเฉพาะอย่างยิ่งเป็นβ L S S O , λ * = 0.4 ตัวอย่างเช่นλ ∗อาจเป็น "ดีที่สุด" λสำหรับชุดข้อมูลที่อยู่ในมือโดยใช้การตรวจสอบข้าม λ∗λ∗\lambda^*β^LASSO,λ∗=0.4β^LASSO,λ∗=0.4\hat\beta_{LASSO,\lambda^*}=0.4λ∗λ∗\lambda^*λλ\lambda หากฉันเข้าใจอย่างถูกต้องทั้งสองกรณีระดับความเป็นอิสระเท่ากับ 1 เนื่องจากทั้งสองครั้งมีค่าสัมประสิทธิ์การถดถอยที่ไม่ใช่ศูนย์ คำถาม: มาได้อย่างไรองศาอิสระในทั้งสองกรณีจะเหมือนกันแม้ว่าβ L S S …

12 regression  lasso  degrees-of-freedom  shrinkage 

ตัวอย่างของ collinearity ที่สมบูรณ์แบบในแง่ของเมทริกซ์การออกแบบคืออะไรXXX ฉันต้องการตัวอย่างที่ไม่สามารถประมาณได้เพราะไม่สามารถย้อนกลับได้β^=(X′X)−1X′Yβ^=(X′X)−1X′Y\hat \beta = (X'X)^{-1}X'Y(X′X)(X′X)(X'X)

12 regression  multicollinearity  matrix  matrix-inverse 

ในกรณีที่ฉันเข้าใจผิดในรูปแบบเชิงเส้นการกระจายของการตอบสนองจะถือว่ามีองค์ประกอบที่เป็นระบบและเป็นองค์ประกอบแบบสุ่ม คำผิดพลาดจับองค์ประกอบแบบสุ่ม ดังนั้นถ้าเราสมมติว่าคำผิดพลาดมีการแจกแจงแบบปกตินั่นไม่ได้หมายความว่าคำตอบนั้นก็กระจายตามปกติด้วยเช่นกัน? ฉันคิดว่ามันเป็นเช่นนั้น แต่จากนั้นข้อความเช่นข้อความด้านล่างค่อนข้างสับสน: และคุณสามารถเห็นได้อย่างชัดเจนว่าข้อสันนิษฐานเพียงอย่างเดียวของ "ภาวะปกติ" ในแบบจำลองนี้ก็คือส่วนที่เหลือ (หรือ "ข้อผิดพลาด" ) ควรกระจายตามปกติ มีข้อสันนิษฐานเกี่ยวกับการกระจายของการทำนายไม่เป็นหรือตัวแปรตอบสนอง y_ix ฉันY ฉันϵiϵi\epsilon_ixixix_iyiyiy_i ที่มา: ผู้ทำนายการตอบสนองและสิ่งที่เหลืออยู่: ปกติแล้วจะต้องมีการแจกจ่ายอะไรจริง ๆ

12 regression  assumptions 

ฉันได้พบกับข้อเสนอสามข้อเพื่อจัดการกับการกระจายเกินพิกัดในตัวแปรตอบกลับของปัวซองและโมเดลเริ่มต้นที่มีเอฟเฟกต์ถาวรทั้งหมด: ใช้แบบจำลองเสมือน; ใช้ GLM ลบแบบทวินาม ใช้โมเดลผสมกับเอฟเฟกต์แบบสุ่มระดับหัวเรื่อง แต่สิ่งที่จะเลือกจริงและทำไม? มีเกณฑ์ใดบ้างในกลุ่มนี้?

12 regression  negative-binomial  poisson-regression  overdispersion  quasi-likelihood 

ฉันทำวัดสองตัวแปรxและy ที่ พวกเขาทั้งสองได้รู้จักความไม่แน่นอนσ xและσ y ที่เกี่ยวข้องกับพวกเขา ฉันอยากพบความสัมพันธ์ระหว่างxและy ที่ ฉันจะทำมันได้อย่างไรnnnxxxYyyσxσx\sigma_xσYσy\sigma_yxxxYyy แก้ไข : แต่ละมีที่แตกต่างกันσ x , ฉันที่เกี่ยวข้องกับมันและเช่นเดียวกันกับปีฉันxผมxix_iσx , iσx,i\sigma_{x,i}Yผมyiy_i ตัวอย่าง R ที่ทำซ้ำได้: ## pick some real x and y values true_x <- 1:100 true_y <- 2*true_x+1 ## pick the uncertainty on them sigma_x <- runif(length(true_x), 1, 10) # 10 sigma_y <- runif(length(true_y), …

12 r  regression  deming-regression 

ขณะนี้ฉันกำลังสอนตัวเองเกี่ยวกับการจำแนกประเภทและโดยเฉพาะฉันกำลังดูวิธีการสามวิธี: การสนับสนุนเครื่องเวกเตอร์เครือข่ายประสาทและการถดถอยโลจิสติก สิ่งที่ฉันพยายามเข้าใจคือเหตุที่การถดถอยโลจิสติกจะทำงานได้ดีกว่าอีกสอง จากความเข้าใจของฉันในการถดถอยโลจิสติกความคิดคือการปรับฟังก์ชั่นโลจิสติกให้พอดีกับข้อมูลทั้งหมด ดังนั้นถ้าข้อมูลของฉันเป็นเลขฐานสองข้อมูลทั้งหมดที่มีป้ายกำกับ 0 ควรถูกแมปกับค่า 0 (หรือใกล้เคียง) และข้อมูลทั้งหมดที่มีค่า 1 ควรถูกแมปกับค่า 1 (หรือใกล้เคียง) ตอนนี้เนื่องจากฟังก์ชันโลจิสติกส์นั้นต่อเนื่องและราบรื่นการดำเนินการถดถอยนี้จึงต้องการข้อมูลทั้งหมดของฉันเพื่อให้พอดีกับเส้นโค้ง ไม่มีความสำคัญมากขึ้นนำไปใช้กับจุดข้อมูลที่อยู่ใกล้กับขอบเขตการตัดสินใจและจุดข้อมูลทั้งหมดมีส่วนทำให้เกิดการสูญเสียตามจำนวนที่แตกต่างกัน อย่างไรก็ตามด้วยการสนับสนุนเวกเตอร์แมชชีนและเครือข่ายนิวรัลเฉพาะจุดข้อมูลเหล่านั้นที่อยู่ใกล้กับขอบเขตการตัดสินใจมีความสำคัญ ตราบใดที่จุดข้อมูลยังคงอยู่ในขอบเขตเดียวกันของขอบเขตการตัดสินใจมันจะมีส่วนทำให้เกิดการสูญเสียเท่ากัน ดังนั้นเหตุใดการถดถอยของโลจิสติกจึงมีประสิทธิภาพสูงกว่าเครื่องเวกเตอร์หรือโครงข่ายประสาทเนื่องจากว่า "เสียทรัพยากร" ในการพยายามที่จะปรับเส้นโค้งให้เข้ากับข้อมูลที่ไม่สำคัญ (จำแนกได้ง่าย ๆ ) ขอบเขต?

12 regression  machine-learning  logistic  classification  regression-strategies 

ฉันคิดว่าฉันเข้าใจปัญหานี้ แต่ตอนนี้ฉันไม่แน่ใจและฉันต้องการตรวจสอบกับผู้อื่นก่อนที่ฉันจะดำเนินการต่อ ฉันมีสองตัวแปรXและY. Yเป็นอัตราส่วนและไม่ได้ล้อมรอบด้วย 0 และ 1 และโดยทั่วไปแล้วจะกระจาย Xเป็นสัดส่วนและมันถูกล้อมรอบด้วย 0 และ 1 (มันวิ่งจาก 0.0 ถึง 0.6) เมื่อฉันเรียกใช้การถดถอยเชิงเส้นของY ~ Xและฉันพบว่าXและYมีความสัมพันธ์เชิงเส้นอย่างมีนัยสำคัญ จนถึงตอนนี้ดีมาก แต่แล้วผมตรวจสอบต่อไปและผมก็เริ่มคิดว่าบางทีXและY'ความสัมพันธ์อาจจะโค้งมากกว่าเชิงเส้น ให้ฉันดูเหมือนความสัมพันธ์ของXและYอาจจะใกล้ชิดกับY ~ log(X), Y ~ sqrt(X)หรือY ~ X + X^2, หรือสิ่งที่ต้องการ ฉันมีเหตุผลเชิงประจักษ์ที่จะถือว่าความสัมพันธ์นั้นอาจเป็นเส้นโค้ง แต่ไม่ใช่เหตุผลที่จะถือว่าความสัมพันธ์ที่ไม่ใช่เชิงเส้นใด ๆ อาจดีกว่าความสัมพันธ์อื่น ฉันมีคำถามที่เกี่ยวข้องสองสามข้อจากที่นี่ ก่อนอื่นXตัวแปรของฉันรับค่าสี่ค่า: 0, 0.2, 0.4 และ 0.6 เมื่อฉันล็อก - หรือสแควร์รูท - แปลงข้อมูลเหล่านี้ระยะห่างระหว่างค่าเหล่านี้จะผิดเพี้ยนเพื่อให้ค่า 0 อยู่ห่างจากค่าอื่นทั้งหมดมาก …

12 r  regression  data-transformation  nonlinear-regression  proportion 

ความเป็นมาและปัญหา ฉันใช้กระบวนการแบบเกาส์ (GP) สำหรับการถดถอยและการปรับให้เหมาะสมแบบเบย์ (BO) ในภายหลัง สำหรับการถดถอยฉันใช้แพ็คเกจgpmlสำหรับ MATLAB ที่มีการแก้ไขที่กำหนดเองหลายอย่าง แต่ปัญหาเป็นเรื่องทั่วไป มันเป็นความจริงที่รู้จักกันดีว่าเมื่ออินพุตการฝึกอบรมสองอันอยู่ใกล้กับพื้นที่อินพุตมากเกินไปเมทริกซ์ความแปรปรวนร่วมอาจไม่แน่นอนแน่นอน (มีคำถามหลายข้อเกี่ยวกับมันในเว็บไซต์นี้) เป็นผลให้การสลายตัว Cholesky ของเมทริกซ์ความแปรปรวนร่วมที่จำเป็นสำหรับการคำนวณ GP ต่างๆอาจล้มเหลวเนื่องจากข้อผิดพลาดเชิงตัวเลข เรื่องนี้เกิดขึ้นกับฉันในหลายกรณีเมื่อดำเนินการ BO พร้อมกับฟังก์ชั่นวัตถุประสงค์ที่ฉันใช้และฉันต้องการแก้ไข โซลูชันที่เสนอ AFAIK โซลูชันมาตรฐานเพื่อบรรเทาอาการป่วยไข้คือการเพิ่มสันเขาหรือนักเก็ตในแนวทแยงของเมทริกซ์ความแปรปรวนร่วม สำหรับการถดถอย GP จำนวนเสียงนี้จะเพิ่ม (หรือเพิ่มขึ้นหากมีอยู่) เสียงการสังเกต จนถึงตอนนี้ดีมาก ฉันปรับเปลี่ยนรหัสสำหรับการอนุมานที่แน่นอนของgpmlดังนั้นเมื่อใดก็ตามที่การสลายตัวของ Cholesky ล้มเหลวฉันพยายามที่จะแก้ไขเมทริกซ์ความแปรปรวนร่วมกับเมทริกซ์สมการเชิงบวกสมมาตร (SPD) ที่ใกล้เคียงที่สุดในบรรทัดฐาน Frobenius แรงบันดาลใจจากรหัส MATLABโดย John d'Errico เหตุผลคือเพื่อลดการแทรกแซงในเมทริกซ์เดิม วิธีแก้ปัญหานี้ทำงานได้ แต่ฉันสังเกตเห็นว่าประสิทธิภาพของ BO ลดลงอย่างมากสำหรับบางฟังก์ชั่น - อาจเป็นได้ทุกครั้งที่อัลกอริทึมจำเป็นต้องซูมเข้าในบางพื้นที่ (เช่นเนื่องจากใกล้เข้าใกล้ระดับต่ำสุด ปัญหามีขนาดเล็กไม่สม่ำเสมอ) พฤติกรรมนี้เหมาะสมเมื่อฉันเพิ่มสัญญาณรบกวนอย่างมีประสิทธิภาพเมื่อใดก็ตามที่จุดอินพุตสองจุดเข้าใกล้เกินไป แต่แน่นอนว่ามันไม่เหมาะ …

12 regression  covariance-matrix  gaussian-process  bayesian-optimization