คำถามติดแท็ก regression

ฉันพยายามที่จะเข้าใจกระดาษเกี่ยวกับการพยากรณ์โหลดไฟฟ้า แต่ฉันกำลังดิ้นรนกับแนวคิดที่อยู่ภายในโดยเฉพาะแบบจำลองSARIMAX แบบจำลองนี้ใช้ในการทำนายการโหลดและใช้แนวคิดทางสถิติมากมายที่ฉันไม่เข้าใจ (ฉันเป็นนักศึกษาวิทยาศาสตร์คอมพิวเตอร์ระดับปริญญาตรี - คุณสามารถพิจารณาฉันเป็นคนธรรมดาในสถิติ) ฉันไม่จำเป็นต้องเข้าใจอย่างสมบูรณ์ถึงวิธีการทำงาน แต่อย่างน้อยฉันก็ต้องเข้าใจอย่างถ่องแท้ว่าเกิดอะไรขึ้น ฉันพยายามแยก SARIMAX ออกเป็นชิ้นเล็ก ๆ และพยายามที่จะเข้าใจแต่ละชิ้นแยกกันแล้วรวมเข้าด้วยกัน พวกคุณช่วยฉันได้ไหม นี่คือสิ่งที่ฉันมี ฉันเริ่มต้นด้วย AR และ MA AR : อัตถดถอย ฉันได้เรียนรู้ว่าการถดถอยคืออะไรและจากความเข้าใจของฉันเพียงแค่ตอบคำถาม: จากชุดของค่า / คะแนนฉันจะหาแบบจำลองที่อธิบายค่าเหล่านี้ได้อย่างไร ตัวอย่างเช่นเรามีการถดถอยเชิงเส้นซึ่งพยายามหาเส้นที่สามารถอธิบายประเด็นเหล่านี้ทั้งหมด การตอบโต้อัตโนมัติคือการถดถอยที่พยายามอธิบายค่าโดยใช้ค่าก่อนหน้า MA : ค่าเฉลี่ยเคลื่อนที่ ที่นี่ฉันหลงทางจริงๆ ฉันรู้ว่าค่าเฉลี่ยเคลื่อนที่คืออะไร แต่โมเดลค่าเฉลี่ยเคลื่อนที่ดูเหมือนจะไม่มีส่วนเกี่ยวข้องกับค่าเฉลี่ยเคลื่อนที่ "ปกติ" สูตรของแบบจำลองนั้นดูคล้ายกับ AR อย่างเชื่องช้าและฉันไม่สามารถเข้าใจแนวคิดใด ๆ ที่ฉันพบในอินเทอร์เน็ต วัตถุประสงค์ของ MA คืออะไร? MA และ AR แตกต่างกันอย่างไร? ดังนั้นตอนนี้เรามี ARMA ผมแล้วมาจากแบบบูรณาการซึ่งเท่าที่ผมมีความเข้าใจเพียงแค่จุดมุ่งหมายของการช่วยให้รูปแบบ …

26 regression  time-series  arima  autoregressive  intuition 

ฉันสนใจในการถดถอยกับเครือข่ายประสาท โครงข่ายประสาทเทียมที่ไม่มีโหนดซ่อนเร้น + การเชื่อมต่อข้ามชั้นเป็นโมเดลเชิงเส้น สิ่งที่เกี่ยวกับมุ้งประสาทเดียวกัน แต่มีโหนดที่ซ่อนอยู่? ฉันสงสัยว่าสิ่งที่จะเป็นบทบาทของการเชื่อมต่อข้ามชั้น? โดยสังเขปฉันจะบอกว่าถ้าคุณรวมการเชื่อมต่อข้ามชั้นแล้วรูปแบบสุดท้ายจะเป็นผลรวมของแบบจำลองเชิงเส้น + บางส่วนที่ไม่ใช่เชิงเส้น มีข้อได้เปรียบหรือเสียเปรียบในการเพิ่มการเชื่อมต่อข้ามชั้นไปยังตาข่ายประสาทหรือไม่?

26 regression  machine-learning  neural-networks  deep-learning 

ฉันสงสัยว่ามีอัลกอริทึมใดที่สามารถจำแนกและถดถอยได้ในเวลาเดียวกัน ตัวอย่างเช่นฉันต้องการให้อัลกอริทึมเรียนรู้ลักษณนามและในเวลาเดียวกันภายในแต่ละเลเบลมันก็เรียนรู้เป้าหมายอย่างต่อเนื่อง ดังนั้นสำหรับตัวอย่างการฝึกอบรมแต่ละรายการจะมีป้ายกำกับหมวดหมู่และค่าต่อเนื่อง ฉันสามารถฝึกลักษณนามก่อนแล้วจึงฝึก regressor ภายในแต่ละ label แต่ฉันแค่คิดว่าถ้ามีอัลกอริทึมที่สามารถทำทั้งสองอย่างได้มันจะวิเศษมาก

25 regression  machine-learning  classification  predictive-models  finite-mixture-model 

ฉันมีคำถามหลายข้อเกี่ยวกับบทลงโทษริดจ์ในบริบทกำลังสองน้อยที่สุด: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) การแสดงออกแสดงให้เห็นว่าเมทริกซ์ความแปรปรวนร่วมของ X หดตัวลงในเมทริกซ์แนวทแยงซึ่งหมายความว่า (สมมติว่าตัวแปรเป็นมาตรฐานก่อนขั้นตอน) ความสัมพันธ์ระหว่างตัวแปรอินพุตจะลดลง การตีความนี้ถูกต้องหรือไม่ 2) ถ้ามันเป็นแอพพลิเคชั่นการหดตัวทำไมมันไม่ได้ถูกกำหนดในบรรทัดของสมมติว่าเราสามารถ จำกัด แลมบ์ดาให้อยู่ในช่วง [0,1] ด้วยการทำให้เป็นมาตรฐาน .(λID+(1−λ)X′X)(λID+(1−λ)X′X)(\lambda I_D + (1-\lambda)X'X) 3) อะไรที่เป็นมาตรฐานสำหรับเพื่อให้สามารถ จำกัด ช่วงมาตรฐานเช่น [0,1]λλ\lambda 4) การเพิ่มค่าคงที่ในแนวทแยงจะมีผลต่อค่าลักษณะเฉพาะทั้งหมด มันจะดีกว่าไหมถ้าจะโจมตีเฉพาะค่าเอกฐานหรือค่าเอกฐาน นี่เทียบเท่ากับการใช้ PCA กับ X และการรักษาส่วนประกอบหลักบน N ก่อนการถดถอยหรือมีชื่อแตกต่างกัน (เนื่องจากไม่ได้แก้ไขการคำนวณความแปรปรวนร่วมแบบครอส) 5) เราสามารถทำให้ค่าความแปรปรวนร่วมเป็นประจำหรือใช้อย่างใดอย่างหนึ่งหรือมีความหมายβridge=(λID+X′X)−1(γX′y)βridge=(λID+X′X)−1(γX′y)\beta_{ridge} = (\lambda I_D + X'X)^{-1}(\gamma X'y) ที่ขนาดเล็กจะลดความแปรปรวนร่วม เห็นได้ชัดว่าสิ่งนี้ช่วยลด …

25 regression  pca  regularization  ridge-regression 

สมมติว่าผมทำงานถดถอย X ทำไมโดยการเลือกด้านบนkส่วนประกอบหลักการของXไม่รูปแบบการรักษาอำนาจของตนในการทำนายY ?Y∼XY∼XY \sim XkkkXXXYYY ผมเข้าใจว่าจากมิติการลดจุด / คุณลักษณะการเลือกมุมมองถ้าเป็น eigenvectors ของเมทริกซ์ความแปรปรวนของXกับด้านบนkค่าลักษณะเฉพาะแล้วX วี1 , X โวลต์ 2 . . X v kเป็นองค์ประกอบหลักkอันดับแรกที่มีความแปรปรวนสูงสุด เราสามารถลดจำนวนฟีเจอร์เป็นkและรักษาพลังการทำนายส่วนใหญ่ไว้ได้ตามที่ฉันเข้าใจv1,v2,...vkv1,v2,...vkv_1, v_2, ... v_kXXXkkkXv1,Xv2...XvkXv1,Xv2...XvkXv_1, Xv_2 ... Xv_kkkkkkk แต่ทำไมทำบนส่วนประกอบรักษาอำนาจการพยากรณ์ในY ?kkkYYY ถ้าเราพูดถึงทั่วไป OLS มีเหตุผลที่จะชี้ให้เห็นว่าถ้าไม่มีคุณลักษณะZ ฉันมีความแปรปรวนสูงสุดแล้วZ ฉันมีอำนาจมากที่สุดในการทำนายYY∼ZY∼ZY \sim ZZiZiZ_iZiZiZ_iYYY อัปเดตหลังจากเห็นความคิดเห็น:ฉันเดาว่าฉันเคยเห็นตัวอย่างของการใช้ PCA จำนวนมากเพื่อการลดขนาด ฉันได้รับการสันนิษฐานว่าหมายถึงมิติที่เราเหลืออยู่มีอำนาจการทำนายมากที่สุด มิฉะนั้นแล้วประเด็นของมิติลดลงคืออะไร?

25 regression  classification  pca  dimensionality-reduction  regularization 

ในรูปแบบการถดถอยอย่างง่าย Y= β0+ β1x + ε ,Y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, ตัวประมาณ OLSและมีความสัมพันธ์กันββ^O L S0β^0OLS\hat{\beta}_0^{OLS}β^O L S1β^1OLS\hat{\beta}_1^{OLS} สูตรสำหรับความสัมพันธ์ระหว่างตัวประมาณสองตัวคือ (ถ้าฉันได้มาอย่างถูกต้อง): Corr( β^O L S0, β^O L S1) = - ∑ni = 1xผมn--√Σni = 1x2ผม-------√.Corr⁡(β^0OLS,β^1OLS)=-Σผม=1nxผมnΣผม=1nxผม2. \operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }. คำถาม: คำอธิบายที่เข้าใจง่ายสำหรับการปรากฏตัวของความสัมพันธ์คืออะไร? การปรากฏตัวของความสัมพันธ์มีนัยสำคัญหรือไม่? โพสต์ได้รับการแก้ไขและยืนยันว่าความสัมพันธ์หายไปกับขนาดตัวอย่างได้ถูกลบออก (ขอบคุณ @whuber และ @ChristophHanck)

25 regression  least-squares  estimators 

ตัวแปรตามของฉันที่แสดงด้านล่างไม่ตรงกับการกระจายหุ้นใด ๆ ที่ฉันรู้ การถดถอยเชิงเส้นทำให้เกิดการตกค้างที่ไม่ปกติและเอียงไปทางขวาซึ่งสัมพันธ์กับการทำนาย Y ในวิธีที่แปลก (พล็อตที่ 2) คำแนะนำสำหรับการเปลี่ยนแปลงหรือวิธีอื่น ๆ เพื่อให้ได้ผลลัพธ์ที่ถูกต้องที่สุดและแม่นยำที่สุดในการคาดการณ์? หากเป็นไปได้ฉันต้องการหลีกเลี่ยงการจัดหมวดหมู่ที่เงอะงะพูดว่า 5 ค่า (เช่น 0, lo%, med%, hi%, 1)

25 regression  multiple-regression  data-transformation  censoring 

ตามคำถามของฉันสำหรับ OLSฉันสงสัยว่ามีแผนการวินิจฉัยอะไรบ้างสำหรับการถดถอยแบบควอไทล์ (และมีการนำไปปฏิบัติของพวกเขาหรือไม่?) การค้นหา google อย่างรวดเร็วได้เกิดขึ้นกับตัวหนอน (ซึ่งฉันไม่เคยได้ยินมาก่อน) และฉันยินดีที่จะรู้วิธีการเพิ่มเติมที่คุณอาจรู้ (เป็นหนึ่งในนั้นจาก OLS พอร์ตสำหรับ quantile-regression?)

25 r  regression  diagnostic  quantile-regression  gamlss 

ฉันต้องการเข้าใจข้อดีข้อเสียของการใช้เส้นเหลืองหรือเส้นโค้งที่ราบเรียบเพื่อให้เส้นโค้งเรียบขึ้น อีกรูปแบบของคำถามของฉันคือถ้ามีวิธีสร้าง spline ที่ปรับให้เรียบในลักษณะที่จะให้ผลลัพธ์เหมือนกับการใช้เหลือง ยินดีต้อนรับการอ้างอิงหรือข้อมูลเชิงลึกใด ๆ

25 regression  splines  loess 

เร็ว ๆ นี้ผมเริ่มศึกษาเรียนรู้ของเครื่อง แต่ฉันล้มเหลวที่จะเข้าใจสัญชาตญาณที่อยู่เบื้องหลังการถดถอยโลจิสติก ต่อไปนี้เป็นข้อเท็จจริงเกี่ยวกับการถดถอยโลจิสติกที่ฉันเข้าใจ ในฐานะที่เป็นพื้นฐานสำหรับสมมติฐานที่เราใช้ฟังก์ชั่น sigmoid ฉันเข้าใจว่าทำไมมันถึงเป็นตัวเลือกที่ถูกต้อง แต่ทำไมมันเป็นตัวเลือกเดียวที่ฉันไม่เข้าใจ สมมุติฐานแสดงถึงความน่าจะเป็นที่ผลลัพธ์ที่เหมาะสมคือดังนั้นโดเมนของฟังก์ชันของเราควรเป็นนี่คือคุณสมบัติเดียวของฟังก์ชัน sigmoid ที่ฉันพบว่ามีประโยชน์และเหมาะสมที่นี่ นอกจากนี้ฟังก์ชัน sigmoid มีอนุพันธ์ในรูปแบบนี้แต่ฉันไม่เห็นประโยชน์ของรูปแบบพิเศษนี้ในการถดถอยโลจิสติก111[0,1][0,1][0,1]f(x)(1−f(x))f(x)(1−f(x))f(x)(1-f(x)) คำถาม : ดังนั้นสิ่งที่พิเศษเกี่ยวกับฟังก์ชั่น sigmoid และทำไมเราไม่สามารถใช้ฟังก์ชั่นอื่น ๆ ที่มีโดเมน ?[0,1][0,1][0,1] ฟังก์ชันต้นทุนประกอบด้วยสองพารามิเตอร์ถ้าถ้า 0 ในทำนองเดียวกันเป็นข้างต้นฉันเข้าใจว่าทำไมมันถูกต้อง แต่ทำไมมันเป็นรูปแบบเดียว? ตัวอย่างเช่นทำไมไม่สามารถเป็นทางเลือกที่ดีสำหรับฟังก์ชันต้นทุนหรือไม่Cost(hθ(x),y)=−log(hθ(x))Cost(hθ(x),y)=−log⁡(hθ(x)){\rm Cost}(h_{\theta}(x),y)=-\log(h_{\theta}(x))y=1,Cost(hθ(x),y)=−log(1−hθ(x))y=1,Cost(hθ(x),y)=−log⁡(1−hθ(x))y=1, {\rm Cost}(h_{\theta}(x),y)=-\log(1-h_{\theta}(x))y=0y=0y=0|hθ(x)−y||hθ(x)−y||h_{\theta(x)}-y| คำถาม : อะไรเป็นพิเศษเกี่ยวกับรูปแบบของฟังก์ชั่นค่าใช้จ่าย; ทำไมเราไม่สามารถใช้รูปแบบอื่นได้? ฉันจะขอบคุณถ้าคุณสามารถแบ่งปันความเข้าใจของการถดถอยโลจิสติก

25 regression  machine-learning  logistic 

ในการถดถอยคำปฏิสัมพันธ์จะลบล้างผลกระทบโดยตรงที่เกี่ยวข้องทั้งสองอย่าง ฉันจะทิ้งการโต้ตอบหรือรายงานผลลัพธ์หรือไม่ ปฏิสัมพันธ์ไม่ได้เป็นส่วนหนึ่งของสมมติฐานดั้งเดิม

25 regression  interaction 

ฉันสับสนเล็กน้อยหากตัวแปรอิสระ (เรียกอีกอย่างว่าตัวทำนายหรือคุณสมบัติ) ในแบบจำลองทางสถิติตัวอย่างเช่นในการถดถอยเชิงเส้นเป็นตัวแปรสุ่มหรือไม่?XXXY=β0+β1XY=β0+β1XY=\beta_0+\beta_1 X

25 regression  random-variable  experiment-design  predictor 

ตัวอย่างทั้งหมดของ SVM เกี่ยวข้องกับการจำแนกประเภท ฉันไม่เข้าใจว่า SVM สำหรับการถดถอย (สนับสนุน vector regressor) สามารถใช้ในการถดถอยได้อย่างไร จากความเข้าใจของฉัน SVM เพิ่มระยะห่างระหว่างสองคลาสให้มากที่สุดเพื่อหาไฮเปอร์เพลนที่เหมาะสม สิ่งนี้จะทำงานในปัญหาการถดถอยได้อย่างไร

25 regression  svm 

การเรียนรู้ของเครื่อง (ML) ใช้เทคนิคการถดถอยเชิงเส้นและโลจิสติกอย่างหนัก นอกจากนี้ยังต้องอาศัยเทคนิคคุณลักษณะวิศวกรรม ( feature transform, kernelฯลฯ ) ทำไมจึงไม่มีอะไรที่เกี่ยวกับvariable transformation(เช่นpower transformation) กล่าวถึงใน ML? (ตัวอย่างเช่นฉันไม่เคยได้ยินเกี่ยวกับการรูทหรือบันทึกไปยังฟีเจอร์พวกเขามักใช้พหุนามหรือ RBFs) เช่นเดียวกันทำไมผู้เชี่ยวชาญ ML ไม่สนใจการเปลี่ยนคุณสมบัติสำหรับตัวแปรตาม (ตัวอย่างเช่นฉันไม่เคยได้ยินเกี่ยวกับการเปลี่ยนแปลงการบันทึกของ y พวกเขาเพียงแค่ไม่แปลง y) การแก้ไข: อาจเป็นคำถามที่ไม่แน่นอนคำถามของฉันคือ "การแปลงพลังงานเป็นตัวแปรที่ไม่สำคัญใน ML หรือไม่"

24 regression  machine-learning  data-transformation 

ฉันกำลังใช้ทวิตเตอร์ของ AnomalyDetection ใน R: https://github.com/twitter/AnomalyDetection อัลกอริทึมนี้ให้การตรวจจับความผิดปกติของอนุกรมเวลาสำหรับข้อมูลที่มีฤดูกาล คำถาม: มีอัลกอริธึมอื่น ๆ ที่คล้ายกันนี้หรือไม่ (การควบคุมตามฤดูกาลไม่สำคัญ) ฉันพยายามทำอัลกอริธึมอนุกรมเวลาให้ได้มากที่สุดเท่าที่จะเป็นไปได้ในข้อมูลของฉันเพื่อที่ฉันจะได้เลือกชุดที่ดีที่สุด

24 r  regression  time-series  anomaly-detection