คำถามติดแท็ก least-squares

ถ้าใน OLS regressions สองข้อสันนิษฐานว่ามีการละเมิด (การแจกแจงแบบปกติของข้อผิดพลาด homoscedasticity) การ bootstrapping ข้อผิดพลาดมาตรฐานและช่วงความเชื่อมั่นเป็นทางเลือกที่เหมาะสมเพื่อให้ได้ผลลัพธ์ที่มีความหมายโดยคำนึงถึงความสำคัญของสัมประสิทธิ์ regressor การทดสอบอย่างมีนัยสำคัญที่มีข้อผิดพลาดมาตรฐานที่บูตสแตรปและช่วงความมั่นใจยังคง "ทำงาน" อยู่กับความแตกต่างระหว่าง ถ้าใช่จะมีช่วงความเชื่อมั่นที่เกี่ยวข้องอะไรบ้างที่สามารถใช้ในสถานการณ์นี้ (เปอร์เซ็นต์ไทล์, BC, BCA) ท้ายที่สุดถ้าการบูตสแตรปมีความเหมาะสมในสถานการณ์นี้วรรณกรรมที่เกี่ยวข้องที่จำเป็นต้องอ่านและอ้างถึงข้อสรุปนี้คืออะไร คำใบ้ใด ๆ ที่จะได้รับการชื่นชมอย่างมาก!

13 regression  bootstrap  least-squares  heteroscedasticity 

ฉันต้องการสร้างแบบจำลองการถดถอยซึ่งเป็นค่าเฉลี่ยของแบบจำลอง OLS หลายตัวโดยแต่ละแบบจะอิงตามส่วนย่อยของข้อมูลทั้งหมด แนวคิดเบื้องหลังนี้อ้างอิงจากบทความนี้ ฉันสร้าง k เท่าและสร้างแบบจำลอง k OLS แต่ละอันบนข้อมูลโดยไม่มีการพับหนึ่งครั้ง ฉันเฉลี่ยค่าสัมประสิทธิ์การถดถอยเพื่อให้ได้แบบจำลองขั้นสุดท้าย สิ่งนี้ทำให้ฉันรู้สึกคล้ายกับบางอย่างเช่นการถดถอยของป่าแบบสุ่มซึ่งต้นไม้การถดถอยจำนวนมากถูกสร้างและเฉลี่ย อย่างไรก็ตามประสิทธิภาพของแบบจำลอง OLS โดยเฉลี่ยดูเหมือนจะแย่กว่าการสร้างแบบจำลอง OLS เพียงตัวเดียวบนข้อมูลทั้งหมด คำถามของฉันคือ: มีเหตุผลทางทฤษฎีว่าทำไมค่าเฉลี่ยหลายรุ่น OLS ผิดหรือไม่พึงประสงค์? เราคาดหวังว่าค่าเฉลี่ยของ OLS หลายรุ่นเพื่อลดการ overfitting หรือไม่ ด้านล่างเป็นตัวอย่าง R #Load and prepare data library(MASS) data(Boston) trn <- Boston[1:400,] tst <- Boston[401:nrow(Boston),] #Create function to build k averaging OLS model lmave <- …

13 regression  least-squares  ensemble 

ความแตกต่างระหว่างกำลังสองน้อยที่สุดกับการถดถอยเชิงเส้นคืออะไร มันเป็นสิ่งเดียวกันหรือไม่?

13 regression  least-squares  terminology 

ฟังก์ชัน lm ใน R สามารถพิมพ์ค่าความแปรปรวนร่วมประมาณของสัมประสิทธิ์การถดถอย ข้อมูลนี้ให้อะไรกับเรา? ตอนนี้เราสามารถตีความแบบจำลองได้ดีขึ้นหรือวินิจฉัยปัญหาที่อาจเกิดขึ้นในแบบจำลองได้หรือไม่

13 r  multiple-regression  least-squares 

คำถามข้างต้นบอกว่ามันทั้งหมด โดยทั่วไปคำถามของฉันสำหรับฟังก์ชั่นการติดตั้งอุปกรณ์ทั่วไป (อาจซับซ้อนโดยพลการ) ซึ่งจะเป็นแบบไม่เชิงเส้นในพารามิเตอร์ที่ฉันพยายามที่จะประเมินหนึ่งจะเลือกค่าเริ่มต้นเพื่อเริ่มต้นพอดีได้อย่างไร ฉันพยายามที่จะทำกำลังสองน้อยที่สุดแบบไม่เชิงเส้น มีกลยุทธ์หรือวิธีการใดบ้าง? มีการศึกษาเรื่องนี้หรือไม่? การอ้างอิงใด ๆ มีอะไรอีกที่คาดเดาได้ยาก โดยเฉพาะตอนนี้หนึ่งในรูปแบบที่เหมาะสมที่ฉันทำงานด้วยคือแบบฟอร์มเกาส์บวกเชิงเส้นที่มีห้าพารามิเตอร์ที่ฉันพยายามประเมินเช่น y=Ae−(x−BC)2+Dx+Ey=Ae−(x−BC)2+Dx+Ey=A e^{-\left(\frac{x-B}{C}\right)^2}+Dx+E โดยที่ (ข้อมูล abscissa) และy = log 10 (จัดระเบียบข้อมูล) หมายความว่าในพื้นที่ล็อกบันทึกข้อมูลของฉันดูเหมือนเป็นเส้นตรงบวกกับชนที่ฉันประมาณโดยเกาส์เซียน ฉันไม่มีทฤษฎีไม่มีอะไรที่จะแนะนำฉันเกี่ยวกับวิธีการเริ่มต้นแบบไม่เชิงเส้นยกเว้นกราฟและลูกตาเช่นความลาดชันของเส้นและสิ่งที่เป็นศูนย์กลาง / ความกว้างของการชนคือ แต่ฉันมีมากกว่าร้อยแบบที่เหมาะกับการทำเช่นนั้นแทนที่จะใช้การสร้างกราฟและการคาดเดาฉันต้องการวิธีที่สามารถเป็นแบบอัตโนมัติได้x=log10x=log10x = \log_{10}y=log10y=log10y = \log_{10} ฉันไม่พบการอ้างอิงใด ๆ ในห้องสมุดหรือออนไลน์ สิ่งเดียวที่ฉันคิดได้ก็คือเลือกค่าเริ่มต้นแบบสุ่ม MATLAB เสนอให้เลือกค่าแบบสุ่มจาก [0,1] การกระจายแบบสม่ำเสมอ ดังนั้นด้วยชุดข้อมูลแต่ละชุดฉันจึงรันการเริ่มต้นแบบสุ่มหนึ่งพันครั้งแล้วเลือกชุดที่มีค่าสูงสุดหรือไม่ ความคิดอื่น ๆ (ดีกว่า)?r2r2r^2 ภาคผนวก # 1 ก่อนอื่นต่อไปนี้เป็นชุดข้อมูลที่เป็นภาพเพื่อแสดงให้คุณเห็นว่าฉันกำลังพูดถึงข้อมูลประเภทใด ฉันกำลังโพสต์ข้อมูลทั้งสองในรูปแบบดั้งเดิมโดยไม่มีการแปลงรูปแบบใด ๆ จากนั้นแสดงภาพในพื้นที่บันทึกล็อกเนื่องจากมันทำให้คุณสมบัติบางอย่างของข้อมูลชัดเจนขึ้นในขณะที่บิดเบือนผู้อื่น ฉันกำลังโพสต์ตัวอย่างข้อมูลที่ดีและไม่ดี …

13 least-squares  nonlinear-regression  starting-values 

ฉันพยายามตีความผลลัพธ์ของ nls () ฉันได้อ่านโพสต์นี้แต่ฉันยังไม่เข้าใจวิธีการเลือกแบบที่ดีที่สุด จากความพอดีของฉันฉันมีสองเอาต์พุต: > summary(m) Formula: y ~ I(a * x^b) Parameters: Estimate Std. Error t value Pr(>|t|) a 479.92903 62.96371 7.622 0.000618 *** b 0.27553 0.04534 6.077 0.001744 ** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Residual standard error: …

12 r  least-squares  nonlinear-regression  goodness-of-fit 

ฉันได้ศึกษาการถดถอยเชิงเส้นและลองใช้ชุดด้านล่าง {(x, y)} ซึ่ง x ระบุพื้นที่ของบ้านเป็นตารางฟุตและ y ระบุราคาเป็นดอลลาร์ นี่คือตัวอย่างแรกในแอนดรูอึ้งหมายเหตุ 2104.400 1600.330 2400.369 1416.232 3000.540 ฉันพัฒนารหัสตัวอย่าง แต่เมื่อฉันเรียกใช้ราคาจะเพิ่มขึ้นในแต่ละขั้นตอนในขณะที่ควรลดลงในแต่ละขั้นตอน รหัสและผลลัพธ์ที่ได้รับด้านล่าง biasคือ W 0 X 0โดยที่ X 0 = 1 featureWeightsคืออาร์เรย์ของ [X 1 , X 2 , ... , X N ] ฉันยังพยายามวิธีการแก้ปัญหาหลามออนไลน์อยู่ที่นี่และอธิบายที่นี่ แต่ตัวอย่างนี้ยังให้ผลลัพธ์เดียวกัน ช่องว่างในการทำความเข้าใจแนวคิดอยู่ที่ไหน รหัส: package com.practice.cnn; import java.util.Arrays; public class LinearRegressionExample { …

12 regression  least-squares  gradient-descent  supervised-learning 

ฉันกำลังพยายามคำนวณความน่าจะเป็นในการบันทึกสำหรับการถดถอยกำลังสองน้อยที่สุดแบบไม่เชิงเส้นสำหรับฟังก์ชันปรับโดยฟังก์ชั่นในแพคเกจ R โดยใช้เมทริกซ์ความแปรปรวนร่วมแปรปรวนที่สร้างขึ้นโดยระยะทางบนต้นไม้สายวิวัฒนาการที่สมมติว่ามีการเคลื่อนที่แบบบราวเนียน ( จากแพ็คเกจ) รหัส R ที่สามารถทำซ้ำได้ดังต่อไปนี้เหมาะกับรุ่น gnls โดยใช้ข้อมูล x, y และแผนภูมิแบบสุ่มที่มี 9 แท็กซ่า:f(x)=β1(1+xβ2)β3f(x)=β1(1+xβ2)β3f(x)=\frac{\beta_1}{(1+\frac x\beta_2)^{\beta_3}}gnlsnlmecorBrownian(phy=tree)ape require(ape) require(nlme) require(expm) tree <- rtree(9) x <- c(0,14.51,32.9,44.41,86.18,136.28,178.21,262.3,521.94) y <- c(100,93.69,82.09,62.24,32.71,48.4,35.98,15.73,9.71) data <- data.frame(x,y,row.names=tree$tip.label) model <- y~beta1/((1+(x/beta2))^beta3) f=function(beta,x) beta[1]/((1+(x/beta[2]))^beta[3]) start <- c(beta1=103.651004,beta2=119.55067,beta3=1.370105) correlation <- corBrownian(phy=tree) fit <- gnls(model=model,data=data,start=start,correlation=correlation) logLik(fit) ผมอยากจะคำนวณความน่าจะเข้าสู่ระบบ "ด้วยมือ" (ใน R …

12 r  maximum-likelihood  least-squares  nonlinear-regression  mixed-model 

ทุกคนสามารถชี้นำฉันไปในทิศทางของอัลกอริทึมแบบออนไลน์ (แบบเรียกซ้ำ) สำหรับการทำให้เป็นมาตรฐาน Tikhonov (กำลังสองน้อยที่สุดเป็นมาตรฐาน) ได้หรือไม่? ในการตั้งค่าออฟไลน์ฉันจะคำนวณβ^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TYโดยใช้ชุดข้อมูลดั้งเดิมของฉันซึ่งพบλλλโดยใช้การตรวจสอบความถูกต้องแบบครอส n-fold ใหม่yyyค่าสามารถคาดการณ์ไว้สำหรับให้xxxใช้การ yy=xTβ^y=xTβ^y=x^T\hat\beta ในการตั้งค่าออนไลน์ฉันจะวาดจุดข้อมูลใหม่อย่างต่อเนื่อง ฉันจะอัปเดตβ^β^\hat\betaเมื่อฉันดึงตัวอย่างข้อมูลเพิ่มเติมใหม่โดยไม่ทำการคำนวณใหม่ทั้งหมดในชุดข้อมูลทั้งหมด (ต้นฉบับ + ใหม่)

12 regression  machine-learning  least-squares  regularization  online 

ฉันมีชุดข้อมูลที่แสดงถึงการสลายตัวแบบเลขชี้กำลัง ฉันต้องการใส่ฟังก์ชั่นเลขชี้กำลังกับข้อมูลนี้ ฉันได้ลองบันทึกการเปลี่ยนตัวแปรการตอบสนองแล้วใช้กำลังสองน้อยที่สุดเพื่อให้พอดีกับเส้น ใช้โมเดลเชิงเส้นทั่วไปที่มีฟังก์ชั่นบันทึกการเชื่อมโยงและการกระจายแกมม่ารอบ ๆ ตัวแปรตอบสนอง; และใช้กำลังสองน้อยที่สุดแบบไม่เชิงเส้น ฉันได้รับคำตอบที่แตกต่างกันสำหรับสัมประสิทธิ์สองตัวของฉันในแต่ละวิธีแม้ว่ามันจะคล้ายกันทั้งหมด ที่ฉันมีความสับสนคือฉันไม่แน่ใจว่าวิธีใดดีที่สุดที่จะใช้และทำไม ใครบางคนช่วยเปรียบเทียบและเปรียบเทียบวิธีการเหล่านี้ได้ไหม ขอบคุณ.y=Beaxy=Beaxy = Be^{ax}

12 modeling  generalized-linear-model  least-squares  nonlinear-regression  curve-fitting 

มีกฎง่ายๆหรือแม้กระทั่งวิธีการใด ๆ ที่จะบอกว่าตัวอย่างขนาดใหญ่ควรจะประเมินโมเดลที่มีจำนวนพารามิเตอร์ที่กำหนดหรือไม่? ตัวอย่างเช่นถ้าฉันต้องการประมาณการถดถอยสี่เหลี่ยมน้อยที่สุดด้วยพารามิเตอร์ 5 ตัวตัวอย่างควรมีขนาดใหญ่แค่ไหน? ไม่ว่าคุณจะใช้เทคนิคการประเมินแบบใด (เช่นความน่าจะเป็นสูงสุด, กำลังสองน้อยที่สุด, GMM) หรือการทดสอบที่คุณจะทำการทดสอบ ควรพิจารณาความแปรปรวนตัวอย่างในการตัดสินใจหรือไม่?

12 sample-size  estimation  least-squares  maximum-likelihood 

ฉันไม่ได้มีคำจำกัดความที่เป็นทางการของสเกลความแตกต่างขนาด แต่นี่คือสิ่งที่รู้เบื้องต้นเกี่ยวกับสถิติการเรียนรู้พูดเกี่ยวกับเรื่องนี้ในหน้า 217: มาตรฐานไม่น้อยกว่าค่าสัมประสิทธิ์สี่เหลี่ยม ... มีequivariant ขนาด : คูณโดยคงเพียงแค่นำไปสู่การปรับขนาดอย่างน้อยสี่เหลี่ยมประมาณการค่าสัมประสิทธิ์โดยปัจจัยของ CXjXjX_jccc1/c1/c1/c สำหรับความเรียบง่ายสมมติว่าโมเดลเชิงเส้นทั่วไปy=Xβ+ϵy=Xβ+ϵ\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilonโดยที่y∈RNy∈RN\mathbf{y} \in \mathbb{R}^N , XX\mathbf{X}คือเมทริกซ์N×(p+1)N×(p+1)N \times (p+1) (โดยที่p+1&lt;Np+1&lt;Np+1 < N ) พร้อมกับรายการทั้งหมดในRR\mathbb{R} , β∈Rp+1β∈Rp+1\boldsymbol\beta \in \mathbb{R}^{p+1}และϵϵ\boldsymbol\epsilonเป็นNNNเวกเตอร์มิติของตัวแปรสุ่มค่าจริงกับE[ϵ]=0N×1E[ϵ]=0N×1\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}1} จากการประมาณค่า OLS เรารู้ว่าถ้าXX\mathbf{X}มีอันดับเต็ม (คอลัมน์) β^X=(XTX)−1XTy.β^X=(XTX)−1XTy.\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.} สมมติว่าเราคูณคอลัมน์XX\mathbf{X} , พูดxkxk\mathbf{x}_kสำหรับk∈{1,2,…,p+1}k∈{1,2,…,p+1}k \in \{1, 2, \dots, p+1\}โดยคงc≠0c≠0c \neq …

11 least-squares  linear-model 

ฉันต้องการตรวจสอบว่า collinearity เป็นปัญหาในการถดถอย OLS ของฉันหรือไม่ ฉันเข้าใจว่าปัจจัยเงินเฟ้อที่แปรปรวนและดัชนีเงื่อนไขเป็นมาตรการที่ใช้กันทั่วไปสองอย่าง แต่ฉันพบว่ามันยากที่จะหาสิ่งที่ชัดเจนเกี่ยวกับข้อดีของแต่ละวิธีหรือคะแนนที่ควรจะเป็น แหล่งข้อมูลที่โดดเด่นซึ่งระบุว่าวิธีการทำและ / หรือคะแนนใดที่เหมาะสมจะมีประโยชน์มาก คำถามที่คล้ายกันถูกถามที่"มีเหตุผลที่ต้องการวัดความหลากหลายของหลายระดับ?" แต่ฉันนึกคิดหลังจากการอ้างอิงที่ฉันสามารถอ้างอิง

11 multiple-regression  references  least-squares  multicollinearity  vif 

ทำไมการประมาณของ OLS จึงเกี่ยวข้องกับการเบี่ยงเบนในแนวดิ่งของคะแนนไปยังเส้นมากกว่าระยะทางแนวนอน

11 least-squares 

ฉันเริ่มศึกษาตัวประมาณกำลังสองน้อยที่สุด (OLS) ธรรมดาและฉันยังอยู่ที่จุดเริ่มต้น ฉันซื้อหนังสือเกี่ยวกับเศรษฐมิติแล้ว แต่ฉันไม่พบสิ่งใดทางออนไลน์ ดังนั้นฉันจึงสงสัยว่ามีเว็บไซต์โฮมเพจหรือแหล่งข้อมูลออนไลน์อื่น ๆ ที่อธิบายตัวประมาณกำลังสองน้อยที่สุดในทางที่หลบหนี ฉันกำลังมองหาวัสดุที่ให้คำแนะนำทั่วไปหรือภาพรวม จนถึงตอนนี้ฉันไม่พบอะไรที่น่าเหลือเชื่อบนอินเทอร์เน็ต ใครบ้างมีการอ้างอิงที่เป็นประโยชน์บ้าง การอ้างอิงออนไลน์ในอุดมคติอธิบาย OLS ด้วยวิธีง่าย ๆ เพื่อวัตถุประสงค์ที่นำไปใช้ เป็นการดีเลิศมันยังให้ตัวอย่างและข้อมูลเพิ่มเติมเกี่ยวกับหัวข้อเฉพาะเช่นการคำนวณทางคณิตศาสตร์ของการประมาณสมมติฐานของ OLS หรือ poofs ทางคณิตศาสตร์ที่ตัวประมาณไม่มีอคติ ฉันไม่ได้มองหาไฟล์ PDF ของหนังสือเศรษฐมิติ

11 references  least-squares