คำถามติดแท็ก regression

L1 ลงโทษการถดถอย (aka Lasso) จะถูกนำเสนอในสองสูตร ให้ทั้งสองฟังก์ชั่นวัตถุประสงค์เป็น ดังนั้นสูตรที่แตกต่างกันสองอย่างคือ อยู่ภายใต้ และ, การใช้เงื่อนไข Karush-Kuhn-Tucker (KKT) มันง่ายที่จะเห็นว่าเงื่อนไขคงที่สำหรับสูตรแรกนั้นเทียบเท่ากับการไล่ระดับสีของสูตรที่สองและตั้งค่าเท่ากับ 0 สิ่งที่ฉันไม่สามารถหาได้ เป็นวิธีที่เงื่อนไขความหย่อนสมบูรณ์ของสูตรแรกQ1= 12| | Y- Xβ| |22Q2= 12| | Y- Xβ| |22+ λ | | β| |1.Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1. Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1. argminβQ1argminβQ1 \text{argmin}_\beta \; Q_1 | | …

20 regression  lasso  penalized 

การรีไซเคิลโมเดลการถดถอยเชิงเส้นหลายตัวแปรเป็นการถดถอยเชิงเส้นแบบหลายค่าเท่ากันทั้งหมดหรือไม่ ผมไม่ได้หมายถึงเพียงแค่ทำงานเสื้อttถดถอยแยกต่างหาก ฉันได้อ่านเรื่องนี้ในสถานที่ไม่กี่ (คชกรรมวิเคราะห์ข้อมูล - Gelman et al, และหลายตัวแปรโรงเรียนเก่า -. Marden) ที่เป็นรูปแบบเชิงเส้นหลายตัวแปรสามารถจะreparameterizedเป็นถดถอยพหุคูณ อย่างไรก็ตามไม่มีแหล่งที่มาใด ๆ เกี่ยวกับเรื่องนี้เลย พวกเขาเพียงแค่พูดถึงมันจากนั้นใช้โมเดลหลายตัวแปรต่อไป ในทางคณิตศาสตร์ฉันจะเขียนเวอร์ชั่นหลายตัวแปรก่อน YXRBYn × t= Xn × kBk × t+ Rn × t,Yn×t=Xn×kBk×t+Rn×t, \underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}}, ซึ่งตัวแปรตัวหนาเป็นเมทริกซ์ที่มีขนาดต่ำกว่าพวกมัน ตามปกติคือข้อมูลคือเมทริกซ์การออกแบบมักจะมีการแจกจ่ายเศษเหลือทิ้งและคือสิ่งที่เราสนใจทำการอนุมานด้วยYY\mathbf{Y}XX\mathbf{X}RR\mathbf{R}BB\mathbf{B} ในการจัดทำซ้ำพารามิเตอร์นี้เป็นการถดถอยเชิงเส้นหลาย ๆ อันที่คุ้นเคยหนึ่งตัวแปรจะเขียนใหม่เป็น: Yn t × …

20 regression  multiple-regression  linear-model  multivariate-regression 

ฉันกำลังใช้การรูทที่สี่ ( 1/4) การแปลงพลังงานกับตัวแปรตอบกลับของฉันซึ่งเป็นผลมาจากความต่างระดับ แต่ตอนนี้ฉันไม่แน่ใจว่าจะตีความสัมประสิทธิ์การถดถอยของฉันได้อย่างไร ฉันคิดว่าฉันจะต้องใช้สัมประสิทธิ์เป็นกำลังสี่เมื่อฉันแปลงกลับ (ดูด้านล่างผลลัพธ์การถดถอย) ตัวแปรทั้งหมดอยู่ในหน่วยดอลลาร์เป็นล้าน แต่ฉันอยากรู้ว่าการเปลี่ยนแปลงของเงินดอลลาร์เป็นพันล้าน ในขณะที่มีค่าคงที่ตัวแปรอิสระอื่น ๆ การเปลี่ยนแปลงค่าธรรมเนียมโดยพันล้านดอลลาร์โดยเฉลี่ยนำไปสู่การเปลี่ยนแปลง32(หรือ 32,000 ดอลลาร์) ในการรวบรวม ฉันใช้เวลา(ที่จะได้รับพันล้าน)0.000075223 * 1000 ^ 4 = 0.000032ตอนนี้ฉันจะคูณจำนวนนี้ด้วย 1 ล้านหรือ 1 พันล้าน (หน่วยดั้งเดิมของตัวแปรตามคือล้าน) lm(formula = (Collections^(1/4)) ~ Fees + DIR) Estimate Std. Error t value Pr(>|t|) (Intercept) 2.094573355 0.112292375 18.653 0.0000000000000151 Fees **0.000075223 **0.000008411 8.943 0.0000000131878713 …

20 regression  data-transformation 

ฉันมีข้อมูลบางส่วนใน [0,1] ซึ่งฉันต้องการวิเคราะห์ด้วยการถดถอยเบต้า แน่นอนว่าสิ่งที่ต้องทำเพื่อรองรับค่า 0,1 ฉันไม่ชอบการแก้ไขข้อมูลให้พอดีกับแบบจำลอง นอกจากนี้ฉันไม่เชื่อว่าศูนย์และ 1 เงินเฟ้อเป็นความคิดที่ดีเพราะฉันเชื่อว่าในกรณีนี้เราควรพิจารณาว่า 0 เป็นค่าบวกที่น้อยมาก (แต่ฉันไม่อยากบอกว่าค่าใดเหมาะสม ฉันเชื่อว่าจะเลือกค่าขนาดเล็กเช่น. 001 และ. 999 และเพื่อให้พอดีกับแบบจำลองโดยใช้ dist dist สะสมสำหรับเบต้าดังนั้นสำหรับการสังเกต y_i โอกาสในการบันทึก LL_iwould จะเป็น if y_i < .001 LL+=log(cumd_beta(.001)) else if y_i>.999 LL+=log(1.0-cum_beta(.999)) else LL+=log(beta_density(y_i)) สิ่งที่ฉันชอบเกี่ยวกับรุ่นนี้คือถ้ารุ่นการถดถอยเบต้าถูกต้องโมเดลนี้ก็ใช้ได้เช่นกัน แต่มันจะลบความไวเล็กน้อยต่อค่าที่มากที่สุด อย่างไรก็ตามเรื่องนี้ดูเหมือนจะเป็นวิธีธรรมชาติที่ฉันสงสัยว่าทำไมฉันไม่พบการอ้างอิงที่ชัดเจนในวรรณคดี ดังนั้นคำถามของฉันคือแทนที่จะปรับเปลี่ยนข้อมูลทำไมไม่แก้ไขโมเดล การปรับเปลี่ยนข้อมูลอคติผลลัพธ์ (ตามสมมติฐานที่ว่าแบบจำลองดั้งเดิมนั้นถูกต้อง) ในขณะที่การปรับเปลี่ยนแบบจำลองโดยการผสมค่าที่มากที่สุดจะไม่ทำให้เกิดผลลัพธ์ อาจจะมีปัญหาที่ฉันมองข้าม?

20 regression  generalized-linear-model  beta-distribution  zero-inflation  beta-regression 

ฉันต้องการที่จะเข้าใจวิธีการสร้างช่วงเวลาการทำนายสำหรับการประมาณการการถดถอยโลจิสติก ฉันได้รับคำแนะนำให้ทำตามขั้นตอนในการสร้างแบบจำลองข้อมูลไบนารีของ Collett , 2nd Ed p.98-99 หลังจากนำขั้นตอนนี้มาใช้และเปรียบเทียบกับ R ของpredict.glmจริง ๆ แล้วฉันคิดว่าหนังสือเล่มนี้แสดงขั้นตอนการคำนวณช่วงความเชื่อมั่นไม่ใช่ช่วงเวลาทำนาย การปฏิบัติตามขั้นตอนจาก Collett โดยเปรียบเทียบกับpredict.glmแสดงไว้ด้านล่าง ฉันต้องการทราบว่า: ฉันจะไปจากที่นี่เพื่อสร้างช่วงการทำนายแทนช่วงความมั่นใจได้อย่างไร #Derived from Collett 'Modelling Binary Data' 2nd Edition p.98-99 #Need reproducible "random" numbers. seed <- 67 num.students <- 1000 which.student <- 1 #Generate data frame with made-up data from students: set.seed(seed) #reset seed …

20 r  regression  confidence-interval  logistic  prediction-interval 

ใครช่วยชี้ให้ฉันไปที่รายงานผลการสำรวจ "ใหญ่ , เล็ก "? ฉันสนใจในวิธีการแก้ปัญหานี้ปรากฏตัวในบริบทของการวิจัยที่แตกต่างกันเช่นการถดถอยการจำแนกการทดสอบ Hotelling ของฯลฯpพีpnnn

20 regression  classification  multivariate-analysis 

ใครสามารถให้คำแนะนำถ้าต่อไปนี้ทำให้รู้สึก: ฉันกำลังจัดการกับตัวแบบเชิงเส้นธรรมดาที่มีตัวทำนาย 4 ตัว ฉันอยู่ในใจทั้งสองว่าจะทิ้งคำที่สำคัญน้อยที่สุดหรือไม่ มันคือมากกว่า 0.05 เล็กน้อย ฉันโต้เถียงในความโปรดปรานของการปล่อยมันไปตามบรรทัดเหล่านี้: คูณการประมาณของคำนี้โดย (ตัวอย่าง) ช่วง interquartile ของข้อมูลตัวอย่างสำหรับตัวแปรนี้ให้ความหมายบางอย่างกับผลทางคลินิกที่ทำให้คำนี้มีรูปแบบโดยรวม . เนื่องจากตัวเลขนี้ต่ำมากโดยประมาณเท่ากับค่าทั่วไปภายในช่วงเวลาที่ตัวแปรสามารถใช้เมื่อทำการวัดในการตั้งค่าทางคลินิกฉันจึงเห็นว่ามันไม่ได้มีนัยสำคัญทางคลินิกและอาจถูกทิ้งเพื่อให้แบบจำลองที่น่าเชื่อถือยิ่งขึ้น แม้ว่าการดร็อปจะเป็นการลดการปรับpppเล็กน้อยR2R2R^2

20 regression  model-selection 

ฉันคิดเสมอว่าการถดถอยแบบลอจิสติกเป็นเพียงกรณีพิเศษของการถดถอยแบบทวินามที่ฟังก์ชันลิงก์เป็นฟังก์ชันลอจิสติก (แทนที่จะพูดฟังก์ชั่น probit) จากการอ่านคำตอบสำหรับคำถามอื่นที่ฉันมีดูเหมือนว่าฉันอาจจะสับสนและมีความแตกต่างระหว่างการถดถอยโลจิสติกและการถดถอยแบบทวินามด้วยการเชื่อมโยงโลจิสติก ความแตกต่างคืออะไร?

20 regression  logistic  binomial 

ฉันใช้การถดถอยเชิงเส้นอย่างง่ายของล็อกธรรมชาติของตัวแปร 2 ตัวเพื่อตรวจสอบว่ามีความสัมพันธ์กันหรือไม่ ผลลัพธ์ของฉันคือ: R^2 = 0.0893 slope = 0.851 p < 0.001 ฉันสับสน. มองไปที่มูลค่าฉันจะบอกว่าตัวแปรทั้งสองจะไม่ได้มีความสัมพันธ์เพราะมันเป็นให้ใกล้เคียงกับ0อย่างไรก็ตามความชันของเส้นการถดถอยมีค่าเกือบ (แม้จะดูราวกับว่ามันเกือบจะเป็นแนวนอนในพล็อต) และค่า p ระบุว่าการถดถอยมีความสำคัญสูง 0 1R2R2R^2000111 นี่หมายความว่าตัวแปรทั้งสองมีความสัมพันธ์สูงหรือไม่? ถ้าเป็นเช่นนั้นค่าระบุว่าอะไร?R2R2R^2 ฉันควรเพิ่มว่าสถิติ Durbin-Watson ถูกทดสอบในซอฟต์แวร์ของฉันและไม่ปฏิเสธสมมติฐานว่าง (มันเท่ากับ ) ฉันคิดว่าสิ่งนี้ทดสอบความเป็นอิสระระหว่างตัวแปร ในกรณีนี้ฉันคาดว่าตัวแปรจะขึ้นอยู่กับเนื่องจากเป็นการวัดของนกแต่ละตัว ฉันใช้การถดถอยนี้เป็นส่วนหนึ่งของวิธีการตีพิมพ์เพื่อกำหนดสภาพร่างกายของแต่ละคนดังนั้นฉันจึงสันนิษฐานว่าการใช้การถดถอยแบบนี้สมเหตุสมผล อย่างไรก็ตามด้วยผลลัพธ์เหล่านี้ฉันคิดว่าอาจเป็นเพราะนกเหล่านี้วิธีนี้ไม่เหมาะ นี่เป็นข้อสรุปที่สมเหตุสมผลหรือไม่?2 21.3571.3571.357222222

20 regression  r-squared 

สมมุติว่าฉันทดสอบว่าตัวแปรYขึ้นอยู่กับตัวแปรอย่างไรXภายใต้เงื่อนไขการทดลองที่แตกต่างกันและรับกราฟต่อไปนี้: เส้นประในกราฟด้านบนแสดงการถดถอยเชิงเส้นสำหรับชุดข้อมูลแต่ละชุด (การตั้งค่าการทดลอง) และตัวเลขในตำนานแสดงถึงสหสัมพันธ์ของเพียร์สันของชุดข้อมูลแต่ละชุด ผมอยากจะคำนวณ "ความสัมพันธ์เฉลี่ย" (หรือ "หมายถึงความสัมพันธ์") ระหว่างและX Yฉันขอเฉลี่ยrค่าได้ไหม สิ่งที่เกี่ยวกับ "การกำหนดเกณฑ์ค่าเฉลี่ย", ? ฉันควรจะคำนวณค่าเฉลี่ยและกว่าจะใช้ตารางของค่าว่าหรือฉันควรคำนวณค่าเฉลี่ยของแต่ละ 's?R 2R2R2R^2rR2R2R^2

20 regression  correlation  mean  average 

ฉันใช้แพ็กเกจ R ที่ถูกลงโทษเพื่อให้ได้ค่าสัมประสิทธิ์การหดตัวสำหรับชุดข้อมูลที่ฉันมีตัวทำนายจำนวนมากและมีความรู้เพียงเล็กน้อยซึ่งเป็นสิ่งที่สำคัญ หลังจากที่ฉันเลือกพารามิเตอร์การปรับแต่ง L1 และ L2 และฉันพอใจกับค่าสัมประสิทธิ์ของฉันจะมีวิธีทางสถิติที่จะสรุปรูปแบบที่เหมาะสมกับ R-squared หรือไม่? นอกจากนี้ฉันสนใจที่จะทดสอบความสำคัญโดยรวมของโมเดล (เช่นR² = 0 หรือทำทั้งหมด = 0) ฉันได้อ่านคำตอบของคำถามที่คล้ายกันแล้วที่นี่แต่ก็ไม่ได้ตอบคำถามของฉัน มีการสอนที่ยอดเยี่ยมเกี่ยวกับแพ็คเกจ R ที่ฉันใช้ที่นี่และผู้เขียน Jelle Goeman มีหมายเหตุต่อไปนี้ในตอนท้ายของบทช่วยสอนเกี่ยวกับช่วงความมั่นใจจากโมเดลการถดถอยที่ถูกลงโทษ: มันเป็นคำถามที่ธรรมดามากที่จะถามถึงข้อผิดพลาดมาตรฐานของสัมประสิทธิ์การถดถอยหรือปริมาณที่ประมาณไว้อื่น ๆ ในหลักการข้อผิดพลาดมาตรฐานดังกล่าวสามารถคำนวณได้ง่ายเช่นการใช้ bootstrap ยังคงแพคเกจนี้โดยเจตนาไม่ได้ให้พวกเขา เหตุผลของเรื่องนี้คือข้อผิดพลาดมาตรฐานไม่ได้มีความหมายมากสำหรับการประเมินแบบเอนเอียงอย่างรุนแรงเช่นเกิดจากวิธีการประเมินที่ถูกลงโทษ การประมาณค่าแบบลงโทษเป็นกระบวนการที่ช่วยลดความแปรปรวนของตัวประมาณค่าโดยการแนะนำอคติอย่างมีนัยสำคัญ ความเอนเอียงของตัวประมาณแต่ละตัวจึงเป็นองค์ประกอบหลักของความคลาดเคลื่อนกำลังสองเฉลี่ยในขณะที่ความแปรปรวนอาจมีส่วนเพียงเล็กน้อยเท่านั้น แต่น่าเสียดายที่ในการใช้งานส่วนใหญ่ของการถดถอยเชิงลงโทษนั้นเป็นไปไม่ได้ที่จะได้รับการประเมินความลำเอียงที่แม่นยำเพียงพอ การคำนวณตาม bootstrap ใด ๆ สามารถให้การประเมินความแปรปรวนของการประมาณการเท่านั้น การประมาณการที่น่าเชื่อถือของอคตินั้นจะมีให้เฉพาะในกรณีที่การประมาณการที่เป็นกลางไม่น่าเชื่อถือมีอยู่ซึ่งโดยทั่วไปจะไม่เกิดขึ้นในกรณีที่มีการใช้การประมาณการที่ถูกลงโทษ การรายงานข้อผิดพลาดมาตรฐานของการประเมินที่ถูกลงโทษจึงบอกเพียงส่วนหนึ่งของเรื่องราว มันสามารถสร้างความประทับใจที่ผิดพลาดอย่างแม่นยำโดยไม่สนใจความไม่ถูกต้องที่เกิดจากอคติอย่างสมบูรณ์ มันเป็นความผิดพลาดอย่างแน่นอนในการสร้างคำแถลงความเชื่อมั่นซึ่งตั้งอยู่บนพื้นฐานของการประเมินความแปรปรวนของการประมาณการเช่นช่วงความเชื่อมั่นที่ใช้ bootstrap

20 regression  lasso  stepwise-regression  ridge-regression 

ความแม่นยำหมายถึง: p = true positives / (true positives + false positives) มันถูกต้องหรือไม่ที่ในฐานะtrue positivesและfalse positivesวิธีที่ 0 ความแม่นยำเข้าใกล้ 1? คำถามเดียวกันสำหรับการเรียกคืน: r = true positives / (true positives + false negatives) ขณะนี้ฉันกำลังใช้การทดสอบทางสถิติที่ฉันต้องการคำนวณค่าเหล่านี้และบางครั้งมันก็เกิดขึ้นที่ตัวส่วนเป็น 0 และฉันสงสัยว่าจะคืนค่าใดให้กับกรณีนี้ PS: ขอโทษแท็กที่ไม่เหมาะสมผมอยากจะใช้recall, precisionและlimitแต่ฉันไม่สามารถสร้างแท็กใหม่ ๆ

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

ฉันได้ยินมาว่าเมื่อข้อกำหนดตัวแบบการถดถอยจำนวนมาก (พูดใน OLS) ได้รับการพิจารณาว่าเป็นไปได้สำหรับชุดข้อมูลสิ่งนี้ทำให้เกิดปัญหาการเปรียบเทียบหลายอย่างและค่า p และค่าช่วงความเชื่อมั่นไม่น่าเชื่อถืออีกต่อไป ตัวอย่างที่สำคัญอย่างหนึ่งคือการถดถอยแบบขั้นตอน ฉันจะใช้ข้อมูลตัวเองเพื่อช่วยระบุรูปแบบได้เมื่อใดและนี่เป็นวิธีการที่ไม่ถูกต้องหรือไม่ คุณจำเป็นต้องมีทฤษฎีตามหัวข้อเพื่อสร้างแบบจำลองหรือไม่?

20 regression  frequentist  multiple-comparisons 

เมื่อเร็ว ๆ นี้ฉันได้พบว่าในวรรณคดีเศรษฐศาสตร์ประยุกต์ที่ใช้เมื่อจัดการกับปัญหาการเลือกคุณสมบัติมันไม่แปลกที่จะทำ LASSO ตามด้วย OLS ถดถอยโดยใช้ตัวแปรที่เลือก ฉันสงสัยว่าเราจะมีคุณสมบัติที่ถูกต้องของกระบวนการดังกล่าวได้อย่างไร มันจะทำให้เกิดปัญหาเช่นตัวแปรที่ละเว้นหรือไม่ หลักฐานใด ๆ ที่แสดงว่ามีประสิทธิภาพมากขึ้นหรือผลลัพธ์สามารถตีความได้มากกว่านี้? นี่คือการสนทนาที่เกี่ยวข้อง: การเลือกตัวแปรกับ LASSO การใช้ต้นไม้หลังจากการเลือกตัวแปรโดยใช้ Lasso / Random ถ้าตามที่ระบุไว้ขั้นตอนดังกล่าวไม่ถูกต้องโดยทั่วไปแล้วทำไมยังมีงานวิจัยมากมายที่ทำเช่นนั้น? ฉันสามารถพูดได้ไหมว่ามันเป็นเพียงแค่กฎของหัวแม่มือวิธีการประนีประนอมเนื่องจากคุณสมบัติที่ไม่สบาย ๆ ของเครื่องประมาณ LASSO และความชื่นชอบของผู้คนที่มีต่อ OLS?

20 regression  feature-selection  econometrics  least-squares  lasso 

ในบริบทของการถดถอย OLS ฉันเข้าใจว่าพล็อตที่เหลือ (เทียบกับค่าติดตั้ง) ถูกมองตามอัตภาพเพื่อทดสอบความแปรปรวนคงที่และประเมินรูปแบบของแบบจำลอง เหตุใดจึงมีการพล็อตสิ่งที่แนบมาพอดีและไม่ใช่ค่าข้อมูลแตกต่างจากทั้งสองแปลงอย่างไรYYY ฉันกำลังทำงานกับแบบจำลองที่สร้างแผนการที่เหลือต่อไปนี้: ดังนั้นพล็อตกับค่าติดตั้งจึงดูดีอย่างรวดเร็ว แต่พล็อตที่สองเทียบกับค่ามีรูปแบบ ฉันสงสัยว่าทำไมรูปแบบเด่นชัดดังกล่าวจะไม่ปรากฏในพล็อตที่เหลือเทียบกับพอดี ....YYY ฉันไม่ได้ต้องการความช่วยเหลือในการวินิจฉัยปัญหาเกี่ยวกับตัวแบบ แต่เพียงแค่พยายามเข้าใจความแตกต่าง (โดยทั่วไป) ระหว่าง (1) ส่วนที่เหลือเทียบกับพอดีและ & (2) ส่วนที่เหลือเทียบกับพล็อต YYY สำหรับสิ่งที่คุ้มค่าฉันแน่ใจว่ารูปแบบข้อผิดพลาดในแผนภูมิที่สองนั้นเกิดจากตัวแปรที่ละเว้นซึ่งมีผลต่อ DV ขณะนี้ฉันกำลังหาข้อมูลซึ่งฉันคาดหวังว่าจะช่วยให้พอดีและโดยรวมได้ ฉันกำลังทำงานกับข้อมูลอสังหาริมทรัพย์: DV = ราคาขาย เกลือ: sq.ft ของบ้าน # พื้นที่โรงรถปีสร้างขึ้นในปีสร้างขึ้น 2 22^2

20 regression  residuals