คำถามติดแท็ก error

ฉันมีคำถามแปลก ๆ สมมติว่าคุณมีตัวอย่างขนาดเล็กที่ตัวแปรตามที่คุณจะวิเคราะห์ด้วยตัวแบบเชิงเส้นอย่างง่ายเอียงซ้ายอย่างมาก ดังนั้นคุณคิดว่าไม่ได้กระจายตามปกติเพราะนี้จะส่งผลให้การกระจายตามปกติYแต่เมื่อคุณคำนวณพล็อต QQ-Normal มีหลักฐานแสดงว่าส่วนที่เหลือจะกระจายตามปกติ ดังนั้นทุกคนสามารถสันนิษฐานได้ว่าคำว่าข้อผิดพลาดนั้นมีการแจกแจงแบบปกติแม้ว่าจะไม่ใช่ ดังนั้นมันหมายความว่าอย่างไรเมื่อคำว่าข้อผิดพลาดดูเหมือนว่าจะกระจายตามปกติ แต่ไม่ได้?uuuyyyyyyyyy

110 regression  residuals  error  normality-assumption 

ฉันเคยเห็น "ส่วนที่เหลือ" นิยามต่าง ๆ ว่าเป็น "คาดการณ์ลบค่าจริง" หรือ "ลบค่าคาดการณ์จริง" เพื่อวัตถุประสงค์ในการแสดงเพื่อแสดงว่ามีการใช้สูตรทั้งสองอย่างแพร่หลายให้เปรียบเทียบการค้นหาเว็บต่อไปนี้: ส่วนที่เหลือ "คาดการณ์ลบจริง" ส่วนที่เหลือ "ตามจริงลบด้วยคำทำนาย" ในทางปฏิบัติมันแทบไม่เคยสร้างความแตกต่างเลยเนื่องจากสัญญาณของสิ่งที่เหลือตามปกติไม่สำคัญ (เช่นถ้ามันถูกยกกำลังสองหรือค่าสัมบูรณ์ถูกใช้) อย่างไรก็ตามคำถามของฉันคือ: หนึ่งในสองเวอร์ชันนี้ (การคาดการณ์แรกและจริงก่อน) ถือเป็น "มาตรฐาน" หรือไม่ ฉันชอบที่จะสอดคล้องในการใช้งานของฉันดังนั้นหากมีมาตรฐานดั้งเดิมที่ดีขึ้นฉันต้องการที่จะปฏิบัติตาม อย่างไรก็ตามหากไม่มีมาตรฐานฉันยินดีที่จะยอมรับว่าเป็นคำตอบหากสามารถพิสูจน์ได้อย่างชัดเจนว่าไม่มีการประชุมมาตรฐาน

46 residuals  terminology  error 

ผมเคยเขียนง่ายMLPในTensorFlowซึ่งจะสร้างแบบจำลองXOR ประตู ดังนั้นสำหรับ: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] มันควรผลิตดังต่อไปนี้: output_data = [[0.], [1.], [1.], [0.]] เครือข่ายมีเลเยอร์อินพุตเลเยอร์ที่ซ่อนอยู่และเลเยอร์เอาท์พุทที่มีเซลล์ประสาท 2, 5 และ 1 เซลล์ ขณะนี้ฉันมีเอนโทรปีของการข้ามต่อไปนี้: cross_entropy = -(n_output * tf.log(output) + (1 - n_output) * tf.log(1 - output)) ฉันได้ลองทางเลือกที่ง่ายกว่านี้แล้ว: cross_entropy = tf.square(n_output - output) ควบคู่ไปกับความพยายามอื่น ๆ อย่างไรก็ตามไม่ว่าสิ่งที่การตั้งค่าของฉันคือข้อผิดพลาดที่มีการGradientDescentOptimizerลดลงมากAdamOptimizerช้ากว่า ในความเป็นtf.train.AdamOptimizer(0.01)จริงให้ผลลัพธ์ที่ดีจริงๆหลังจากขั้นตอนการเรียนรู้ …

45 machine-learning  neural-networks  error  gradient-descent  supervised-learning 

ฉันใช้การจำแนกประเภทใน Weka สำหรับชุดข้อมูลบางอย่างและฉันสังเกตเห็นว่าถ้าฉันพยายามที่จะทำนายค่าเล็กน้อยผลลัพธ์จะแสดงค่าที่ถูกต้องและคาดการณ์ไม่ถูกต้องโดยเฉพาะ อย่างไรก็ตามตอนนี้ฉันกำลังเรียกใช้สำหรับคุณลักษณะที่เป็นตัวเลขและผลลัพธ์คือ: Correlation coefficient 0.3305 Mean absolute error 11.6268 Root mean squared error 46.8547 Relative absolute error 89.2645 % Root relative squared error 94.3886 % Total Number of Instances 36441 ฉันจะตีความสิ่งนี้ได้อย่างไร ฉันลองใช้ความคิดแต่ละอย่างแล้ว แต่ฉันไม่เข้าใจมากนักเนื่องจากสถิติไม่ได้อยู่ในความเชี่ยวชาญของฉัน ฉันขอขอบคุณคำตอบประเภท ELI5 อย่างมากในแง่ของสถิติ

41 machine-learning  error  weka  mse  rms 

เมื่อเราทำการถดถอยเชิงเส้นเพื่อให้พอดีกับจุดข้อมูลจำนวนมากวิธีแบบคลาสสิกช่วยลดข้อผิดพลาดกำลังสอง ฉันงงงวยกับคำถามที่จะลดข้อผิดพลาดกำลังสองให้ได้ผลลัพธ์เช่นเดียวกับการลดข้อผิดพลาดสัมบูรณ์ให้น้อยที่สุดหรือไม่ ถ้าไม่ทำไมข้อผิดพลาดกำลังสองลดลงจึงดีกว่า มีเหตุผลอื่นนอกเหนือจาก "ฟังก์ชั่นวัตถุประสงค์คือ differentiable"?y=ax+by=ax+by=ax+b(x1,y1),(x2,y2),...,(xn,yn)(x1,y1),(x2,y2),...,(xn,yn)(x_1,y_1),(x_2,y_2),...,(x_n,y_n) ข้อผิดพลาดกำลังสองยังใช้กันอย่างแพร่หลายในการประเมินประสิทธิภาพของแบบจำลอง แต่ข้อผิดพลาดแบบสัมบูรณ์เป็นที่นิยมน้อยกว่า ทำไมข้อผิดพลาดยกกำลังสองที่ใช้บ่อยกว่าข้อผิดพลาดที่แน่นอน? หากการซื้อขายสัญญาซื้อขายล่วงหน้าไม่เกี่ยวข้องกับการคำนวณผิดพลาดแน่นอนเป็นเรื่องง่ายเหมือนการคำนวณผิดพลาดยกกำลังสองแล้วทำไมข้อผิดพลาดยกกำลังสองเป็นที่แพร่หลายดังนั้น ? มีข้อได้เปรียบที่ไม่เหมือนใครที่สามารถอธิบายความชุกของมันได้หรือไม่? ขอขอบคุณ.

38 least-squares  error 

ในเอกสารการจัดประเภท ImageNet อัตราความผิดพลาดอันดับ 1 และ top-5 เป็นหน่วยที่สำคัญสำหรับการวัดความสำเร็จของการแก้ปัญหาบางอย่าง แต่อัตราข้อผิดพลาดเหล่านั้นคืออะไร ในการจัดประเภท ImageNet ด้วย Deep Convolutional Networks โดย Krizhevsky et al. ทุกโซลูชันที่ใช้ CNN เดียว (หน้า 7) ไม่มีอัตราข้อผิดพลาด 5 อันดับแรกในขณะที่โซลูชันที่มี 5 และ 7 CNN มี (และอัตราข้อผิดพลาดสำหรับ 7 CNN นั้นดีกว่า 5 CNNs) นี่หมายความว่าอัตราความผิดพลาดอันดับ 1 เป็นอัตราข้อผิดพลาดเดียวที่ดีที่สุดสำหรับ CNN เดียวหรือไม่ อัตราข้อผิดพลาด 5 อันดับแรกเป็นเพียงอัตราความผิดพลาดสะสมของ CNN ห้าแห่งหรือไม่

38 classification  neural-networks  error  measurement-error  image-processing 

ฉันได้สคริปต์ R จากบางคนเพื่อใช้โมเดลฟอเรสต์แบบสุ่ม ฉันแก้ไขและรันด้วยข้อมูลพนักงานบางส่วน เราพยายามทำนายการแยกโดยสมัครใจ นี่คือข้อมูลเพิ่มเติม: นี่คือรูปแบบการจัดหมวดหมู่คือ 0 = พนักงานยังคงอยู่ 1 = พนักงานถูกยกเลิกตอนนี้เรากำลังดูตัวแปรทำนายโหลเพียงอย่างเดียวข้อมูลคือ "ไม่สมดุล" ในคำว่าระเบียนทำขึ้นประมาณ 7 % ของชุดระเบียนทั้งหมด ฉันรันโมเดลด้วยการเลือก mtry และ ntree ที่หลากหลาย แต่ตัดสินที่ด้านล่าง OOB คือ 6.8% ซึ่งฉันคิดว่าดี แต่เมทริกซ์ความสับสนดูเหมือนจะบอกเล่าเรื่องราวที่แตกต่างกันสำหรับการทำนายเงื่อนไขเนื่องจากอัตราความผิดพลาดค่อนข้างสูงที่ 92.79% ฉันคิดถูกว่าฉันไม่สามารถพึ่งพาและใช้โมเดลนี้ได้เพราะ อัตราความผิดพลาดสูงสำหรับการทำนายคำศัพท์คืออะไร? หรือมีบางอย่างที่ฉันสามารถทำได้เพื่อใช้ RF และได้รับอัตราความผิดพลาดน้อยลงสำหรับการทำนายคำศัพท์? FOREST_model <- randomForest(theFormula, data=trainset, mtry=3, ntree=500, importance=TRUE, do.trace=100) ntree OOB 1 2 100: 6.97% 0.47% …

35 r  classification  error  random-forest 

เรียนคุณทุกคน - ฉันสังเกตเห็นบางสิ่งแปลก ๆ ที่ไม่สามารถอธิบายได้ไหม โดยสรุป: แนวทางแบบแมนนวลเพื่อคำนวณช่วงความมั่นใจในโมเดลการถดถอยโลจิสติกและฟังก์ชัน R confint()ให้ผลลัพธ์ที่แตกต่างกัน ฉันเคยผ่านการถดถอยโลจิสติกประยุกต์ของ Hosmer & Lemeshow แล้ว (ฉบับที่ 2) ในบทที่ 3 มีตัวอย่างของการคำนวณอัตราส่วนอัตราต่อรองและช่วงความมั่นใจ 95% ด้วย R ฉันสามารถสร้างโมเดลได้อย่างง่ายดาย: Call: glm(formula = dataset$CHD ~ as.factor(dataset$dich.age), family = "binomial") Deviance Residuals: Min 1Q Median 3Q Max -1.734 -0.847 -0.847 0.709 1.549 Coefficients: Estimate Std. Error z value …

34 r  regression  logistic  confidence-interval  profile-likelihood  correlation  mcmc  error  mixture  measurement  data-augmentation  r  logistic  goodness-of-fit  r  time-series  exponential  descriptive-statistics  average  expected-value  data-visualization  anova  teaching  hypothesis-testing  multivariate-analysis  r  r  mixed-model  clustering  categorical-data  unsupervised-learning  r  logistic  anova  binomial  estimation  variance  expected-value  r  r  anova  mixed-model  multiple-comparisons  repeated-measures  project-management  r  poisson-distribution  control-chart  project-management  regression  residuals  r  distributions  data-visualization  r  unbiased-estimator  kurtosis  expected-value  regression  spss  meta-analysis  r  censoring  regression  classification  data-mining  mixture 

ฉันจะคำนวณข้อผิดพลาดสัมพัทธ์เมื่อค่าจริงเป็นศูนย์ได้อย่างไร ว่าฉันมีและ{} ถ้าฉันกำหนดข้อผิดพลาดที่เกี่ยวข้องเป็น:xtrue=0xtrue=0x_{true} = 0xtestxtestx_{test} relative error=xtrue−xtestxtruerelative error=xtrue−xtestxtrue\text{relative error} = \frac{x_{true}-x_{test}}{x_{true}} จากนั้นข้อผิดพลาดที่เกี่ยวข้องจะไม่ได้กำหนดเสมอ ถ้าฉันใช้คำนิยามแทน: relative error=xtrue−xtestxtestrelative error=xtrue−xtestxtest\text{relative error} = \frac{x_{true}-x_{test}}{x_{test}} จากนั้นข้อผิดพลาดสัมพัทธ์จะเป็น 100% เสมอ ทั้งสองวิธีดูเหมือนไร้ประโยชน์ มีทางเลือกอื่นหรือไม่?

32 error  measurement-error 

เมื่อติดตั้งโมเดลการถดถอยจะเกิดอะไรขึ้นถ้าข้อสันนิษฐานของผลลัพธ์ไม่เป็นไปตามที่ระบุ: จะเกิดอะไรขึ้นถ้าสิ่งที่เหลืออยู่ไม่เป็นเนื้อเดียวกัน? หากส่วนที่เหลือแสดงรูปแบบที่เพิ่มขึ้นหรือลดลงในส่วนที่เหลือกับพล็อตที่ติดตั้ง จะเกิดอะไรขึ้นหากส่วนที่เหลือไม่ได้ถูกแจกจ่ายและล้มเหลวในการทดสอบ Shapiro-Wilk การทดสอบตามปกติของชาปิโร่วิลค์เป็นการทดสอบที่เข้มงวดมากและบางครั้งแม้ว่าพล็อตปกติ -QQ จะดูสมเหตุสมผล แต่ข้อมูลก็ล้มเหลวในการทดสอบ จะเกิดอะไรขึ้นถ้าตัวทำนายหนึ่งตัวหรือมากกว่านั้นไม่ได้ถูกกระจายโดยทั่วไปอย่ามองไปที่พล็อตปกติ -QQ หรือถ้าข้อมูลล้มเหลวในการทดสอบ Shapiro-Wilk? ฉันเข้าใจว่าไม่มีการแบ่งสีดำและสีขาวอย่างหนักว่า 0.94 ถูกต้องและ 0.95 ไม่ถูกต้องและในคำถามฉันต้องการทราบว่า: ความล้มเหลวของภาวะปกตินั้นหมายถึงอะไรสำหรับแบบจำลองที่เหมาะสมตามค่า R-Squared มันเชื่อถือได้น้อยลงหรือไร้ประโยชน์อย่างสมบูรณ์หรือไม่? การเบี่ยงเบนนั้นยอมรับได้หรือว่ายอมรับได้ในระดับใด? เมื่อใช้การแปลงข้อมูลเพื่อให้เป็นไปตามเกณฑ์ปกติแบบจำลองจะดีขึ้นหรือไม่ถ้าข้อมูลเป็นปกติมากขึ้น (ค่า P-value ที่สูงกว่าในการทดสอบ Shapiro-Wilk, ดูดีขึ้นในแผน QQ ปกติ) หรือมันไร้ประโยชน์ (เท่าเทียมกันดีหรือ ไม่ดีเมื่อเทียบกับต้นฉบับ) จนกว่าข้อมูลจะผ่านการทดสอบตามปกติ?

28 regression  multiple-regression  error  assumptions  normality-assumption 

ฉันเพิ่งอ่านบทความนี้ซึ่งอธิบายถึงวิธีการคำนวณความสามารถในการทำซ้ำ (ความน่าเชื่อถือหรือความสัมพันธ์ภายในอินทราเน็ต) ของการวัดผ่านการสร้างแบบจำลองเอฟเฟกต์ผสม รหัส R จะเป็น: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted repeatability R = intercept_var/(intercept_var+residual_var) #compute n0, the repeatability adjustment n = as.data.frame(table(my_data$unit)) k = nrow(n) N = sum(n$Freq) n0 = (N-(sum(n$Freq^2)/N))/(k-1) #compute …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

ฉันประหลาดใจที่สิ่งนี้ไม่ได้ถูกถามมาก่อน แต่ฉันไม่สามารถหาคำถามเกี่ยวกับสถิติได้ นี่คือสูตรในการคำนวณความแปรปรวนของตัวอย่างที่กระจายแบบปกติ: ∑(X−X¯)2n−1∑(X−X¯)2n−1\frac{\sum(X - \bar{X}) ^2}{n-1} นี่คือสูตรในการคำนวณความคลาดเคลื่อนเฉลี่ยกำลังสองของการสังเกตในการถดถอยเชิงเส้นอย่างง่าย: ∑(yi−y^i)2n−2∑(yi−y^i)2n−2\frac{\sum(y_i - \hat{y}_i) ^2}{n-2} สูตรสองสูตรนี้แตกต่างกันอย่างไร? ความแตกต่างเดียวที่ฉันสามารถเห็นคือ MSE ใช้n-2ดังนั้นถ้านั่นคือความแตกต่างเท่านั้นทำไมไม่เรียกพวกเขาว่าเป็นทั้งความแปรปรวน แต่ด้วยระดับความอิสระที่แตกต่างกัน?n−2n−2n-2

27 variance  error 

คนมักจะพูดว่าเหตุการณ์บางอย่างมีโอกาส 50-60% ที่จะเกิดขึ้น บางครั้งฉันก็จะเห็นคนให้แถบข้อผิดพลาดอย่างชัดเจนในการมอบหมายความน่าจะเป็น ข้อความเหล่านี้มีความหมายใด ๆ หรือว่าเป็นเพียงเรื่องแปลก ๆ เกี่ยวกับความรู้สึกไม่สบายใจที่เลือกตัวเลขเฉพาะสำหรับบางสิ่งที่ไม่สามารถหยั่งรู้ได้

25 probability  error 

ปัญหา ในการถดถอยเรามักจะคำนวณความผิดพลาดกำลังสองเฉลี่ย (MSE) สำหรับตัวอย่าง: เพื่อวัดคุณภาพของเครื่องทำนายMSE=1n∑i=1n(g(xi)−gˆ(xi))2MSE=1n∑i=1n(g(xi)−g^(xi))2 \text{MSE} = \frac{1}{n} \sum_{i=1}^n\left(g(x_i) - \widehat{g}(x_i)\right)^2 ตอนนี้ฉันกำลังทำงานกับปัญหาการถดถอยที่เป้าหมายคือการคาดการณ์ราคาที่ลูกค้ายินดีจ่ายสำหรับผลิตภัณฑ์ที่มีคุณสมบัติเป็นตัวเลขจำนวนหนึ่ง หากราคาที่คาดการณ์ไว้สูงเกินไปไม่มีลูกค้าจะซื้อผลิตภัณฑ์ แต่การสูญเสียทางการเงินต่ำเพราะราคาสามารถลดลงได้ง่าย แน่นอนว่าไม่ควรสูงเกินไปเพราะอาจไม่สามารถซื้อผลิตภัณฑ์ได้เป็นเวลานาน ในทางกลับกันหากราคาที่คาดการณ์ไว้ต่ำเกินไปผลิตภัณฑ์จะถูกซื้ออย่างรวดเร็วโดยไม่มีโอกาสปรับราคา กล่าวอีกนัยหนึ่งอัลกอริทึมการเรียนรู้ควรทำนายราคาที่สูงขึ้นเล็กน้อยซึ่งสามารถลดลงได้หากจำเป็นแทนที่จะประเมินราคาที่แท้จริงต่ำกว่าซึ่งจะส่งผลให้เกิดการสูญเสียเงินทันที คำถาม คุณจะออกแบบเมตริกข้อผิดพลาดที่รวมค่าใช้จ่ายไม่สมดุลนี้ได้อย่างไร ทางออกที่เป็นไปได้ วิธีการกำหนดฟังก์ชั่นการสูญเสียแบบอสมมาตรคือเพียงแค่คูณด้วยน้ำหนัก: โดยที่เป็นพารามิเตอร์ที่เราสามารถปรับเปลี่ยนระดับของความไม่สมดุลได้ ฉันได้พบมันนี่ ดูเหมือนว่าสิ่งที่ตรงไปตรงมาที่สุดที่จะทำในขณะที่ยังคงสูญเสียกำลังสอง1n∑i=1n∣∣α−1(g(xi)−gˆ(xi))&lt;0∣∣⋅(g(xi)−gˆ(xi))21n∑i=1n|α−1(g(xi)−g^(xi))&lt;0|⋅(g(xi)−g^(xi))2 \frac{1}{n} \sum_{i=1}^n \left| \alpha - \mathbb{1}_{(g(x_i) - \widehat{g}(x_i)) < 0} \right|\cdot \left(g(x_i) - \widehat{g}(x_i)\right)^2 α∈(0,1)α∈(0,1)\alpha \in (0,1)

24 regression  error  loss-functions 

ความแตกต่างทางความหมายระหว่าง Mean Squared Error (MSE) และ Mean Squared Prediction Error (MSPE) คืออะไร?

23 regression  estimation  interpretation  error  prediction