คำถามติดแท็ก bias

วิธีการตรวจสอบข้ามที่แตกต่างกันอย่างไรเปรียบเทียบในแง่ของความแปรปรวนของโมเดลและอคติ คำถามของฉันได้รับแรงบันดาลใจบางส่วนจากหัวข้อนี้: จำนวนการพับที่เหมาะสมที่สุดในการตรวจสอบความถูกต้องข้าม -fold: CV แบบปล่อยครั้งเดียวเป็นตัวเลือกที่ดีที่สุดเสมอหรือไม่ KKKเค. คำตอบนั้นแสดงให้เห็นว่าแบบจำลองที่เรียนรู้ด้วยการตรวจสอบข้ามแบบลาหนึ่ง - ออกนั้นมีความแปรปรวนสูงกว่าแบบเรียนรู้ด้วยการตรวจสอบความถูกต้องแบบเท่าปกติKKK อย่างไรก็ตามสัญชาตญาณของฉันบอกฉันว่าใน CV แบบปล่อยครั้งเดียวควรเห็นความแปรปรวนค่อนข้างต่ำระหว่างแบบจำลองกว่าใน -fold CV เนื่องจากเราเปลี่ยนจุดข้อมูลเพียงจุดเดียวในส่วนการพับและดังนั้นชุดการฝึกอบรมKKK หรือไปในอีกทางหนึ่งถ้าต่ำใน -fold CV ชุดการฝึกอบรมจะแตกต่างกันมากในโฟลด์และโมเดลที่ได้จะมีความแตกต่างกันมากขึ้น (ดังนั้นความแปรปรวนที่สูงขึ้น)เคKKKKKK หากอาร์กิวเมนต์ข้างต้นถูกต้องทำไมรูปแบบการเรียนรู้ที่มีประวัติย่อแบบลาออกมีความแปรปรวนสูงกว่า

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

ชื่อของความคิดเห็นในนักวิทยาศาสตร์ธรรมชาติลุกขึ้นต่อต้านความสำคัญทางสถิติเริ่มต้นด้วย: Valentin Amrhein, Sander Greenland, Blake McShane และผู้ลงนามมากกว่า 800 คนเรียกร้องให้ยุติการเรียกร้องค่าสินไหมทดแทนและการยกเลิกผลกระทบที่สำคัญ และหลังจากนั้นมีข้อความเช่น: อีกครั้งเราจะไม่สนับสนุนการห้ามค่า P ช่วงเวลาความเชื่อมั่นหรือมาตรการทางสถิติอื่น ๆ - เฉพาะที่เราไม่ควรปฏิบัติต่อพวกเขาอย่างเด็ดขาด ซึ่งรวมถึงการแบ่งแยกขั้วที่มีนัยสำคัญทางสถิติหรือไม่รวมถึงการจัดหมวดหมู่ตามมาตรการทางสถิติอื่น ๆ เช่นปัจจัย Bayes ฉันคิดว่าฉันสามารถเข้าใจได้ว่าภาพด้านล่างไม่ได้บอกว่าการศึกษาทั้งสองไม่เห็นด้วยเพราะ "กฎ" ไม่มีผลในขณะที่อีกคนไม่ทำ แต่บทความดูเหมือนจะลึกลงไปมากกว่าที่ฉันเข้าใจได้ ในตอนท้ายดูเหมือนว่าจะมีการสรุปในสี่จุด เป็นไปได้หรือไม่ที่จะสรุปสิ่งเหล่านี้ด้วยคำศัพท์ที่ง่ายขึ้นสำหรับพวกเราที่อ่านสถิติแทนที่จะเขียนมัน? เมื่อพูดถึงช่วงเวลาที่ใช้งานร่วมกันได้โปรดคำนึงถึงสี่สิ่ง ก่อนอื่นเพียงเพราะช่วงเวลาให้ค่าที่เข้ากันได้กับข้อมูลมากที่สุดเนื่องจากข้อสมมติฐานมันไม่ได้หมายความว่าค่าภายนอกนั้นไม่เข้ากัน พวกมันเข้ากันได้น้อยกว่า ... ประการที่สองค่าทั้งหมดภายในไม่สามารถใช้งานร่วมกันกับข้อมูลได้อย่างเท่าเทียมกันเนื่องจากข้อสมมติฐาน ... ประการที่สามเช่นเดียวกับขีด จำกัด 0.05 ที่มาถึงค่าเริ่มต้น 95% ที่ใช้ในการคำนวณช่วงเวลานั้นเป็นข้อตกลงโดยพลการ ... สุดท้ายและที่สำคัญที่สุดคือจงอ่อนน้อม: การประเมินความเข้ากันได้นั้นขึ้นอยู่กับความถูกต้องของสมมติฐานทางสถิติที่ใช้ในการคำนวณช่วงเวลา ...

61 statistical-significance  p-value  bias 

ฉันกำลังมองหาคำอธิบายที่เข้าใจง่ายของการแลกเปลี่ยนความเอนเอียงอคติทั้งโดยทั่วไปและโดยเฉพาะในบริบทของการถดถอยเชิงเส้น

45 regression  variance  bias 

ฉันเป็นคนสำคัญ econ / stat ฉันตระหนักดีว่านักเศรษฐศาสตร์ได้พยายามปรับเปลี่ยนสมมติฐานเกี่ยวกับพฤติกรรมของมนุษย์และความเป็นเหตุเป็นผลโดยระบุสถานการณ์ที่ผู้คนไม่ปฏิบัติตามเหตุผล ตัวอย่างเช่นสมมติว่าฉันให้คุณมีโอกาส 100% ของการสูญเสีย$ 1,000 หรือโอกาส 50% ที่การสูญเสีย$ 2500 ผู้คนเลือกตัวเลือก$ 2500 แม้ว่ามูลค่าที่คาดหวังของผู้ที่หลังจะสูญเสียมากกว่าการรับประกัน$ 1,000 การสูญเสีย สิ่งนี้เรียกว่า "การสูญเสียความเกลียดชัง" ขณะนี้นักเศรษฐศาสตร์พฤติกรรมศึกษารูปแบบเหล่านี้และพยายามหาวิธีที่มนุษย์เบี่ยงเบนจากสัจพจน์เหล่านั้นซึ่งโดยปกติถือว่าเป็นพฤติกรรม "เหตุผล" ที่นี่ฉันคิดว่ามันมีเหตุผลที่จะชอบการสูญเสียที่คาดหวังน้อยที่สุด ฉันสงสัยว่านักสถิติระบุรูปแบบทั่วไปในการรวบรวมข้อมูลที่ให้ผลลัพธ์แบบเอนเอียงในการตีความข้อมูลของผู้คนอย่างไร หากมีวิธีการ "เหตุผล" เป็นหลักในการรวบรวมข้อมูลฉันถือว่ามีตัวอย่างที่มนุษย์เบี่ยงเบนจากเรื่องนี้และแสดง "อคติ" ถ้าเป็นเช่นนั้นมนุษย์มีความเอนเอียงที่พบได้บ่อยที่สุดเมื่อรวบรวมหรือตีความข้อมูลคืออะไร?

39 bias 

เห็นได้ชัดหลายครั้งว่าทำไมคนคนหนึ่งถึงชอบประมาณค่าที่เป็นกลาง แต่มีสถานการณ์ใดบ้างที่เราอาจชอบตัวประมาณค่าเอนเอียงมากกว่าตัวเอนเอียง?

38 bias  unbiased-estimator  estimators 

ฉันจินตนาการว่าสัมประสิทธิ์ของตัวแปรที่ใหญ่กว่าคือยิ่งความสามารถในการรุ่นนั้นต้อง "แกว่ง" ในมิตินั้นให้โอกาสเพิ่มขึ้นเพื่อให้พอดีกับเสียง แม้ว่าฉันคิดว่าฉันมีความรู้สึกที่สมเหตุสมผลของความสัมพันธ์ระหว่างความแปรปรวนในแบบจำลองและค่าสัมประสิทธิ์ขนาดใหญ่ แต่ฉันไม่มีความรู้สึกที่ดีเท่ากับว่าทำไมพวกเขาถึงเกิดขึ้นในแบบจำลองที่พอดี มันไม่ถูกต้องหรือไม่ที่จะบอกว่าพวกเขาเป็นอาการของการบรรจุเกินและการหดตัวของสัมประสิทธิ์เป็นเทคนิคที่ใช้ในการลดความแปรปรวนในแบบจำลองหรือไม่? การทำให้เป็นมาตรฐานผ่านการหดตัวของสัมประสิทธิ์ดูเหมือนว่าจะทำงานบนหลักการที่ว่าค่าสัมประสิทธิ์ขนาดใหญ่เป็นผลมาจากตัวแบบที่มีการ overfitted แต่บางทีฉันอาจตีความแรงจูงใจที่อยู่เบื้องหลังเทคนิค สัญชาตญาณของฉันที่ค่าสัมประสิทธิ์ขนาดใหญ่มักจะมีอาการของการสะสมมากเกินไปมาจากตัวอย่างต่อไปนี้: สมมติว่าเราต้องการให้พอดีกับจุดที่ทุกคนนั่งอยู่บนแกน x เราสามารถสร้างพหุนามที่มีการแก้ปัญหาเป็นจุดเหล่านี้:(x-x_n) สมมติว่าจุดที่เราอยู่ที่xเทคนิคนี้ให้ค่าสัมประสิทธิ์ทั้งหมด> = 10 (ยกเว้นหนึ่งค่าสัมประสิทธิ์) เมื่อเราเพิ่มคะแนนมากขึ้น (และเพิ่มระดับพหุนาม) ขนาดของสัมประสิทธิ์เหล่านี้จะเพิ่มขึ้นอย่างรวดเร็วF ( x ) = ( x - x 1 ) ( x - x 2 ) . . . ( x - x n - 1 ) ( x - …

33 regression  variance  linear-model  bias  regularization 

มันมักจะอ้างว่า bootstrapping สามารถให้ค่าประมาณของอคติในตัวประมาณ ถ้าเป็นค่าประมาณสำหรับสถิติและเป็น bootstrap replicas (ที่มี ) ดังนั้นประมาณการ bootstrap ของ bias คือ ซึ่งดูง่ายและทรงพลังอย่างมากจนถึงจุดที่ไม่มั่นคง ~ Tฉันเสื้อ^t^\hat tเสื้อ~ผมt~i\tilde t_iขฉันs T ≈ 1ฉัน∈ { 1 , ⋯ , N}i∈{1,⋯,N}i\in\{1,\cdots,N\}ขฉันsเสื้อ≈ 1ยังไม่มีข้อความΣผมเสื้อ~ผม- t^biast≈1N∑it~i−t^\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i-\hat t \end{equation} ฉันไม่เข้าใจเลยว่าเรื่องนี้เป็นไปได้อย่างไรหากไม่มีตัวประมาณค่าทางสถิติที่เป็นกลาง ตัวอย่างเช่นถ้าตัวประมาณของฉันคืนค่าคงที่ที่เป็นอิสระจากการสังเกตค่าประมาณของความเอนเอียงข้างต้นนั้นไม่ถูกต้องอย่างชัดเจน แม้ว่าตัวอย่างนี้เป็นพยาธิวิทยา แต่ฉันไม่สามารถเห็นสิ่งที่เป็นข้อสันนิษฐานที่สมเหตุสมผลเกี่ยวกับตัวประมาณและการแจกแจงที่จะรับประกันได้ว่าการประมาณ bootstrap นั้นสมเหตุสมผล ฉันพยายามอ่านการอ้างอิงอย่างเป็นทางการ แต่ฉันไม่ใช่นักสถิติหรือนักคณิตศาสตร์ดังนั้นจึงไม่มีอะไรชัดเจน ทุกคนสามารถให้ข้อมูลสรุประดับสูงว่าการคาดการณ์สามารถใช้งานได้เมื่อใด หากคุณรู้ว่ามีการอ้างอิงที่ดีในเรื่องที่จะดี แก้ไข: ความนุ่มนวลของตัวประมาณค่ามักถูกอ้างถึงเป็นข้อกำหนดสำหรับ bootstrap ในการทำงาน เป็นไปได้ไหมที่เราจะต้องมีการแปลงกลับบางส่วนในท้องถิ่น? …

31 bootstrap  bias 

ฉันจะอธิบายปัญหาด้วยตัวอย่าง สมมติว่าคุณต้องการที่จะทำนายรายได้ของแต่ละบุคคลที่มีคุณลักษณะบางอย่าง: {อายุ, เพศ, ประเทศ, ภูมิภาค, เมือง} คุณมีชุดข้อมูลการฝึกอบรมเช่นนั้น train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID Age Gender Income 1 1 1 1 23 M 31 2 1 1 1 48 F 42 3 …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

เมื่อฉันใช้ GAM มันให้ DF ที่เหลือกับฉันคือ (บรรทัดสุดท้ายในรหัส) นั่นหมายความว่าอย่างไร? นอกเหนือไปจากตัวอย่างของ GAM โดยทั่วไปแล้วจำนวนองศาความเป็นอิสระจะเป็นจำนวนที่ไม่ใช่จำนวนเต็มหรือไม่26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 -1.6217 -0.8971 1.2445 6.0516 (Dispersion Parameter for gaussian family taken to be 6.6717) Null Deviance: 1126.047 on 31 degrees …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

ฉันกำลังทำการทดลองเชิงตัวเลขซึ่งประกอบด้วยการสุ่มตัวอย่างการแจกแจงแบบลอกล็อกและพยายามประเมินช่วงเวลาโดยสองวิธี:X∼LN(μ,σ)X∼LN(μ,σ)X\sim\mathcal{LN}(\mu, \sigma)E[Xn]E[Xn]\mathbb{E}[X^n] ดูค่าเฉลี่ยตัวอย่างของXnXnX^n การประมาณและโดยใช้ตัวอย่างหมายถึงแล้วใช้ความจริงที่ว่าสำหรับการแจกแจงแบบปกติเรามี2/2)μμ\muσ2σ2\sigma^2log(X),log2(X)log⁡(X),log2⁡(X)\log(X), \log^2(X)E[Xn]=exp(nμ+(nσ)2/2)E[Xn]=exp⁡(nμ+(nσ)2/2)\mathbb{E}[X^n]=\exp(n \mu + (n \sigma)^2/2) คำถามคือ : ฉันพบการทดลองว่าวิธีที่สองมีประสิทธิภาพดีกว่าวิธีแรกเมื่อฉันเก็บจำนวนตัวอย่างไว้และเพิ่มโดยปัจจัยบางตัว T มีคำอธิบายง่ายๆสำหรับข้อเท็จจริงนี้หรือไม่?μ,σ2μ,σ2\mu, \sigma^2 ฉันกำลังแนบรูปที่แกน x คือ T ในขณะที่แกน y คือค่าของเปรียบเทียบค่าที่แท้จริงของ (เส้นสีส้ม) ไปยังค่าที่ประมาณไว้ วิธีที่ 1 - จุดสีฟ้าวิธีที่ 2 - จุดสีเขียว แกน y อยู่ในระดับล็อกE [ X 2 ] = exp ( 2 μ + 2 σ 2 )E[X2]E[X2]\mathbb{E}[X^2]E[X2]=exp(2μ+2σ2)E[X2]=exp⁡(2μ+2σ2)\mathbb{E}[X^2] = \exp(2 …

25 estimation  bias  lognormal  moments 

ฉันมีความสับสนกับตัวประมาณความน่าจะเป็นแบบอคติสูงสุด (ML) คณิตศาสตร์ของแนวคิดทั้งหมดนั้นค่อนข้างชัดเจนสำหรับฉัน แต่ฉันไม่สามารถเข้าใจเหตุผลที่เข้าใจง่าย เนื่องจากชุดข้อมูลบางอย่างที่มีตัวอย่างจากการแจกจ่ายซึ่งเป็นฟังก์ชันของพารามิเตอร์ที่เราต้องการประมาณค่าตัวประมาณค่า ML จะส่งผลให้มูลค่าของพารามิเตอร์ซึ่งมีแนวโน้มมากที่สุดที่จะสร้างชุดข้อมูล ฉันไม่สามารถเข้าใจตัวประมาณค่า ML แบบเอนเอียงในแง่ที่ว่าค่าที่เป็นไปได้มากที่สุดสำหรับพารามิเตอร์สามารถทำนายมูลค่าที่แท้จริงของพารามิเตอร์ด้วยอคติต่อค่าที่ไม่ถูกต้องได้อย่างไร

25 maximum-likelihood  bias 

การวิเคราะห์ชั่วคราวเป็นการวิเคราะห์ข้อมูลที่จุดเวลาหนึ่งหรือหลายจุดก่อนปิดการศึกษาอย่างเป็นทางการโดยมีเจตนาเช่นอาจยุติการศึกษาก่อนเวลา อ้างอิงจากส Piantadosi, S. ( การทดลองทางคลินิก - มุมมองระเบียบวิธี ): " การประเมินผลการรักษาจะลำเอียงเมื่อการทดลองสิ้นสุดลงในระยะแรกการตัดสินใจก่อนหน้านี้มีอคติที่มากขึ้น " คุณช่วยอธิบายเรื่องนี้ให้ฉันฟังได้ไหม ฉันสามารถเข้าใจได้อย่างง่ายดายว่าความแม่นยำจะได้รับผลกระทบ แต่การเรียกร้องเกี่ยวกับอคตินั้นไม่ชัดเจนสำหรับฉัน ...

24 clinical-trials  bias 

สมมติว่าฉันพยายามประเมินพารามิเตอร์จำนวนมากจากข้อมูลมิติสูงโดยใช้การประมาณปกติบางประเภท Regularizer แนะนำการตั้งค่าบางอย่างในการประมาณค่า แต่มันก็ยังคงเป็นเรื่องที่ดีเนื่องจากการลดความแปรปรวนควรจะชดเชยให้มากกว่า ปัญหาเกิดขึ้นเมื่อฉันต้องการประเมินช่วงความมั่นใจ (เช่นใช้ Laplace Approve หรือ bootstrapping) โดยเฉพาะอคติในการประมาณการของฉันนำไปสู่การรายงานข่าวที่ไม่ดีในช่วงความเชื่อมั่นของฉันซึ่งทำให้ยากที่จะกำหนดคุณสมบัติของผู้ประเมินของฉัน ฉันพบเอกสารบางส่วนที่พูดถึงปัญหานี้ (เช่น"ช่วงความเชื่อมั่นแบบ Asymptotic ในการถดถอยของสันเขาตามการขยายตัวของ Edgeworth" ) แต่คณิตศาสตร์ส่วนใหญ่อยู่เหนือหัวฉัน ในบทความที่เชื่อมโยงสมการ 92-93 ดูเหมือนจะให้ปัจจัยการแก้ไขสำหรับการประมาณที่ถูกทำให้เป็นมาตรฐานโดยการถดถอยของสันเขา แต่ฉันสงสัยว่ามีกระบวนการที่ดีที่จะทำงานกับช่วงของกฎเกณฑ์ต่าง ๆ ได้หรือไม่ แม้แต่การแก้ไขใบสั่งซื้อครั้งแรกก็มีประโยชน์อย่างยิ่ง

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

ฉันพยายามเข้าใจแนวคิดเรื่องความเอนเอียงในบริบทของการวิเคราะห์การถดถอยเชิงเส้น นิยามทางคณิตศาสตร์ของอคติคืออะไร? ลำเอียงคืออะไรและทำไม / อย่างไร? ตัวอย่างที่แสดง?

21 regression  terminology  bias  definition 

ในแง่ของศัพท์แสงเครือข่ายประสาท (y = Weight * x + bias) ฉันจะรู้ได้อย่างไรว่าตัวแปรใดสำคัญกว่าตัวอื่น? ฉันมีเครือข่ายนิวรัลที่มี 10 อินพุต, 1 เลเยอร์ที่ซ่อนอยู่กับ 20 โหนดและ 1 เลเยอร์เอาท์พุทซึ่งมี 1 โหนด ฉันไม่แน่ใจว่าจะรู้ได้อย่างไรว่าตัวแปรอินพุตใดบ้างที่มีอิทธิพลมากกว่าตัวแปรอื่น ๆ สิ่งที่ฉันคิดคือถ้าอินพุตมีความสำคัญก็จะมีการเชื่อมต่อกับชั้นแรกที่มีน้ำหนักสูง แต่น้ำหนักอาจจะเป็นบวกหรือลบ ดังนั้นสิ่งที่ฉันอาจทำคือใช้ค่าสัมบูรณ์ของน้ำหนักของอินพุทและรวมเข้าด้วยกัน ปัจจัยการผลิตที่สำคัญกว่าจะมีจำนวนเงินที่สูงขึ้น ตัวอย่างเช่นถ้าความยาวของผมเป็นหนึ่งในอินพุตดังนั้นมันควรมีการเชื่อมต่อ 1 จุดกับแต่ละโหนดในเลเยอร์ถัดไปดังนั้นการเชื่อมต่อ 20 ครั้ง (ดังนั้นจึงมีน้ำหนัก 20) ฉันสามารถนำค่าสัมบูรณ์ของน้ำหนักแต่ละอย่างมารวมเข้าด้วยกันได้หรือไม่?

20 machine-learning  neural-networks  bias  tensorflow  theano