คำถามติดแท็ก self-study

ฉันมีชุดข้อมูลที่มีขนาดใหญ่มากและมีค่าสุ่มประมาณ 5% หายไป ตัวแปรเหล่านี้มีความสัมพันธ์ซึ่งกันและกัน ตัวอย่างชุดข้อมูล R ต่อไปนี้เป็นเพียงตัวอย่างของเล่นที่มีข้อมูลที่สัมพันธ์กันจำลอง set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, sep ="") rownames(xmat) <- paste("sample", 1:200, sep = "") #M variables are correlated N <- 2000000*0.05 # 5% random missing values inds …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

ผมคิดว่าค่ามัธยฐานเฉลี่ย≤≤\leq เป็นกรณีนี้หรือไม่?

12 distributions  self-study  mean  skewness  median 

ฉันมีปัญหาในการแก้ปัญหาต่อไปนี้ คุณจั่วไพ่จากสำรับมาตรฐาน 52 ใบโดยไม่ต้องเปลี่ยนจนกว่าคุณจะได้เอซ คุณดึงออกจากสิ่งที่เหลืออยู่จนกว่าคุณจะได้รับ 2. คุณดำเนินการต่อด้วย 3 จำนวนที่คาดหวังที่คุณจะได้รับหลังจากที่ดาดฟ้าทั้งหมดหมด มันเป็นธรรมชาติที่จะให้ Ti=first position of card whose value is iTi=first position of card whose value is iT_i = \text{first position of card whose value is }i Ui=last position of card whose value is iUi=last position of card whose value is iU_i = …

12 self-study  conditional-probability  conditional-expectation  games  conditioning 

ฉันมีปัญหาในการทำความเข้าใจสถิติที่เพียงพอหรือไม่ ให้เป็นสถิติที่เพียงพอT=ΣxiT=ΣxiT=\Sigma x_i ถ้ามีความน่าจะเป็น 1 สำหรับฟังก์ชันgบางตัวแสดงว่าเป็นสถิติที่สมบูรณ์เพียงพอE[g(T)]=0E[g(T)]=0E[g(T)]=0ggg แต่สิ่งนี้หมายความว่าอย่างไร ฉันเคยเห็นตัวอย่างเครื่องแบบและ Bernoulli (หน้า 6 http://amath.colorado.edu/courses/4520/2011fall/HandOuts/umvue.pdf ) แต่มันไม่ง่ายเลยฉันสับสนมากขึ้นเมื่อเห็นการรวมกลุ่ม ใครช่วยอธิบายด้วยวิธีที่ง่ายและใช้งานง่าย?

12 self-study  estimation  intuition  decision-theory 

หมายเหตุ: คำถามนี้เป็นคำถามใหม่เนื่องจากต้องลบคำถามก่อนหน้านี้ด้วยเหตุผลทางกฎหมาย ในขณะที่เปรียบเทียบ PROC MIXED จาก SAS กับฟังก์ชันlmeจากnlmeแพ็คเกจใน R ฉันพบความแตกต่างที่ค่อนข้างสับสน โดยเฉพาะอย่างยิ่งองศาอิสระในการทดสอบที่แตกต่างกันระหว่างPROC MIXEDและlmeและฉันสงสัยว่าทำไม เริ่มจากชุดข้อมูลต่อไปนี้ (รหัส R ระบุด้านล่าง): ind: ปัจจัยบ่งชี้บุคคลที่จะทำการวัด fac: อวัยวะที่ใช้ทำการวัด trt: ปัจจัยบ่งชี้การรักษา y: ตัวแปรตอบสนองต่อเนื่องบางอย่าง ความคิดคือการสร้างแบบจำลองง่ายๆดังต่อไปนี้: y ~ trt + (ind): indเป็นปัจจัยสุ่ม y ~ trt + (fac(ind)): facซ้อนกันindเป็นปัจจัยสุ่ม โปรดทราบว่ารุ่นสุดท้ายที่ควรทำให้เกิดเอกเป็นมีเพียง 1 ค่าของyสำหรับการรวมกันของทุกและindfac แบบจำลองแรก ใน SAS ฉันสร้างโมเดลต่อไปนี้: PROC MIXED data=Data; CLASS ind fac …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 

ฉันจะประมาณอินทิกรัลต่อไปนี้โดยใช้การจำลอง MC ได้อย่างไร ∫1−1∫1−1|x−y|dxdy∫−11∫−11|x−y|dxdy \int_{-1}^{1} \int_{-1}^{1} |x-y| \,\mathrm{d}x \,\mathrm{d}y ขอบคุณ! แก้ไข (บางบริบท): ฉันกำลังพยายามเรียนรู้วิธีใช้การจำลองเพื่อการอินทิเกรตโดยประมาณและฉันได้รับการฝึกฝนเมื่อฉันประสบปัญหาบางอย่าง แก้ไข 2 + 3 : อย่างใดฉันก็สับสนและคิดว่าฉันต้องแยกอินทิกรัลเป็นส่วนแยก ดังนั้นฉันคิดออกจริง: n <- 15000 x <- runif(n, min=-1, max=1) y <- runif(n, min=-1, max=1) mean(4*abs(x-y))

12 r  self-study  monte-carlo 

การเปิดเผยแบบเต็ม: นี่คือการบ้าน ฉันได้รวมลิงก์ไปยังชุดข้อมูล ( http://www.bertelsen.ca/R/logistic-regression.sav ) เป้าหมายของฉันคือการเพิ่มการคาดการณ์ของผู้ชำระหนี้ในชุดข้อมูลนี้ ทุกรุ่นที่ฉันคิดมานั้นคาดการณ์> 90% ของผู้ไม่ defaulters แต่ <40% ของผู้ defaulters ทำให้ประสิทธิภาพการจำแนกโดยรวมประมาณ 80% ดังนั้นฉันสงสัยว่ามีผลกระทบระหว่างการโต้ตอบตัวแปรหรือไม่ ภายในการถดถอยแบบโลจิสติกส์นอกเหนือจากการทดสอบชุดค่าผสมที่เป็นไปได้แต่ละวิธีมีวิธีการระบุผลกระทบที่อาจเกิดขึ้นจากการโต้ตอบ หรืออีกวิธีหนึ่งในการเพิ่มประสิทธิภาพของการจำแนกประเภทของ defaulters ฉันติดอยู่คำแนะนำใด ๆ จะเป็นประโยชน์ในการเลือกคำ R-code หรือไวยากรณ์ SPSS ของคุณ ตัวแปรหลักของฉันอยู่ในฮิสโทแกรมและสแกตเตอร์ล็อตต่อไปนี้ (ยกเว้นตัวแปร dichotomous) คำอธิบายของตัวแปรหลัก: age: Age in years employ: Years with current employer address: Years at current address income: Household income in …

12 r  logistic  spss  self-study 

ในการตรวจจับแบบบีบอัดมีทฤษฎีบทรับประกันได้ว่า มีวิธีแก้ปัญหากระจัดกระจายc (ดูภาคผนวกสำหรับรายละเอียดเพิ่มเติม)cargmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc มีทฤษฎีบทที่คล้ายกันสำหรับบ่วงบาศหรือไม่? หากมีทฤษฎีบทดังกล่าวไม่เพียง แต่จะรับประกันความมั่นคงของบาศกัมมันตภาพรังสีเท่านั้น แต่มันยังให้การตีความที่มีความหมายมากขึ้นด้วย เชือกสามารถค้นพบเบาบางค่าสัมประสิทธิ์การถดถอยเวกเตอร์cccที่ใช้ในการสร้างการตอบสนองyyyโดยy=Xcy=Xcy = XcXc มีสองเหตุผลที่ฉันถามคำถามนี้: ฉันคิดว่า 'lasso เป็นคำตอบที่กระจัดกระจาย' ไม่ใช่คำตอบว่าทำไมใช้ lasso เพื่อเลือกคุณลักษณะเนื่องจากเราไม่สามารถบอกได้ว่าข้อดีของคุณสมบัติที่เราเลือกคืออะไร ฉันเรียนรู้ Lasso ที่มีชื่อเสียงในเรื่องความไม่แน่นอนในการเลือกคุณสมบัติ ในทางปฏิบัติเราต้องรันตัวอย่างบูตสแตรปเพื่อประเมินความเสถียร อะไรคือเหตุผลที่สำคัญที่สุดที่ทำให้เกิดความไม่แน่นอนนี้ ภาคผนวก: ได้รับXN×M=(x1,⋯,xM)XN×M=(x1,⋯,xM)X_{N \times M} = (x_1, \cdots, x_M)x_M) cccคือΩΩ\Omega -sparse vector ( Ω⩽MΩ⩽M\Omega \leqslant …

12 regression  self-study  feature-selection  lasso  regularization 

หากเราต้องการคำนวณผลกระทบเชิงสาเหตุของต่อในกราฟสาเหตุด้านล่างเราสามารถใช้ทั้งการปรับประตูหลังและทฤษฎีการปรับประตูหน้าเช่น Y P ( y | do ( X = x ) ) = ∑ u P ( y | x , u ) P ( u )XXXYYYP( y| ทำ (X= x ) ) = ∑ยูP( y| x,u)P( u )P(y|do(X=x))=∑uP(y|x,u)P(u)P(y | \textit{do}(X = x)) = \sum_u P(y | x, u) …

12 self-study  causality  graph-theory  dag 

ในองค์ประกอบของการเรียนรู้ทางสถิติมีการนำเสนอปัญหาเพื่อเน้นประเด็นที่มี k-nn ในพื้นที่มิติสูง มีจุดข้อมูลจุดที่กระจายอย่างสม่ำเสมอในบอลหน่วย -dimensionalหน้าNNNppp ระยะทางเฉลี่ยจากแหล่งกำเนิดถึงจุดข้อมูลที่ใกล้เคียงที่สุดจะได้รับจากการแสดงออก: d(p,N)=(1−(12)1N)1pd(p,N)=(1−(12)1N)1pd(p,N) = \left(1-\left(\frac{1}{2}\right)^\frac{1}{N}\right)^\frac{1}{p} เมื่อสูตรแบ่งครึ่งรัศมีของลูกบอลออกไปและฉันเห็นว่าจุดที่ใกล้ที่สุดเข้ามาใกล้เส้นขอบเป็นจึงทำให้สัญชาตญาณหลัง knn สลายตัวในมิติสูง แต่ฉันไม่สามารถเข้าใจได้ว่าทำไมสูตรนี้จึงขึ้นอยู่กับเอ็นp → ∞N=1N=1N=1p→∞p→∞p \rightarrow \infty หนังสือเล่มนี้กล่าวถึงปัญหานี้เพิ่มเติมโดยระบุว่า: "... การทำนายนั้นยากกว่าใกล้ขอบของตัวอย่างการฝึกอบรมเราต้องคาดการณ์จากจุดตัวอย่างที่อยู่ใกล้เคียงแทนการสอดแทรกระหว่างพวกเขา" ดูเหมือนว่าจะเป็นข้อความที่ลึกซึ้ง แต่ฉันไม่สามารถเข้าใจความหมายของมันได้ ทุกคนสามารถพูดคำซ้ำ?

12 self-study  proof  k-nearest-neighbour 

ฉันต้องการที่จะเข้าใจการทดสอบที่แม่นยำของฟิชเชอร์มากขึ้นดังนั้นฉันจึงคิดค้นตัวอย่างของเล่นต่อไปนี้โดยที่ f และ m สอดคล้องกับเพศชายและเพศหญิงและ n และ y สอดคล้องกับ "การบริโภคโซดา" เช่นนี้: > soda_gender f m n 0 5 y 5 0 เห็นได้ชัดว่านี่คือการทำให้เข้าใจง่ายมาก แต่ฉันไม่ต้องการให้บริบทเข้ามาขวางทาง ที่นี่ฉันเพิ่งสันนิษฐานว่าผู้ชายไม่ดื่มโซดาและหญิงดื่มโซดาและต้องการดูว่าวิธีการทางสถิติมาถึงข้อสรุปเดียวกัน เมื่อฉันทำการทดสอบฟิชเชอร์ที่แน่นอนใน R ฉันจะได้ผลลัพธ์ต่อไปนี้: > fisher.test(soda_gender) Fisher's Exact Test for Count Data data: soda_gender p-value = 0.007937 alternative hypothesis: true odds ratio is not equal to 1 …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

rrrขณะ -th ของตัวแปรสุ่มXXXคือแน่นอนถ้า E(|Xr|)&lt;∞E(|Xr|)&lt;∞ \mathbb E(|X^r|)< \infty ฉันพยายามที่จะแสดงให้เห็นว่าสำหรับจำนวนเต็มบวกs&lt;rs&lt;rs<rแล้ว ช่วงเวลาsss -th E[|Xs|]E[|Xs|]\mathbb E[|X^s|]มีขอบเขต จำกัด

12 self-study  moments  function 

ฉันถูกตั้งคำถามต่อไปนี้เป็นส่วนหนึ่งของการบ้าน: ออกแบบและดำเนินการศึกษาแบบจำลองเพื่อตรวจสอบประสิทธิภาพของ bootstrap เพื่อให้ได้ช่วงความเชื่อมั่น 95% จากค่าเฉลี่ยของตัวอย่างข้อมูลที่ไม่แปรเปลี่ยน การติดตั้งของคุณอาจอยู่ใน R หรือ SAS แง่มุมของประสิทธิภาพที่คุณอาจต้องการดูคือช่วงความมั่นใจช่วงเวลา (เช่นสัดส่วนช่วงเวลาความมั่นใจมีค่าเฉลี่ยจริง) และการเปลี่ยนแปลงของมอนติคาร์โล (กล่าวคือขีด จำกัด ความเชื่อมั่นสูงสุดและล่างแตกต่างกันระหว่างการจำลอง) ไม่มีใครรู้วิธีที่จะไปเกี่ยวกับแง่มุมการเปลี่ยนแปลงของ Monte Carlo นี้? ฉันไม่สามารถแม้แต่จะหาอัลกอริทึมหรืออะไรก็ได้ มันจะทำอย่างไรกับการรวม Monte Carlo? ขอบคุณ!

12 r  self-study  bootstrap  monte-carlo 

ฉันกำลังอ่าน PRML และฉันไม่เข้าใจภาพ คุณกรุณาให้คำแนะนำเพื่อเข้าใจภาพและทำไมความแปรปรวนของ MLE ในการแจกแจงแบบเกาส์ถึงมีอคติ? สูตร 1.55: สูตร 1.56 σ 2 M L E =1μMLE=1N∑n=1NxnμMLE=1N∑n=1Nxn \mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n σ2MLE=1N∑n=1N(xn−μMLE)2σMLE2=1N∑n=1N(xn−μMLE)2 \sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2

12 machine-learning  self-study  maximum-likelihood 

ฉันใช้หลักสูตร "การเรียนรู้ของเครื่องจักร" ของ Andrew Ng ผ่านทาง Coursera เมื่อไม่กี่เดือนก่อนโดยไม่สนใจวิชาคณิตศาสตร์ / ภาควิชาส่วนใหญ่และมุ่งเน้นไปที่การนำไปใช้และการปฏิบัติจริง ตั้งแต่นั้นมาฉันเริ่มกลับไปศึกษาทฤษฎีพื้นฐานบางอย่างและกลับมาเยี่ยมการบรรยายของศ. อึ้งอีกครั้ง ฉันกำลังอ่านผ่านการบรรยายของเขาใน "Normalized Linear Regression" และเห็นว่าเขาให้ฟังก์ชั่นค่าใช้จ่ายต่อไปนี้: J(θ)=12m[∑i=1m(hθ(x(i))−y(i))2+λ∑j=1nθ2j]J(θ)=12m[∑i=1m(hθ(x(i))−y(i))2+λ∑j=1nθj2]J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j] จากนั้นเขาให้การไล่ระดับสีต่อไปนี้สำหรับฟังก์ชันต้นทุนนี้: ∂∂θjJ(θ)=1m[∑i=1m(hθ(x(i))−y(i))x(i)j−λθj]∂∂θjJ(θ)=1m[∑i=1m(hθ(x(i))−y(i))xj(i)−λθj]\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j - \lambda\theta_j] ฉันสับสนเล็กน้อยเกี่ยวกับวิธีการที่เขาได้รับจากที่หนึ่งไปยังอีกที่ เมื่อฉันพยายามทำรากศัพท์ของตัวเองฉันได้ผลลัพธ์ดังนี้: ∂∂θjJ(θ)=1m[∑i=1m(hθ(x(i))+y(i))x(i)j+λθj]∂∂θjJ(θ)=1m[∑i=1m(hθ(x(i))+y(i))xj(i)+λθj]\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) + y^{(i)})x^{(i)}_j + \lambda\theta_j] ความแตกต่างคือเครื่องหมาย 'บวก' ระหว่างฟังก์ชันต้นทุนดั้งเดิมและพารามิเตอร์การทำให้เป็นมาตรฐานในสูตรของ Prof. …

12 regression  self-study