สถิติและข้อมูลขนาดใหญ่

หากเรามีอนุกรมเวลาที่มีความยาวและความละเอียดสูงพร้อมเสียงรบกวนมากมายมันมักจะสมเหตุสมผลที่จะรวบรวมข้อมูลให้เป็นความละเอียดที่ต่ำกว่า (เช่นค่ารายวันเป็นรายเดือน) เพื่อทำความเข้าใจกับสิ่งที่เกิดขึ้นได้ดียิ่งขึ้น เสียงดัง. ฉันเคยเห็นอย่างน้อยหนึ่งกระดาษที่ใช้สถิติบางอย่างกับข้อมูลรวมรวมถึงสำหรับการถดถอยเชิงเส้นในตัวแปรแยกต่างหาก ถูกต้องหรือไม่ ฉันคิดว่ากระบวนการหาค่าเฉลี่ยจะปรับเปลี่ยนผลลัพธ์ค่อนข้างดีเนื่องจากเสียงรบกวนน้อยลงr2r2r^2 โดยทั่วไปแล้วสถิติบางอย่างสามารถนำไปใช้กับข้อมูลอนุกรมเวลารวมและอื่น ๆ ไม่ได้? ถ้าเป็นเช่นนั้น คนที่มีการรวมกันเชิงเส้นอาจ?

12 time-series  aggregation 

ฉันสับสนโดยคำสั่งต่อไปนี้: "เพื่อเพิ่มค่าเบี่ยงเบนมาตรฐานของชุดตัวเลขคุณต้องเพิ่มค่าที่มากกว่าหนึ่งค่าเบี่ยงเบนมาตรฐานจากค่าเฉลี่ย" อะไรคือสิ่งที่พิสูจน์ว่า? ฉันรู้แน่นอนว่าเรากำหนดค่าเบี่ยงเบนมาตรฐาน แต่ส่วนที่ฉันดูเหมือนจะพลาดอย่างใด มีคำแนะนำอะไรมั้ย?

12 standard-deviation 

ฉันกำลังทดสอบเซ็นเซอร์ตำแหน่งคันเร่ง (TPS) ธุรกิจของฉันขายและฉันพิมพ์พล็อตของการตอบสนองต่อแรงดันไฟฟ้ากับการหมุนของเพลาปีกผีเสื้อ TPS เป็นเซ็นเซอร์แบบหมุนด้วยช่วง 90 °และเอาต์พุตเป็นเหมือนโพเทนชิออมิเตอร์ที่เปิดเต็มเป็น 5V (หรือค่าอินพุตของเซ็นเซอร์) และการเปิดครั้งแรกมีค่าระหว่าง 0 ถึง 0.5V ฉันสร้างม้านั่งทดสอบพร้อมคอนโทรลเลอร์ PIC32เพื่อทำการวัดแรงดันไฟฟ้าทุก ๆ 0.75 °และเส้นสีดำเชื่อมต่อการวัดเหล่านี้≈≈\approx หนึ่งในผลิตภัณฑ์ของฉันมีแนวโน้มที่จะทำให้การผันแปรของแอมพลิจูดที่มีการแปลในระดับท้องถิ่นต่ำและห่างจาก (และต่ำกว่า) เป็นสายที่เหมาะสมที่สุด คำถามนี้เกี่ยวกับอัลกอริทึมของฉันในการหาจำนวน "dips" ที่แปลเป็นภาษาท้องถิ่นเหล่านี้ ชื่อหรือคำอธิบายที่ดีสำหรับกระบวนการวัด dips คืออะไร (ตามคำอธิบายทั้งหมด) ในภาพด้านล่างการจุ่มเกิดขึ้นที่ด้านซ้ายของพล็อตและเป็นกรณีส่วนเพิ่มไม่ว่าฉันจะผ่านหรือล้มเหลวในส่วนนี้: ดังนั้นฉันจึงสร้างเครื่องตรวจจับแบบจุ่ม ( stackoverflow qa เกี่ยวกับอัลกอริทึม ) เพื่อวัดความรู้สึกของลำไส้ของฉัน ตอนแรกฉันคิดว่าฉันวัด "พื้นที่" กราฟนี้อ้างอิงจากงานพิมพ์ด้านบนและความพยายามอธิบายอัลกอริทึมแบบกราฟิก มีการจุ่มสำหรับตัวอย่าง 13 ระหว่าง 17 และ 31: deltasdeltasdeltasdeltasdeltasdeltas deltasdeltasdeltasdydxdydx\frac {dy}{dx} deltasdeltasdeltasdeltasdeltasdeltas 0.7+1.2+1.3+1.4+1.8+2.5+2.9+3.0+2.5+2.0+1.5+1.0+1.20.7+1.2+1.3+1.4+1.8+2.5+2.9+3.0+2.5+2.0+1.5+1.0+1.20.7 …

12 terminology 

เมื่อใช้ลูกบาศก์ธรรมชาติ (เช่นถูก จำกัด ) Splines ฟังก์ชันพื้นฐานที่สร้างขึ้นนั้นมี collinear สูงและเมื่อใช้ในการถดถอยดูเหมือนจะสร้างสถิติ VIF สูง (ปัจจัยเงินเฟ้อแปรปรวน) สูงมากส่งสัญญาณความหลากหลายทางชีวภาพ เมื่อมีการพิจารณากรณีของแบบจำลองเพื่อการคาดการณ์นี่เป็นปัญหาหรือไม่ ดูเหมือนว่ามันจะเป็นอย่างนั้นเสมอเพราะธรรมชาติของโครงสร้างการสร้างเส้นโค้ง นี่คือตัวอย่างใน R: library(caret) library(Hmisc) library(car) data(GermanCredit) spl_mat<-rcspline.eval(GermanCredit$Amount, nk=5, inclx=TRUE) #natural cubic splines with 5 knots class<-ifelse(GermanCredit$Class=='Bad',1,0) #binary target variable dat<-data.frame(cbind(spl_mat,class)) cor(spl_mat) OUTPUT: x x 1.0000000 0.9386463 0.9270723 0.9109491 0.9386463 1.0000000 0.9994380 0.9969515 0.9270723 0.9994380 1.0000000 0.9989905 …

12 multiple-regression  generalized-linear-model  predictive-models  multicollinearity  splines 

ฉันมีข้อมูลที่มีความสัมพันธ์กันและกำลังใช้แบบจำลองผลกระทบการถดถอยแบบโลจิสติกส์เพื่อประมาณผลกระทบระดับบุคคล (แบบมีเงื่อนไข) สำหรับการทำนายผลประโยชน์ ฉันรู้ว่าสำหรับโมเดลส่วนเพิ่มมาตรฐานการอนุมานพารามิเตอร์โมเดลโดยใช้การทดสอบ Wald นั้นสอดคล้องกับอัตราส่วนความน่าจะเป็นและการทดสอบคะแนน พวกเขามักจะประมาณเดียวกัน เนื่องจาก Wald นั้นง่ายต่อการคำนวณและพร้อมใช้งานในเอาต์พุต R ฉันจึงใช้ 99% ของเวลา อย่างไรก็ตามด้วยโมเดลเอฟเฟ็กต์แบบผสมฉันรู้สึกทึ่งที่เห็นความแตกต่างอย่างมากระหว่างการทดสอบ Wald สำหรับเอฟเฟกต์คงที่เนื่องจากมีการรายงานในโมเดลเอาท์พุทใน R และการทดสอบอัตราส่วนความน่าจะเป็น "ด้วยมือ" เหมาะสมจริงลดรูปแบบ โดยสังหรณ์ใจฉันสามารถเห็นว่าทำไมสิ่งนี้อาจสร้างความแตกต่างอย่างมากเพราะในโมเดลที่ลดลงความแปรปรวนของเอฟเฟกต์แบบสุ่มนั้นถูกประเมินใหม่และอาจส่งผลกระทบอย่างมีนัยสำคัญต่อโอกาส บางคนสามารถอธิบายได้ สถิติการทดสอบของ Wald คำนวณใน R เพื่อหาผลกระทบคงที่อย่างไร อะไรคือเมทริกซ์ข้อมูลสำหรับพารามิเตอร์โมเดลโดยประมาณในโมเดลเอฟเฟกต์ผสม? (และเป็น mx เดียวกันกับที่คำนวณสถิติการทดสอบของ Wald หรือไม่) อะไรคือความแตกต่างในการตีความระหว่างผลลัพธ์จากการทดสอบทั้งสองในกรณีที่ฉันอธิบาย โดยทั่วไปมีแรงจูงใจอะไรบ้างและนำไปใช้ในงานวรรณกรรมเพื่อการอนุมาน

12 logistic  mixed-model  inference 

โดยเฉพาะอย่างยิ่งเหตุใดการทดสอบอัตราส่วนความน่าจะเป็นจึงมีการ asymptoticallyถ้าแบบจำลองซ้อนกัน แต่นี่ไม่ใช่กรณีของแบบจำลองที่ไม่ซ้อนกันอีกต่อไป? ผมเข้าใจว่าเรื่องนี้ต่อจากทฤษฎีบท Wilks' แต่โชคไม่ดีที่ฉันไม่เข้าใจหลักฐานχ2χ2\chi^2

12 likelihood-ratio  nested-models 

ให้แสดงถึงความเสี่ยงของ Bayes ของตัวประมาณด้วยความเคารพก่อนหน้านี้ , ให้แสดงถึงชุดของนักบวชทั้งหมดในพื้นที่พารามิเตอร์และให้แสดงถึงชุดของ กฎการตัดสินใจทั้งหมด (อาจจะสุ่ม)r(π,δ)r(π,δ)r(\pi, \delta)δδ\deltaππ\piΠΠ\PiΘΘ\ThetaΔΔ\Delta การตีความทางสถิติของความไม่เท่าเทียมกันของ minimax ของ John von Neumann ระบุไว้ว่า supπ∈Πinfδ∈Δr(π,δ)≤infδ∈Δsupπ∈Πr(π,δ),supπ∈Πinfδ∈Δr(π,δ)≤infδ∈Δsupπ∈Πr(π,δ), \sup_{\pi\in\Pi} \inf_{\delta\in\Delta} r(\pi, \delta) \leq \inf_{\delta\in\Delta}\sup_{\pi\in\Pi} r(\pi, \delta), รับประกันความเสมอภาคอย่างเข้มงวดสำหรับδ′δ′\delta'และπ′π′\pi'เมื่อΘΘ\ThetaและΔΔ\Deltaทั้งสองมี จำกัด บางคนสามารถให้ตัวอย่างที่เป็นรูปธรรมที่ความไม่เท่าเทียมนั้นเข้มงวดได้หรือไม่?

12 bayesian  decision-theory  risk 

ฉันรู้สึกว่าฟังก์ชั่นlmer()ในlme4แพ็คเกจไม่ได้สร้างค่า p (ดูlmer, ค่า p และทั้งหมดนั้น ) ฉันได้รับการใช้ค่าพี MCMC สร้างขึ้นแทนเป็นต่อคำถามนี้: ผลกระทบอย่างมีนัยสำคัญในlme4รูปแบบผสมและคำถามนี้: ไม่พบหน้าค่าในการส่งออกจากlmer()ในlm4Rแพคเกจใน เมื่อเร็ว ๆ นี้ฉันลองแพคเกจที่เรียกว่าmemiscและgetSummary.mer()เพื่อให้ได้เอฟเฟกต์คงที่ของโมเดลของฉันลงในไฟล์ csv ราวกับว่าเป็นเวทมนต์คอลัมน์ที่เรียกว่าpปรากฏขึ้นซึ่งตรงกับค่า p MCMC ของฉันอย่างใกล้ชิด (และไม่ได้รับเวลาการประมวลผลที่มาพร้อมกับการใช้pvals.fnc()) ฉันดูรหัสในคร่าวๆgetSummary.merแล้วเห็นเส้นที่สร้างค่า p: p <- (1 - pnorm(abs(smry@coefs[, 3]))) * 2 สิ่งนี้หมายความว่าค่า p สามารถสร้างได้โดยตรงจากlmerเอาต์พุตของแทนที่จะเรียกใช้pvals.fncหรือไม่ ฉันรู้ว่าสิ่งนี้จะไม่เริ่มสงสัยการอภิปราย 'ค่านิยมทางไสยศาสตร์' แต่ฉันสนใจที่จะรู้ ฉันไม่ได้ยินกล่าวก่อนเมื่อมันมาถึงmemisclmer เพื่อรวบรัดมากขึ้น: อะไรคือประโยชน์ (ถ้ามี) ของการใช้ค่า p MCMC มากกว่าที่สร้างขึ้นโดยgetSummary.mer()?

12 r  mixed-model  p-value  mcmc  lme4-nlme 

หากการทดสอบแบบไม่มีพารามิเตอร์นั้นถือว่ามีพลังงานน้อยกว่าทางเลือกแบบพารามิเตอร์นี่หมายความว่าหากการทดสอบแบบพารามิเตอร์ใด ๆ ไม่ปฏิเสธโมฆะตัวเลือกที่ไม่ใช่แบบพาราเมตริกก็ไม่ปฏิเสธโมฆะด้วย? การเปลี่ยนแปลงนี้จะเกิดขึ้นได้อย่างไรหากข้อสันนิษฐานของการทดสอบแบบพารามิเตอร์ไม่เป็นไปตามข้อกำหนดและจะใช้การทดสอบต่อไป

12 hypothesis-testing  nonparametric  parametric 

ฉันมีรหัสและผลลัพธ์และฉันต้องการสร้างแบบจำลอง ฉันไม่ทราบวิธีการสร้างแบบจำลองโดยใช้ผลลัพธ์นี้: require("splines") x <- c(0.2, 0.23, 0.26, 0.29, 0.33, 0.46, 0.53 ) y <- c(0.211, 0.2026, 0.2034, 0.2167, 0.2177, 0.19225, 0.182) fit <- lm(y ~ ns(x,3)) summary(fit) โปรดทราบว่าns()สร้างเมทริกซ์พื้นฐาน B-spline สำหรับลูกบาศก์ธรรมชาติ ดังนั้นรุ่นนี้ถอยหลังyกับ B-spline สำหรับการxใช้สามองศาอิสระ สมการสำหรับตัวแบบนั้นจะเป็นอย่างไร?

12 r  splines 

ด้วยจิตวิญญาณของคำถามนี้การทำความเข้าใจหลักฐานของบทแทรกที่ใช้ในความไม่เท่าเทียมกันของ Hoeffdingฉันพยายามทำความเข้าใจขั้นตอนที่นำไปสู่ความไม่เท่าเทียมของ Hoeffding สิ่งที่เก็บความลึกลับที่สุดสำหรับฉันในการพิสูจน์คือส่วนที่ช่วงเวลาเลขชี้กำลังถูกคำนวณเพื่อหาผลรวมของตัวแปร iid ซึ่งหลังจากนั้นจะใช้ความไม่เท่าเทียมกันของมาร์คอฟ เป้าหมายของฉันคือการเข้าใจ: ทำไมเทคนิคนี้ให้ความไม่เท่าเทียมกันแน่น คำอธิบายทั่วไปหมายถึงช่วงเวลาที่สร้างคุณสมบัติของเลขชี้กำลัง แต่ฉันก็พบว่ามันคลุมเครือเกินไป โพสต์ในบล็อกของเต่าhttp://terrytao.wordpress.com/2010/01/03/254a-notes-1-concentration-of-measure/#hoeffอาจมีคำตอบ ด้วยเป้าหมายนี้ในใจคำถามของฉันคือประมาณสามจุดในโพสต์ของเทาที่ฉันติดอยู่และที่ฉันหวังว่าจะให้ข้อมูลเชิงลึกเมื่ออธิบาย เทาได้รับอสมการต่อไปนี้โดยใช้ช่วงเวลา k-th ถ้านี่เป็นเรื่องจริงสำหรับ k ใด ๆ เขาจะสรุปขอบเขตของเลขชี้กำลัง นี่คือที่ฉันหลงทาง P(|Sn|≥λn−−√)≤2(ek/2−−−−√λ)k. (7)P(|Sn|≥λn)≤2(ek/2λ)k. (7)\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq 2 (\frac{\sqrt{ek/2}}{\lambda})^k. \ \ \ \ \ (7)P(|Sn|≥λn−−√)≤Cexp(−cλ2) (8)P(|Sn|≥λn)≤Cexp⁡(−cλ2) (8)\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq C …

12 probability  probability-inequalities 

ไม่มีใครมีรากศัพท์ว่าออฟเซ็ตทำงานในรูปแบบไบนารีเช่น probit และ logit หรือไม่ ในปัญหาของฉันหน้าต่างติดตามผลอาจมีความยาวแตกต่างกันไป สมมติว่าผู้ป่วยได้รับการยิงป้องกันโรคในการรักษา การยิงเกิดขึ้นในเวลาที่ต่างกันดังนั้นหากผลลัพธ์เป็นตัวบ่งชี้ไบนารีว่ามีการเกิดวูบวาบเกิดขึ้นหรือไม่คุณจำเป็นต้องปรับเปลี่ยนตามความจริงที่ว่าบางคนมีเวลามากขึ้นในการแสดงอาการ ดูเหมือนว่าความน่าจะเป็นของการลุกเป็นไฟจะแปรผันตามความยาวของระยะเวลาติดตามผล มันไม่ชัดเจนสำหรับฉันในทางคณิตศาสตร์ว่าไบนารีโมเดลที่มีอ็อฟเซ็ตบันทึกสัญชาตญาณนี้อย่างไร (เหมือนกับปัวซง) ออฟเซ็ตเป็นตัวเลือกมาตรฐานทั้งในStata (หน้า 1666)และRและฉันสามารถเห็นมันสำหรับปัวซองได้อย่างง่ายดายแต่กรณีไบนารีนั้นเป็นบิตทึบแสง ตัวอย่างเช่นถ้าเรามี นี่คือพีชคณิตเทียบเท่ากับแบบจำลองที่ไหน ซึ่งเป็นรูปแบบมาตรฐานที่มีค่าสัมประสิทธิ์ในบีบบังคับให้1นี้เรียกว่าลอการิทึมชดเชย ฉันมีปัญหาในการหาวิธีการทำงานนี้ถ้าเราแทนที่กับหรือ()E[y|x]Z=exp{x′β},E[y|x]Z=exp⁡{x′β},\begin{equation} \frac{E[y \vert x]}{Z}=\exp\{x'\beta\}, \end{equation}E[y|x]=exp{x′β+logZ},E[y|x]=exp⁡{x′β+log⁡Z},\begin{equation}E[y \vert x]=\exp\{x'\beta+\log{Z}\}, \end{equation}logZlog⁡Z\log Z111exp{}exp⁡{}\exp\{\}Φ()Φ()\Phi()Λ()Λ()\Lambda() อัปเดต # 1: กรณี logit ถูกอธิบายด้านล่าง อัปเดต # 2: นี่คือคำอธิบายของสิ่งที่ดูเหมือนว่าเป็นการใช้หลักของ offsets สำหรับโมเดลที่ไม่ใช่ปัวซองเช่น probit ออฟเซ็ตสามารถใช้ในการทดสอบอัตราส่วนความน่าจะเป็นของสัมประสิทธิ์ฟังก์ชั่นดัชนี ก่อนอื่นให้คุณประเมินโมเดลที่ไม่มีข้อ จำกัด และจัดเก็บค่าประมาณ สมมติว่าคุณต้องการที่จะทดสอบสมมติฐานที่ว่า 2 จากนั้นคุณสร้างตัวแปรให้พอดีกับแบบจำลองและใช้เป็นออฟเซ็ตที่ไม่ใช่ลอการิทึม นี่เป็นโมเดลที่มีข้อ จำกัด การทดสอบ LR …

12 logit  probit  logarithm  offset 

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้เป็นไปตามหัวข้อสำหรับการตรวจสอบข้าม ปิดให้บริการใน6 ปีที่ผ่านมา ฉันใช้ไฟล์ข้อความเพื่อจัดเก็บข้อมูลของฉันสำหรับ R โดยไม่มีปัญหามาระยะหนึ่งแล้ว แต่สำหรับโครงการเมื่อเร็ว ๆ นี้ขนาดของไฟล์จะใหญ่เกินไปสำหรับไฟล์ข้อความแบบดิบที่จะจัดการ ทางเลือกง่ายๆที่ดีที่สุดคืออะไร

12 r  dataset 

รายละเอียด: ให้โดเมนปัญหาเป็นการจัดหมวดหมู่เอกสารที่มีชุดของเวกเตอร์คุณลักษณะแต่ละอันอยู่ใน 1 คลาสขึ้นไป ตัวอย่างเช่นเอกสารdoc_1อาจเป็นของSportsและEnglishหมวดหมู่ คำถาม: การใช้เครือข่ายประสาทเทียมสำหรับการจำแนกประเภทฉลากจะเป็นอย่างไรสำหรับเวกเตอร์คุณลักษณะ มันจะเป็นเวกเตอร์ที่ประกอบขึ้นเป็นคลาสทั้งหมดหรือไม่ซึ่งค่า 0 นั้นมอบให้กับคลาสที่ไม่เกี่ยวข้องและ 1 สำหรับคลาสที่เกี่ยวข้อง? ดังนั้นหากรายการป้ายกำกับของชั้นเรียนอยู่[Sports, News, Action, English, Japanese]สำหรับเอกสารdoc_1ป้ายกำกับจะเป็น[1, 0, 0, 1, 0]อย่างไร

12 machine-learning  neural-networks  natural-language  multilabel 

ฉันปรับโมเดลเอฟเฟกต์แบบสุ่มให้เหมาะกับglmerข้อมูลธุรกิจบางอย่าง จุดมุ่งหมายคือการวิเคราะห์ประสิทธิภาพการขายโดยผู้จัดจำหน่ายโดยคำนึงถึงความหลากหลายของภูมิภาค ฉันมีตัวแปรต่อไปนี้: distcode: รหัสผู้จำหน่ายที่มีประมาณ 800 ระดับ region: รหัสทางภูมิศาสตร์ระดับบนสุด (เหนือ, ใต้, ตะวันออก, ตะวันตก) zone: ภูมิศาสตร์ระดับกลางซ้อนกันภายในregionประมาณ 30 ระดับในทุกระดับ territory: ภูมิศาสตร์ระดับต่ำซ้อนกันภายในzoneประมาณ 150 ระดับ ผู้จัดจำหน่ายแต่ละรายดำเนินงานในพื้นที่เดียวเท่านั้น ส่วนที่ยุ่งยากคือการสรุปข้อมูลพร้อมจุดข้อมูลหนึ่งจุดต่อผู้จัดจำหน่าย ดังนั้นฉันจึงมี 800 จุดข้อมูลและฉันพยายามปรับให้พอดี (อย่างน้อย) พารามิเตอร์ 800 ถึงแม้ว่าจะเป็นแบบธรรมดา ฉันได้ติดตั้งโมเดลดังนี้: glmer(ninv ~ 1 + (1|region/zone/territory) + (1|distcode), family=poisson) สิ่งนี้จะทำงานโดยไม่มีปัญหาแม้ว่าจะพิมพ์บันทึกย่อ: จำนวนระดับของปัจจัยการจัดกลุ่มสำหรับเอฟเฟกต์แบบสุ่มเท่ากับ n จำนวนการสังเกต นี่เป็นสิ่งที่ควรทำใช่ไหม ฉันได้รับการประมาณค่าสัมประสิทธิ์ทั้งหมดและ AIC ก็ไม่สมเหตุสมผล ถ้าฉันลองปัวซอง GLMM ด้วยลิงก์ตัวตน …

12 r  regression  mixed-model  lme4-nlme