สถิติและข้อมูลขนาดใหญ่

ฉันดูเหมือนจะไม่พบคำตอบที่ชัดเจนสำหรับคำถามของฉัน ข้อมูลของฉันประกอบด้วยแปลงหลายแปลงที่มีค่าเฉลี่ยที่วัดได้จาก 0.27 ถึง 0.57 ในกรณีของฉันค่าข้อมูลทั้งหมดเป็นค่าบวก แต่การวัดตัวเองนั้นขึ้นอยู่กับอัตราส่วนของค่าการสะท้อนที่สามารถอยู่ในช่วงตั้งแต่ -1 ถึง +1 พล็อตแสดงค่าของNDVIซึ่งเป็นตัวบ่งชี้ที่ได้มาจากระยะไกลของพืช "ผลผลิต" ความตั้งใจของฉันคือการเปรียบเทียบความแปรปรวนของค่าในแต่ละพล็อต แต่เนื่องจากแต่ละพล็อตมีค่าเฉลี่ยที่แตกต่างกันฉันเลือกใช้ CV เพื่อวัดการกระจายสัมพัทธ์ของค่า NDVI ต่อพล็อต จากสิ่งที่ฉันเข้าใจการใช้ CV ของพล็อตเหล่านี้ไม่ใช่เพียวเพราะแต่ละพล็อตสามารถมีทั้งค่าบวกและค่าลบ เหตุใดจึงไม่เหมาะสมที่จะใช้ CV ในกรณีดังกล่าว สิ่งที่จะเป็นทางเลือกที่ทำงานได้ (เช่นการทดสอบการกระจายตัวที่คล้ายกันการแปลงข้อมูลและอื่น ๆ )?

10 descriptive-statistics 

survivalแพคเกจในการRปรากฏขึ้นที่จะมุ่งเน้นในรูปแบบเวลาการอยู่รอดอย่างต่อเนื่อง ฉันสนใจที่จะประเมินรุ่นเวลาที่ไม่ต่อเนื่องของโมเดลความเป็นอันตรายตามสัดส่วนซึ่งเป็นรูปแบบบันทึกการใช้งานเสริม ฉันมีรูปแบบการเอาชีวิตรอดที่ค่อนข้างตรงไปตรงมาพร้อมการตัดสิทธิ์ที่เรียบง่าย ฉันรู้ว่าวิธีหนึ่งในการประเมินโมเดลนี้คือการสร้างชุดข้อมูลที่มีแถวแยกต่างหากสำหรับแต่ละการสังเกตสำหรับแต่ละช่วงเวลาที่ไม่ใช่ "ตาย" จากนั้นสามารถใช้glmโมเดลที่มีcloglogลิงก์ วิธีการนี้ดูเหมือนไม่มีประสิทธิภาพของหน่วยความจำมาก ที่จริงแล้วมันน่าจะสร้างชุดข้อมูลที่ใหญ่เกินไปสำหรับหน่วยความจำในเครื่องของฉัน วิธีที่สองคือการเขียนโค้ด MLE ด้วยตัวเอง นั่นจะง่ายพอ แต่ฉันหวังว่าจะมีแพ็คเกจที่มีโมเดลการเอาตัวรอดนี้ มันจะง่ายขึ้นสำหรับการทำงานร่วมกันและเพื่อหลีกเลี่ยงข้อผิดพลาดในการเขียนโปรแกรมเพื่อใช้แพคเกจ ไม่มีใครรู้แพคเกจดังกล่าวหรือไม่

10 r  survival 

ไม่มีใครรู้วิธีคำนวณ (หรือแยก) เลเวอเรจและระยะทางของ Cook สำหรับmerคลาสวัตถุ (ที่ได้รับจากlme4แพ็คเกจ) ฉันต้องการพล็อตพวกนี้สำหรับการวิเคราะห์เศษซาก

10 r  mixed-model  linear-model  residuals  leverage 

ฉันมีชุดข้อมูล 2 มิติที่ฉันต้องการค้นหาศูนย์กลางของจำนวนศูนย์กลางของวงกลม ( ) ที่ระบุซึ่งจะเพิ่มจำนวนจุดทั้งหมดภายในระยะทางที่กำหนด ( )Rยังไม่มีข้อความNNRRR เช่นฉันมี 10,000 จุดข้อมูลและฉันต้องการที่จะหาศูนย์ของแวดวงที่จับเป็นจุดมากเท่าที่เป็นไปได้ภายในรัศมีของR5 ศูนย์และรัศมี 10 ได้รับล่วงหน้าไม่ได้มาจากข้อมูลN = 5 R = 10( Xผม, วายผม)(Xi,Yi)(X_i, Y_i)ยังไม่มีข้อความ= 5N=5N=5R = 10R=10R=10 การปรากฏตัวของจุดข้อมูลภายในวงกลมเป็นเลขฐานสอง / หรือข้อเสนอ ถ้าไม่มีความแตกต่างของมูลค่าของจุด 11 หน่วยกับ 100 หน่วยในขณะที่ทั้งสอง> 10 ในทำนองเดียวกันกับที่อยู่ในวงกลมไม่มีค่าพิเศษที่จะอยู่ใกล้กับใจกลางและใกล้กับขอบ . จุดข้อมูลอาจอยู่ในหนึ่งในแวดวงหรือออกR = 10R=10R=10 มีอัลกอริทึมที่ดีที่สามารถใช้แก้ปัญหานี้ได้หรือไม่? ดูเหมือนว่าสิ่งเหล่านี้เกี่ยวข้องกับเทคนิคการจัดกลุ่ม แต่แทนที่จะลดระยะทางเฉลี่ยให้น้อยที่สุดฟังก์ชัน "ระยะทาง" คือ 0 ถ้าจุดอยู่ภายในของจุดใด ๆและ 1 เป็นอย่างอื่นNRRRยังไม่มีข้อความNN ความชอบของฉันคือการหาวิธีที่จะทำสิ่งนี้ใน …

10 r  clustering  distance 

เมื่อแยกข้อมูลที่มีป้ายกำกับของฉันออกเป็นชุดการฝึกอบรมการตรวจสอบความถูกต้องและการทดสอบฉันได้ยินทุกอย่างตั้งแต่ 50/25/25 ถึง 85/5/10 ฉันแน่ใจว่าสิ่งนี้ขึ้นอยู่กับว่าคุณจะใช้โมเดลของคุณอย่างไรและมีแนวโน้มที่จะทำให้อัลกอริทึมการเรียนรู้ของคุณมากเกินไป มีวิธีในการตัดสินใจหรือเป็นทั้งหมดโดยกฎของหัวแม่มือ? แม้แต่ ELSII ก็ยังคลุมเครือในเรื่องนี้

10 machine-learning  cross-validation 

คำถามนี้อธิบายถึงความแตกต่างพื้นฐานระหว่างเครื่องแบบและฮิสโตแกรมที่ไม่ใช่แบบฟอร์ม และคำถามนี้กล่าวถึงกฎของหัวแม่มือสำหรับการเลือกจำนวนช่องเก็บของฮิสโตแกรมสม่ำเสมอที่ปรับให้เหมาะสม (ในบางแง่มุม) ระดับที่ฮิสโทแกรมแสดงถึงการกระจายตัวจากการสุ่มตัวอย่างข้อมูล ดูเหมือนว่าฉันจะไม่พบการสนทนา "การมองโลกในแง่ดี" แบบเดียวกันเกี่ยวกับฮิสโตแกรมชุดที่ไม่เหมือนกัน ฉันมีการแจกแจงแบบไม่อิงพารามิเตอร์แบบกระจุกตัวและมีค่าผิดปกติที่อยู่ไกลดังนั้นฮิสโตแกรมที่ไม่สม่ำเสมอทำให้เข้าใจได้ง่ายขึ้น แต่ฉันชอบที่จะเห็นการวิเคราะห์ที่แม่นยำยิ่งขึ้นของคำถามสองข้อต่อไปนี้: ฮิสโตแกรมแบบสม่ำเสมอเมื่อใดจะดีกว่าแบบ bin ที่ไม่สม่ำเสมอ ฮิสโตแกรมที่ไม่สม่ำเสมอนั้นมีจำนวนเท่าใด สำหรับฮิสโตแกรมที่ไม่เหมือนกันฉันถือว่าเป็นกรณีที่ง่ายที่สุดที่เรานำตัวอย่างจากการแจกแจงที่ไม่รู้จักเรียงลำดับค่าและแยกพวกมันออกเป็น b เช่นที่แต่ละ bin มีของสิ่งเหล่านี้ ตัวอย่าง (สมมติว่าสำหรับบางจำนวนเต็มขนาดใหญ่ ) ช่วงที่จะเกิดขึ้นโดยการจุดกึ่งกลางระหว่างของค่าในถังผมและ\ นาทีของค่าในถังi + 1 ที่นี่และนี่คือลิงค์ที่อธิบายฮิสโทแกรมที่ไม่เหมือนกันประเภทนี้nnnnnnkkkknkn\frac{k}{n}n ≡ c kn≡คkn \equiv c kคคcสูงสุดสูงสุด\maxผมผมiนาทีนาที\minฉัน+ 1ผม+1i+1

10 nonparametric  outliers  histogram  rule-of-thumb 

ฉันกำลังทำการวิจัยเกี่ยวกับความสัมพันธ์ระหว่างลำดับการเกิดของบุคคลและความเสี่ยงต่อการเป็นโรคอ้วนในภายหลังโดยใช้ข้อมูลจากกลุ่มเกิด 1 ปี (เช่นhttp://www.ncbi.nlm.nih.gov/pmc/articles/PMC2908417/ ) ความท้าทายที่สำคัญคือลำดับการเกิดมีการเชื่อมโยงกับคุณสมบัติอื่น ๆ เช่นอายุของมารดาจำนวนพี่น้องที่อายุน้อยกว่าและ / หรืออายุมากกว่าและระยะห่างของการเกิดที่อาจมีผลต่อผลลัพธ์ผ่านกลไกที่แตกต่างกัน นอกจากนี้อิทธิพลใด ๆ ที่สิ่งเหล่านี้มีต่อความเสี่ยงต่อการเป็นโรคอ้วนในภายหลังอาจได้รับการแก้ไขโดยองค์ประกอบทางเพศของพี่น้องรวมถึง "เด็กดัชนี" (ผู้มีส่วนร่วมในกลุ่มคนเกิด) สำหรับเด็กดัชนีแต่ละคนสามารถวาดเส้นเวลาที่แสดงการเกิดทั้งหมดในครอบครัวด้วยอายุของมารดาที่ตัวแปรเวลา ฉันพยายามระบุวิธีการวิเคราะห์ข้อมูลประเภทนี้ซึ่งลำดับเวลาและลักษณะของเหตุการณ์อาจมีความสำคัญ ฉันกำลังถามคำถามนี้ที่นี่เนื่องจากความหลากหลายของแอปพลิเคชันที่สมาชิกทำงานด้วย - ฉันคาดหวังว่าจะมีใครบางคนมีคำแนะนำในทันทีซึ่งจะพาฉันไปนานกว่านี้ในการระบุตัวตน การผลักไปในทิศทางที่ถูกต้องจะได้รับการชื่นชมอย่างมาก คำถามที่เกี่ยวข้อง: ฉันจะวิเคราะห์ข้อมูลเกี่ยวกับช่วงเวลาการเกิดของผู้หญิงได้อย่างไร

10 timelines 

นี่คือข้อความที่ตัดตอนมาจาก "สถิติทางคณิตศาสตร์ที่ทันสมัยพร้อมแอปพลิเคชัน" โดย Devore et al อะไรปริศนาฉันก็คือประมาณไม่สามารถช่วยขึ้นอยู่กับตั้งแต่ตัวอย่างขึ้นอยู่กับพารามิเตอร์θθ\theta

10 estimation 

ฉันมีคำถามพื้นฐานมากเกี่ยวกับการทำคลัสเตอร์ หลังจากที่ฉันพบกลุ่ม k กับเซนทรอยด์ของพวกเขาฉันจะตีความคลาสของจุดข้อมูลที่ฉันได้ทำคลัสเตอร์ได้อย่างไร (การกำหนดเลเบลคลาสที่มีความหมายให้กับแต่ละคลัสเตอร์) ฉันไม่ได้พูดถึงการตรวจสอบความถูกต้องของกลุ่มที่พบ สามารถใช้ชุดจุดข้อมูลขนาดเล็กที่มีป้ายกำกับหรือไม่คำนวณกลุ่มจุดที่มีป้ายกำกับเหล่านี้ว่าเป็นของใดและขึ้นอยู่กับประเภทและจำนวนจุดที่แต่ละกลุ่มได้รับตัดสินใจเลือกป้ายกำกับหรือไม่ ดูเหมือนจะค่อนข้างชัดเจน แต่ฉันไม่รู้ว่ามาตรฐานกำหนดป้ายกำกับให้กับกลุ่มด้วยวิธีนี้อย่างไร เพื่อความชัดเจนฉันต้องการทำการจัดกลุ่มที่ไม่มีผู้ดูแลซึ่งไม่ได้ใช้ป้ายกำกับเพื่อค้นหากลุ่มของฉันก่อน จากนั้นเมื่อพบกลุ่มฉันต้องการกำหนดป้ายชื่อคลาสที่มีความหมายให้กับกลุ่มโดยยึดตามคุณสมบัติของดาต้าพอยน์ตัวอย่างสองสามตัวอย่าง

10 k-means 

สำหรับปัญหาการถดถอยแบบลอจิสติกแบบเบย์ฉันได้สร้างการแจกแจงการคาดการณ์หลัง ฉันสุ่มตัวอย่างจากการแจกแจงแบบคาดการณ์และได้รับตัวอย่างจำนวนมาก (0,1) สำหรับการสังเกตแต่ละครั้งที่ฉันมี การแสดงให้เห็นถึงความดีงามของพอดีนั้นน้อยกว่าที่น่าสนใจตัวอย่างเช่น พล็อตนี้แสดงตัวอย่าง 10,000 ตัวอย่าง + จุดข้อมูลที่สังเกตได้ (วิธีทางซ้ายสามารถสร้างเส้นสีแดงได้: ใช่แล้วนั่นคือการสังเกต) ปัญหาคือว่าพล็อตนี้ไม่ค่อยให้ข้อมูลและฉันจะมี 23 อันหนึ่งอันสำหรับแต่ละจุดข้อมูล มีวิธีที่ดีกว่าในการมองเห็นจุดข้อมูล 23 จุดพร้อมตัวอย่างหลังหรือไม่ ความพยายามอื่น: ความพยายามอื่นขึ้นอยู่กับกระดาษที่นี่

10 bayesian  data-visualization  classification  goodness-of-fit  binary-data 

ฉันสงสัยว่าใครบางคนสามารถให้ข้อมูลเชิงลึกว่าทำไมการใส่ข้อมูลที่ขาดหายไปนั้นดีกว่าการสร้างแบบจำลองที่แตกต่างกันสำหรับกรณีที่ไม่มีข้อมูล โดยเฉพาะอย่างยิ่งในกรณีของแบบจำลองเชิงเส้น [แบบทั่วไป] (ฉันอาจเห็นในกรณีที่ไม่ใช่แบบเส้นตรงสิ่งต่าง ๆ ) สมมติว่าเรามีโมเดลเชิงเส้นพื้นฐาน: Y=β1X1+β2X2+β3X3+ϵY=β1X1+β2X2+β3X3+ϵ Y = \beta_1 X_1 + \beta_2 X_2 + \beta_3 X_3 + \epsilon แต่ชุดข้อมูลของเรามีบันทึกบางส่วนที่ไม่มีในชุดข้อมูลที่ทำนายรูปแบบจะถูกนำมาใช้มีก็จะเป็นกรณีของการขาดหายไปX_3ดูเหมือนจะมีสองวิธีในการดำเนินการ:X3X3X_3X3X3X_3 หลายรุ่น เราสามารถแบ่งข้อมูลออกเป็นและไม่ใช่เคสและสร้างโมเดลแยกต่างหากสำหรับแต่ละกรณี หากเราสมมติว่านั้นมีความสัมพันธ์ใกล้ชิดกับโมเดลข้อมูลที่หายไปอาจมีน้ำหนักเกินเพื่อให้ได้คำทำนายที่ดีที่สุดสองตัวทำนาย นอกจากนี้หากกรณีข้อมูลที่ขาดหายไปนั้นแตกต่างกันเล็กน้อย (เนื่องจากกลไกข้อมูลหายไป) ก็สามารถรวมความแตกต่างนั้นได้ ที่ด้านล่างทั้งสองรุ่นมีการปรับให้เหมาะสมกับข้อมูลเพียงบางส่วนเท่านั้นและไม่ได้ "ช่วยเหลือ" ซึ่งกันและกันดังนั้นชุดข้อมูลอาจไม่ดีกับชุดข้อมูลที่มี จำกัดX3X3X_3X3X3X_3X3X3X_3X2X2X_2X2X2X_2 การใส่ร้าย การถดถอยการใส่หลายครั้งก่อนจะเติมในโดยการสร้างแบบจำลองตามและแล้วสุ่มตัวอย่างแบบสุ่มเพื่อรักษาสัญญาณรบกวนในข้อมูลที่ใส่เข้าไป เนื่องจากนี่เป็นสองรุ่นอีกต่อไปสิ่งนี้จะไม่จบลงด้วยวิธีเดียวกับวิธีการหลายแบบข้างต้นหรือไม่ หากสามารถทำได้ดีกว่า - กำไรมาจากไหน เป็นความเหมาะสมของทำกับทั้งชุดหรือไม่X3X3X_3X1X1X_1X2X2X_2X1X1X_1 แก้ไข: ในขณะที่คำตอบของ Steffan อธิบายไว้ว่าการปรับแบบจำลองของกรณีที่สมบูรณ์บนข้อมูลที่มีการใส่ข้อมูลจะมีประสิทธิภาพสูงกว่าข้อมูลที่สมบูรณ์และดูเหมือนว่าการย้อนกลับเป็นความจริง แต่ก็ยังมีความเข้าใจผิดเกี่ยวกับการพยากรณ์ข้อมูลที่หายไป ถ้าฉันมีโมเดลด้านบนติดตั้งได้อย่างสมบูรณ์แบบโดยทั่วไปจะเป็นตัวแบบพยากรณ์ที่แย่มากถ้าฉันใส่ศูนย์ลงไปเมื่อทำนาย ลองนึกภาพเช่นว่าแล้วจะไม่ได้ผลอย่างสมบูรณ์ ( ) เมื่อเป็นปัจจุบัน แต่ก็ยังจะเป็นประโยชน์ในกรณีที่ไม่มีของX_3X2=X3+ηX2=X3+ηX_2 = …

10 regression  missing-data  data-imputation 

วิธีหนึ่งในการค้นหาความแม่นยำของโมเดลการถดถอยโลจิสติกโดยใช้ 'glm' คือการค้นหาพล็อต AUC จะตรวจสอบสิ่งเดียวกันสำหรับแบบจำลองการถดถอยที่พบกับตัวแปรตอบสนองต่อเนื่อง (family = 'gaussian') ได้อย่างไร? วิธีใดที่ใช้ในการตรวจสอบว่ารูปแบบการถดถอยของฉันเหมาะสมกับข้อมูลอย่างไร

10 r  regression  generalized-linear-model 

ฉันมีพื้นหลังในการเขียนโปรแกรมคอมพิวเตอร์และทฤษฎีจำนวนเบื้องต้น แต่ไม่มีการฝึกอบรมทางสถิติที่แท้จริงและเมื่อเร็ว ๆ นี้ "ค้นพบ" ว่าโลกมหัศจรรย์ของเทคนิคทั้งหมดเป็นจริงโลกทางสถิติ ดูเหมือนว่าความจริงของเมทริกซ์, การสร้างเมทริกซ์, เมตริกซ์มิติสูง, งานแต่งงาน, การประมาณความหนาแน่น, การอนุมานแบบเบย์, พาร์ติชั่นมาร์คอฟ, การคำนวณ eigenvector, PageRank เป็นเทคนิคทางสถิติอย่างมากและอัลกอริทึม . เป้าหมายของฉันคือการสามารถอ่านเอกสารที่พูดถึงสิ่งต่าง ๆ และนำไปใช้หรือสร้างอัลกอริทึมในขณะที่เข้าใจสัญลักษณ์ "การพิสูจน์" และการใช้ข้อโต้แย้งทางสถิติ ฉันเดาว่าสิ่งที่ยากที่สุดคือทำตามบทพิสูจน์ทั้งหมดที่เกี่ยวข้องกับเมทริกซ์ เอกสารพื้นฐานอะไรที่ทำให้ฉันเริ่มต้นได้ หรือตำราเรียนที่ดีกับแบบฝึกหัดที่ควรค่าแก่การทำงาน โดยเฉพาะเอกสารบางอย่างที่ฉันอยากจะเข้าใจอย่างสมบูรณ์คือ: แน่นอนเมทริกซ์เสร็จสมบูรณ์ผ่านการเพิ่มประสิทธิภาพนูน, Candes, Recht, 2008 การแปลง Cauchy อย่างรวดเร็วและการถดถอยเชิงเส้นที่รวดเร็วกว่า, Clarkson และคณะ, 2013 เครื่องฉายภาพแบบสุ่มสำหรับรองรับ Vector Machines, Paul et al, 2013 การประมาณความน่าจะเป็นมิติสูงด้วยโมเดลความหนาแน่นลึก, Rippel, Adams, 2013 การรับการประมาณค่าข้อผิดพลาดที่ลดลงและขอบเขตของข้อผิดพลาดในการเข้าใช้งานสากลสำหรับการสร้างเมทริกซ์ระดับต่ำให้เสร็จสมบูรณ์, Király, …

10 machine-learning  estimation 

ให้เป็นการสังเกตจากการแจกแจงความน่าจะเป็นที่ไม่รู้จัก (แต่ไม่สมมาตรอย่างแน่นอน){ x1, … , xยังไม่มีข้อความ}{x1,...,xยังไม่มีข้อความ}\{x_1,\ldots,x_N\} ฉันต้องการค้นหาการกระจายความน่าจะเป็นโดยใช้วิธีของ KDE: อย่างไรก็ตามฉันพยายามใช้เคอร์เนล Gaussian แต่มันทำงานได้ไม่ดีเนื่องจากมันสมมาตร ดังนั้นฉันได้เห็นว่างานบางอย่างเกี่ยวกับเมล็ด Gamma และ Beta ได้รับการเผยแพร่แม้ว่าฉันจะไม่เข้าใจวิธีการใช้งานกับพวกเขาฉ^( x ) = 1ยังไม่มีข้อความชั่วโมงΣผม = 1ยังไม่มีข้อความK( x - xผมชั่วโมง)ฉ^(x)=1ยังไม่มีข้อความชั่วโมงΣผม=1ยังไม่มีข้อความK(x-xผมชั่วโมง) \hat{f}(x) = \frac{1}{Nh}\sum_{i=1}^{N} K\bigl(\frac{x-x_i}{h}\bigr) คำถามของฉันคือ: วิธีจัดการกับกรณีอสมมาตรนี้โดยสมมติว่าการสนับสนุนการแจกแจงพื้นฐานไม่อยู่ในช่วง ?[ 0 , 1 ][0,1][0,1]

10 probability  distributions  pdf  kernel-smoothing 

ได้รับเหรียญที่มีอคติที่ไม่รู้จักว่าฉันสามารถสร้าง variates - อย่างมีประสิทธิภาพเป็นไปได้ - ที่ Bernoulli กระจายกับความน่าจะเป็น 0.5? นั่นคือใช้จำนวนขั้นต่ำของการพลิกต่อการเปลี่ยนแปลงที่สร้างขึ้นppp

10 random-generation