สถิติและข้อมูลขนาดใหญ่

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้เป็นไปตามหัวข้อสำหรับการตรวจสอบข้าม ปิดให้บริการใน2 ปีที่ผ่านมา ฉันต้องการคำนวณสรุปของตัวแปรใน data.frame สำหรับชุดค่าผสมแต่ละตัวที่ไม่ซ้ำกันของปัจจัยใน data.frame ฉันควรใช้ plyr เพื่อทำสิ่งนี้หรือไม่? ฉันตกลงกับการใช้ลูปแทนการใช้ (); ดังนั้นการหาชุดค่าผสมที่ไม่ซ้ำกันแต่ละชุดจะเพียงพอ

11 r  categorical-data  aggregation  plyr 

มิลเลอร์และแชปแมน (2001) ยืนยันว่ามันไม่เหมาะสมอย่างยิ่งที่จะควบคุมเพื่อนร่วมชาติที่ไม่เกี่ยวข้องกับตัวแปรอิสระและตัวแปรตามในการศึกษาเชิงสังเกตการณ์ มันเป็นปัญหาที่จะทำเช่นนั้น? วิธีที่ดีที่สุดในการจัดการกับปัญหานี้เป็นอย่างไร หากคุณควบคุมโควาเรียต์ที่ไม่เป็นอิสระเป็นประจำในการศึกษาเชิงสังเกตการณ์ในการวิจัยของคุณเองคุณจะพิสูจน์ได้อย่างไร? ในที่สุดนี่คือการต่อสู้ที่มีมูลค่าการหยิบยกเมื่อพิจารณาวิธีการกับเพื่อนร่วมงานคน (เช่นมันไม่สำคัญ)? ขอบคุณ มิลเลอร์, GA, และแชปแมน, JP (2001) การวิเคราะห์ความเข้าใจผิดของความแปรปรวนร่วม วารสารจิตวิทยาผิดปกติ, 110, 40-48 - http://mres.gmu.edu/pmwiki/uploads/Main/ancova.pdf

11 non-independent 

ฉันมีข้อมูลข้ามประเภทในตาราง 2 x 2 x 6 ขอเรียกมิติresponse, และA ฉันพอดีกับการถดถอยโลจิสติกข้อมูลกับรูปแบบB response ~ A * Bการวิเคราะห์ความเบี่ยงเบนของโมเดลนั้นบอกว่าทั้งคำศัพท์และปฏิสัมพันธ์ของพวกมันมีความสำคัญ อย่างไรก็ตามเมื่อดูสัดส่วนของข้อมูลดูเหมือนว่ามีเพียง 2 หรือมากกว่านั้นBเท่านั้นที่รับผิดชอบต่อผลกระทบที่สำคัญเหล่านี้ ฉันต้องการทดสอบเพื่อดูว่าระดับใดเป็นต้นเหตุ ตอนนี้แนวทางของฉันคือทำการทดสอบแบบไคสแควร์จำนวน 6 ครั้งบนตารางขนาด 2x2 ตารางresponse ~ Aแล้วจึงปรับค่า p จากการทดสอบเหล่านั้นสำหรับการเปรียบเทียบหลาย ๆ แบบ (โดยใช้การปรับแบบโฮล์ม) คำถามของฉันคือว่ามีวิธีการที่ดีกว่าในการแก้ไขปัญหานี้หรือไม่ มีวิธีการสร้างแบบจำลองหลักการมากขึ้นหรือวิธีการเปรียบเทียบการทดสอบแบบไคสแควร์หลายวิธีหรือไม่

11 categorical-data  logistic  multiple-comparisons  chi-squared 

ในการสนทนาโดยเฉลี่ย (ค่ามัธยฐาน) เกี่ยวกับสถิติคุณมักจะพบว่าตัวเองพูดถึงเรื่องนี้หรือวิธีการวิเคราะห์ข้อมูลนี้หรือข้อมูลประเภทนั้น จากประสบการณ์ของฉันการออกแบบการศึกษาอย่างรอบคอบด้วยความคิดพิเศษเกี่ยวกับการวิเคราะห์ทางสถิติมักจะถูกมองข้าม (การทำงานในชีววิทยา / นิเวศวิทยา นักสถิติมักพบว่าตัวเองอยู่ใน gridlock ที่มีข้อมูลที่รวบรวมได้ไม่เพียงพอ (หรือผิดพลาด) ในการถอดความโรนัลด์ฟิชเชอร์พวกเขาถูกบังคับให้ทำการโพสต์ชันสูตรข้อมูลซึ่งมักจะนำไปสู่ข้อสรุปที่อ่อนแอกว่าถ้าหากทั้งหมด ฉันต้องการทราบว่าการอ้างอิงใดที่คุณใช้เพื่อสร้างการออกแบบการศึกษาที่ประสบความสำเร็จโดยเฉพาะอย่างยิ่งสำหรับวิธีการที่หลากหลาย (เช่นt -test, GLM, GAM, เทคนิคการบวช ... ) ที่ช่วยให้คุณหลีกเลี่ยงข้อผิดพลาดดังกล่าวข้างต้น

11 experiment-design 

Joshua Epstein เขียนบทความเรื่อง "Why Model?" ดูได้ที่http://www.santafe.edu/media/workingpapers/08-09-040.pdfซึ่งมี 16 เหตุผล: อธิบาย (แตกต่างอย่างมากจากการทำนาย) คู่มือการรวบรวมข้อมูล ส่องสว่างพลศาสตร์หลัก แนะนำการเปรียบเทียบแบบไดนามิก ค้นพบคำถามใหม่ ส่งเสริมนิสัยทางวิทยาศาสตร์ของจิตใจ ผลลัพธ์ที่ถูกผูกไว้ (วงเล็บ) ไปยังช่วงที่เป็นไปได้ ส่องสว่างความไม่แน่นอนหลัก เสนอตัวเลือกของวิกฤตในเวลาใกล้เคียงจริง แสดงให้เห็นถึงการแลกเปลี่ยน / แนะนำประสิทธิภาพ ท้าทายความแข็งแกร่งของทฤษฎีที่แพร่หลายผ่านการก่อกวน เปิดเผยภูมิปัญญาที่ได้รับในขณะที่เข้ากันไม่ได้กับข้อมูลที่มี ฝึกอบรมผู้ปฏิบัติงาน ฝึกฝนบทสนทนานโยบาย ให้ความรู้แก่ประชาชนทั่วไป เปิดเผยความเรียบง่าย (ซับซ้อน) ให้ซับซ้อน (ง่าย) (เอพสไตน์อธิบายรายละเอียดเกี่ยวกับเหตุผลหลาย ๆ อย่างในเอกสารของเขา) ฉันต้องการถามชุมชน: มีเหตุผลเพิ่มเติมที่ Epstein ไม่แสดงหรือไม่ มีวิธีที่สง่างามกว่านี้ในการกำหนดแนวคิด (อาจจัดกลุ่มที่แตกต่างกัน) ด้วยเหตุผลเหล่านี้หรือไม่ เหตุผลใดของ Epstein มีข้อบกพร่องหรือไม่สมบูรณ์? เหตุผลเหล่านี้ชัดเจนขึ้นหรือไม่?

11 modeling 

ใน " เครือข่ายความเชื่อเชิงลึกของ Convolutional สำหรับการเรียนรู้ที่ไม่สามารถปรับขนาดได้ของการเป็นตัวแทนลำดับชั้น " โดย Lee et. al. ( PDF ) ข้อเสนอ DBN ของ Convolutional นอกจากนี้ยังมีการประเมินวิธีการสำหรับการจำแนกภาพ ฟังก์ชั่นนี้ดูสมเหตุสมผลเนื่องจากมีคุณสมบัติภาพในพื้นที่เป็นธรรมชาติเช่นมุมและขอบเล็ก ๆ เป็นต้น ใน " การเรียนรู้คุณลักษณะที่ไม่ได้รับการสนับสนุนสำหรับการจำแนกประเภทเสียงโดยใช้เครือข่ายความเชื่อที่ลึกซึ้ง " อัล วิธีนี้ใช้สำหรับเสียงในการจำแนกประเภทต่าง ๆ การระบุลำโพง, การระบุเพศ, การจำแนกประเภทโทรศัพท์และการจำแนกประเภทเพลง / ศิลปิน ส่วนของเครือข่ายนี้สามารถตีความได้อย่างไรสำหรับเสียงเช่นมันสามารถอธิบายได้ว่าภาพเป็นขอบ?

11 classification  unsupervised-learning  intuition  deep-belief-networks 

ขออภัยสำหรับพื้นหลัง verbose สำหรับคำถามนี้: ในการตรวจสอบพฤติกรรมสัตว์เป็นครั้งคราวผู้ทดลองมีความสนใจในระยะเวลาที่ผู้ทดลองใช้ในโซนที่กำหนดไว้ล่วงหน้าที่แตกต่างกันในเครื่องทดสอบ ฉันมักจะเห็นข้อมูลประเภทนี้วิเคราะห์โดยใช้ ANOVA; อย่างไรก็ตามฉันไม่เคยเชื่อมั่นในความถูกต้องทั้งหมดของการวิเคราะห์ดังกล่าวเนื่องจาก ANOVA ถือว่าการสังเกตเป็นอิสระและพวกเขาไม่เคยมีความเป็นอิสระในการวิเคราะห์เหล่านี้ (เนื่องจากใช้เวลามากขึ้นในโซนหนึ่งหมายความว่าใช้เวลาน้อยลงในโซนอื่น ๆ ! ) ตัวอย่างเช่น, DR Smith, CD Striplin, AM Geller, RB Mailman, J. Drago, CP Lawler, M. Gallagher, การประเมินพฤติกรรมของหนูที่ขาดตัวรับโดปามีน D1A , ประสาทวิทยาศาสตร์, เล่มที่ 86, ฉบับที่ 1, 21 พฤษภาคม 1998, หน้า 135-146 ในบทความข้างต้นพวกเขาลดองศาอิสระโดย 1 เพื่อชดเชยความไม่อิสระ อย่างไรก็ตามฉันไม่แน่ใจว่าการจัดการดังกล่าวสามารถแก้ไขการละเมิดสมมติฐานของ ANOVA ได้อย่างไร บางทีขั้นตอนไคสแควร์อาจเหมาะสมกว่าหรือไม่ คุณจะทำอย่างไรในการวิเคราะห์ข้อมูลเช่นนี้ (ค่ากำหนดสำหรับโซนตามเวลาที่ใช้ในโซน) …

11 anova 

ฉันมีโมเดลการแข่งขันสี่แบบที่ฉันใช้ในการทำนายตัวแปรผลลัพธ์แบบไบนารี (เช่นสถานะการจ้างงานหลังจบการศึกษา 1 = มีงานทำ, 0 = ไม่มีงานทำ) สำหรับอาสาสมัคร n คน ตัวชี้วัดตามธรรมชาติของประสิทธิภาพของแบบจำลองคืออัตราการเข้าชมซึ่งเป็นอัตราร้อยละของการทำนายที่ถูกต้องสำหรับแต่ละแบบจำลอง สำหรับฉันดูเหมือนว่าฉันไม่สามารถใช้ ANOVA ในการตั้งค่านี้ได้เนื่องจากข้อมูลละเมิดสมมติฐานที่ ANOVA อ้างอิง มีขั้นตอนที่เทียบเท่ากันที่ฉันสามารถใช้แทน ANOVA ในการตั้งค่าด้านบนเพื่อทดสอบสมมติฐานที่ว่าทั้งสี่รุ่นมีประสิทธิภาพเท่าเทียมกันหรือไม่

11 anova  chi-squared  generalized-linear-model 

ฉันได้มองหากรอบการทำงานเชิงทฤษฎีสำหรับการเลือกวิธีการ (หมายเหตุ: ไม่ใช่การเลือกแบบจำลอง) และได้พบงานที่เป็นระบบและมีแรงบันดาลใจทางคณิตศาสตร์น้อยมาก โดย 'การเลือกวิธี' ฉันหมายถึงกรอบการทำงานสำหรับแยกแยะวิธีที่เหมาะสม (หรือดีกว่าดีที่สุด) วิธีการที่เกี่ยวข้องกับปัญหาหรือประเภทของปัญหา สิ่งที่ฉันได้พบเป็นรูปธรรมหากชิ้นงานโดยเฉพาะอย่างยิ่งเกี่ยวกับวิธีการและการปรับแต่งของพวกเขา (คือตัวเลือกก่อนในวิธีการแบบเบย์) และเลือกวิธีการทางเลือกอคติ (เช่นนโยบายการเหนี่ยวนำการเน้นการเลือกอคติ ) ฉันอาจไม่สมจริงในช่วงแรกของการพัฒนาของการเรียนรู้ของเครื่อง แต่ฉันหวังว่าจะพบบางอย่างที่ทฤษฎีการวัดทำในการกำหนดการแปลงและการทดสอบที่ยอมรับได้ตามประเภทของสเกลเพียงเขียนขนาดใหญ่ในเวทีของปัญหาการเรียนรู้ ข้อเสนอแนะใด ๆ

11 machine-learning  methodology  theory 

การดีบักโปรแกรม MCMC นั้นเป็นเรื่องยาก ความยากลำบากเกิดขึ้นเนื่องจากหลายประเด็นซึ่งบางประเด็นคือ: (a) ธรรมชาติของอัลกอริธึม เรามักจะวาดพารามิเตอร์ตามเงื่อนไขในพารามิเตอร์อื่น ๆ ทั้งหมด ดังนั้นหากการนำไปใช้งานไม่ทำงานอย่างถูกต้องจะเป็นการยากที่จะแยกบั๊กเนื่องจากปัญหาสามารถอยู่ที่ใดก็ได้ในตัวอย่างซ้ำ (b) ไม่จำเป็นต้องรู้คำตอบที่ถูกต้อง เราไม่มีทางที่จะบอกได้ว่าเราประสบความสำเร็จในการบรรจบกันหรือไม่ ในระดับหนึ่งสิ่งนี้สามารถลดลงได้โดยการทดสอบรหัสเกี่ยวกับข้อมูลจำลอง จากประเด็นข้างต้นฉันสงสัยว่ามีเทคนิคมาตรฐานที่สามารถใช้ในการดีบักโปรแกรม MCMC หรือไม่ แก้ไข ฉันต้องการแบ่งปันวิธีการที่ฉันใช้เพื่อดีบักโปรแกรมของฉันเอง แน่นอนฉันทำทุกสิ่งที่ PeterR พูดถึง นอกเหนือจากนั้นฉันทำการทดสอบต่อไปนี้โดยใช้ข้อมูลจำลอง: เริ่มต้นพารามิเตอร์ทั้งหมดจากค่าจริงและดูว่าตัวอย่างเก็บค่าเบี่ยงเบนจากค่าจริงมากเกินไปหรือไม่ ฉันมีค่าสถานะสำหรับแต่ละพารามิเตอร์ในตัวอย่างซ้ำของฉันที่กำหนดว่าฉันกำลังวาดพารามิเตอร์นั้นในตัวอย่างซ้ำ ตัวอย่างเช่นหากตั้งค่าสถานะ 'gen_param1' เป็นจริงจากนั้นฉันวาด 'param1' จากเงื่อนไขแบบเต็มในตัวอย่างซ้ำ หากสิ่งนี้ถูกตั้งค่าเป็นเท็จ 'param1' จะถูกตั้งค่าเป็นค่าจริง เมื่อฉันเขียนตัวอย่างเสร็จฉันทดสอบโปรแกรมโดยใช้สูตรต่อไปนี้: ตั้งค่าสถานะการสร้างสำหรับหนึ่งพารามิเตอร์เป็นจริงและทุกอย่างอื่นเป็นเท็จและประเมินการบรรจบกันตามมูลค่าที่แท้จริง ตั้งธงสร้างสำหรับพารามิเตอร์อื่นร่วมกับคนแรกและประเมินการบรรจบกันอีกครั้ง ขั้นตอนข้างต้นเป็นประโยชน์กับฉันอย่างไม่น่าเชื่อ

11 mcmc 

รูปแบบมาตรฐานของตัวแปรเครื่องมือในแง่ของ causality ( ->) คือ: Z -> X -> Y โดยที่ Z เป็นเครื่องมือ, X คือตัวแปรภายนอกและการตอบสนอง Y เป็นไปได้ไหมว่ามีความสัมพันธ์ต่อไปนี้: Z <- X ->Y Z <-> X ->Y ถูกต้องหรือไม่ ในขณะที่ความสัมพันธ์ระหว่างเครื่องมือและตัวแปรเป็นที่พอใจฉันจะคิดถึงการ จำกัด การยกเว้นในกรณีเช่นนี้ได้อย่างไร หมายเหตุ: สัญลักษณ์<->ไม่ชัดเจนและอาจนำไปสู่ความเข้าใจที่แตกต่างกันของปัญหา แต่ถึงกระนั้นคำตอบก็เน้นที่ปัญหานี้และใช้เพื่อแสดงประเด็นสำคัญของปัญหา เมื่ออ่านโปรดดำเนินการด้วยความระมัดระวังเกี่ยวกับส่วนนี้ของคำถาม

11 causality  instrumental-variables  endogeneity 

ดังนั้นสิ่งที่ฉันได้อ่านเกี่ยวกับผู้เผยพระวจนะของ Facebook ก็คือมันจะแบ่งช่วงเวลาออกเป็นแนวโน้มและฤดูกาล ตัวอย่างเช่นแบบจำลองเพิ่มเติมจะถูกเขียนเป็น: Y( t ) = g( t ) + s ( t ) + h ( t ) + eเสื้อy(t)=g(t)+s(t)+h(t)+et y(t) = g(t) + s(t) + h(t) + e_t กับ เสื้อttเวลา ก.( t )g(t)g(t)แนวโน้ม (อาจเป็นเชิงเส้นหรือโลจิสติก) s ( T )s(t)s(t)ฤดูกาล (รายวันรายสัปดาห์รายปี ... ) h ( t )h(t)h(t)วันหยุด อีเสื้อete_tข้อผิดพลาด …

11 regression  machine-learning  time-series  prophet 

สมมติว่าฉันมีตัวแปรสุ่มสองตัวที่ไม่ขึ้นกับตัวเองและฉันต้องการลดความแปรปรวนร่วมระหว่างพวกเขาให้มากที่สุดเท่าที่จะเป็นไปได้โดยไม่ต้องสูญเสีย "สัญญาณ" มากเกินไปหมายความว่าการช่วยเหลือจากศูนย์กลางหรือไม่ ฉันอ่านบางที่หมายถึงการอยู่ตรงกลางลดความสัมพันธ์โดยปัจจัยสำคัญดังนั้นฉันคิดว่ามันควรทำเช่นเดียวกันเพื่อความแปรปรวนร่วม

11 correlation  covariance  random-vector 

คำถามของฉันค่อนข้างมีความหมาย เมื่อเมธอดสร้างค่า p สูงเป็นประจำจะเรียกว่าการอนุรักษ์ คุณจะเรียกสิ่งที่ตรงกันข้ามนั่นคือวิธีการที่มีอัตราการพิมพ์ผิดพลาดสูงหรือไม่?

11 hypothesis-testing  statistical-significance  p-value  terminology  type-i-and-ii-errors 

ได้รับตัวแปรสุ่มกับการกระจายความน่าจะเป็น , เมทริกซ์สหสัมพันธ์เป็นบวกกึ่งแน่นอนเช่นค่าลักษณะเฉพาะของมัน เป็นบวกหรือเป็นศูนย์nnnXiXiX_iP(X1,…,Xn)P(X1,…,Xn)P(X_1,\ldots,X_n)Cij=E[XiXj]−E[Xi]E[Xj]Cij=E[XiXj]−E[Xi]E[Xj]C_{ij}=E[X_i X_j]-E[X_i]E[X_j] ฉันสนใจในเงื่อนไขเกี่ยวกับที่จำเป็นและ / หรือเพียงพอสำหรับC ที่จะมี ค่าลักษณะเฉพาะศูนย์m ยกตัวอย่างเช่นเงื่อนไขที่เพียงพอคือการที่ตัวแปรสุ่มที่ไม่เป็นอิสระ: \ sum_i u_i x_i = 0สำหรับจำนวนจริงบางu_i ตัวอย่างเช่นถ้าP (X_1, \ ldots, X_n) = \ delta (X_1-X_2) p (X_2, \ ldots, X_n)ดังนั้น\ vec u = (1, -1,0, \ ldots, 0)คือ eigenvector ของC ที่มีค่าศูนย์ eigenvalue หากเรามีข้อ จำกัด เชิงเส้นอิสระเอ็มบนX_iของประเภทนี้มันจะแปลว่าค่าศูนย์เป็นค่าmPPPCCCmmm∑iuiXi=0∑iuiXi=0\sum_i u_i X_i=0uiuiu_iP(X1,…,Xn)=δ(X1−X2)p(X2,…,Xn)P(X1,…,Xn)=δ(X1−X2)p(X2,…,Xn)P(X_1,\ldots,X_n)=\delta(X_1-X_2)p(X_2,\ldots,X_n)u⃗ =(1,−1,0,…,0)u→=(1,−1,0,…,0)\vec u=(1,-1,0,\ldots,0)CCCmmmXiXiX_immm …

11 correlation