สถิติและข้อมูลขนาดใหญ่

ฉันหวังว่านี่ไม่ใช่คำถามงี่เง่า สมมติว่าฉันมีการกระจายอย่างต่อเนื่องโดยพลการ ฉันมีสถิติด้วยและฉันต้องการใช้การแจกแจงแบบสุ่มนี้เพื่อรับค่า p สำหรับสถิตินี้ ฉันรู้ว่าใน R มันง่ายที่จะทำสิ่งนี้ตราบใดที่การกระจายของคุณเหมาะกับหนึ่งในตัวเช่นถ้าเป็นเรื่องปกติ แต่มีวิธีง่ายๆในการทำเช่นนี้กับการแจกแจงแบบใดก็ตามโดยไม่ต้องตั้งสมมติฐานอย่างนั้นหรือ

14 r  distributions  p-value 

ฉันต้องการเรียนรู้เพิ่มเติมเล็กน้อยเกี่ยวกับการสร้างภาพข้อมูลแบบอินเทอร์แอคทีฟ (การซูมการชี้การแปรงการทำแผนที่จุดเป็นต้น) ฉันยินดีต้อนรับทุกคน: บทช่วยสอน / คู่มือ / หนังสือ (?) / วิดีโอเกี่ยวกับวิธีการใช้วิธีดังกล่าวสำหรับการสำรวจทางสถิติ ตัวชี้สำหรับแพ็กเกจ data-viz แบบโต้ตอบที่ดี / น่าสนใจ(ใน R และภายนอก) เพียงแค่การเริ่มต้นกลิ้งบอล, ฉันรู้ว่าใน R มีหลายวิธีที่จะได้รับการสร้างภาพแบบโต้ตอบเช่นrggobiใหม่แพคเกจ googleViz Rที่แพคเกจนิเมชั่นและบางคนอื่น ๆ แต่ถ้ามีแพ็กเกจอื่น ๆ ที่ควรค่าแก่การสำรวจ (เสนอสิ่งที่ R ไม่ได้) ฉันยินดีที่จะรู้เกี่ยวกับพวกเขา (เช่น jmp, mathlab, spss, sas, excel, และอื่น ๆ ) PS: นี่เป็นคำถามแรกที่ใช้แท็ก "การสร้างภาพเชิงโต้ตอบ"

14 data-visualization  interactive-visualization 

โดยทั่วไปแล้วการทดสอบการตรวจจับสัญญาณจะนำเสนอผู้สังเกตการณ์ (หรือระบบการวินิจฉัย) ด้วยสัญญาณหรือไม่ใช่สัญญาณและผู้สังเกตการณ์จะถูกขอให้รายงานว่าพวกเขาคิดว่ารายการที่นำเสนอนั้นเป็นสัญญาณหรือไม่ใช่สัญญาณ การทดลองดังกล่าวให้ผลข้อมูลที่เติมเมทริกซ์ 2x2: ทฤษฎีการตรวจจับสัญญาณหมายถึงข้อมูลดังกล่าวที่แสดงถึงสถานการณ์ที่การตัดสินใจ "สัญญาณ / ไม่ใช่สัญญาณ" ขึ้นอยู่กับความต่อเนื่องของสัญญาณ - สัญญาณซึ่งการทดลองสัญญาณโดยทั่วไปมีค่าสูงกว่าการทดลองที่ไม่ใช่สัญญาณและผู้สังเกตการณ์เพียงอย่างเดียว เลือกค่าเกณฑ์ด้านบนซึ่งพวกเขาจะรายงาน "สัญญาณ": ในแผนภาพด้านบนการแจกแจงสีเขียวและสีแดงหมายถึงการแจกแจง "สัญญาณ" และ "ไม่ใช่สัญญาณ" ตามลำดับและเส้นสีเทาแสดงถึงเกณฑ์ที่เลือกโดยผู้สังเกตการณ์ที่กำหนด ทางด้านขวาของเส้นสีเทาพื้นที่ใต้เส้นโค้งสีเขียวหมายถึงจำนวนที่พบและพื้นที่ใต้เส้นโค้งสีแดงแสดงถึงสัญญาณเตือนที่ผิด ทางด้านซ้ายของเส้นสีเทาพื้นที่ใต้เส้นโค้งสีเขียวจะชดเชยการพลาดและพื้นที่ใต้เส้นโค้งสีแดงแสดงถึงการปฏิเสธที่ถูกต้อง ตามที่คาดการณ์ไว้ตามโมเดลนี้สัดส่วนของการตอบสนองที่ตกอยู่ในแต่ละเซลล์ของตาราง 2x2 ด้านบนนั้นพิจารณาจาก: สัดส่วนสัมพัทธ์ของการทดลองสุ่มตัวอย่างจากการแจกแจงสีเขียวและสีแดง (อัตราฐาน) เกณฑ์ที่ผู้สังเกตการณ์เลือกไว้ การแยกระหว่างการแจกแจง ความแปรปรวนของการแจกแจงแต่ละครั้ง การออกจากความเสมอภาคของความแปรปรวนระหว่างการแจกแจงใด ๆ รูปร่างของการแจกแจงแต่ละแบบ (ทั้งคู่เป็นแบบเกาส์เหนือ) บ่อยครั้งที่การประเมินอิทธิพลของ # 5 และ # 6 สามารถประเมินได้โดยการให้ผู้สังเกตการณ์ทำการตัดสินใจในระดับเกณฑ์ที่แตกต่างกันจำนวนหนึ่งดังนั้นเราจะไม่สนใจสิ่งนั้นในตอนนี้ นอกจากนี้ # 3 และ # 4 เท่านั้นที่สมเหตุสมผลเมื่อเทียบกับอีกคนหนึ่ง (เช่นขนาดของการแยกที่สัมพันธ์กับความแปรปรวนของการแจกแจงเป็นเท่าใด) สรุปโดยการวัด "discriminability" …

14 diagnostic  signal-detection 

ในบทความล่าสุดฉันติดตั้งโมเดลเอฟเฟกต์คงที่สามทาง เนื่องจากหนึ่งในปัจจัยไม่สำคัญ (p> 0.1) ฉันจึงลบออกและประกอบโมเดลที่มีเอฟเฟกต์คงที่สองรายการและการโต้ตอบ ฉันเพิ่งมีความคิดเห็นกลับไปอ้าง: เวลานั้นไม่ได้เป็นปัจจัยสำคัญในการวิเคราะห์ความแปรปรวน 3 ทางของตัวเองไม่ได้เป็นเกณฑ์ที่เพียงพอสำหรับการรวมปัจจัยเวลา: ข้อความมาตรฐานในเรื่องนี้ Underwood 1997 ระบุว่าค่า p สำหรับค่าที่ไม่มีนัยสำคัญจะต้องเป็น มากกว่า 0.25 ก่อนระดับการรักษาของปัจจัยสามารถรวมกลุ่มกันได้ ผู้เขียนควรให้ค่า p ที่เกี่ยวข้องที่นี่และปรับการรวมกำไรของพวกเขาด้วยการอ้างอิงถึง Underwood 1997 คำถามของฉันคือ: ฉันไม่เคยได้ยินเกี่ยวกับกฎ 0.25 มีใครอีกบ้างไหม? ฉันสามารถเข้าใจได้ว่าไม่ได้ลบปัจจัยหากค่า p ใกล้เคียงกับการตัดออก แต่การมี "กฎ" ดูเหมือนจะสุดขั้ว ผู้ตัดสินรายนี้ระบุว่าUnderwood 1997เป็นข้อความมาตรฐาน มันจริงเหรอ? ฉันไม่เคยได้ยินเรื่องนี้เลย อะไรคือข้อความมาตรฐาน (สิ่งนั้นมีอยู่จริง)? น่าเสียดายที่ฉันไม่สามารถเข้าถึง Underwood นี้ได้ในปี 1997 คำแนะนำใด ๆ เมื่อตอบสนองต่อผู้ตัดสิน ความเป็นมา: บทความนี้ถูกส่งไปยังวารสารที่ไม่ใช่สถิติ เมื่อติดตั้งโมเดลสามทางฉันจะตรวจสอบเอฟเฟกต์การโต้ตอบ

14 anova  fixed-effects-model 

สมมติว่าฉันต้องการสร้างตัวจําแนกไบนารี ฉันมีคุณสมบัติหลายพันและตัวอย่างเพียงไม่กี่ 10s จากความรู้โดเมนผมมีเหตุผลที่ดีที่จะเชื่อว่าฉลากชั้นเรียนสามารถคาดการณ์ได้อย่างถูกต้องโดยใช้เพียงไม่กี่อย่าง แต่ผมไม่มีความคิดที่คน ฉันต้องการให้กฎการตัดสินใจขั้นสุดท้ายง่ายต่อการตีความ / อธิบายเพิ่มเติมโดยจำเป็นต้องมีคุณสมบัติจำนวนเล็กน้อย ชุดย่อยบางส่วนของคุณสมบัติของฉันมีความสัมพันธ์กันสูงดังนั้นการเลือกตัวเลือกทำนายที่น้อยที่สุดจะไม่ทำงาน ฉันยังต้องการที่จะสามารถทำการทดสอบสมมติฐานที่มีความหมายเกี่ยวกับคุณสมบัติของฉัน ขั้นตอนการถดถอยแบบขั้นตอนต่อไปนี้สมเหตุสมผลภายใต้เงื่อนไขเหล่านี้: เมื่อพิจารณาคุณลักษณะที่มีอยู่แล้วในโมเดล (หรือเพียงแค่การสกัดกั้นในการวนซ้ำครั้งแรก) ให้เลือกคุณลักษณะที่สร้างอัตราส่วนความน่าจะเป็นบันทึกที่ใหญ่ที่สุดเมื่อเพิ่มเข้ากับโมเดล ใช้อัตราส่วนการทดสอบไคสแควร์ในการคำนวณค่า P-value เล็กน้อยสำหรับการทดสอบสมมติฐานแต่ละครั้งที่ดำเนินการในการเลือกนี้ ค่า null ที่นี่คือการเพิ่มตัวแปรพิเศษเข้ากับโมเดลไม่มีความสามารถในการทำนายเพิ่มเติม ทางเลือกคือเพิ่มความสามารถในการทำนาย ปฏิบัติต่อสมมติฐานที่ทดสอบในขั้นตอนที่ 1 ของการวนซ้ำในแต่ละครอบครัวและคำนวณอัตราการค้นพบที่ผิดพลาดสำหรับค่า P-value ที่น้อยที่สุด (สำหรับสถานที่ที่เลือก) โดยใช้บางอย่างเช่น ไปที่ 1 เว้นแต่ว่าจะมีคุณสมบัติตรงตามเกณฑ์การหยุดบางอย่าง รายงานอัตราการค้นพบที่ผิดพลาดสำหรับฟีเจอร์แต่ละรายการ แต่ไม่ใช่ค่า P-value สำหรับโมเดลโดยรวม (เนื่องจากจะมีการขยายตัวอย่างมาก) การทดสอบค่า P ที่ถูกต้องแต่ละการทดสอบหลายรายการเหล่านี้แสดงถึงนัยสำคัญทางสถิติของคุณลักษณะนั้นซึ่งได้รับคุณสมบัติทั้งหมดที่เพิ่มไว้ก่อนหน้านี้ในโมเดล การทำสิ่งนี้ภายใต้สถานการณ์เหล่านี้ประสบความสำเร็จในการหลีกเลี่ยงการวิพากษ์วิจารณ์ทั่วไปของการถดถอยแบบขั้นตอนทั้งหมดหรือไม่? คำนวณอัตราการค้นพบที่ผิดด้วยวิธีนี้สมเหตุสมผลหรือไม่?

14 regression  logistic  multiple-comparisons  stepwise-regression 

ใน R drop1คำสั่งจะให้ผลลัพธ์ที่เรียบร้อย คำสั่งทั้งสองนี้ควรให้ผลลัพธ์บางอย่างแก่คุณ: example(step)#-> swiss drop1(lm1, test="F") ฉันมีลักษณะเช่นนี้: > drop1(lm1, test="F") Single term deletions Model: Fertility ~ Agriculture + Examination + Education + Catholic + Infant.Mortality Df Sum of Sq RSS AIC F value Pr(F) <none> 2105.0 190.69 Agriculture 1 307.72 2412.8 195.10 5.9934 0.018727 * Examination 1 53.03 …

14 r  regression  self-study  stepwise-regression 

ไม่มีใครรู้รหัสบางเขียนดี (ใน Matlab หรือ R) สำหรับกระโดด MCMC ย้อนกลับได้? เป็นแอพพลิเคชั่นตัวอย่างที่ใช้ง่ายเพื่อชมเชยเอกสารในหัวข้อที่จะเป็นประโยชน์ในการทำความเข้าใจกระบวนการ

14 r  matlab  references  mcmc 

บริบทของคำถามนี้อยู่ในกรอบของสุขภาพคือดูที่การรักษาหนึ่งหรือหลายวิธีในการรักษาสภาพ ปรากฏว่าแม้นักวิจัยที่น่านับถือก็ยังสับสนในเรื่องประสิทธิภาพและประสิทธิผลของการใช้คำศัพท์ เราจะนึกถึงประสิทธิภาพและประสิทธิผลในวิธีที่ช่วยขจัดความสับสนได้อย่างไร การออกแบบการศึกษาแบบใดที่เหมาะสมที่สุดในการพิจารณาผลลัพธ์ทั้งสองประเภท มีวารสารสิ่งพิมพ์หนังสือหรือพจนานุกรมทางเว็บใด ๆ ที่อาจช่วยฉันได้หรือไม่

14 epidemiology  causality  clinical-trials  definition  instrumental-variables 

ผลลัพธ์เชิงสถิติส่วนใหญ่พิสูจน์ว่าn→∞n→∞n \rightarrow \inftyตัวประมาณ (เช่น MLE) มาบรรจบกับการแจกแจงแบบปกติตามการขยายตัวของเทย์เลอร์อันดับสองของฟังก์ชันความน่าจะเป็น ฉันเชื่อว่ามีผลคล้ายกันในวรรณกรรม Bayesian, "ทฤษฎีบท Bayesian Central Limit" ซึ่งแสดงให้เห็นว่าด้านหลังบรรจบกันแบบอะซิมทีโทรติกกลับมาเป็นปกติเหมือนn→∞n→∞n \rightarrow \infty คำถามของฉันคือ - การกระจายเข้าหากันกับบางสิ่งบางอย่าง "ก่อนหน้า" จะกลายเป็นเรื่องปกติหรือไม่ขึ้นอยู่กับเทอมที่สามในซีรีส์ของ Taylor หรือเป็นไปไม่ได้ที่จะทำโดยทั่วไป?

14 mathematical-statistics  asymptotics  saddlepoint-approximation 

ฉันกำลังวิเคราะห์เครือข่ายสังคมออนไลน์ (ไม่ใช่เสมือน) และฉันกำลังสังเกตการเชื่อมต่อระหว่างผู้คน หากบุคคลนั้นเลือกบุคคลอื่นเพื่อเชื่อมต่อแบบสุ่มจำนวนการเชื่อมต่อภายในกลุ่มบุคคลจะกระจายตามปกติอย่างน้อยตามหนังสือที่ฉันกำลังอ่าน เราจะรู้ได้อย่างไรว่าการแจกแจงเป็นแบบเกาส์ (ปกติ) มีการแจกแจงอื่น ๆ เช่น Poisson, Rice, Rayliegh เป็นต้นปัญหาของการแจกแจงแบบเกาส์ในทางทฤษฎีคือค่าจากถึง+ ∞ (แม้ว่าความน่าจะเป็นเป็นศูนย์) และจำนวนการเชื่อมต่อไม่สามารถลบได้−∞−∞-\infty+∞+∞+\infty ไม่มีใครรู้ว่าการกระจายใดที่สามารถคาดหวังในกรณีที่แต่ละคนเป็นอิสระ (สุ่ม) หยิบคนอื่นเพื่อเชื่อมต่อกับ?

14 distributions  networks  central-limit-theorem 

ฉันมีอนุกรมเวลาสองตัว S และ T พวกเขามีความถี่เท่ากันและมีความยาวเท่ากัน ฉันต้องการคำนวณ (ใช้ R) ความสัมพันธ์ระหว่างคู่นี้ (เช่น S และ T) และสามารถคำนวณความสำคัญของสหสัมพันธ์ได้ด้วยดังนั้นฉันสามารถระบุได้ว่าความสัมพันธ์นั้นเกิดจากโอกาสหรือไม่ ฉันต้องการทำสิ่งนี้ใน R และกำลังมองหาพอยน์เตอร์ / โครงกระดูกโครงร่างเพื่อเริ่มต้นให้ฉัน

14 r  time-series  correlation 

ฉันเริ่มทำ Monte Carlo ใน R เป็นงานอดิเรก แต่ในที่สุดนักวิเคราะห์ทางการเงินก็แนะนำให้ย้ายไปที่ Matlab ฉันเป็นนักพัฒนาซอฟต์แวร์ที่มีประสบการณ์ แต่ผู้เริ่มต้น Monte Carlo ฉันต้องการสร้างแบบจำลองสแตติกด้วยการวิเคราะห์ความไวและโมเดลไดนามิกในภายหลัง ต้องการไลบรารี่ / อัลกอริทึมที่ดี สำหรับฉันดูเหมือนว่า R มีห้องสมุดที่ยอดเยี่ยมและฉันคิดว่า mathlab เป็นที่ต้องการของโปรแกรมเมอร์ที่ไม่มีประสบการณ์เนื่องจากภาษาปาสคาลที่ง่าย ภาษา R ขึ้นอยู่กับแบบแผนและมันยากสำหรับผู้เริ่มต้น แต่ไม่ใช่สำหรับฉัน ถ้า Matlab / Octave ไม่มีข้อได้เปรียบในด้านตัวเลข / ห้องสมุดฉันจะใช้ R

14 r  matlab  monte-carlo 

หลังจากอ่านหนึ่งใน "เคล็ดลับการวิจัย"ของ RJ Hyndman เกี่ยวกับการตรวจสอบความถูกต้องและช่วงเวลาฉันกลับมาที่คำถามเก่า ๆ ของฉันที่ฉันจะพยายามกำหนดที่นี่ แนวคิดก็คือในการจำแนกปัญหาหรือการถดถอยการเรียงลำดับข้อมูลไม่สำคัญและด้วยเหตุนี้kสามารถใช้การตรวจสอบความถูกต้องข้าม -fold ได้ ในทางกลับกันในอนุกรมเวลาการเรียงลำดับข้อมูลมีความสำคัญอย่างยิ่ง แต่เมื่อใช้เครื่องการเรียนรู้รูปแบบให้กับชุดเวลาคาดการณ์กลยุทธ์ร่วมกันคือการก่อร่างใหม่ชุดเป็นชุดของ "พาหะนำเข้าส่งออก" ซึ่งเป็นเวลาทีมีรูปแบบ( Y T - n + 1 , . . . , Y T - 1 , Y เสื้อ ; Y T + 1 ){ y1, . . . , yT}{Y1,...,YT}\{y_1, ..., y_T\}เสื้อเสื้อt( yt - n + …

14 time-series  machine-learning  cross-validation 

ฉันกำลังสร้างแอปพลิเคชัน Android ที่บันทึกข้อมูลมาตรวัดความเร็วในระหว่างการนอนหลับเพื่อวิเคราะห์แนวโน้มการนอนหลับและเลือกให้ผู้ใช้ใกล้เวลาที่ต้องการระหว่างการนอนหลับเบา ฉันได้สร้างส่วนประกอบที่รวบรวมและจัดเก็บข้อมูลรวมถึงการเตือนแล้ว ฉันยังต้องจัดการกับสัตว์ร้ายในการแสดงและบันทึกข้อมูลการนอนหลับอย่างมีความหมายและชัดเจนซึ่งเป็นสิ่งที่ควรนำมาใช้ในการวิเคราะห์ด้วย รูปภาพสองสามภาพบอกสองพันคำ: (ฉันสามารถโพสต์ได้เพียงลิงค์เดียวเนื่องจากเป็นตัวแทนต่ำ) นี่คือข้อมูลที่ไม่มีการกรองผลรวมของการเคลื่อนไหวที่รวบรวมในช่วงเวลา 30 วินาที และข้อมูลเดียวกันเรียบเนียนด้วยการแสดงของฉันเองในการเคลื่อนย้ายเฉลี่ยเรียบ แก้ไข) แผนภูมิทั้งสองแสดงถึงการปรับเทียบ - มีตัวกรอง 'สัญญาณรบกวน' ขั้นต่ำและตัวกรองตัดสูงสุดรวมถึงระดับสัญญาณเรียกเตือน (เส้นสีขาว) น่าเสียดายที่สิ่งเหล่านี้ไม่ได้เป็นคำตอบที่ดีที่สุด - ข้อแรกยากที่จะเข้าใจสำหรับผู้ใช้โดยเฉลี่ยและข้อที่สองซึ่งง่ายต่อการเข้าใจซ่อนสิ่งที่เกิดขึ้นมากมาย โดยเฉพาะอย่างยิ่งค่าเฉลี่ยลบรายละเอียดของแหลมในการเคลื่อนไหว - และฉันคิดว่าสิ่งเหล่านั้นมีความหมาย เหตุใดแผนภูมิเหล่านี้ถึงสำคัญมาก ชุดเวลาเหล่านี้จะปรากฏตลอดทั้งคืนเป็นข้อเสนอแนะให้กับผู้ใช้และจะถูกเก็บไว้สำหรับการตรวจสอบ / วิเคราะห์ในภายหลัง การปรับให้เรียบจะช่วยลดค่าใช้จ่ายในหน่วยความจำ (ทั้ง RAM และที่เก็บข้อมูล) และทำให้การแสดงผลเร็วขึ้นสำหรับโทรศัพท์ / อุปกรณ์ที่ขาดแคลนทรัพยากรเหล่านี้ เห็นได้ชัดว่ามีวิธีที่ดีกว่าในการทำให้ข้อมูลราบรื่นขึ้น - ฉันมีความคิดที่คลุมเครือเช่นการใช้การถดถอยเชิงเส้นเพื่อหาการเปลี่ยนแปลง 'คมชัด' ในการเคลื่อนไหว ฉันต้องการคำแนะนำและข้อมูลเพิ่มเติมก่อนที่จะดำดิ่งลงไปในสิ่งที่สามารถแก้ไขได้อย่างเหมาะสมที่สุด ขอบคุณ!

14 time-series  smoothing  signal-processing  java 

การบวกการลบการคูณและการหารของตัวแปรสุ่มปกติมีความหมายที่ดี แต่การดำเนินการเกี่ยวกับวิชาตรีโกณมิติ? ยกตัวอย่างเช่นสมมติว่าฉันพยายามหามุมของสามเหลี่ยมลิ่ม (จำลองเป็นสามเหลี่ยมมุมฉาก) โดยมีสอง catheti ที่มีมิติd1d1d_1และd2d2d_2ทั้งคู่อธิบายว่าเป็นการแจกแจงแบบปกติ ทั้งสัญชาตญาณและการจำลองบอกว่าการกระจายที่เกิดเป็นเรื่องปกติที่มีค่าเฉลี่ยขวา) แต่มีวิธีคำนวณการกระจายตัวของมุมที่เกิดขึ้นหรือไม่? การอ้างอิงเกี่ยวกับที่ฉันจะหาคำตอบ?arctan(mean(d1)mean(d2))arctan⁡(mean(d1)mean(d2))\arctan\left(\frac{\text{mean}(d_1)}{\text{mean}(d_2)}\right) (สำหรับบริบทฉันกำลังทำงานกับความอดทนทางสถิติของชิ้นส่วนเครื่องจักรแรงกระตุ้นแรกของฉันคือการจำลองกระบวนการทั้งหมดเพียงแค่ตรวจสอบว่าผลลัพธ์สุดท้ายนั้นเป็นเรื่องปกติพอสมควรและคำนวณค่าเบี่ยงเบนมาตรฐาน แต่ฉันสงสัยว่า หากอาจมีวิธีวิเคราะห์เชิง neater)

14 distributions  normal-distribution  circular-statistics  saddlepoint-approximation