สถิติและข้อมูลขนาดใหญ่

ฉันสงสัยว่าใครสามารถช่วยฉันเกี่ยวกับข้อมูลเกี่ยวกับ Kurtosis (เช่นมีวิธีแปลงข้อมูลของคุณเพื่อลดหรือไม่) ฉันมีชุดข้อมูลแบบสอบถามที่มีเคสและตัวแปรจำนวนมาก สำหรับตัวแปรบางตัวของฉันข้อมูลแสดงค่า kurtosis ที่ค่อนข้างสูง (เช่นการกระจายตัวของเลปโตคูเทอริก) ซึ่งมาจากข้อเท็จจริงที่ว่าผู้เข้าร่วมจำนวนมากให้คะแนนเดียวกันกับตัวแปร ฉันมีขนาดตัวอย่างขนาดใหญ่เป็นพิเศษดังนั้นตามทฤษฎีบทขีด จำกัด กลางการฝ่าฝืนกฎเกณฑ์ก็ควรจะดี อย่างไรก็ตามปัญหาคือความจริงที่ว่าระดับสูงโดยเฉพาะอย่างยิ่งของ Kurtosis กำลังผลิตจำนวนของค่าผิดปกติที่ไม่เปลี่ยนแปลงในชุดข้อมูลของฉัน ดังนั้นแม้ว่าฉันจะแปลงข้อมูลหรือลบ / ปรับค่าผิดปกติระดับสูงของ kurtosis หมายความว่าคะแนนสูงสุดต่อไปจะกลายเป็นค่าผิดปกติโดยอัตโนมัติ ฉันมุ่งหวังที่จะใช้ (การวิเคราะห์ฟังก์ชั่นจำแนก) DFA นั้นมีความแข็งแกร่งในการออกจากภาวะปกติหากการละเมิดนั้นเกิดจากความเบ้และไม่ใช่ค่าผิดปกติ นอกจากนี้ DFA ยังได้รับการกล่าวถึงว่าได้รับอิทธิพลจากค่าผิดปกติในข้อมูล (Tabachnick & Fidel) โดยเฉพาะ มีความคิดเห็นเกี่ยวกับวิธีแก้ไขปัญหานี้อย่างไร? (ความคิดเริ่มต้นของฉันคือวิธีการควบคุม Kurtosis แต่มันไม่ได้เป็นสิ่งที่ดีถ้าตัวอย่างส่วนใหญ่ของฉันให้คะแนนคล้ายกัน?)

10 distributions  assumptions  kurtosis  discriminant-analysis  parametric 

ฉันไขลูกบาศก์รูบิคเป็นงานอดิเรก ฉันบันทึกเวลาที่ใช้ในการแก้ไขคิวบ์โดยใช้ซอฟต์แวร์บางตัวและตอนนี้ฉันมีข้อมูลจากตัวแก้นับพัน ข้อมูลนั้นเป็นรายการหมายเลขยาวที่แสดงถึงเวลาที่แต่ละการแก้ปัญหาตามลำดับใช้ (เช่น 22.11, 20.66, 21.00, 18.74, ... ) เวลาที่ฉันต้องใช้เพื่อแก้ปัญหาลูกบาศก์ตามธรรมชาติแตกต่างกันบ้างเล็กน้อยจากการแก้เพื่อแก้ดังนั้นจึงมีการแก้ปัญหาที่ดีและการแก้ปัญหาที่ไม่ดี ฉันต้องการรู้ว่าฉัน "ร้อน" หรือไม่ - การแก้ปัญหาที่ดีมาในแนว ตัวอย่างเช่นหากฉันเพิ่งมีวิธีแก้ปัญหาที่ดีติดต่อกันสองสามครั้งมีแนวโน้มว่าวิธีแก้ปัญหาต่อไปของฉันจะดีหรือไม่ การวิเคราะห์แบบใดที่จะเหมาะสม ฉันสามารถนึกถึงบางสิ่งที่ต้องทำเช่นรักษาตัวเป็นกระบวนการมาร์คอฟและเห็นว่าวิธีใดวิธีหนึ่งที่ดีที่สุดในการทำนายการทำนายถัดไปและเปรียบเทียบกับข้อมูลแบบสุ่ม 100 เป็นและเปรียบเทียบกับสิ่งที่คาดหวังในข้อมูลแบบสุ่ม ฯลฯ ฉันไม่แน่ใจว่าการทดสอบเหล่านี้จะลึกซึ้งแค่ไหนและสงสัยว่ามีวิธีการที่ได้รับการพัฒนามาอย่างดีสำหรับปัญหาประเภทนี้หรือไม่

10 probability 

คำถามใหม่ที่นี่ ขณะนี้ฉันกำลังทำการถดถอยแบบไม่ใช้พารามิเตอร์โดยใช้แพ็คเกจ np ในอาร์ฉันมีฟีเจอร์ 7 อย่างและใช้วิธีการบังคับเดรัจฉานฉันระบุว่าดีที่สุด 3. แต่ไม่นานฉันจะมีฟีเจอร์มากกว่า 7 อย่าง! คำถามของฉันคืออะไรเป็นวิธีที่ดีที่สุดในปัจจุบันสำหรับการเลือกคุณสมบัติสำหรับการถดถอยแบบไม่มีพารามิเตอร์ และถ้าหากแพ็กเกจใด ๆ ใช้วิธีการ ขอบคุณ.

10 r  machine-learning  nonparametric  feature-selection 

มีวิธีง่าย ๆ ในการใช้สูตรเส้นแนวโน้มจากแผนภูมิกับค่า X ที่กำหนดใน Excel หรือไม่ ตัวอย่างเช่นฉันต้องการได้รับค่า Y สำหรับ X ที่กำหนด = $ 2,006.00 ฉันได้นำสูตรไปแล้วและพิมพ์อีกครั้งเป็น: =-0.000000000008*X^3 - 0.00000001*X^2 + 0.0003*X - 0.0029 ฉันทำการปรับเทรนด์ไลน์อย่างต่อเนื่องโดยการเพิ่มข้อมูลมากขึ้นและไม่ต้องการพิมพ์สูตรซ้ำทุกครั้ง

10 regression  excel 

ฉันควรซิงrmaก์ฟังก์ชันจากแพคเกจmetaforเพื่อให้ได้ผลลัพธ์ในตัวอย่างในชีวิตจริงของการวิเคราะห์ meta ขนาดเล็กต่อไปนี้อย่างไร (SMD สุ่มสถิติผลสรุป) study, mean1, sd1, n1, mean2, sd2, n2 Foo2000, 0.78, 0.05, 20, 0.82, 0.07, 25 Sun2003, 0.74, 0.08, 30, 0.72, 0.05, 19 Pric2005, 0.75, 0.12, 20, 0.74, 0.09, 29 Rota2008, 0.62, 0.05, 24, 0.66, 0.03, 24 Pete2008, 0.68, 0.03, 10, 0.68, 0.02, 10

10 r  meta-analysis 

ค่ามัธยฐานของคืออะไรการแจกแจงทีไม่ใช่กลางที่ไม่ใช่ศูนย์กลางพารามิเตอร์ ? นี่อาจเป็นคำถามที่สิ้นหวังเพราะ CDF ดูเหมือนจะแสดงเป็นผลรวมไม่สิ้นสุดและฉันไม่สามารถหาข้อมูลใด ๆ เกี่ยวกับฟังก์ชั่น CDF ที่ตรงกันข้ามδ≠0δ≠0\delta \ne 0

10 distributions  median  non-central  t-distribution 

ฉันต้องการวาดกราฟิกที่ซับซ้อนสำหรับการวิเคราะห์ข้อมูลภาพ ฉันมี 2 ตัวแปรและกรณีจำนวนมาก (> 1,000) ตัวอย่างเช่น (หมายเลขคือ 100 ถ้าทำให้การกระจายน้อยลง "ปกติ"): x <- rnorm(100,mean=95,sd=50) y <- rnorm(100,mean=35,sd=20) d <- data.frame(x=x,y=y) 1) ฉันต้องการพล็อตข้อมูลดิบที่มีขนาดพอยต์ซึ่งสอดคล้องกับความถี่สัมพัทธ์ของความบังเอิญดังนั้นจึงplot(x,y)ไม่ใช่ตัวเลือก - ฉันต้องการขนาดพอยต์ สิ่งที่ควรทำเพื่อให้บรรลุสิ่งนี้? 2) ในพล็อตเดียวกันฉันต้องพล็อตความมั่นใจช่วง 95% วงรีและบรรทัดที่แสดงถึงการเปลี่ยนแปลงของสหสัมพันธ์ (ไม่รู้วิธีตั้งชื่ออย่างถูกต้อง) - บางอย่างเช่นนี้: library(corrgram) corrgram(d, order=TRUE, lower.panel=panel.ellipse, upper.panel=panel.pts) แต่มีกราฟทั้งสองที่หนึ่งพล็อต 3) ในที่สุดฉันต้องวาดโมเดลการถดถอยของ linar ที่เกิดขึ้นจากสิ่งเหล่านี้ทั้งหมด: r<-lm(y~x, data=d) abline(r,col=2,lwd=2) แต่มีช่วงข้อผิดพลาด ... คล้ายกับ QQ-plot: แต่สำหรับข้อผิดพลาดที่เหมาะสมถ้าเป็นไปได้ …

10 r  data-visualization  regression 

ก่อนส่ง meta-analysis ของฉันฉันต้องการทำพล็อตช่องทางเพื่อทดสอบความหลากหลายและอคติการตีพิมพ์ ฉันมีขนาดเอฟเฟกต์พูลและขนาดเอฟเฟกต์จากการศึกษาแต่ละครั้งที่รับค่าจาก -1 ถึง +1 ฉันมีขนาดตัวอย่าง n1, n2 สำหรับผู้ป่วยและการควบคุมจากการศึกษาแต่ละครั้ง เนื่องจากฉันไม่สามารถคำนวณข้อผิดพลาดมาตรฐาน (SE) ได้ฉันจึงไม่สามารถทำการถดถอยของ Egger ได้ ฉันไม่สามารถใช้ SE หรือความแม่นยำ = 1 / SE บนแกนตั้ง คำถาม ฉันยังสามารถสร้างช่องทางที่มีขนาดเอฟเฟกต์บนซอนแนวนอนและขนาดตัวอย่างทั้งหมด n (n = n1 + n2) บนแกนตั้งได้หรือไม่ พล็อตช่องทางดังกล่าวควรตีความอย่างไร เอกสารที่เผยแพร่บางฉบับแสดงพล็อตช่องทางดังกล่าวพร้อมขนาดตัวอย่างทั้งหมดบนแกนตั้ง (Pubmed PMIDs: 10990474, 10456970) และวิกิพีเดียช่องทาง wiki เห็นด้วยกับสิ่งนี้ แต่ที่สำคัญที่สุดคือกระดาษของ Mathhias Egger ใน BMJ 1999 (PubMed PMID: …

10 meta-analysis  sample-size  standard-error  funnel-plot  publication-bias 

ฉันถามคำถามนี้ไปที่ StackOverflow และแนะนำให้ถามที่นี่ ฉันมีชุดข้อมูล accelerometer 3D สองชุดที่มีช่วงเวลาต่างกัน (นาฬิกาเริ่มต้นในเวลาที่แตกต่างกันโดยมีการคืบเล็กน้อยเล็กน้อยในช่วงเวลาการสุ่มตัวอย่าง) รวมถึงมีช่องว่างขนาดต่าง ๆ มากมาย (เนื่องจากความล่าช้าที่เกี่ยวข้องกับการเขียนแยก อุปกรณ์แฟลช) accelerometers ฉันใช้มีราคาไม่แพงGCDC X250-2 ฉันใช้เครื่องวัดความเร่งเพื่อให้ได้ประโยชน์สูงสุดดังนั้นข้อมูลจึงมีจุดรบกวนที่สำคัญ อนุกรมเวลาแต่ละชุดมีจุดข้อมูลประมาณ 2 ล้านจุด (มากกว่าหนึ่งชั่วโมงที่ 512 ตัวอย่าง / วินาที) และมีประมาณ 500 เหตุการณ์ที่น่าสนใจโดยที่เหตุการณ์ทั่วไปครอบคลุมตัวอย่าง 100-150 ตัวอย่าง (แต่ละ 200-300 มิลลิวินาที) หลายเหตุการณ์เหล่านี้ได้รับผลกระทบจากการขาดข้อมูลในระหว่างการเขียนแฟลช ดังนั้นข้อมูลนั้นไม่ได้บริสุทธิ์และไม่ได้สวยมากนัก แต่การตรวจลูกตาของฉันแสดงให้เห็นอย่างชัดเจนว่ามันมีข้อมูลที่ฉันสนใจ มาตรวัดความเร่งอยู่ในสภาพแวดล้อมที่คล้ายกัน แต่อยู่ในระดับปานกลางเท่านั้นซึ่งหมายความว่าฉันสามารถบอกด้วยตาเปล่าว่าเหตุการณ์ใดที่ตรงกับมาตรความเร่งแต่ละตัว แต่ฉันก็ไม่ประสบความสำเร็จเท่าที่เคยทำมา เนื่องจากข้อ จำกัด ทางกายภาพอุปกรณ์ต่าง ๆ ก็ถูกติดตั้งในทิศทางที่แตกต่างกันซึ่งแกนไม่ตรงกัน แต่พวกมันอยู่ใกล้กับมุมฉากที่สุดเท่าที่ฉันจะทำได้ ตัวอย่างเช่นสำหรับ accelerometers 3 แกน A …

10 time-series  correlation  unevenly-spaced-time-series 

เทคนิค / แนวทางใดที่มีประโยชน์ในการทดสอบซอฟต์แวร์เชิงสถิติ ฉันสนใจโปรแกรมที่ใช้การประมาณค่าพารามิเตอร์โดยใช้โอกาสสูงสุด การเปรียบเทียบผลลัพธ์จากโปรแกรมอื่นหรือแหล่งข้อมูลที่เผยแพร่นั้นไม่สามารถทำได้ตลอดเวลาเพราะส่วนใหญ่เวลาที่ฉันเขียนโปรแกรมของตัวเองเป็นเพราะการคำนวณที่ฉันต้องการไม่ได้นำมาใช้ในระบบที่มีอยู่แล้ว ฉันไม่ได้ยืนยันในวิธีการที่สามารถรับประกันความถูกต้องได้ ฉันยินดีที่จะใช้เทคนิคที่สามารถตรวจจับข้อผิดพลาดบางส่วนได้

10 software  computing  computational-statistics 

ฉันใช้การจำลองใน R และคลัสเตอร์คอมพิวเตอร์และมีปัญหาดังต่อไปนี้ ฉันใช้งานคอมพิวเตอร์ X แต่ละเครื่อง: fxT2 <- function(i) runif(10) nessay <- 100 c(mclapply(1:nessay, fxT2), recursive=TRUE) มีคอมพิวเตอร์ 32 เครื่องแต่ละเครื่องมี 16 คอร์ อย่างไรก็ตามประมาณ 2% ของตัวเลขสุ่มนั้นเหมือนกัน คุณจะใช้กลยุทธ์อะไรเพื่อหลีกเลี่ยงปัญหานี้? ฉันสามารถหลีกเลี่ยงปัญหานี้สำหรับ fxT2 โดยการตั้งเวลาแฝง (เช่นการหน่วงเวลาวินาทีที่แต่ละงานถูกส่งไปยังคอมพิวเตอร์ X แต่ละเครื่อง) แต่ดูเหมือนว่าจะเป็นโฆษณาสำหรับ fxt2 ปัญหาคือว่าในความเป็นจริง fxT2 เป็นงานที่ยาวนานที่เกี่ยวข้องกับการสุ่มตัวเลขหลอก ในตอนท้ายของกระบวนการฉันคาดว่าจะได้รับการทำสำเนา X * nessay จากการทดลองทางสถิติแบบเดียวกันไม่ใช่การทำซ้ำแบบ nessay วิธีการตรวจสอบให้แน่ใจว่าเป็นกรณีนี้และมีวิธีการตรวจสอบนี้หรือไม่?

10 r  random-generation  parallel-computing  multicore 

คำถามนี้อาจฟังดูกว้างมาก แต่นี่คือสิ่งที่ฉันกำลังมองหา ฉันรู้ว่ามีหนังสือที่ยอดเยี่ยมมากมายเกี่ยวกับวิธีเศรษฐมิติและบทความเกี่ยวกับเทคนิคเศรษฐมิติที่ยอดเยี่ยมมากมาย นอกจากนี้ที่ดีเยี่ยมแม้ทำซ้ำตัวอย่างของเศรษฐที่อธิบายไว้ใน CrossValidated นี้คำถาม อันที่จริงตัวอย่างในคำถามนี้มาใกล้กับสิ่งที่ฉันกำลังมองหา สิ่งเดียวที่ขาดหายไปในตัวอย่างเหล่านั้นคือการที่พวกเขาเป็นเพียงการวิจัยรายงานโดยไม่ต้องเอ่ยถึงว่าผลของการศึกษาที่มีอาการในใด ๆการประยุกต์ใช้จริงในโลก สิ่งที่ฉันกำลังมองหาคือเอกสาร / ตัวอย่างที่สามารถจำลองได้ของการประยุกต์ใช้ทฤษฎีทางเศรษฐมิติในโลกแห่งความเป็นจริงซึ่งมีลักษณะดังต่อไปนี้: พวกเขาควรจะทำซ้ำเช่นมีคำอธิบายรายละเอียดของ (และตัวชี้ไปยัง) ข้อมูลเทคนิคทางเศรษฐมิติและรหัส นึกคิดรหัสจะเป็นภาษา R ควรมีเอกสารรายละเอียดแสดงให้เห็นว่าเทคนิคที่ประสบความสำเร็จในโลกแห่งความเป็นจริงตามการวัดที่ดีของความสำเร็จ (เช่น "เทคนิคที่ช่วยเพิ่มรายได้เพราะมันเปิดใช้การคาดการณ์ความต้องการที่ดีขึ้นและนี่คือตัวเลขที่เกี่ยวข้อง") ฉันใช้ระยะทางเศรษฐมิติค่อนข้างกว้างที่นี่ - ผมหมายถึงใด ๆ เรียงลำดับของการทำเหมืองข้อมูล , สถิติวิเคราะห์ข้อมูล , predictiion , การคาดการณ์หรือเครื่องเรียนรู้เทคนิค ปัญหาหนึ่งในการค้นหาตัวอย่างเช่น: การประยุกต์ใช้เศรษฐมิติที่ประสบความสำเร็จในการตั้งค่าเพื่อผลกำไรและเป็นกรรมสิทธิ์ดังนั้นหากเทคนิคทำงานได้ดีมันอาจจะไม่ถูกเผยแพร่ (นี่เป็นเรื่องจริงโดยเฉพาะอย่างยิ่งในกรณีของการซื้อขายแบบกรรมสิทธิ์ กลยุทธ์) แต่ฉันหวังว่าจะมีตัวอย่างที่เผยแพร่ซึ่งมีคุณสมบัติอย่างน้อย (2) ข้างต้นหากไม่ใช่ทั้ง (1) และ (2)

10 r  machine-learning  forecasting  data-mining  econometrics 

ฉันมีสามคุณสมบัติที่ฉันใช้เพื่อแก้ไขปัญหาการจัดหมวดหมู่ แต่เดิมคุณสมบัติเหล่านี้สร้างค่าบูลีนดังนั้นฉันสามารถประเมินความซ้ำซ้อนของพวกเขาได้โดยดูว่าชุดของการจำแนกประเภทที่เป็นบวกและลบนั้นทับซ้อนกันมากแค่ไหน ตอนนี้ฉันได้ขยายคุณสมบัติเพื่อสร้างมูลค่าที่แท้จริง (คะแนน) แทนและฉันต้องการวิเคราะห์ความซ้ำซ้อนของพวกเขาอีกครั้ง แต่ฉันรู้สึกสูญเสียอย่างสิ้นเชิงกับวิธีการทำเช่นนั้น ทุกคนสามารถให้ตัวชี้หรือแนวคิดเกี่ยวกับวิธีการเกี่ยวกับสิ่งนั้นให้ฉันได้หรือไม่ ฉันรู้ว่าคำถามนี้คลุมเครือมากนั่นเป็นเพราะฉันไม่มีความเข้าใจในสถิติอย่างชัดเจน ดังนั้นหากคุณไม่มีคำตอบให้ฉันบางทีคุณอาจมีคำถามที่ช่วยให้ฉันเข้าใจตัวเองดีขึ้น แก้ไข:ขณะนี้ฉันกำลังสืบค้น Wikipedia ในเรื่องนี้ฉันรู้สึกว่าสิ่งที่ฉันต้องการคือสัมประสิทธิ์สหสัมพันธ์ แต่ฉันยังไม่แน่ใจว่านี่เป็นวิธีการที่ถูกต้องหรือไม่และสัมประสิทธิ์ใดที่เหมาะสม แก้ไข 2:ในกรณีบูลีนฉันสร้างครั้งแรกสำหรับแต่ละคุณสมบัติชุดตัวอย่างที่เป็นจริง จากนั้นความสัมพันธ์ระหว่างสองคุณลักษณะคือขนาดของการตัดกันของเซตเหล่านี้มากกว่าขนาดของการรวมกันของเซตเหล่านี้ หากค่านี้เป็น 1 พวกเขาจะซ้ำซ้อนอย่างสมบูรณ์เพราะเหมือนกันเสมอ ถ้าเป็น 0 พวกมันจะไม่เหมือนเดิม

10 correlation  feature-selection 

หนังสือเล่มใดที่มีการรักษาแนวคิดพื้นฐานทางสถิติอย่างละเอียดที่สุด? ฉันไม่ได้ขอหนังสือเกี่ยวกับรายละเอียดของวิธีการคำนวณและขั้นตอนฉันมักสนใจหนังสือที่อธิบายแนวคิดพื้นฐานอย่างละเอียด ... วิธีการใช้งานง่าย / ภาพประกอบ / ภาพกับแนวคิดหลัก ... แทนที่จะเป็นภาระ ของสมการทางคณิตศาสตร์เป็นต้นขนาดของหนังสือไม่มีปัญหา ... แม้แต่ข้อความที่มีหลายเล่มจำนวนมากก็ทำได้ ... heck แม้แต่ทรัพยากรบนเว็บก็จะทำเช่นกัน

10 references 

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้เป็นไปตามหัวข้อสำหรับการตรวจสอบข้าม ปิดให้บริการใน2 ปีที่ผ่านมา จุดมุ่งหมายของฉัน: ฉันต้องการที่จะมีฟังก์ชั่นที่ใช้ที่อยู่อีเมลและส่งออกจำนวนกึ่งสุ่มแบบ 1, 2, 3 หรือ 4 รายละเอียดเล็กน้อย: จากตัวเลขสุ่มฉันหมายถึงการให้ประชากรโดยทั่วไปของที่อยู่อีเมลความน่าจะเป็นที่จะได้รับค่า 1, 2, 3 หรือ 4 มีค่าเท่ากันโดยประมาณและคุณสมบัติระบบที่ชัดเจนของที่อยู่อีเมลเช่นชื่อโดเมน ไม่ส่งผลกระทบต่อความน่าจะเป็นในการรับค่า 1, 2, 3 หรือ 4 พื้นหลังเล็กน้อย: ฉันมีการทดสอบออนไลน์ที่เขียนขึ้นโดยการสอบสวนที่ผู้เข้าร่วมลงชื่อเข้าใช้สองครั้ง ฉันต้องการสุ่มมอบหมายให้ผู้เข้าร่วมหนึ่งในสี่กลุ่ม ขณะนี้ทำได้ง่ายสำหรับหนึ่งเซสชัน (ฉันสามารถใช้ตัวสร้างตัวเลขสุ่ม) ได้ฉันต้องการวิธีการจดจำการจัดสรรข้ามเซสชัน ดังนั้นฉันคิดว่าฉันสามารถแยกการจัดสรรกลุ่มแบบกึ่งสุ่มจากอีเมลของผู้เข้าร่วมได้ ฉันยังมีข้อ จำกัด ในชุดฟังก์ชั่นที่ฉันมีให้ด้วย ( ดูที่นี่เพื่อดูรายการทั้งหมด ) ฟังก์ชั่นสตริงคือ: tolower toupper ประโยชน์ของการค้นหา concat concall มี startswith endswith …

10 algorithms  random-generation