สถิติและข้อมูลขนาดใหญ่

การทดสอบการเปลี่ยนรูปเป็นการทดสอบที่สำคัญโดยพิจารณาจากการสุ่มตัวอย่างซ้ำซากจากข้อมูลต้นฉบับ Resamples resamples จะถูกวาดโดยไม่มีการแทนที่ตรงกันข้ามกับ bootstrap ตัวอย่างซึ่งถูกวาดด้วยการแทนที่ นี่คือตัวอย่างที่ฉันทำในการทดสอบการเปลี่ยนรูปแบบง่าย ๆ (ความคิดเห็นของคุณยินดีต้อนรับ) การทดสอบการเปลี่ยนรูปมีข้อดีอย่างมาก พวกเขาไม่ต้องการรูปร่างประชากรที่เฉพาะเจาะจงเช่นภาวะปกติ มันใช้กับสถิติที่หลากหลายไม่ใช่แค่สถิติที่มีการแจกแจงอย่างง่ายภายใต้สมมติฐานว่าง พวกเขาสามารถให้ค่า p ที่แม่นยำมากโดยไม่คำนึงถึงรูปร่างและขนาดของประชากร (หากมีการใช้การเปลี่ยนลำดับมากพอ) ฉันได้อ่านด้วยว่ามันมักจะมีประโยชน์ที่จะให้ช่วงความมั่นใจพร้อมกับการทดสอบซึ่งสร้างขึ้นโดยใช้การเปลี่ยนรูป bootstrap แทนการเปลี่ยนรูปแบบการเปลี่ยนรูปแบบใหม่ คุณสามารถอธิบาย (หรือเพียงแค่ให้รหัส R) ว่าจะสร้างช่วงความมั่นใจอย่างไร (เช่นสำหรับความแตกต่างระหว่างค่าเฉลี่ยของตัวอย่างสองตัวอย่างในตัวอย่างด้านบน) แก้ไข หลังจาก googling ฉันพบการอ่านที่น่าสนใจนี้

9 confidence-interval  bootstrap  permutation-test 

สำหรับการเลือกตัวทำนายในการถดถอยเชิงเส้นหลายตัวแปรด้วย พีpp ตัวทำนายที่เหมาะสมวิธีการใดบ้างที่สามารถหาเซตย่อย 'ที่เหมาะสมที่สุด' ของตัวทำนายโดยไม่ต้องทดสอบทั้งหมดอย่างชัดเจน 2พี2p2^pย่อย? ใน 'การเอาตัวรอดวิเคราะห์' Hosmer & Lemeshow อ้างอิงถึงวิธีของ Kuk แต่ฉันไม่พบกระดาษต้นฉบับ ทุกคนสามารถอธิบายวิธีนี้หรือเป็นเทคนิคที่ทันสมัยกว่านี้ได้อีกหรือไม่ อาจมีข้อผิดพลาดกระจายตามปกติ

9 modeling  regression  multivariable  model-selection  feature-selection 

แม้จะมีความพยายามหลายครั้งในการอ่านเกี่ยวกับ bootstrapping แต่ดูเหมือนว่าฉันจะชนกำแพงอิฐเสมอ ฉันสงสัยว่าใครสามารถให้คำจำกัดความที่ไม่ใช่ด้านเทคนิคของการบูตสแตรปหรือไม่? ฉันรู้ว่ามันเป็นไปไม่ได้ในฟอรั่มนี้เพื่อให้รายละเอียดมากพอที่จะช่วยให้ฉันเข้าใจมัน แต่การผลักดันอ่อนโยนในทิศทางที่เหมาะสมกับเป้าหมายหลักและกลไกของความร่วมมือจะมากชื่นชม! ขอบคุณ

9 nonparametric  bootstrap  intuition 

ฉันมีการใช้งานของอัลกอริทึมทางพันธุกรรมสองอย่างซึ่งควรจะทำงานอย่างเท่าเทียมกัน อย่างไรก็ตามเนื่องจากข้อ จำกัด ทางเทคนิคที่ไม่สามารถแก้ไขผลลัพธ์ของพวกเขาไม่เหมือนกันได้รับการป้อนข้อมูลเดียวกัน ฉันยังต้องการแสดงให้เห็นว่าไม่มีความแตกต่างด้านประสิทธิภาพที่สำคัญ ฉันมีการวิ่ง 20 ครั้งโดยมีการกำหนดค่าเดียวกันสำหรับอัลกอริทึมแต่ละตัวโดยใช้การสุ่มหมายเลขเริ่มต้นแตกต่างกัน สำหรับการวิ่งและการสร้างแต่ละครั้งการออกกำลังกายข้อผิดพลาดขั้นต่ำ ของบุคคลที่ดีที่สุดในประชากรนั้นถูกบันทึกไว้ อัลกอริทึมใช้กลไกการรักษาแบบชนชั้นสูงดังนั้นความแข็งแรงของบุคคลที่ดีที่สุดจึงลดลงแบบซ้ำซาก การวิ่งประกอบด้วย 1000 รุ่นดังนั้นฉันมี 1,000 ค่าต่อการรัน ฉันไม่สามารถรับข้อมูลเพิ่มเติมได้เนื่องจากการคำนวณมีราคาแพงมาก ฉันควรใช้การทดสอบแบบไหน วิธีง่าย ๆ น่าจะเป็นการเปรียบเทียบข้อผิดพลาดในรุ่นสุดท้าย (อีกครั้งฉันจะใช้แบบทดสอบแบบใด) แต่ก็อาจคิดเปรียบเทียบพฤติกรรมการคอนเวอร์เจนซ์โดยทั่วไป

9 hypothesis-testing  genetic-algorithms 

อะไรคือความแตกต่างระหว่างการมีบางอย่างที่มีนัยสำคัญทางสถิติ (เช่นความแตกต่างระหว่างสองตัวอย่าง) กับการระบุว่ากลุ่มของตัวเลขเป็นอิสระหรือขึ้นอยู่กับอะไร

9 statistical-significance  independence 

ทักทาย, ขณะนี้ฉันกำลังทำสิ่งต่อไปนี้ใน R: require(zoo) data <- read.csv(file="summary.csv",sep=",",head=TRUE) cum = zoo(data$dcomp, as.Date(data$date)) data = zoo(data$compressed, as.Date(data$date)) data <- aggregate(data, identity, tail, 1) cum <- aggregate(cum, identity, sum, 1) days = seq(start(data), end(data), "day") data2 = na.locf(merge(data, zoo(,days))) plot(data2,xlab='',ylab='compressed bytes',col=rgb(0.18,0.34,0.55)) lines(cum,type="h",col=rgb(0,0.5,0)) สนิปของ summary.csv: date,revision,file,lines,nclass,nattr,nrel,bytes,compressed,diff,dcomp 2007-07-25,16,model.xml,96,11,22,5,4035,991,0,0 2007-07-27,17,model.xml,115,16,26,6,4740,1056,53,777 2007-08-09,18,model.xml,106,16,26,7,4966,1136,47,761 2007-08-10,19,model.xml,106,16,26,7,4968,1150,4,202 2007-09-06,81,model.xml,111,16,26,7,5110,1167,13,258 ... เส้นสองเส้นสุดท้ายเขียนข้อมูลที่ฉันต้องการและผลลัพธ์คล้ายกับสิ่งต่อไปนี้: เส้นสีน้ำเงินคือเอนโทรปีของสิ่งประดิษฐ์ที่ฉันสนใจ …

9 r  time-series  data-visualization  entropy 

ฉันกำลังพยายามสร้างแบบจำลองการพยากรณ์การถดถอยอนุกรมเวลาสำหรับตัวแปรผลลัพธ์เป็นจำนวนเงินดอลลาร์ในแง่ของตัวแปรตัวทำนาย / อินพุตอื่น ๆ และข้อผิดพลาดที่เกี่ยวข้องโดยอัตโนมัติ แบบจำลองชนิดนี้เรียกว่าแบบจำลองการถดถอยแบบไดนามิก ฉันต้องเรียนรู้วิธีระบุฟังก์ชั่นการถ่ายโอนสำหรับผู้ทำนายแต่ละคนและชอบที่จะได้ยินจากคุณเกี่ยวกับวิธีการทำเช่นนั้น

9 time-series  forecasting  dynamic-regression 

ฉันมีปัญหาในการเลือกวิธีที่ถูกต้องในการมองเห็นข้อมูล สมมติว่าเรามีร้านหนังสือที่ขายหนังสือและหนังสือทุกเล่มที่มีอย่างน้อยหนึ่งหมวดหมู่ สำหรับร้านหนังสือถ้าเรานับหมวดหนังสือทั้งหมดเราจะได้ฮิสโตแกรมที่แสดงจำนวนหนังสือที่จัดอยู่ในหมวดหมู่เฉพาะสำหรับร้านหนังสือนั้น ฉันต้องการเห็นภาพพฤติกรรมของร้านหนังสือฉันต้องการดูว่าพวกเขาชอบหมวดหมู่มากกว่าหมวดหมู่อื่นหรือไม่ ฉันไม่ต้องการดูว่าพวกเขานิยม sci-fi ทั้งหมดหรือไม่ แต่ฉันต้องการดูว่าพวกเขาปฏิบัติต่อทุกหมวดหมู่อย่างเท่าเทียมกันหรือไม่ ฉันมีร้านหนังสือประมาณ 1 ล้าน ฉันคิดถึงวิธีการ 4 วิธี: ตัวอย่างข้อมูลแสดงฮิสโตแกรมของร้านหนังสือเพียง 500 แสดงใน 5 หน้าแยกโดยใช้ตาราง 10x10 ตัวอย่างของตาราง 4x4: เหมือนกับ # 1 แต่คราวนี้จัดเรียงค่าแกน x ตามจำนวนนับของพวกเขาดังนั้นหากมีความนิยมมันจะเห็นได้ง่าย ลองนึกภาพการใส่ฮิสโตแกรมใน # 2 เข้าด้วยกันเหมือนสำรับและแสดงมันในแบบ 3 มิติ บางสิ่งเช่นนี้ แทนที่จะใช้สีแกนที่สามฟ้องร้องเพื่อเป็นตัวแทนของสีดังนั้นการใช้แผนที่ความร้อน (2D ฮิสโตแกรม): ถ้าโดยทั่วไปร้านหนังสือต้องการบางหมวดหมู่ให้ผู้อื่นมันจะแสดงเป็นไล่ระดับสีที่ดีจากซ้ายไปขวา คุณมีแนวคิด / เครื่องมือสร้างภาพอื่น ๆ เพื่อเป็นตัวแทนของฮิสโตแกรมหลายรายการหรือไม่?

9 pca  data-visualization  histogram  barplot 

ฉันมีเครื่องตรวจจับที่จะตรวจสอบเหตุการณ์ที่มีบางส่วนน่าจะเป็นพี หากเครื่องตรวจจับบอกว่ามีเหตุการณ์เกิดขึ้นแสดงว่าเป็นกรณีเสมอดังนั้นจึงไม่มีผลบวกปลอม หลังจากที่ฉันเรียกใช้บางครั้งฉันก็พบเหตุการณ์k ฉันต้องการคำนวณจำนวนเหตุการณ์ทั้งหมดที่เกิดขึ้นตรวจพบหรืออื่น ๆ ด้วยความมั่นใจ 95% ตัวอย่างเช่นสมมติว่าฉันพบเหตุการณ์ 13 เหตุการณ์ ฉันต้องการที่จะสามารถคำนวณว่ามีระหว่างวันที่ 13 และ 19 เหตุการณ์ที่มีความเชื่อมั่น 95% ขึ้นอยู่กับพี นี่คือสิ่งที่ฉันได้ลองมา: ความน่าจะเป็นในการตรวจจับเหตุการณ์kหากมีทั้งหมดnคือ: binomial(n, k) * p^k * (1 - p)^(n - k) ผลรวมของส่วนที่มากกว่าnจากkถึงอนันต์คือ: 1/p ซึ่งหมายความว่าความน่าจะเป็นของการมีเหตุการณ์ทั้งหมดnเหตุการณ์คือ: f(n) = binomial(n, k) * p^(k + 1) * (1 - p)^(n - k) ดังนั้นถ้าผมต้องการที่จะเป็น 95% แน่ใจว่าฉันควรจะหาผลรวมบางส่วนแรกf(k) + …

9 probability  confidence-interval 

ฉันมีโมเดลการถดถอยเชิงเส้นพร้อมตัวอย่างและการสังเกตตัวแปรและฉันต้องการทราบว่า: ตัวแปรเฉพาะนั้นมีความสำคัญเพียงพอที่จะรวมอยู่ในโมเดลหรือไม่ ควรรวมตัวแปรอื่น (พร้อมข้อสังเกต) ไว้ในโมเดลหรือไม่ สถิติใดสามารถช่วยฉันได้บ้าง จะทำให้พวกเขามีประสิทธิภาพมากที่สุดได้อย่างไร?

9 regression 

ความแตกต่างระหว่างการวิจัยการดำเนินงานและการวิเคราะห์ทางสถิติคืออะไร?

9 operations-research 

ฉันได้ยินมาว่ามีปริมาณมากที่เกิดขึ้นตามธรรมชาติกระจายอยู่ตามปกติ นี่เป็นธรรมโดยใช้ทฤษฎีขีด จำกัด กลางซึ่งบอกว่าเมื่อคุณเฉลี่ยตัวแปรสุ่มจำนวนมากคุณจะได้รับการแจกแจงแบบปกติ ยกตัวอย่างเช่นลักษณะที่ถูกกำหนดโดยผลของสารเติมแต่งของยีนจำนวนมากอาจมีการกระจายโดยประมาณปกติเนื่องจากค่าของยีนอาจมีพฤติกรรมคล้ายกับตัวแปรสุ่มไอด ตอนนี้สิ่งที่ทำให้ฉันสับสนก็คือทรัพย์สินของการกระจายตามปกติไม่ชัดเจนว่าไม่แปรเปลี่ยนภายใต้การแปลงแบบโมโนโทนิก ดังนั้นหากมีสองวิธีในการวัดสิ่งที่เกี่ยวข้องโดยการแปลงแบบโมโนโทนิกพวกเขาไม่น่าจะได้รับการแจกแจงแบบปกติทั้งคู่ ตัวอย่างเช่นเราสามารถวัดขนาดของเม็ดฝนตามเส้นผ่าศูนย์กลางพื้นที่ผิวหรือปริมาตร สมมติว่ารูปร่างที่คล้ายกันสำหรับเม็ดฝนทุกอันพื้นที่ผิวเป็นสัดส่วนกับกำลังสองของเส้นผ่านศูนย์กลางและปริมาตรเป็นสัดส่วนกับลูกบาศก์ของเส้นผ่านศูนย์กลาง ดังนั้นวิธีการวัดเหล่านี้ทั้งหมดจึงไม่สามารถกระจายได้ตามปกติ ดังนั้นคำถามของฉันคือวิธีการปรับขนาด (เช่นตัวเลือกเฉพาะของการแปลงแบบโมโนโทนิก) ซึ่งการกระจายตัวเป็นปกตินั้นต้องมีความสำคัญทางกายภาพหรือไม่ ตัวอย่างเช่นควรกระจายความสูงตามปกติหรือตารางของความสูงหรือลอการิทึมของความสูงหรือรากที่สองของความสูง มีวิธีตอบคำถามโดยการทำความเข้าใจกระบวนการที่ส่งผลต่อความสูงหรือไม่?

9 data-transformation  normality-assumption 

ฉันมีบันทึกประมาณล้านรายการที่บันทึกเวลาเข้าและเวลาออกของผู้คนในระบบซึ่งครอบคลุมประมาณสิบปี ทุกเรคคอร์ดมีเวลาเข้า แต่ไม่ใช่ทุกเรคคอร์ดมีเวลาออก เวลาเฉลี่ยในระบบคือ ~ 1 ปี เวลาทางออกที่หายไปเกิดขึ้นด้วยเหตุผลสองประการ: บุคคลไม่ได้ออกจากระบบในเวลาที่ข้อมูลถูกจับ ไม่ได้บันทึกเวลาออกของบุคคลนั้น เรื่องนี้เกิดขึ้นกับ 50% ของบันทึก คำถามที่น่าสนใจคือ: มีคนใช้เวลาน้อยลงในระบบและเวลาน้อยลง มีการบันทึกเวลาออกที่มากขึ้นและจำนวนเท่าไหร่ เราสามารถทำแบบนี้โดยบอกว่าความน่าจะเป็นที่ทางออกได้รับการบันทึกแตกต่างกันไปตามเวลาและเวลาในระบบมี Weibull ซึ่งพารามิเตอร์ต่างกันไปตามเวลา จากนั้นเราสามารถทำการประเมินความน่าจะเป็นสูงสุดของพารามิเตอร์ต่างๆและลูกตาผลลัพธ์และเห็นว่าน่าเชื่อถือ เราเลือกการแจกแจงแบบ Weibull เพราะดูเหมือนว่าจะใช้ในการวัดอายุการใช้งานและสนุกที่จะพูดเมื่อเทียบกับการปรับให้เหมาะสมกับข้อมูลที่ดีกว่าการบอกว่าเป็นการกระจายแกมม่า ฉันควรหาเบาะแสว่าจะทำอย่างไรให้ถูกต้อง? เราค่อนข้างเข้าใจทางคณิตศาสตร์ แต่ไม่เข้าใจสถิติอย่างมาก

9 survival  missing-data 

ในการตอบคำถามนี้เกี่ยวกับการรักษาข้อมูลที่เป็นหมวดหมู่อย่างต่อเนื่องจะมีการกล่าวถึงการปรับสเกลที่เหมาะสมที่สุด วิธีนี้ทำงานอย่างไรและมีการนำไปใช้อย่างไร

9 categorical-data  data-transformation  optimal-scaling 

ระบุขนาดตัวอย่าง "N" ที่ฉันวางแผนจะใช้ในการคาดการณ์ข้อมูล มีวิธีใดบ้างในการแบ่งข้อมูลเพื่อให้ฉันใช้บางวิธีเพื่อสร้างแบบจำลองและข้อมูลส่วนที่เหลือเพื่อตรวจสอบความถูกต้องของแบบจำลอง ฉันรู้ว่าไม่มีคำตอบขาวดำสำหรับเรื่องนี้ แต่มันน่าสนใจที่จะรู้ "กฎง่ายๆ" หรืออัตราส่วนที่ใช้ ฉันรู้จักมหาวิทยาลัยอีกครั้งหนึ่งในอาจารย์ของเราเคยพูดแบบจำลอง 60% และตรวจสอบความถูกต้อง 40%

9 machine-learning  modeling  sample  validation