สถิติและข้อมูลขนาดใหญ่

ฉันมีข้อสงสัยพื้นฐานมาก ขออภัยถ้าสิ่งนี้ทำให้หงุดหงิดเล็กน้อย ฉันรู้ว่าค่าข้อมูลรวมควรมากกว่า 0 แต่ควรน้อยกว่า 1 หรือไม่ มันถูกล้อมรอบด้วยค่าสูงสุดใด ๆ ? ขอบคุณ Amit

11 information-theory  mutual-information 

สมมติว่าคุณมีสถานการณ์ต่อไปนี้: คุณสังเกตผู้เล่นโบว์ลิ่ง 1,000 คนซึ่งแต่ละคนเล่นเกมค่อนข้างน้อย (พูด 1 ถึง 20) คุณจดบันทึกเปอร์เซ็นต์การนัดหยุดงานสำหรับผู้เล่นแต่ละคนที่มีต่อจำนวนเกมที่ผู้เล่นแต่ละคนเล่น ผู้เล่นโบว์ลิ่งใหม่เข้ามาและเล่น 10 เกมและได้รับ 3 นัด การแจกแจงตามจำนวนนัดสำหรับผู้เล่นใด ๆ ถือว่าเป็นทวินาม ฉันต้องการประเมินความน่าจะเป็น "จริง" ของความสำเร็จสำหรับผู้เล่นรายนั้น โปรดรับทราบสิ่งต่อไปนี้: นี่ไม่ใช่สถานการณ์จริงหรือเป็นปัญหาของโรงเรียน แต่เป็นปัญหาที่คิดด้วยตนเอง ฉันเป็นนักเรียนที่มีการศึกษาสถิติน้อยกว่าหลักสูตรสถิติ 101 ฉันรู้เพียงเล็กน้อยเกี่ยวกับการอนุมานเช่นการประมาณความเป็นไปได้สูงสุด ... ดังนั้นอย่าลังเลที่จะบอกพื้นที่ในสถิติที่ฉันควรอ่าน ปัญหาของฉันอาจขาดข้อมูลหรือถ้ามันจะเป็นประโยชน์สำหรับการพูดการกระจายความน่าจะเป็นของความสำเร็จให้เป็นปกติประมาณโปรดบอกฉัน ขอบคุณมาก

11 binomial  inference 

ฉันใช้ R (และแพ็คเกจ arules) เพื่อทำธุรกรรมการขุดสำหรับกฎการเชื่อมโยง สิ่งที่ฉันต้องการทำคือสร้างกฎและนำไปใช้กับข้อมูลใหม่ {Beer=YES} -> {Diapers=YES}ตัวอย่างเช่นสมมติว่าผมมีกฎระเบียบมากแห่งหนึ่งซึ่งเป็นที่ยอมรับ จากนั้นฉันก็มีข้อมูลธุรกรรมใหม่ที่หนึ่งในรายการซื้อเบียร์ แต่ไม่ใช่ผ้าอ้อม ฉันจะระบุกฎที่พบ LHS ได้ แต่ยังไม่มี RHS ได้อย่างไร ตัวอย่าง R: install.packages("arules") library(arules) data("Groceries") **#generate Rules omitting second record** rules <- apriori(Groceries[-2],parameter = list(supp = 0.05, conf = 0.2,target = "rules")) กฎที่สร้างขึ้นคือ: > inspect(rules) lhs rhs support confidence lift 1 {} => …

11 r  data-mining  association-rules 

บทความเกี่ยวกับ Adaboostนี้จะให้คำแนะนำและรหัส (หน้า 17) สำหรับการขยายโมเดล 2-class ไปสู่ปัญหา K-class ฉันต้องการที่จะพูดคุยรหัสนี้เพื่อที่ฉันสามารถเสียบรุ่น 2 ระดับที่แตกต่างกันได้อย่างง่ายดายและเปรียบเทียบผลลัพธ์ เนื่องจากโมเดลการจำแนกประเภทส่วนใหญ่มีอินเตอร์เฟสสูตรและpredictวิธีการบางอย่างนี้จึงค่อนข้างง่าย น่าเสียดายที่ฉันไม่พบวิธีการแยกความน่าจะเป็นแบบคลาสจากแบบจำลอง 2 ระดับดังนั้นแต่ละรุ่นจะต้องใช้รหัสที่กำหนดเอง นี่คือฟังก์ชั่นที่ฉันเขียนเพื่อแบ่งปัญหา K-class ออกเป็นปัญหา 2 ระดับและคืน K โมเดล: oneVsAll <- function(X,Y,FUN,...) { models <- lapply(unique(Y), function(x) { name <- as.character(x) .Target <- factor(ifelse(Y==name,name,'other'), levels=c(name, 'other')) dat <- data.frame(.Target, X) model <- FUN(.Target~., data=dat, ...) return(model) }) …

11 r  machine-learning  classification  statistical-learning  multi-class 

เหรียญจะต้องมีการทดสอบเพื่อความเป็นธรรม 30 หัวขึ้นหลัง 50 พลิก สมมติว่าเหรียญมีความยุติธรรมความน่าจะเป็นที่คุณจะได้รับอย่างน้อย 30 หัวใน 50 ครั้งคือเท่าไหร่? วิธีที่ถูกต้องในการทำปัญหาตามครูของฉันคือทำ normalcdf(min = .6, max = ∞, p = .5, σ = sqrt(.5 * .5 / 50) = 0.0786 อย่างไรก็ตามฉันใช้ฟังก์ชันการแจกแจงสะสมแบบทวินามเช่นนี้ 1 - binomcdf(n = 50, p = .5, x = 29) = 0.1013 ฉันเชื่อว่าเกณฑ์สำหรับการแจกแจงทวินามเป็นที่พึงพอใจ: แต่ละเหตุการณ์มีความเป็นอิสระมีเพียงสองผลลัพธ์ที่เป็นไปได้ (หัวกับก้อย) ความน่าจะเป็นคงที่สำหรับคำถาม (0.5) และจำนวนการทดลองถูกกำหนดไว้ที่ 50 …

11 self-study  normal-distribution  binomial 

ฉันต้องการความช่วยเหลือเล็กน้อยเพื่อไปในทิศทางที่ถูกต้อง เป็นเวลานานแล้วที่ฉันได้ศึกษาสถิติและดูเหมือนว่าศัพท์แสงจะเปลี่ยนไป ลองนึกภาพว่าฉันมีชุดข้อมูลที่เกี่ยวข้องกับรถยนต์เช่น เวลาเดินทางจากเมือง A ถึงเมือง B ระยะทางจากเมือง A ถึงเมือง B ขนาดเครื่องยนต์ ขนาดรองเท้าของคนขับ ยี่ห้อและรุ่นของรถ วันของสัปดาห์ ฉันต้องการที่จะทำนายเวลาการเดินทาง ฉันคิดว่ามันมีความสัมพันธ์ที่แน่นแฟ้นระหว่างเวลาและระยะทางและอาจเป็นเรื่องที่อ่อนแอกว่าสำหรับขนาดเครื่องยนต์ (และไม่มีขนาดรองเท้า) การวิเคราะห์การถดถอยพหุคูณ / ANOVA น่าจะเป็นเครื่องมือที่ใช้ แต่ฉันจะรวมวันในสัปดาห์ได้อย่างไรเนื่องจากเพิ่งเขียนโค้ดเป็นวันอาทิตย์ = 1 วันจันทร์ = 2 ฯลฯ รู้สึกผิดอย่างมาก การใช้เครื่องมือการถดถอยของ Excel เช่นฉันจะตีความผลลัพธ์ได้อย่างไร สันนิษฐานว่าถ้า R ใกล้เคียงกับ 1 ถือว่าดี แต่บางแหล่งข้อมูลอ้างถึง r-squared ซึ่งน่าจะเป็น SD ดังนั้นค่าใกล้เคียงกับศูนย์จึงเป็นสิ่งที่ดี นอกจากนี้ยังแสดง t Stat, P-value, F และ Significance …

11 regression  categorical-data  categorical-encoding 

มีห้องสมุดพล็อตสำหรับ R ที่สามารถเปลี่ยน dataframe ของเวลาเริ่มต้นและหยุดเวลาเป็นพล็อตไทม์ไลน์ได้ดังนี้: แกน Y มีความหมายเพียงอย่างเดียวนั่นคือมันซ้อนกันพร้อมกัน แต่ไม่ได้แสดงถึงการเกิดพร้อมกันเสมอ (ดูที่ช่องว่างตรงกลาง) แต่ละกล่องสีเทาเป็นเหตุการณ์ - แถวจากดาต้าเฟรม DataFrame จะมีสองคอลัมน์เวลาเริ่มต้นและเวลาหยุด

11 r  data-visualization 

ช่างทำผมของฉัน Stacey มักจะมีใบหน้าที่มีความสุข แต่มักจะเน้นเรื่องการจัดการเวลาของเธอ วันนี้ Stacey เกินกำหนดสำหรับการนัดหมายของฉันและขอโทษมาก ในขณะที่ได้รับการตัดผมของฉันฉันสงสัยว่า: นัดหมายมาตรฐานของเธอจะนานแค่ไหน? (หากลูกค้าไม่สนใจค่าหมายเลขรอบที่สะอาดก็สามารถทำได้ในขณะนี้) สิ่งที่ควรพิจารณาคือ 'เอฟเฟ็กต์ระลอกคลื่น' ซึ่งลูกค้าที่มาช้ามากคนหนึ่งสามารถนำไปสู่การนัดหมายที่ล่าช้า ในความเป็นจริงช่างทำผมได้เรียนรู้ที่จะนัดหมายในอวกาศนานขึ้นเรื่อย ๆ เพราะกลัววันเครียดเหล่านี้ แต่วิธีการแก้ปัญหาที่เหมาะสมและสง่างามจะต้องสามารถทำได้โดยอัจฉริยะทางสถิติบางอย่างที่นั่น .. (ถ้าเราลดความเป็นจริงลงเล็กน้อย) สมมติว่า a) เวลาในการตัดผมนั้นมีการกระจายตามปกติและ b) มีช่างทำผมเพียงคนเดียว ค่าใช้จ่ายในการตั้งค่าการนัดหมายนานเกินไปจะเห็นได้ชัดว่าช่างทำผมเสียเวลารอการนัดหมายครั้งต่อไป เรามาเสียเวลานี้ $ 1 ต่อนาที แต่หากการนัดหมายไม่เพียงพอลูกค้ารายต่อไปจะถูกรอคอยซึ่งเป็นค่าใช้จ่ายที่หนักกว่า $ 3 ต่อนาทีสำหรับ Stacey ผู้เป็นที่รักของลูกค้า Stacey ทำงานได้มากถึง 8 ชั่วโมงต่อวันและมีความต้องการมากพอที่จะเติมเต็มการนัดหมายให้มากที่สุดเท่าที่จะทำได้ การตัดผมเฉลี่ยนั้นใช้เวลา 30 นาทีโดยมี std dev จาก 10 นาที (สมมติว่าการตัดชายและการตัดผู้หญิงเป็นเหมือนกัน!) แก้ไข - …

11 normal-distribution  optimization  queueing  decision-theory 

ฉันสนใจที่จะรู้ว่ามีมติเกี่ยวกับวิธีที่ดีที่สุดในการวิเคราะห์ข้อมูลระยะเวลาการพักอาศัย (LOS) ของโรงพยาบาลจาก RCT หรือไม่ นี่คือการแจกแจงแบบเบ้ขวามากโดยผู้ป่วยส่วนใหญ่จะออกจากโรงพยาบาลภายในไม่กี่วันถึงหนึ่งสัปดาห์ แต่ผู้ป่วยที่เหลือมีการคาดเดาไม่ได้ ตัวเลือกสำหรับการวิเคราะห์รวมถึง: ทดสอบ t (สมมติว่าปกติซึ่งไม่น่าจะเป็นปัจจุบัน) การทดสอบ Mann Whitney U การทดสอบ logrank การปรับโมเดลโมเดลอันตราย Cox ตามสัดส่วนในการจัดสรรกลุ่ม วิธีใด ๆ เหล่านี้มีพลังที่สูงกว่าอย่างเห็นได้ชัดหรือไม่?

11 t-test  power  skewness  cox-model  logrank 

ฉันกำลังศึกษาบันทึกการบรรยายของ Larry Wasserman เกี่ยวกับสถิติที่ใช้ Casella และ Berger เป็นข้อความหลัก ฉันกำลังทำงานผ่านบันทึกการบรรยายของเขาชุดที่ 2และติดอยู่ในการได้มาของบทแทรกที่ใช้ในความไม่เท่าเทียมกันของ Hoeffding (pp.2-3) ฉันกำลังทำซ้ำการพิสูจน์ในหมายเหตุด้านล่างและหลังจากการพิสูจน์ฉันจะชี้ให้เห็นว่าฉันติดอยู่ที่ไหน บทแทรก สมมติว่าและเป็น \ le X \ le ข แล้ว \ mathbb {E} (จ ^ {tX}) \ le E ^ {t ^ 2 (BA) ^ 2/8}≤ X ≤ ขE ( อีทีเอ็กซ์ ) ≤ อีที2 ( ข- ) 2 …

11 probability  probability-inequalities 

พิจารณา โดยที่X_1, \ ldots, X_Nคือ iid และ CLT ถือ จำนวนคำศัพท์ที่ใหญ่ที่สุดนั้นรวมกันได้ทั้งหมดครึ่งหนึ่งหรือไม่ ตัวอย่างเช่น 10 + 9 + 8 \ ประมาณ (10 + 9 + 8 \ จุด + 1) / 2: 30% ของคำศัพท์เข้าถึงประมาณครึ่งหนึ่งของทั้งหมด∑Ni=1|Xi|∑i=1N|Xi|\sum_{i=1}^N |X_i|X1,…,XNX1,…,XNX_1, \ldots, X_N≈≈\approx……\dots กำหนด sumbiggest( j;X1…XN)≡sum of the j biggest of |X1|…|XN|sumbiggest( j;X1…XN)≡sum of the j biggest of |X1|…|XN| …

11 central-limit-theorem  asymptotics 

ฉันเริ่มขุดลงไปในฟังก์ชั่นplot.lmฟังก์ชั่นนี้ให้หกพล็อตสำหรับ lm คือ: พล็อตของสารตกค้างต่อค่าติดตั้ง พล็อตที่ตั้งมาตราส่วนของ sqrt (| residuals |) เทียบกับค่าติดตั้ง พล็อต QQ ปกติพล็อตระยะทางของ Cook เทียบกับฉลากแถว เนื้อเรื่องของส่วนที่เหลือเทียบกับการยกระดับ เนื้อเรื่องของระยะทาง Cook เทียบกับ leverage / (1-leverage) และฉันสงสัยว่าส่วนขยายทั่วไป / ที่เป็นประโยชน์อื่น ๆ ของแปลงปัจจุบันมีอยู่สำหรับตัวแบบเชิงเส้นและพวกเขาสามารถทำได้ใน R อย่างไร (ยินดีต้อนรับลิงก์ไปยังบทความของแพ็คเกจ) ดังนั้นฟังก์ชั่น boxcox (จาก {MASS}) เป็นตัวอย่างของพล็อตการวินิจฉัยอีกประโยชน์ (และเช่นคำตอบจะดี) แต่ผมอยากรู้เพิ่มเติมเกี่ยวกับรูปแบบ / ส่วนขยายในที่มีอยู่แปลงวินิจฉัยเริ่มต้นสำหรับ LM ใน R (แม้ว่าโดยทั่วไป ข้อสังเกตอื่น ๆ ในหัวข้อยินดีเสมอ) นี่คือตัวอย่างง่ายๆของสิ่งที่ฉันหมายถึง: #Some example code …

11 r  regression  linear-model  diagnostic 

ในแอปพลิเคชันการทำเหมืองข้อความวิธีการง่ายๆอย่างหนึ่งคือการใช้การแก้ปัญหาเพื่อสร้างเวกเตอร์เป็นการนำเสนอที่กระจัดกระจายของเอกสาร นี่เป็นเรื่องปกติสำหรับการตั้งค่าแบบแบตช์ซึ่งเป็นที่รู้จักทั้งคลังข้อมูล a-Priori เนื่องจากต้องการทั้งคลังข้อมูลฉันd ft f- ฉันdฉtf−idftf-idfฉันdฉidfidf ฉันd ฉ( t ) = บันทึก| D || {d: t ∈ d} |ผมdฉ(เสื้อ)=เข้าสู่ระบบ⁡|D||{d:เสื้อ∈d}| \mathrm{idf}(t) = \log \frac{|D|}{|\{d: t \in d\}|} โดยที่คือคำศัพท์,คือเอกสาร,คือคลังเอกสาร, และ (ไม่แสดง) เป็นพจนานุกรมd D Tเสื้อเสื้อtdddDDDTTT อย่างไรก็ตามโดยทั่วไปแล้วจะได้รับเอกสารใหม่เมื่อเวลาผ่านไป ทางเลือกหนึ่งคือการใช้ที่มีอยู่ต่อไปจนกว่าจะได้รับเอกสารใหม่จำนวนหนึ่งและทำการคำนวณใหม่ อย่างไรก็ตามเรื่องนี้ดูเหมือนจะไม่มีประสิทธิภาพ ไม่มีใครรู้ของรูปแบบการปรับปรุงที่เพิ่มขึ้นที่ (อาจจะประมาณ) มาบรรจบกับค่าถ้าข้อมูลทั้งหมดถูกเห็นล่วงหน้า? หรืออีกวิธีหนึ่งจะมีมาตรการอื่นที่จับความคิดเดียวกัน แต่สามารถคำนวณในแบบที่เพิ่มขึ้น?ฉันdฉผมdฉidf นอกจากนี้ยังมีคำถามที่เกี่ยวข้องว่ายังคงใช้งานได้ดีเมื่อเวลาผ่านไป เนื่องจาก idf รวบรวมความคิดเกี่ยวกับความถี่ของคำศัพท์ของคลังข้อมูลมันเป็นไปได้ที่เอกสารเก่าในคลังข้อมูล (เช่นตัวอย่างเช่นคลังข้อมูลของฉันครอบคลุมบทความวารสารกว่า 100 ปี) เนื่องจากความถี่ของคำที่แตกต่างกันเปลี่ยนแปลงไปตามกาลเวลา ในกรณีนี้มันจริงอาจจะเหมาะสมที่จะโยนออกเอกสารเก่าเมื่อคนใหม่เข้ามาในผลการใช้หน้าต่างบานเลื่อนIDFน่าจะเป็นไปได้ที่เราสามารถเก็บเวกเตอร์ก่อนหน้านี้ทั้งหมดได้เมื่อใหม่แล้วถ้าเราต้องการเรียกเอกสารจาก …

11 time-series  text-mining 

ทุกคนสามารถแสดงให้เห็นว่าค่าที่คาดหวังและความแปรปรวนของปัวซองที่สูงเกินศูนย์ด้วยฟังก์ชันความน่าจะเป็นเป็นอย่างไร f(y)={π+(1−π)e−λ,(1−π)λye−λy!,if y=0if y=1,2....f(y)={π+(1−π)e−λ,if y=0(1−π)λye−λy!,if y=1,2.... f(y) = \begin{cases} \pi+(1-\pi)e^{-\lambda}, & \text{if }y=0 \\ (1-\pi)\frac{\lambda^{y}e^{-\lambda}}{y!}, & \text{if }y=1,2.... \end{cases} ที่คือความน่าจะเป็นที่การสังเกตเป็นศูนย์โดยกระบวนการทวินามและλคือค่าเฉลี่ยของปัวซอง, ได้มา?ππ\piλλ\lambda ผลลัพธ์คือค่าที่คาดหวังและความแปรปรวนคือμ + πμ=(1−π)λμ=(1−π)λ\mu =(1-\pi)\lambda2μ+π1−πμ2μ+π1−πμ2\mu+ \frac{\pi}{1-\pi}\mu^{2} เพิ่ม: ฉันกำลังมองหากระบวนการ ตัวอย่างเช่นคุณสามารถใช้ฟังก์ชั่นสร้างช่วงเวลาได้หรือไม่? ในที่สุดฉันต้องการที่จะเห็นวิธีการทำเช่นนี้เพื่อทำความเข้าใจแกมมาที่สูงเกินจริงและอื่น ๆ เช่นกัน

11 variance  poisson-distribution  expected-value  zero-inflation 

ฉันค่อนข้างใหม่ในการขุดข้อมูลและฉันกำลังทำงานกับรูปแบบการจัดหมวดหมู่สำหรับการทำนายการจัดอันดับภาพยนตร์ ฉันได้รวบรวมชุดข้อมูลจาก IMDB และฉันวางแผนที่จะใช้ต้นไม้ตัดสินใจและแนวทางเพื่อนบ้านที่ใกล้ที่สุดสำหรับแบบจำลองของฉัน ฉันต้องการที่จะรู้ว่าเครื่องมือการขุดข้อมูลที่สามารถใช้งานได้อย่างอิสระสามารถให้การทำงานที่ฉันต้องการ

11 classification  cart