สถิติและข้อมูลขนาดใหญ่

Directed acyclic graphs (DAG) เป็นการนำเสนอภาพที่มีประสิทธิภาพของสมมติฐานเชิงสาเหตุเชิงคุณภาพในแบบจำลองทางสถิติ แต่สามารถใช้เพื่อแสดงสมการตัวแปรเครื่องมือแบบปกติ (หรือสมการอื่น ๆ ) ได้หรือไม่? ถ้าเป็นเช่นนั้นได้อย่างไร ถ้าไม่ทำไม

15 causality  instrumental-variables  dag 

วัตถุประสงค์ของกระดาษคือการปรับพารามิเตอร์บางอย่างโดยการเพิ่มโอกาสในการบันทึกปกติ จากนั้นพวกเขาคำนวณอนุพันธ์ย่อยบางส่วน จากนั้นผู้เขียนบอกว่าพวกเขาปรับสมการให้เหมาะสมโดยใช้ L-BFGS ซึ่งเป็นขั้นตอนมาตรฐานกึ่งนิวตันเพื่อปรับฟังก์ชั่นที่ราบรื่นของตัวแปรจำนวนมาก (ไม่มีรายละเอียดเพิ่มเติม) มันทำงานยังไง?

15 algorithms  optimization 

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้เป็นไปตามหัวข้อสำหรับการตรวจสอบข้าม ปิดให้บริการใน4 ปีที่แล้ว ฉันมีรายงานอุณหภูมิรายชั่วโมงและรายวันสำหรับสถานีหลายแห่งที่ http://data.barrycarter.info/ ฉันแนะนำให้คนดาวน์โหลด แต่ที่ 6.6G นั้นใช้แบนด์วิดท์เยอะมาก มีบริการที่โฮสต์ข้อมูล "สาธารณะประโยชน์" ฟรีหรือไม่ ฉันรู้เกี่ยวกับhttp://aws.amazon.com/publicdatasetsแต่คุณต้องมีบัญชี Amazon EC2 เพื่อเข้าถึงข้อมูลนั้น

14 dataset 

ในตอนหนึ่งของการออกกำลังกายสำหรับหลักสูตรของเรากำลังใช้ชุดข้อมูลทางการแพทย์ Kaggle แบบฝึกหัดบอกว่า: เราต้องการสร้างแบบจำลองการกระจายตัวของค่าใช้จ่ายส่วนบุคคลและเรายังต้องการที่จะได้รับความไม่แน่นอนเกี่ยวกับการกระจายนั้นเพื่อให้เราสามารถจับช่วงค่าที่เราอาจเห็นได้ดีขึ้น กำลังโหลดข้อมูลและแสดงมุมมองเริ่มต้น: เราอาจสงสัยจากข้างต้นว่ามีการแจกแจงแบบ exponential คล้ายกับที่นี่ ... อาจมีค่าใช้จ่ายในการเคลมประกันหลายรูปแบบ การแจกแจงแกมม่านั้นสามารถนำมาใช้ได้และเราสามารถทดสอบเรื่องนี้สำหรับการกระจายของค่าใช้จ่ายที่ไม่ได้เรียกร้องประกันก่อน ผมเงยหน้าขึ้นมอง "แจกแจงแกมมา" และพบว่า "อย่างต่อเนื่องในเชิงบวกอย่างเดียวกระจายรูปแบบเดียวที่ encodes เวลาที่จำเป็นสำหรับ«อัลฟา»เหตุการณ์จะเกิดขึ้นในกระบวนการ Poisson กับเวลาที่เข้าพักเฉลี่ยของ«เบต้า»" ไม่มีเวลาเกี่ยวข้องที่นี่เพียงแค่ค่าใช้จ่ายที่ไม่เกี่ยวข้องไม่ว่าจะเป็นการประกันหรือไม่ก็ตาม ทำไมพวกเขาถึงเลือกการกระจายแกมม่า?

14 gamma-distribution 

ฉันกำลังดำเนินโครงการวิเคราะห์ข้อมูลซึ่งเกี่ยวข้องกับการตรวจสอบเวลาการใช้งานเว็บไซต์ตลอดระยะเวลาหนึ่งปี สิ่งที่ฉันต้องการจะทำคือการเปรียบเทียบว่า "สอดคล้อง" รูปแบบการใช้พูดว่าใกล้เคียงกับรูปแบบที่เกี่ยวข้องกับการใช้งานเป็นเวลา 1 ชั่วโมงสัปดาห์ละครั้งหรือหนึ่งที่เกี่ยวข้องกับการใช้มันเป็นเวลา 10 นาทีต่อครั้ง 6 สัปดาห์ละครั้ง ฉันตระหนักถึงหลายสิ่งที่สามารถคำนวณได้: เอนโทรปีของแชนนอน:วัดว่า "ความแน่นอน" ในผลลัพธ์นั้นแตกต่างกันเท่าใดนั่นคือการกระจายความน่าจะเป็นที่ต่างไปจากชุดที่เป็นเท่าไหร่; Kullback-Liebler divergence:วัดว่าการกระจายความน่าจะเป็นหนึ่งที่แตกต่างจากที่อื่น Jensen-Shannon divergence:คล้ายกับ KL-divergence แต่มีประโยชน์มากกว่าเมื่อมันส่งคืนค่า จำกัด การทดสอบ Smirnov-Kolmogorov : การทดสอบเพื่อตรวจสอบว่าฟังก์ชันการแจกแจงสะสมสองฟังก์ชันสำหรับตัวแปรสุ่มต่อเนื่องมาจากตัวอย่างเดียวกันหรือไม่ การทดสอบแบบไคสแควร์: การทดสอบความดีพอดีเพื่อตัดสินว่าการกระจายความถี่แตกต่างจากการกระจายความถี่ที่คาดหวังได้ดีเพียงใด สิ่งที่ฉันต้องการจะทำคือการเปรียบเทียบระยะเวลาการใช้งานจริง (สีฟ้า) แตกต่างจากเวลาการใช้งานที่เหมาะสมที่สุด (สีส้ม) ในการกระจาย การแจกแจงเหล่านี้ไม่ต่อเนื่องและรุ่นด้านล่างจะถูกทำให้เป็นมาตรฐานเพื่อการแจกแจงความน่าจะเป็น แกนนอนแสดงจำนวนเวลา (เป็นนาที) ที่ผู้ใช้ใช้บนเว็บไซต์ สิ่งนี้ถูกบันทึกไว้ในแต่ละวันของปี; หากผู้ใช้ไม่ได้ไปที่เว็บไซต์เลยนับว่าเป็นระยะเวลาเป็นศูนย์ แต่สิ่งเหล่านี้จะถูกลบออกจากการแจกแจงความถี่ ด้านขวาเป็นฟังก์ชันการแจกแจงสะสม ปัญหาเดียวของฉันคือแม้ว่าฉันจะได้รับ JS-divergence เพื่อคืนค่า จำกัด เมื่อฉันดูผู้ใช้ที่แตกต่างกันและเปรียบเทียบการกระจายการใช้งานของพวกเขากับอุดมคติ แต่ฉันได้รับค่าที่เหมือนกันมากที่สุด (ซึ่งไม่ดี ตัวบ่งชี้ว่ามีความแตกต่างกันเท่าใด) นอกจากนี้ข้อมูลบางส่วนจะหายไปเมื่อ normalizing …

14 distributions  distance  frequency  comparison 

โดยปกติการแจกแจงความน่าจะเป็นเหนือตัวแปรที่ไม่ต่อเนื่องนั้นถูกอธิบายโดยใช้ฟังก์ชันความน่าจะเป็นมวล (PMF): เมื่อทำงานกับตัวแปรสุ่มต่อเนื่องเราจะอธิบายการแจกแจงความน่าจะเป็นโดยใช้ฟังก์ชันความหนาแน่นของความน่าจะเป็น (PDF) แทนที่จะเป็นฟังก์ชันมวลความน่าจะเป็น - การเรียนรู้อย่างลึกซึ้งโดย Goodfellow, Bengio และ Courville อย่างไรก็ตามWolfram Mathworldใช้ PDF เพื่ออธิบายการแจกแจงความน่าจะเป็นผ่านตัวแปรที่ไม่ต่อเนื่อง: นี่เป็นความผิดพลาดหรือไม่? หรือมันไม่สำคัญอะไร

14 probability  mathematical-statistics  terminology  pdf 

คุณเรียกค่าเฉลี่ยเชิงสถิติที่คำนวณจากสุดขั้วบนและล่างในชุดข้อมูลใด ๆ ตัวอย่างเช่นหากคุณมีชุด: { -2, 0 , 8, 9, 1, 50, -2, 6} สุดขีดบนของชุดนี้อยู่และรุนแรงที่ต่ำกว่า50 -2ดังนั้นค่าเฉลี่ยของความสุดขั้วจะเป็น(-2 + 50 / 2) = 48/2 = 24 มีคำสำหรับค่าเฉลี่ยทางสถิติแบบนี้หรือไม่?

14 mean  terminology  average  range 

เมื่อฉันอ่านเกี่ยวกับวิธีการตั้งค่าข้อมูลของคุณสิ่งหนึ่งที่ฉันมักจะเจอคือการเปลี่ยนข้อมูลต่อเนื่องเป็นข้อมูลเชิงหมวดหมู่ไม่ใช่ความคิดที่ดีเนื่องจากคุณอาจทำข้อสรุปที่ผิดได้เป็นอย่างดีหากกำหนดเกณฑ์ไม่ดี อย่างไรก็ตามปัจจุบันฉันมีข้อมูลบางอย่าง (ค่า PSA สำหรับผู้ป่วยมะเร็งต่อมลูกหมาก) ซึ่งฉันคิดว่าฉันทามติร่วมกันคือถ้าคุณอายุต่ำกว่า 4 คุณอาจไม่ได้รับมันหากคุณอยู่สูงกว่าคุณมีความเสี่ยง สูงกว่า 10 และ 20 คุณอาจมีมัน อะไรแบบนั้น. ในกรณีนั้นจะยังไม่ถูกต้องหรือไม่ที่จะจัดหมวดหมู่ค่า PSA ต่อเนื่องของฉันเป็นกลุ่มที่สมมติว่า 0-4, 4-10 และ> 10 หรือว่าจริง ๆ แล้วก็โอเคตั้งแต่เกณฑ์ "ตั้งใจดี" เพื่อพูด

14 categorical-data  continuous-data 

ฉันมีชุดข้อมูลรวมถึงความต้องการของผลิตภัณฑ์ต่าง ๆ (1200 ผลิตภัณฑ์) เป็นระยะเวลา 25 ระยะและฉันจำเป็นต้องทำนายความต้องการของแต่ละผลิตภัณฑ์สำหรับงวดถัดไป ตอนแรกฉันต้องการใช้ ARIMA และฝึกอบรมแบบจำลองสำหรับแต่ละผลิตภัณฑ์ แต่เนื่องจากจำนวนของผลิตภัณฑ์และการปรับพารามิเตอร์ (p, d, q) ทำให้ใช้เวลานานมากและไม่สามารถใช้งานได้จริง แนะนำให้ใช้การถดถอยที่ความต้องการก่อนหน้าเป็นตัวแปรอิสระ (Autoregressive) หรือไม่? ฉันจะรู้ได้อย่างไรว่ามีวิธีใดที่จะฝึกอบรมแบบจำลองเดียวสำหรับการทำนายความต้องการผลิตภัณฑ์ทั้ง 1200 รายการ ฉันจะขอบคุณถ้าคุณสามารถแนะนำห้องสมุดใด ๆ ใน Python เพราะฉันใช้ Python

14 machine-learning  time-series  arima 

มันมักจะเป็นกรณีที่ช่วงความเชื่อมั่นที่มีความคุ้มครอง 95% จะคล้ายกันมากกับช่วงเวลาที่น่าเชื่อถือที่มี 95% ของความหนาแน่นหลัง สิ่งนี้เกิดขึ้นเมื่อชุดก่อนหน้านั้นเหมือนกันหรือใกล้เคียงในกรณีหลัง ดังนั้นช่วงความมั่นใจมักจะถูกใช้เพื่อประมาณช่วงเวลาที่น่าเชื่อถือและในทางกลับกัน ที่สำคัญเราสามารถสรุปได้ว่าสิ่งนี้เป็นการตีความที่ผิดพลาดอย่างมากของช่วงความเชื่อมั่นเนื่องจากช่วงเวลาที่น่าเชื่อถือนั้นมีความสำคัญเพียงเล็กน้อยถึงไม่มีประโยชน์เลยสำหรับกรณีการใช้งานที่ง่าย มีตัวอย่างจำนวนมากที่มีกรณีที่สิ่งนี้ไม่ได้เกิดขึ้นอย่างไรก็ตามพวกเขาทั้งหมดดูเหมือนจะถูกเชอร์รี่โดยผู้สนับสนุนของ Bayesian stats ในความพยายามที่จะพิสูจน์ว่ามีบางอย่างผิดปกติกับวิธีการที่ใช้บ่อย ในตัวอย่างเหล่านี้เราจะเห็นช่วงความมั่นใจมีค่าที่เป็นไปไม่ได้ ฯลฯ ซึ่งควรจะแสดงว่าไร้สาระ ฉันไม่ต้องการกลับไปดูตัวอย่างเหล่านั้นหรือการอภิปรายเชิงปรัชญาของ Bayesian vs Frequentist ฉันแค่กำลังมองหาตัวอย่างของสิ่งที่ตรงกันข้าม มีกรณีใดบ้างที่ความมั่นใจและช่วงเวลาที่เชื่อถือได้แตกต่างกันอย่างมีนัยสำคัญและช่วงเวลาที่กำหนดโดยขั้นตอนความเชื่อมั่นนั้นเหนือกว่าอย่างชัดเจนหรือไม่ ในการชี้แจง: นี่เป็นเรื่องเกี่ยวกับสถานการณ์ที่คาดว่าช่วงเวลาที่น่าเชื่อถือจะตรงกับช่วงความเชื่อมั่นที่สอดคล้องกันเช่นเมื่อใช้แบบแฟลตเครื่องแบบและนักบวช ฯลฯ ฉันไม่สนใจในกรณีที่มีคนเลือกที่ไม่ดีโดยพลการมาก่อน แก้ไข: เพื่อตอบสนองต่อคำตอบของ @JaeHyeok Shin ด้านล่างฉันต้องไม่เห็นด้วยว่าตัวอย่างของเขาใช้โอกาสที่ถูกต้อง ฉันใช้การคำนวณแบบเบย์โดยประมาณเพื่อประเมินการกระจายหลังที่ถูกต้องสำหรับทีต้าด้านล่างใน R: ### Methods ### # Packages require(HDInterval) # Define the likelihood like <- function(k = 1.2, theta = 0, …

14 bayesian  confidence-interval  frequentist  credible-interval 

นี่คือคำจำกัดความของสถิติในวิกิพีเดีย ทฤษฎีทางสถิติกำหนดสถิติว่าเป็นฟังก์ชันของตัวอย่างที่ฟังก์ชันนั้นมีความเป็นอิสระจากการแจกตัวอย่าง นั่นคือฟังก์ชั่นสามารถระบุไว้ก่อนที่จะตระหนักถึงข้อมูล คำว่าสถิติใช้สำหรับทั้งฟังก์ชันและค่าของฟังก์ชันในตัวอย่างที่กำหนด ฉันคิดว่าฉันเข้าใจคำจำกัดความส่วนใหญ่นี้อย่างไรก็ตามส่วน - ที่ฟังก์ชันมีความเป็นอิสระจากการแจกแจงตัวอย่างฉันไม่สามารถแยกแยะได้ ความเข้าใจเกี่ยวกับสถิติของฉันจนถึงตอนนี้ ตัวอย่างคือชุดของความเข้าใจของจำนวนการบางอย่างอิสระกระจายเหมือนกัน (IID) ตัวแปรสุ่มที่มีการแจกแจงแบบ F (10 ความเข้าใจของการโยนลูกเต๋ายุติธรรมด้าน 20, 100 ความเข้าใจ 5 ม้วนลูกเต๋ายุติธรรม 6 ด้านที่ สุ่ม 100 คนจากประชากร) ฟังก์ชั่นที่มีโดเมนเป็นชุดนั้นและมีช่วงที่เป็นตัวเลขจริง (หรือบางทีมันอาจจะสามารถผลิตสิ่งอื่น ๆ เช่นเวกเตอร์หรือวัตถุทางคณิตศาสตร์อื่น ๆ ... ) จะได้รับการพิจารณาสถิติ เมื่อฉันคิดถึงตัวอย่างค่าเฉลี่ยมัธยฐานความแปรปรวนทั้งหมดจะสมเหตุสมผลในบริบทนี้ มันเป็นฟังก์ชั่นในชุดของการรับรู้ (การวัดความดันโลหิตจากตัวอย่างแบบสุ่ม) ฉันยังสามารถดูวิธีการรูปแบบการถดถอยเชิงเส้นอาจจะถือว่าเป็นสถิติที่yi=α+β⋅xiyi=α+β⋅xiy_{i} = \alpha + \beta \cdot x_{i} - นี้ไม่ได้เป็นเพียงฟังก์ชั่นในชุดของความเข้าใจหรือไม่? ที่ฉันสับสน สมมติว่าความเข้าใจของฉันจากด้านบนถูกต้องฉันไม่สามารถเข้าใจได้ว่าฟังก์ชันใดที่อาจไม่เป็นอิสระจากการแจกแจงตัวอย่าง ฉันพยายามนึกตัวอย่างเพื่อให้เข้าใจ แต่ก็ไม่มีโชค ความเข้าใจใด ๆ …

14 mathematical-statistics  definition 

ฉันสังเกตเห็นในวิธีการเรียนรู้สถิติ / เครื่องการแจกแจงมักจะเป็นแบบเกาส์จากนั้นก็ใช้แบบเกาส์สำหรับการสุ่มตัวอย่าง พวกเขาเริ่มต้นโดยการคำนวณทั้งสองช่วงเวลาแรกของการจัดจำหน่ายและการใช้งานเหล่านั้นเพื่อประเมินμμ\muและ 2 จากนั้นพวกเขาสามารถสุ่มตัวอย่างจากเกาส์นนั้นได้σ2σ2\sigma^2 ดูเหมือนว่าสำหรับฉันในช่วงเวลาที่ฉันคำนวณมากขึ้นฉันควรจะประมาณตัวอย่างการกระจายตัวที่ดีกว่าที่ฉันต้องการ จะเกิดอะไรขึ้นถ้าฉันคำนวณ 3 ช่วงเวลา ... ฉันจะใช้สิ่งเหล่านั้นเพื่อสุ่มตัวอย่างจากการแจกแจงได้อย่างไร และนี่สามารถขยายไปสู่ช่วงเวลา N ได้หรือไม่?

14 probability  sampling  moments 

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามดังนั้นจึงเป็นหัวข้อสำหรับการตรวจสอบข้าม ปิดให้บริการใน2 ปีที่ผ่านมา มันได้รับการวิจารณ์อย่างกว้างขวางในสื่อสีเหลืองและไม่ใช่สื่อสีเหลืองที่เดอะซิมป์สันส์ (ละครโทรทัศน์) ได้ทำนายอนาคตซ้ำ ๆ บทความออนไลน์ที่ครอบคลุมเกี่ยวกับมันอยู่ที่นี่และที่นี่ หากคุณgoogle "simpsons ทำนายอนาคต" คุณจะได้รับความนิยมและวิดีโอนับล้าน บางทีคำทำนายที่น่าทึ่งที่สุด (อย่างน้อยสำหรับฉัน) ก็คือ ทรัมป์ในฐานะประธานาธิบดีสหรัฐฯ (ทำในปี 2000!) ล่าสุดดูเหมือนว่าจะถูกต้องตามกฎหมายของกัญชาในแคนาดา คำถามคือทำไมความสำเร็จที่เห็นได้ชัดนี้ ฉันเดาว่า (i) ซิมป์สันทำให้จำนวนมากของ "คาดการณ์" (แทนที่จะอาคารสถานการณ์), (ii) สถิติการพูดสัดส่วนของการเข้าชมที่เป็นจริงที่ต่ำมาก (ไม่ว่าฉันมีคำนวณได้) "ความสำเร็จ" ที่เห็นได้ชัดนั้นเป็นเพียงอคติทางปัญญา

14 statistics-in-media 

การแจกจ่าย Cauchy เป็นอย่างใดอย่างหนึ่งการกระจาย "ไม่แน่นอน"? ฉันพยายามทำ cs <- function(n) { return(rcauchy(n,0,1)) } ใน R สำหรับค่า n จำนวนมากและสังเกตว่าพวกเขาสร้างค่าที่ไม่แน่นอนค่อนข้างเป็นครั้งคราว เปรียบเทียบกับ as <- function(n) { return(rnorm(n,0,1)) } ซึ่งมักจะให้คะแนนแบบ "กะทัดรัด" โดยรูปนี้มันควรมีลักษณะการกระจายตัวแบบปกติหรือไม่ แต่มันอาจจะเป็นเพียงส่วนหนึ่งของค่า หรืออาจเป็นกลอุบายก็คือการเบี่ยงเบนมาตรฐานของ Cauchy (ในรูปด้านล่าง) มาบรรจบกันช้ากว่ามาก (ไปทางซ้ายและขวา) และทำให้มีค่าผิดปกติที่รุนแรงมากขึ้นแม้ว่าจะมีความน่าจะเป็นต่ำ? นี่คือ rvs ปกติและ cs คือ Cauchy rvs แต่ด้วยปลายสุดของค่าผิดปกติเป็นไปได้ไหมที่ส่วนท้ายของ Cauchy pdf ไม่เคยมาบรรจบกัน?

14 distributions  intuition  cauchy 

ฉันมีข้อมูลบางอย่างที่พอดีกับเส้นตรง ๆ : เมื่อฉันทำการถดถอยเชิงเส้นของค่าเหล่านี้ฉันจะได้สมการเชิงเส้น: y=0.997x−0.0136y=0.997x−0.0136y = 0.997x-0.0136 ในโลกที่เหมาะสมการควรจะมีxy=xy=xy = x เห็นได้ชัดว่าค่าเชิงเส้นของฉันใกล้เคียงกับอุดมคตินั้น แต่ไม่แน่นอน คำถามของฉันคือฉันจะทราบได้อย่างไรว่าผลลัพธ์นี้มีนัยสำคัญทางสถิติหรือไม่ ค่า 0.997 แตกต่างอย่างมีนัยสำคัญจาก 1 หรือไม่? -0.01 แตกต่างอย่างมีนัยสำคัญจาก 0 หรือไม่ หรือว่าเป็นสถิติเดียวกันและฉันสามารถสรุปได้ว่าด้วยระดับความเชื่อมั่นที่สมเหตุสมผลหรือไม่?y=xy=xy=x การทดสอบทางสถิติที่ดีที่ฉันสามารถใช้ได้คืออะไร ขอบคุณ

14 regression  hypothesis-testing  statistical-significance