สถิติและข้อมูลขนาดใหญ่

วันก่อนฉันได้ปรึกษากับนักระบาดวิทยา เธอเป็นแพทยศาสตรบัณฑิตที่มีการศึกษาด้านสาธารณสุขในสาขาระบาดวิทยาและมีความเข้าใจทางสถิติเป็นอย่างมาก เธอให้คำปรึกษาเพื่อนร่วมงานวิจัยและผู้อยู่อาศัยของเธอและช่วยเหลือพวกเขาเกี่ยวกับปัญหาทางสถิติ เธอเข้าใจการทดสอบสมมติฐานค่อนข้างดี เธอมีปัญหาโดยทั่วไปในการเปรียบเทียบสองกลุ่มเพื่อดูว่ามีความแตกต่างในเรื่องนั้นหรือไม่ที่เกี่ยวข้องกับการเกิดภาวะหัวใจล้มเหลว (CHF) เธอทดสอบความแตกต่างของค่าเฉลี่ยในสัดส่วนของอาสาสมัครที่ได้รับ CHF ค่า p คือ 0.08 จากนั้นเธอก็ตัดสินใจที่จะดูความเสี่ยงสัมพัทธ์และรับค่า p-0.027 ดังนั้นเธอจึงถามว่าทำไมสิ่งหนึ่งถึงมีความหมาย เมื่อดูที่ช่วงความเชื่อมั่นสองด้าน 95% สำหรับความแตกต่างและอัตราส่วนที่เธอเห็นว่าช่วงความแตกต่างเฉลี่ยมี 0 แต่ขีด จำกัด ความเชื่อมั่นสูงสุดของอัตราส่วนนั้นน้อยกว่า 1 ดังนั้นทำไมเราถึงได้ผลลัพธ์ที่ไม่สอดคล้องกัน คำตอบของฉันในขณะที่ถูกต้องทางเทคนิคไม่เป็นที่น่าพอใจมาก ฉันพูดว่า "นี่เป็นสถิติที่แตกต่างกันและสามารถให้ผลลัพธ์ที่แตกต่างกันได้ค่า p มีทั้งที่มีนัยสำคัญเล็กน้อยซึ่งสามารถเกิดขึ้นได้ง่าย" ฉันคิดว่าต้องมีวิธีที่ดีกว่าในการตอบคำถามนี้ในแง่ของฆราวาสต่อแพทย์เพื่อช่วยให้พวกเขาเข้าใจความแตกต่างระหว่างการทดสอบความเสี่ยงสัมพัทธ์กับความเสี่ยงที่แน่นอน ในการศึกษา epi ปัญหานี้เกิดขึ้นมากเพราะพวกเขามักจะดูเหตุการณ์ที่หายากซึ่งอัตราการเกิดของทั้งสองกลุ่มนั้นน้อยมากและขนาดของกลุ่มตัวอย่างไม่ใหญ่มาก ฉันได้คิดเกี่ยวกับเรื่องนี้เล็กน้อยและมีความคิดบางอย่างที่ฉันจะแบ่งปัน แต่ก่อนอื่นฉันอยากได้ยินว่าคุณจะจัดการกับเรื่องนี้อย่างไร ฉันรู้ว่าพวกคุณหลายคนทำงานหรือให้คำปรึกษาในด้านการแพทย์และอาจต้องเผชิญกับปัญหานี้ คุณจะทำอย่างไร

12 relative-risk  absolute-risk  rare-events 

หมายเหตุ: คำถามนี้เป็นคำถามใหม่เนื่องจากต้องลบคำถามก่อนหน้านี้ด้วยเหตุผลทางกฎหมาย ในขณะที่เปรียบเทียบ PROC MIXED จาก SAS กับฟังก์ชันlmeจากnlmeแพ็คเกจใน R ฉันพบความแตกต่างที่ค่อนข้างสับสน โดยเฉพาะอย่างยิ่งองศาอิสระในการทดสอบที่แตกต่างกันระหว่างPROC MIXEDและlmeและฉันสงสัยว่าทำไม เริ่มจากชุดข้อมูลต่อไปนี้ (รหัส R ระบุด้านล่าง): ind: ปัจจัยบ่งชี้บุคคลที่จะทำการวัด fac: อวัยวะที่ใช้ทำการวัด trt: ปัจจัยบ่งชี้การรักษา y: ตัวแปรตอบสนองต่อเนื่องบางอย่าง ความคิดคือการสร้างแบบจำลองง่ายๆดังต่อไปนี้: y ~ trt + (ind): indเป็นปัจจัยสุ่ม y ~ trt + (fac(ind)): facซ้อนกันindเป็นปัจจัยสุ่ม โปรดทราบว่ารุ่นสุดท้ายที่ควรทำให้เกิดเอกเป็นมีเพียง 1 ค่าของyสำหรับการรวมกันของทุกและindfac แบบจำลองแรก ใน SAS ฉันสร้างโมเดลต่อไปนี้: PROC MIXED data=Data; CLASS ind fac …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 

ฉันต้องการคำนวณ divergence ของเซ่น - แชนนอนสำหรับเขาหลังจากการกระจาย 3 ครั้ง การคำนวณด้านล่างถูกต้องหรือไม่ (ฉันติดตามสูตร JSD จากวิกิพีเดีย ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) = H[(1/6, 1/6, 0) + (0, 1/30, 9/30) + (1/9,1/9,1/9)] - [1/3*H[(1/2,1/2,0)] + 1/3*H[(0,1/10,9/10)] + 1/3*H[(1/3,1/3,1/3)]] …

12 distance-functions  information-theory 

มีการแจกแจงเชิงบวกอย่างเดียวหรือไม่ว่าความแตกต่างของตัวอย่างอิสระสองรายการจากการแจกแจงนี้กระจายตามปกติหรือไม่? ถ้าเป็นเช่นนั้นจะมีรูปแบบที่เรียบง่ายหรือไม่?

12 distributions  probability 

ทำไมถึงมีนักบวชที่ไม่ให้ข้อมูล? พวกเขาไม่ได้ให้ข้อมูลเกี่ยวกับθเหตุใดจึงต้องใช้พวกเขา ทำไมไม่ใช้นักบวชที่มีข้อมูลเท่านั้น? ตัวอย่างเช่นสมมติว่าθ ∈ [ 0 , 1 ] ถ้าเช่นนั้นθ ∼ U ( 0 , 1 )ไม่ใช่ข้อมูลก่อนหน้าสำหรับθหรือไม่θθ\thetaθ∈[0,1]θ∈[0,1] \theta \in [0,1]θ∼U(0,1)θ∼U(0,1)\theta \sim \mathcal{U}(0,1)θθ\theta

12 bayesian  uninformative-prior  jeffreys-prior 

วิธีการดั้งเดิมในการเลือกตัวแปรคือการค้นหาตัวแปรที่มีส่วนร่วมมากที่สุดในการทำนายการตอบสนองใหม่ เมื่อเร็ว ๆ นี้ฉันได้เรียนรู้ทางเลือกนี้ ในการสร้างแบบจำลองตัวแปรที่กำหนดผลกระทบของการรักษา - ตัวอย่างเช่นในการทดลองทางคลินิกของยา - ตัวแปรถูกกล่าวถึงว่ามีปฏิสัมพันธ์ในเชิงคุณภาพกับการรักษาถ้าปล่อยให้สิ่งอื่นคงที่การเปลี่ยนแปลงในตัวแปรนั้นสามารถสร้างการเปลี่ยนแปลงที่การรักษามีประสิทธิภาพมากที่สุด ตัวแปรเหล่านี้ไม่ได้เป็นตัวทำนายผลที่แข็งแกร่งเสมอไป แต่อาจมีความสำคัญสำหรับแพทย์เมื่อตัดสินใจเลือกการรักษาสำหรับผู้ป่วยแต่ละราย ในวิทยานิพนธ์ปริญญาเอกของเธอ Lacey Gunter พัฒนาวิธีการเลือกตัวแปรการโต้ตอบเชิงคุณภาพที่อาจพลาดโดยอัลกอริธึมที่เลือกการทำนาย เมื่อเร็ว ๆ นี้ฉันได้ทำงานกับเธอในการขยายวิธีการเหล่านี้ไปยังรุ่นอื่น ๆ รวมถึงการถดถอยโลจิสติกและโมเดลการถดถอยอันตรายตามสัดส่วนของ Cox ฉันมีสองคำถาม: คุณคิดอย่างไรเกี่ยวกับคุณค่าของวิธีการใหม่เหล่านี้ ในกรณีของวิธีการแบบดั้งเดิมคุณชอบวิธีการแบบไหน? เกณฑ์เช่น AIC, BIC, Mallows Cp, F สำหรับการทดสอบการป้อนหรือการลดตัวแปรในแบบขั้นตอนไปข้างหน้าและข้างหลัง ... บทความแรกในเรื่องนี้ออกมาใน Gunter, L. , Zhu, J และ Murphy, SA (2009) เลือกตัวแปรสำหรับการปฏิสัมพันธ์เชิงคุณภาพ ระเบียบวิธีทางสถิติ ดอย: 10, 1016 / j.stamet.2009.05.003 บทความต่อไปปรากฏใน …

12 regression  feature-selection 

ขณะนี้ฉันกำลังวิเคราะห์ข้อมูลจากชุดการทดลองเชิงพฤติกรรมที่ทุกคนใช้มาตรการต่อไปนี้ ผู้เข้าร่วมในการทดลองนี้ถูกขอให้เลือกเบาะแสที่ผู้อื่นสามารถใช้เพื่อช่วยแก้ปัญหา 10 ชุด ผู้เข้าร่วมจะถูกนำไปสู่การเชื่อว่าคนอื่น ๆ เหล่านี้จะได้รับหรือสูญเสียเงินขึ้นอยู่กับประสิทธิภาพของพวกเขาในการแก้ anagrams เบาะแสแตกต่างกันไปในการช่วยเหลือพวกเขา ตัวอย่างเช่นสำหรับแอนนาแกรม NUNGRIN แอนนาแกรมของ RUNNING อาจมีสามปม: ย้ายอย่างรวดเร็ว (ไม่ช่วยเหลือ) สิ่งที่คุณทำในการแข่งขันมาราธอน (มีประโยชน์) ไม่ได้เป็นงานอดิเรกที่ดีต่อสุขภาพเสมอไป (ไม่ช่วยเหลือ) ในการจัดทำมาตรการฉันนับจำนวนครั้ง (จาก 10) ที่ผู้เข้าร่วมเลือกเบาะแสที่ไม่ช่วยเหลือคนอื่น ในการทดลองฉันใช้ความหลากหลายที่แตกต่างกันเพื่อส่งผลต่อความช่วยเหลือของเบาะแสที่ผู้คนเลือก เนื่องจากการวัดความเอื้ออาทรและความช่วยเหลือไม่ดีค่อนข้างเบาบางลงอย่างมาก (คนส่วนใหญ่เลือกเบาะแสที่เป็นประโยชน์ 10 ข้อ) และเนื่องจากการวัดเป็นตัวแปรนับฉันจึงใช้ Poisson Generalized Linear Model เพื่อวิเคราะห์ข้อมูลเหล่านี้ อย่างไรก็ตามเมื่อฉันอ่านเพิ่มเติมเกี่ยวกับการถดถอยของปัวซองฉันพบว่าเนื่องจากปัวซงถดถอยไม่ได้ประเมินค่าเฉลี่ยและความแปรปรวนของการแจกแจงอย่างอิสระมันมักประเมินค่าความแปรปรวนในชุดข้อมูลต่ำกว่า ฉันเริ่มตรวจสอบทางเลือกในการถดถอยของปัวซองเช่นการถดถอยแบบ quasipoisson หรือการถดถอยแบบทวินามลบ อย่างไรก็ตามฉันยอมรับว่าฉันค่อนข้างใหม่สำหรับโมเดลเหล่านี้ดังนั้นฉันมาที่นี่เพื่อขอคำแนะนำ ใครบ้างมีคำแนะนำเกี่ยวกับรูปแบบที่จะใช้สำหรับข้อมูลประเภทนี้? มีข้อควรพิจารณาอื่น ๆ อีกหรือไม่ที่ฉันควรระวัง (เช่นเป็นรุ่นหนึ่งที่มีประสิทธิภาพมากกว่าอีกรุ่นหนึ่งหรือไม่) ฉันควรพิจารณาการวินิจฉัยประเภทใดเพื่อพิจารณาว่ารูปแบบที่ฉันเลือกจัดการข้อมูลของฉันอย่างเหมาะสมหรือไม่

12 poisson-distribution  count-data 

ปัญหาใหญ่ในการสื่อสารผลของการคำนวณทางสถิติกับสื่อและสาธารณะคือวิธีที่เราสื่อสารความไม่แน่นอน แน่นอนว่าสื่อมวลชนส่วนใหญ่ดูเหมือนว่าจะเป็นตัวเลขที่ยากและรวดเร็วถึงแม้ว่าจะมีบางกรณีที่ค่อนข้างน้อย ดังนั้นในฐานะนักสถิติ (หรือนักวิทยาศาสตร์ที่อธิบายงานทางสถิติ) เราจะสื่อสารผลลัพธ์ของเราได้ดีที่สุดในขณะที่รักษาความไม่แน่นอนในการเจรจาต่อรอง ฉันรู้ว่านี่ไม่ใช่คำถามเชิงสถิติ แต่เป็นคำถามทางจิตวิทยาเกี่ยวกับสถิติ แต่เป็นสิ่งที่นักสถิติและนักวิทยาศาสตร์ส่วนใหญ่กังวล ฉันจินตนาการว่าคำตอบที่ดีอาจอ้างอิงการวิจัยทางจิตวิทยามากกว่าตำราสถิติ ... แก้ไข:ตามข้อเสนอแนะของผู้ใช้ 5668458 กรณีศึกษาอาจมีประโยชน์ที่นี่ หากเป็นไปได้โปรดเก็บคำตอบทั่วไปไว้ในพื้นที่อื่น โดยเฉพาะอย่างยิ่งในกรณีที่ฉันสนใจในการทำหน้าที่เป็นตัวอย่างที่ดี: การสื่อสารวิทยาศาสตร์ภูมิอากาศกับนักการเมืองและประชาชนทั่วไปผ่านสื่อมวลชน กล่าวอีกนัยหนึ่งในฐานะนักวิทยาศาสตร์เป็นหน้าที่ของคุณในการถ่ายทอดข้อมูลไปยังนักข่าวในลักษณะที่พวกเขามีความยากลำบากเล็กน้อยในการสื่อข้อมูลนั้นให้กับสาธารณชนได้อย่างถูกต้องนั่นคือความจริงแม้ว่าจะไม่จำเป็นต้องเป็นความจริงทั้งหมดก็ตาม มักจะไม่พอดีกับข่าวกัด ตัวอย่างทั่วไปโดยเฉพาะอย่างยิ่งบางอย่างอาจเป็นการสื่อสารของความไม่แน่นอนในการประมาณระดับของภาวะโลกร้อนในช่วงที่เหลือของศตวรรษหรือในโอกาสที่เพิ่มขึ้นของเหตุการณ์สภาพอากาศรุนแรงเฉพาะ (เช่นในการตอบสนองต่อ "เป็นพายุนี้เกิดจากการเปลี่ยนแปลงสภาพภูมิอากาศ "พิมพ์คำถาม)

12 uncertainty  communication 

ในโพสต์ก่อนหน้านี้ฉันสงสัยว่าจะจัดการกับคะแนน EQ-5D ได้อย่างไร เมื่อเร็ว ๆ นี้ฉันได้พบกับการถดถอยเชิงปริมาณของโลจิสติกส์ที่Bottai และ McKeownแนะนำซึ่งนำเสนอวิธีการที่ยอดเยี่ยมในการจัดการกับผลลัพธ์ที่ถูกผูกไว้ สูตรง่าย: l o gฉันt ( y) = l o g( y- ym ฉันnYm a x- y)logit(y)=log(y−yminymax−y)logit(y)=log(\frac{y-y_{min}}{y_{max}-y}) เพื่อหลีกเลี่ยงการเข้าสู่ระบบ (0) และการหารด้วย 0 คุณขยายช่วงโดยมีค่าขนาดเล็กεสิ่งนี้ทำให้สภาพแวดล้อมที่เคารพขอบเขตของคะแนนεϵ\epsilon ปัญหาคือว่าใด ๆจะอยู่ในขนาด logit และที่ไม่ได้ทำให้รู้สึกใด ๆ เว้นแต่เปลี่ยนกลับเข้าสู่ระดับปกติ แต่นั่นหมายความว่าβจะไม่เชิงเส้น สำหรับจุดประสงค์ในการสร้างกราฟสิ่งนี้ไม่สำคัญ แต่ไม่ได้มีมากกว่าβ : s สิ่งนี้จะไม่สะดวกมากββ\betaββ\betaββ\beta คำถามของฉัน: คุณแนะนำให้รายงาน logit โดยไม่รายงานการขยายเต็มได้อย่างไรββ\beta ตัวอย่างการนำไปปฏิบัติ สำหรับการทดสอบการใช้งานฉันได้เขียนแบบจำลองโดยใช้ฟังก์ชั่นพื้นฐานนี้: outcome=β0+β1∗xtest3+β2∗sexoutcome=β0+β1∗xtest3+β2∗sexoutcome=\beta_0+\beta_1* xtest^3+\beta_2*sex β0=0β0=0\beta_0 …

12 r  logistic  data-visualization  logit  quantile-regression 

พิจารณากราฟต่อไปนี้: เส้นสีแดง (แกนซ้าย) อธิบายปริมาณการซื้อขายของหุ้นหนึ่ง ๆ เส้นสีฟ้า (แกนขวา) อธิบายปริมาณข้อความทวิตเตอร์สำหรับหุ้นนั้น ตัวอย่างเช่นในวันที่ 9 พฤษภาคม (05-09) มีการซื้อขายประมาณ 1.100 ล้านครั้งและทวีต 4.000 รายการ ฉันต้องการคำนวณว่ามีความสัมพันธ์กันระหว่างไทม์ซีรี่ส์หรือไม่ในวันเดียวกันหรือมีความล่าช้าตัวอย่างเช่นปริมาณทวีตสัมพันธ์กับปริมาณการซื้อขายในอีกหนึ่งวันต่อมา ฉันกำลังอ่านบทความมากมายที่ได้ทำการวิเคราะห์เช่นCorrelating Financial Time Series กับ Micro-Blogging Activityแต่พวกเขาไม่ได้อธิบายว่าการวิเคราะห์ดังกล่าวเกิดขึ้นได้อย่างไรในแง่ของการปฏิบัติ ต่อไปนี้ระบุไว้ในบทความ: อย่างไรก็ตามฉันมีประสบการณ์น้อยมากเกี่ยวกับการวิเคราะห์ทางสถิติและไม่ทราบวิธีการดำเนินการนี้ในซีรี่ส์ที่ฉันมี ฉันใช้ SPSS (หรือที่รู้จักกันว่า PASW) และคำถามของฉันคือ: ขั้นตอนในการวิเคราะห์เช่นนี้คืออะไรจากจุดที่ฉันมี datafile ที่อ้างอิงภาพข้างบน การทดสอบดังกล่าวเป็นคุณสมบัติเริ่มต้น (และเรียกว่าอะไร) และ / หรือฉันจะใช้งานได้อย่างไร? ความช่วยเหลือใด ๆ ที่จะได้รับการชื่นชมอย่างมาก :-)

12 time-series  correlation  lags 

เราวาดตัวอย่างแต่ละขนาดอิสระจากปกติการจัดจำหน่ายn ( μ , σ 2 )NNNnnn(μ,σ2)(μ,σ2)(\mu,\sigma^2) จากตัวอย่างเราเลือก 2 ตัวอย่างที่มีความสัมพันธ์แบบเพียร์สันสูงสุด (แบบสัมบูรณ์) กับแต่ละอื่น ๆNNN ค่าที่คาดหวังของความสัมพันธ์นี้คืออะไร? ขอบคุณ [PS นี่ไม่ใช่การบ้าน]

12 correlation  normal-distribution  expected-value  maximum 

ฉันมีตัวอย่างของข้อมูลที่สร้างขึ้นRโดยrnorm(50,0,1)ดังนั้นข้อมูลที่เห็นได้ชัดก็คือการแจกแจงแบบปกติ อย่างไรก็ตามRไม่ "รู้" ข้อมูลการแจกจ่ายนี้เกี่ยวกับข้อมูล มีวิธีการRที่สามารถประมาณการกระจายตัวอย่างของฉันมาจากไหน? ถ้าไม่ฉันจะใช้shapiro.testฟังก์ชั่นและดำเนินการต่อ

12 r  distributions 

ต่อไปนี้zzk 's คำถามในการแก้ปัญหาของเขาด้วยการจำลองเชิงลบผมสงสัยว่าสิ่งที่เป็นครอบครัว parametrized ของการกระจายในด้าน k มิติบวกซึ่งแปรปรวนเมทริกซ์สามารถตั้งค่า ΣRk+R+k\mathbb{R}_+^kΣΣ\Sigma ตามที่หารือกับzzkเริ่มต้นจากการกระจายในและใช้การแปลงเชิงเส้นไม่ทำงาน X⟶ Σ 1 / 2 (X-μ)+μRk+R+k\mathbb{R}_+^kX⟶Σ1/2(X−μ)+μX⟶Σ1/2(X−μ)+μX \longrightarrow\Sigma^{1/2} (X-\mu) + \mu

12 distributions  multivariate-analysis  covariance 

ฉันมีปัญหาในการวิเคราะห์การตัดสินใจที่ค่อนข้างซับซ้อนซึ่งเกี่ยวข้องกับการทดสอบความน่าเชื่อถือและวิธีการทางตรรกะ (สำหรับฉัน) ดูเหมือนว่าจะเกี่ยวข้องกับการใช้ MCMC เพื่อสนับสนุนการวิเคราะห์แบบเบย์ อย่างไรก็ตามมีการแนะนำว่าควรใช้วิธี bootstrapping ใครช่วยแนะนำอ้างอิง (หรือสาม) ที่อาจสนับสนุนการใช้เทคนิคอย่างใดอย่างหนึ่งมากกว่าอีก (แม้สำหรับสถานการณ์เฉพาะ)? FWIW ฉันมีข้อมูลจากหลายแหล่งที่แตกต่างกันและการสังเกตความล้มเหลวน้อย / ศูนย์ ฉันยังมีข้อมูลที่ระบบย่อยและระดับระบบ ดูเหมือนว่าจะมีการเปรียบเทียบแบบนี้ แต่ฉันไม่โชคดีที่ค้นหาผู้ต้องสงสัยตามปกติ ขอบคุณล่วงหน้าสำหรับพอยน์เตอร์ใด ๆ

12 bayesian  bootstrap 

มีการแจกแจงที่ไม่เหมือนกันหรือไม่ซึ่งมีฟังก์ชันสร้างช่วงเวลาเหมือนกันหรือไม่?

12 distributions  moments  mgf