สถิติและข้อมูลขนาดใหญ่

วันนี้ฉันถูกถามว่า p-value 0.05 (ตรง) ถือว่ามีนัยสำคัญ (ให้ alpha = 5%) หรือไม่ ฉันไม่ทราบคำตอบและ Google เปิดทั้งสองคำตอบ: (a) ผลลัพธ์มีความสำคัญถ้า p น้อยกว่า 5% และ (b) ถ้า p น้อยกว่า 5% หรือเท่ากับ 5% แน่นอนว่าไม่มีเว็บไซต์ใดที่อ้างถึงใครเลย ทำไมหนึ่ง - มันเป็นความรู้ทั่วไปและ 5% เป็นสิ่งที่ไม่มีเหตุผล แต่นั่นไม่ได้ช่วยให้ฉันบอกนักเรียนถึงสิ่งที่ต้องจำ ดังนั้นนี่คือคำถามที่หมดหวังของฉันในการทดสอบสมมติฐาน: ถ้าค่า p เป็นค่าอัลฟา - ฉันจะพิจารณาผลลัพธ์ที่มีนัยสำคัญหรือไม่? และการอ้างอิงเชิงอำนาจในกรณีนี้คืออะไร? ขอบคุณมาก

14 hypothesis-testing  statistical-significance  p-value 

ฉันต้องการพัฒนาแบบจำลองการทำนาย (Cox PH) สำหรับการเสียชีวิตแบบทุกสาเหตุในชุดข้อมูลของผู้เข้าร่วมซึ่งเกือบทุกคนเสียชีวิตเมื่อสิ้นสุดการติดตาม (เช่น 1 ปี) แทนที่จะทำนายความเสี่ยงที่แน่นอนของการตายในเวลาหนึ่งฉันต้องการทำนายเวลาการอยู่รอด (เป็นเดือน) สำหรับแต่ละคน เป็นไปได้หรือไม่ที่จะได้รับการทำนายเช่นนี้ใน R (จากเช่น coxph-object) และถ้าใช่ฉันจะทำเช่นนั้นได้อย่างไร? ขอบคุณมากล่วงหน้า!

14 survival  prediction  cox-model 

ฉันต้องการประเมินความสัมพันธ์ระหว่าง: ตัวแปรลำดับ: ผู้ถูกทดสอบขอให้คะแนนความชอบสำหรับผลไม้ 6 ชนิดในระดับ 1-5 (ตั้งแต่น่าขยะแขยงไปจนถึงอร่อยมาก) โดยเฉลี่ยแล้วผู้ทดลองใช้เพียง 3 คะแนนเท่านั้น ตัวแปรต่อเนื่อง: อาสาสมัครคนเดียวกันจะต้องระบุผลไม้เหล่านี้อย่างรวดเร็วซึ่งส่งผลให้ความแม่นยำเฉลี่ยของผลไม้ทั้ง 6 ชนิด Spearman rho เป็นวิธีที่ดีที่สุดในการวิเคราะห์ข้อมูลเหล่านี้และ / หรือมีวิธีการอื่นที่ดีที่ฉันสามารถพิจารณาได้หรือไม่?

14 correlation  ordinal-data  spearman-rho  continuous-data 

ฉบับย่อ:ฉันกำลังมองหาแพ็คเกจ R ที่สามารถสร้างแผนภูมิการตัดสินใจในขณะที่ใบไม้แต่ละใบในแผนผังการตัดสินใจเป็นรูปแบบการถดถอยเชิงเส้นเต็มรูปแบบ AFAIK ไลบรารีrpartสร้างแผนผังการตัดสินใจที่ตัวแปรตามคงที่ในแต่ละใบไม้ มีห้องสมุดอื่น (หรือการrpartตั้งค่าที่ฉันไม่ทราบ) ที่สามารถสร้างต้นไม้ดังกล่าวได้หรือไม่? รุ่นยาว:ฉันกำลังมองหาอัลกอริทึมที่สร้างแผนภูมิการตัดสินใจตามชุดข้อมูลการฝึกอบรม การตัดสินใจแต่ละครั้งในต้นไม้จะแยกข้อมูลการฝึกอบรมออกเป็นสองส่วนตามเงื่อนไขของหนึ่งในตัวแปรอิสระ รูทของทรีมีชุดข้อมูลแบบเต็มและแต่ละไอเท็มในชุดข้อมูลนั้นมีอยู่ในโหนดใบเดียว อัลกอริทึมเป็นดังนี้: เริ่มต้นด้วยชุดข้อมูลแบบเต็มซึ่งเป็นโหนดรูทของทรี เลือกโหนดนี้และเรียกว่าNNNN สร้างรูปแบบการถดถอยเชิงเส้นกับข้อมูลในNNNN หากโมเดลเชิงเส้นของNสูงกว่าขีด จำกัด บางθ R 2 แสดงว่าเราเสร็จด้วยNดังนั้นให้ทำเครื่องหมายNR2R2R^2NNNθR2θR2\theta_{R^2}NNNNNNเป็นใบและข้ามไปยังขั้นตอนที่ 5 ลองตัดสินใจแบบสุ่มและเลือกหนึ่งที่มีอัตราผลตอบแทนที่ดีที่สุดR 2ในโหนดย่อยนี้: nnnR2R2R^2 เลือกตัวแปรอิสระแบบสุ่มเช่นเดียวกับเกณฑ์แบบสุ่มθ iviviv_iθiθi\theta_iฉัน การตัดสินใจแยกชุดข้อมูลของN เป็นสองโหนดใหม่ Nและ~ Nvi≤θivi≤θiv_i \leq \theta_iNNNN^N^\hat{N}N~N~\tilde{N} N สร้างแบบจำลองการถดถอยเชิงเส้นทั้งNและ~ NและคำนวณของพวกเขาR 2 (เรียกพวกเขาrและ~ RN^N^\hat{N}N~N~\tilde{N}R2R2R^2r^r^\hat{r}r~r~\tilde{r} ) จากทั้งหมดที่ tuples ( วีฉัน , θ ฉัน , R , …

14 r  regression  rpart  cart 

ฉันได้รับข้อมูลเพื่อวิเคราะห์เพื่อศึกษาดูผลของการรักษาต่อระดับเหล็กที่จุดเวลาสี่จุดที่แตกต่างกัน (ก่อนการรักษาการรักษาสิ้นสุดวันที่ 4 สัปดาห์หลังการรักษาและ 2-4 เดือนหลังการรักษา) ไม่มีกลุ่มควบคุม พวกเขาต้องการตรวจสอบว่าระดับเหล็กเพิ่มขึ้นอย่างมีนัยสำคัญในแต่ละช่วงเวลาหลังการรักษา 3 ครั้งหรือไม่เมื่อเทียบกับระดับก่อนการรักษา (พื้นฐาน) ผู้ป่วยที่สิบเอ็ดมีระดับพื้นฐาน แต่มีเพียง 8 ผู้ป่วยที่มีข้อมูลที่สมบูรณ์สำหรับทุกจุดเวลา 4 ( nnn = 11, 10, 9 และ 8 สำหรับแต่ละจุดเวลา) ไม่เพียง แต่วัดระดับเหล็กเท่านั้น แต่ยังมีการใช้มาตรการทางห้องปฏิบัติการสองแบบในแต่ละช่วงเวลาเพื่อเปรียบเทียบกับระดับพื้นฐาน ฉันมีคำถามสองสามข้อเกี่ยวกับวิธีวิเคราะห์สิ่งนี้ ฉันแรกคิดว่า RM ANOVA จะเหมาะสมในการวิเคราะห์ข้อมูลนี้ แต่ฉันกังวลเกี่ยวกับขนาดตัวอย่างขนาดเล็กการสูญเสียข้อมูลและการกระจายข้อมูลที่ไม่ปกติ จากนั้นฉันพิจารณาเปรียบเทียบการวัดหลังการรักษาแต่ละครั้งกับการใช้การทดสอบ Wilcoxon ที่ได้รับการลงลายมือชื่อในระดับพื้นฐาน แต่จากนั้นฉันพบปัญหาการเปรียบเทียบหลายครั้ง อย่างไรก็ตามฉันได้อ่านวรรณกรรมบางอย่างที่ downplays จำเป็นต้องใช้การเปรียบเทียบหลาย ๆ โดยรวมแล้วฉันกำลังเผชิญกับตัวอย่างขนาดเล็กข้อมูลที่ไม่สมบูรณ์และการเปรียบเทียบหลาย ๆ แบบ (และจำเป็นหรือไม่ก็ตาม) ฉันหวังว่าทั้งหมดนี้ทำให้รู้สึก ฉันใหม่กับ CrossValidated และถูกเพื่อนร่วมงานกำกับที่นี่เพื่อเรียนรู้จากนักสถิติที่มีประสบการณ์ดังนั้นฉันจึงขอขอบคุณคำแนะนำใด …

14 repeated-measures  multiple-comparisons  wilcoxon-signed-rank 

ดูเหมือนเป็นเรื่องธรรมดาที่จะอธิบายค่าอัลฟ่าของครอนบาชดังนี้ α≥ 0.9 ยอดเยี่ยม 0.7 ≤α <0.9 ดี 0.6 ≤α <0.7 ได้รับการยอมรับ 0.5 ≤α <0.6 แย่ α <0.5 ไม่สามารถยอมรับได้ คุณค่าเหล่านี้มาจากไหน ฉันไม่พบบทความวิจัยต้นฉบับที่อธิบายสิ่งเหล่านี้ แก้ไข: ฉัน 90% แน่ใจว่ามันขึ้นอยู่กับการประชุมเท่านั้นและไม่มีบทความวิจัยแบบดั้งเดิมที่สรุปไว้เหล่านี้

14 reliability  psychometrics  cronbachs-alpha 

ข้อมูลที่เราต้องการใช้เป็นตัวแปรตามจะมีลักษณะเช่นนี้ (นับเป็นข้อมูล) เรากลัวว่าเนื่องจากมันมีองค์ประกอบวงจรและโครงสร้างแนวโน้มการถดถอยจึงกลายเป็นลำเอียงอย่างใด เราจะใช้การถดถอยแบบทวินามเชิงลบในกรณีที่มันช่วย ข้อมูลเป็นพาเนลที่สมดุลหนึ่งจำลองต่อบุคคล (รัฐ) ภาพที่แสดงแสดงผลรวมของตัวแปรตามสำหรับทุกรัฐ แต่รัฐส่วนใหญ่เพียงอย่างเดียวมีพฤติกรรมที่คล้ายกัน เรากำลังพิจารณาโมเดลเอฟเฟกต์คงที่ ตัวแปรตามไม่ได้มีความสัมพันธ์กันอย่างมากส่วนหนึ่งของการวิจัยคือการหาความสัมพันธ์ที่ไม่คาดคิดระหว่างตัวแปรนี้ดังนั้นความสัมพันธ์ที่อ่อนแอจึงเป็นสิ่งที่ดี อะไรคือภัยที่แน่นอนของการไม่รวมตัวแปรล่าช้าของตัวแปรตาม? หากมีความจำเป็นที่จะต้องรวมหนึ่งจะมีการทดสอบที่จะรู้ว่าหนึ่ง (s)? มีการนำไปใช้งานใน R หมายเหตุ : ฉันได้อ่านโพสต์นี้แต่ไม่ได้ช่วยแก้ไขปัญหาของเรา

14 autocorrelation  panel-data  fixed-effects-model  trend  lags 

ในบทความฉันพบสูตรสำหรับค่าเบี่ยงเบนมาตรฐานของขนาดตัวอย่างNNN σ=R¯¯¯¯2.534σ=R¯2.534\sigma=\frac{\overline{R}}{2.534} โดยที่R¯¯¯¯R¯\overline{R}คือช่วงเฉลี่ยของตัวอย่างย่อย (ขนาด666 ) จากตัวอย่างหลัก การคำนวณจำนวน2.5342.5342.534เป็นอย่างไร? ตัวเลขนี้ถูกต้องหรือไม่

14 standard-deviation  descriptive-statistics  range 

ฉันรู้ว่าk หมายถึงมักจะมีการเพิ่มประสิทธิภาพการใช้เพิ่มประสิทธิภาพของความคาดหวัง อย่างไรก็ตามเราสามารถปรับฟังก์ชั่นการสูญเสียของมันให้เป็นแบบเดียวกับที่เราเพิ่มประสิทธิภาพอื่น ๆ ! ฉันพบเอกสารบางอย่างที่ใช้การไล่ระดับสีแบบสโตแคสติกสำหรับวิธี k ขนาดใหญ่ แต่ฉันไม่ได้รับคำตอบ มีใครรู้บ้างไหมว่าเพราะเหตุใด เป็นเพราะความคาดหวังของการรวมกันมาเร็วขึ้น ? มีการรับประกันเป็นพิเศษหรือไม่? หรือมันเป็นเหตุผลทางประวัติศาสตร์ ?

14 optimization  k-means  expectation-maximization  loss-functions 

ตามที่วิกิพีเดียการกระจายเบต้าน่าจะมีสองพารามิเตอร์รูปร่าง: และβαα\alphaββ\beta เมื่อฉันโทรscipy.stats.beta.fit(x)ใน Python xจะมีการคืนค่าจำนวนพวงในช่วง , 4 ค่า สิ่งนี้ทำให้ฉันประหลาด[ 0 , 1 ][0,1][0,1] หลังจาก googling ผมพบว่าหนึ่งในค่าที่ส่งกลับมาจะต้องเป็น 'ตั้ง' เนื่องจากตัวแปรที่สามคือ 0 scipy.stats.beta.fit(x, floc=0)ถ้าผมโทร ไม่มีใครรู้ว่าสิ่งที่ตัวแปรที่สี่คือและถ้าสองคนแรกคือและβ ?αα\alphaββ\beta

14 python  scipy  beta-distribution 

ข้อความต่อไปนี้อธิบายถึงสิ่งที่ฉันพยายามทำ แต่เป็นไปได้ว่าข้อความแสดงปัญหาอื่นสามารถอธิบายเป้าหมายของฉันได้: ฉันต้องการ แบ่งตัวเลขต่อไปนี้ออกเป็นกลุ่มที่ความแปรปรวนของตัวเลขภายในแต่ละกลุ่มไม่ใหญ่เกินไปและความแตกต่างระหว่างค่าเฉลี่ยของกลุ่มไม่เล็กเกินไป เปรียบเทียบการกระจายที่ได้รับในท้ายที่สุดกับคนที่ "สมบูรณ์แบบ" และดูว่า "แตกต่าง" มันมาจากการที่สมบูรณ์แบบ คำอธิบายของคนธรรมดาเกี่ยวกับเป้าหมาย ฉันกำลังพยายามคำนวณการกระจายรายได้และกำหนด "วงเล็บรายได้" แต่ละประชากรอยู่ระบบวงเล็บรายได้ควรจะปรับตัวเองตามข้อมูลอินพุต เป้าหมายของฉันคือการวัดหรือคำนวณความแตกต่างระหว่างรายได้จากวงเล็บ ฉันคิดว่าจะมีวงเล็บจำนวนมากและต้องการดูว่า "แยก" แต่ละชั้นนั้นไกลแค่ไหน นี่คือตัวอย่างของรายได้รายชั่วโมงสำหรับชุดตัวอย่างของประชากร 20 และรายได้รวม 3587: Population= 10 pop=2 population=5 population =3 10, 11,13,14,14,14,14,14,15,20, 40,50 ,90,91,92,93,94 999,999,900 ฉันจะใช้แนวคิดทางคณิตศาสตร์เพื่อจัดกลุ่มเรียงลำดับและวิเคราะห์ข้อมูลที่ทำหน้าที่เหมือนการกระจายรายได้ผ่านประชากรที่กำหนดได้อย่างไร ในตอนท้ายของการคำนวณฉันต้องการกำหนดการกระจายรายได้แบบฉัตรซึ่งการกระจายที่สมบูรณ์แบบจะมีลักษณะ (บางอย่าง) เช่นนี้ (each person makes $10 more per hour than the previous; total is 3587) 89, …

14 clustering  relative-distribution 

ฉันกำลังเขียนทบทวนวรรณกรรมเกี่ยวกับปัญหาสุขภาพของประชาชนในปัจจุบันที่มีข้อมูลสับสน: อะไรคือกรณีศึกษาทางประวัติศาสตร์ทั่วไปที่ใช้ในการศึกษาด้านสาธารณสุข / ระบาดวิทยาที่ความสัมพันธ์หรือการอ้างถึงที่ไม่ถูกต้องหรือน่าอับอายถูกนำมาใช้โดยเจตนาหรือผิดพลาดในนโยบายและกฎหมายด้านสาธารณสุข การเสียชีวิตของรถยนต์ในทศวรรษ 1960 และจากการศึกษาโดยใช้หลักฐานตามมาซึ่งกำหนดเข็มขัดนิรภัยและถุงลมนิรภัยในที่สุดควรเป็นไปตามกฎหมายเป็นตัวอย่างที่ดีของนโยบายสาธารณสุขของHOWควรได้รับแรงหนุนจากการอนุมานและแบบจำลองทางสถิติที่มีประสิทธิภาพ ฉันกำลังมองหาตัวอย่างเพิ่มเติมของกรณีประเภทตรงกันข้าม (วิทยาศาสตร์ไม่ดีเพื่อกำหนดนโยบายอย่างเร่งด่วน) อย่างไรก็ตามถ้าไม่มีอะไรฉันต้องการเรียนรู้กรณีเพิ่มเติมคล้ายกับตัวอย่างก่อนหน้าของการศึกษาที่มีประสิทธิภาพเพื่อประโยชน์ต่อสุขภาพของประชาชนที่ประสบความสำเร็จ ฉันต้องการใช้สิ่งเหล่านี้เป็นตัวอย่างเพื่อแสดงให้เห็นว่าการวิจัยเชิงสถิติเชิงสาธารณสุขมีความสำคัญต่อการกำหนดนโยบายอย่างไร

14 cross-validation  reliability  epidemiology  biostatistics 

ดูเหมือนจะไม่มีวิธีมาตรฐานในการจัดการกับข้อมูลที่ขาดหายไปในบริบทของตระกูลแบบจำลองการยกกำลังแบบเอ็กซ์โพเนนเชียล โดยเฉพาะอย่างยิ่งการนำ R ไปใช้นั้นเรียกว่าetsในแพ็คเกจพยากรณ์ดูเหมือนว่าจะใช้องค์ประกอบที่ยาวที่สุดโดยไม่มีข้อมูลหายไปและหนังสือ "การพยากรณ์ด้วยการทำให้เรียบแบบเอ็กซ์โปเนนเชียล" โดย Hyndman et al ดูเหมือนจะไม่พูดคุยเกี่ยวกับข้อมูลที่หายไปเลย ฉันต้องการเพิ่มอีกเล็กน้อยหากผู้ใช้ของฉันขอให้ฉันอย่างชัดเจน (และหากข้อมูลที่หายไปไม่ได้เกิดขึ้นใกล้กันเกินไปหรือในหลายช่วงเวลาที่ห่างกันหนึ่งฤดูกาล) โดยเฉพาะสิ่งที่ฉันมีในใจคือ ระหว่างการจำลองเมื่อใดก็ตามที่ฉันจะพบค่าที่หายไปผมจะทดแทนการคาดการณ์จุดปัจจุบันสำหรับเพื่อให้0 ตัวอย่างเช่นนี้ทำให้จุดข้อมูลไม่ได้รับการพิจารณาสำหรับกระบวนการปรับพารามิเตอร์ให้เหมาะสมYเสื้อYเสื้อy_tY~เสื้อY~เสื้อ\tilde y_tYเสื้อYเสื้อy_tεเสื้อ= 0εเสื้อ=0\varepsilon_t = 0 เมื่อฉันมีเหตุผลที่เหมาะสมสำหรับพารามิเตอร์ฉันสามารถประมาณค่าเบี่ยงเบนมาตรฐานของข้อผิดพลาด (สันนิษฐานว่าเป็นเรื่องปกติด้วยค่าเฉลี่ย ) และตรวจสอบว่าการใช้ค่าสำหรับสร้างขึ้นจากการกระจายนั้นไม่ลดความน่าจะเป็นด้วยปัจจัยใหญ่ ฉันจะใช้ค่าดังกล่าวสำหรับการคาดการณ์ (โดยใช้การจำลอง) เช่นกัน000εเสื้อεเสื้อ\epsilon_t มีข้อผิดพลาดที่รู้จักกับวิธีนี้หรือไม่?

14 time-series  forecasting  missing-data 

น่าแปลกที่ฉันไม่พบคำตอบของคำถามต่อไปนี้โดยใช้ Google: ฉันมีข้อมูลทางชีววิทยาจากบุคคลหลายคนที่แสดงพฤติกรรมการเจริญเติบโต sigmoid คร่าวๆในเวลา ดังนั้นฉันต้องการจำลองโดยใช้การเติบโตโลจิสติกมาตรฐาน P(t) = k*p0*exp(r*t) / (k+p0*(exp(r*t)-1)) ด้วย p0 เป็นค่าเริ่มต้นที่ t = 0, k เป็นขีด จำกัด เชิงเส้นกำกับที่ t-> infinity และ r เป็นความเร็วในการเติบโต เท่าที่ฉันเห็นฉันสามารถจำลองสิ่งนี้ได้อย่างง่ายดายโดยใช้ nls (ขาดความเข้าใจในส่วนของฉัน: ทำไมฉันถึงไม่สร้างแบบจำลองบางอย่างที่คล้ายกันโดยใช้ logit regression แบบมาตรฐานโดยการปรับขนาดเวลาและข้อมูล EDIT: ขอบคุณ Nick สัดส่วน แต่ไม่ค่อยhttp://www.stata-journal.com/article.html?article=st0147 . คำถามต่อไปเกี่ยวกับแทนเจนต์นี้คือถ้าแบบจำลองสามารถจัดการค่าผิดปกติ> 1) ตอนนี้ฉันต้องการอนุญาตให้แก้ไขบางอย่าง (ส่วนใหญ่เป็นหมวดหมู่) และสุ่มบางอย่าง (ID แต่ละตัวและอาจเป็น ID การศึกษา) ในพารามิเตอร์สามตัวคือ k, …

14 r  nonlinear-regression  mixed-model  growth-model 

นี่คือการติดตาม แต่ยังเป็นคำถามที่แตกต่างกันของหนึ่งก่อนหน้านี้ของฉัน ฉันอ่านวิกิพีเดียว่า " เครื่องมือประมาณค่ากลางจะช่วยลดความเสี่ยงในส่วนที่เกี่ยวกับฟังก์ชั่นการสูญเสียค่าเบี่ยงเบนสัมบูรณ์ดังที่ Laplace ได้สังเกตไว้" อย่างไรก็ตามผลลัพธ์การจำลอง Monte Carlo ของฉันไม่สนับสนุนอาร์กิวเมนต์นี้ ผมถือว่าตัวอย่างจากระบบปกติประชากรโดยที่μและσเป็นค่าเฉลี่ยของบันทึกและ log-sd, β = exp ( μ ) = 50X1,X2,...,XN∼LN(μ,σ2)X1,X2,...,XN∼LN(μ,σ2)X_1,X_2,...,X_N \sim \mbox{LN}(\mu,\sigma^2)μμ\muσσ\sigmaβ= ประสบการณ์( μ ) = 50β=ประสบการณ์⁡(μ)=50\beta = \exp(\mu)=50 ประมาณการทางเรขาคณิต-เฉลี่ยเป็นประมาณการค่ามัธยฐาน-เป็นกลางสำหรับประชากรเฉลี่ย ,ประสบการณ์( μ )ประสบการณ์⁡(μ)\exp(\mu) ที่μและσมีการเข้าสู่ระบบหมายและเข้าสู่ระบบ SD, μและ σมี MLEs สำหรับμและσβ^จีเอ็ม= ประสบการณ์( μ^) = ประสบการณ์( บันทึก ∑( Xผม)ยังไม่มีข้อความ) ∼ LN (μ, …

14 r  unbiased-estimator  median  lognormal  mad