คำถามติดแท็ก hypothesis-testing

ฉันกำลังดูปัญหาและในการทดสอบสัมประสิทธิ์บางครั้งฉันเห็นคนที่ใช้การแจกแจงของนักเรียนและบางครั้งฉันเห็นการแจกแจงแบบปกติ กฎคืออะไร?

10 regression  distributions  hypothesis-testing 

ฉันใช้แพ็คเกจสุ่มป่าไม้ใน R เพื่อพัฒนาโมเดลฟอเรสต์แบบสุ่มเพื่อพยายามอธิบายผลลัพธ์อย่างต่อเนื่องในชุดข้อมูล "กว้าง" ที่มีตัวทำนายมากกว่าตัวอย่าง โดยเฉพาะฉันเหมาะสมกับโมเดล RF หนึ่งตัวที่อนุญาตให้กระบวนการเลือกชุดตัวแปรพยากรณ์ 75 ตัวที่ฉันคิดว่าสำคัญ ฉันกำลังทดสอบว่าตัวแบบนั้นทำนายผลที่แท้จริงสำหรับชุดการทดสอบที่สงวนไว้อย่างไรโดยใช้วิธีการโพสต์ที่นี่ก่อนหน้านี้คือ ... หรือใน R: 1 - sum((y-predicted)^2)/sum((y-mean(y))^2) แต่ตอนนี้ฉันมีตัวแปรทำนายอีก 25 ตัวที่ฉันสามารถเพิ่มได้ เมื่อใช้ชุดตัวทำนาย ~ 100 ตัวR²จะสูงกว่า ฉันต้องการที่จะทดสอบทางสถิติในคำอื่น ๆ เมื่อใช้ชุดของ ~ 100 ทำนายที่จะทดสอบแบบจำลองอย่างมีนัยสำคัญที่ดีกว่าในการทดสอบข้อมูลกว่ารุ่นพอดีโดยใช้ ~ 75 พยากรณ์ นั่นคือR²จากการทดสอบโมเดล RF บนชุดข้อมูลแบบเต็มสูงกว่าR²อย่างมากจากการทดสอบโมเดล RF บนชุดข้อมูลที่ลดลง นี่เป็นสิ่งสำคัญสำหรับฉันที่จะทดสอบเพราะนี่คือข้อมูลนำร่องและการได้รับผู้ทำนายเพิ่มอีก 25 คนนั้นมีค่าใช้จ่ายสูงและฉันจำเป็นต้องรู้ว่าฉันควรจ่ายเงินเพื่อวัดผู้ทำนายเหล่านั้นในการศึกษาติดตามครั้งใหญ่กว่าหรือไม่ ฉันพยายามคิดถึงวิธี resampling / permutation บางอย่าง แต่ไม่มีสิ่งใดในใจ

10 r  machine-learning  hypothesis-testing  model-selection  random-forest 

หวังว่าคำถาม newbie นี้เป็นคำถามที่เหมาะสมสำหรับเว็บไซต์นี้: สมมติว่าฉันต้องการเปรียบเทียบองค์ประกอบของชุมชนนิเวศวิทยาที่สองไซต์ A, B. ฉันรู้ว่าทั้งสามไซต์มีสุนัขแมววัวและนกดังนั้นฉันจึงลองชิมความอุดมสมบูรณ์ของพวกเขาในแต่ละไซต์ (ฉันไม่มี " คาดว่า "ความอุดมสมบูรณ์ของสัตว์แต่ละตัวในแต่ละไซต์) ถ้าฉันนับให้พูดว่าสัตว์แต่ละตัวห้าตัวในแต่ละไซต์ A และ B นั้น "คล้ายกัน" มาก แต่ถ้าฉันเจอสุนัข 100 ตัวแมว 5 ตัววัว 2 ตัวและนก 3 ตัวที่ไซต์ A. สุนัข 5 ตัวแมว 3 ตัววัว 75 ตัวและนก 2 ตัวที่ไซต์ B จากนั้นฉันจะบอกว่าไซต์ A และ B นั้นแตกต่างกัน แม้ว่าจะมีองค์ประกอบสปีชีส์เดียวกันแน่นอน (ฉันอ่านดัชนีโซเรนเซนและเบรย์ - เคอร์ติส แต่ดูเหมือนว่าพวกเขาจะพิจารณาว่ามี / ไม่มีสุนัขแมว …

10 hypothesis-testing  distributions  correlation  multinomial  compositional-data 

ฉันขอขอบคุณคำแนะนำของคุณอย่างมากในปัญหาต่อไปนี้: ฉันมีชุดข้อมูลต่อเนื่องขนาดใหญ่ที่มีเลขศูนย์จำนวนมาก (~ 95%) และฉันต้องการค้นหาวิธีที่ดีที่สุดในการทดสอบว่าชุดย่อยบางชุดของมัน "น่าสนใจ" คือดูเหมือนจะไม่ถูกดึงออกมาจากการแจกแจงแบบเดียวกัน ส่วนที่เหลือ. ศูนย์เงินเฟ้อมาจากข้อเท็จจริงที่ว่าแต่ละจุดข้อมูลอิงการวัดจำนวนทั้งจริงและสุ่มตัวอย่างศูนย์ แต่ผลลัพธ์นั้นต่อเนื่องเนื่องจากคำนึงถึงพารามิเตอร์อื่น ๆ ที่ถ่วงน้ำหนักด้วยการนับ (และถ้านับเป็นศูนย์ผลลัพธ์ ยังเป็นศูนย์) อะไรจะเป็นวิธีที่ดีที่สุดในการทำเช่นนี้? ฉันมีความรู้สึกว่าวิลคอกซันและการทดสอบการเปลี่ยนรูปกำลังเดรัจฉานไม่เพียงพอเนื่องจากศูนย์เหล่านี้เบ้ เพ่งความสนใจไปที่การวัดที่ไม่เป็นศูนย์ยังเอาศูนย์จริงที่มีความสำคัญมาก โมเดลที่ไม่มีการขยายเกินศูนย์สำหรับข้อมูลนับนั้นได้รับการพัฒนามาอย่างดี แต่ไม่เหมาะกับกรณีของฉัน ฉันพิจารณาว่าการกระจาย Tweedie นั้นเหมาะสมกับข้อมูลและจากนั้นปรับ glm ตามการตอบสนอง = f (subset_label) ในทางทฤษฎีสิ่งนี้ดูเหมือนจะเป็นไปได้ แต่ฉันสงสัยว่า (a) นี่เกินความจริงหรือไม่และ (b) จะยังคงถือว่าโดยปริยายว่าศูนย์ทั้งหมดเป็นศูนย์ตัวอย่างคือจะมีความลำเอียงในลักษณะเดียวกัน อย่างสังหรณ์ใจดูเหมือนว่ามีการออกแบบแบบลำดับชั้นบางอย่างที่รวมสถิติทวินามตามสัดส่วนของศูนย์และพูดว่าสถิติ Wilcoxon คำนวณจากค่าที่ไม่ใช่ศูนย์ (หรือยังดีกว่าค่าที่ไม่ใช่ศูนย์เสริมด้วยเศษของ ศูนย์ขึ้นอยู่กับบางก่อน) เสียงเหมือนเครือข่ายเบย์ ... หวังว่าฉันไม่ใช่คนแรกที่มีปัญหานี้ดังนั้นจะขอบคุณมากถ้าคุณสามารถชี้ให้ฉันเห็นเทคนิคที่เหมาะสมที่มีอยู่ ... ขอบคุณมาก!

10 hypothesis-testing 

ฉันกำลังทำการวิเคราะห์บางอย่างกับชุดข้อมูลขนาดใหญ่ ฉันต้องการใช้โมเดลเชิงเส้นที่ใช้ในส่วนแรกของงานและปรับให้เหมาะสมโดยใช้โมเดลเชิงเส้นผสม (LME) LME จะคล้ายกันมากกับข้อยกเว้นว่าหนึ่งในตัวแปรที่ใช้ในแบบจำลองจะถูกใช้เป็นเอฟเฟกต์แบบสุ่ม ข้อมูลนี้มาจากการสังเกตหลายครั้ง (> 1,000) ในกลุ่มวิชาเล็ก ๆ (~ 10) และฉันรู้ว่าการสร้างแบบจำลองผลกระทบของเรื่องจะทำได้ดีกว่าเป็นเอฟเฟกต์แบบสุ่ม (นี่คือตัวแปรที่ฉันต้องการเปลี่ยน) รหัส R จะเป็นดังนี้: my_modelB <- lm(formula = A ~ B + C + D) lme_model <- lme(fixed=A ~ B + C, random=~1|D, data=my_data, method='REML') ทุกอย่างทำงานได้ดีและผลลัพธ์ก็คล้ายคลึงกันอย่างมากมาย มันจะดีถ้าฉันสามารถใช้อะไรเช่น RLRsim หรือ AIC / BIC เพื่อเปรียบเทียบทั้งสองรุ่นและตัดสินใจว่าแบบใดที่เหมาะสมที่สุด เพื่อนร่วมงานของฉันไม่ต้องการรายงาน LME เพราะไม่มีวิธีเข้าถึงได้ง่ายในการเลือกว่า "ดีกว่า" …

10 r  regression  hypothesis-testing  mixed-model  lme4-nlme 

ฉันต้องกำหนดว่าการทดสอบความเป็นอิสระคืออะไรโดยไม่ต้องใช้คำศัพท์ทางสถิติอย่างหนัก

10 hypothesis-testing  independence  definition 

การทดสอบอัตราส่วนตัวบ่งชี้ความน่าจะเป็นและตัวคูณลากรองจ์ในบริบทของการประมาณความน่าจะเป็นสูงสุดนั้นจะเทียบเท่ากันแบบเชิงเส้นกำกับ อย่างไรก็ตามสำหรับตัวอย่างเล็ก ๆ พวกเขามีแนวโน้มที่จะแตกต่างกันเล็กน้อยและในบางกรณีพวกเขาส่งผลให้ข้อสรุปที่แตกต่างกัน พวกเขาสามารถจัดอันดับตามพวกเขามีแนวโน้มที่จะปฏิเสธโมฆะได้อย่างไร จะทำอย่างไรเมื่อการทดสอบมีคำตอบที่ขัดแย้งกัน คุณสามารถเลือกคำตอบที่ต้องการหรือมี "กฎ" หรือ "คำแนะนำ" เป็นวิธีการดำเนินการต่อไปได้หรือไม่?

10 hypothesis-testing  maximum-likelihood 

ฉันมี data frame ใน python ที่ฉันต้องการค้นหาตัวแปรเด็ดขาดทั้งหมด การตรวจสอบประเภทของคอลัมน์นั้นไม่ได้ผลเสมอไปเพราะintประเภทยังสามารถจัดหมวดหมู่ได้ ดังนั้นฉันจึงขอความช่วยเหลือในการค้นหาวิธีทดสอบสมมติฐานที่ถูกต้องเพื่อระบุว่าคอลัมน์นั้นเป็นหมวดหมู่หรือไม่ ฉันพยายามทดสอบไคสแควร์ด้านล่าง แต่ไม่แน่ใจว่าดีพอหรือไม่ import numpy as np data = np.random.randint(0,5,100) import scipy.stats as ss ss.chisquare(data) กรุณาแนะนำ

10 hypothesis-testing  categorical-data  python  chi-squared  categorical-encoding 

มีทางเลือกหลายตัวแปรในการทดสอบ Kolmogorov-Smirnov สองตัวอย่างหรือไม่ สิ่งที่ฉันหมายถึงคือการทดสอบที่สามารถใช้ตรวจสอบได้เมื่อใดก็ตามที่การกระจายหลายมิติสองมิติที่ต่างกัน

10 hypothesis-testing  multivariate-analysis  kolmogorov-smirnov 

ฉันต้องการทดสอบความคิดของฉันที่ฉันคิดว่าดีกว่าสิ่งที่ฉันได้เห็น ฉันอาจจะผิด แต่ฉันต้องการที่จะทดสอบความคิดของฉันและเอาชนะข้อสงสัยของฉันโดยการสังเกตเพิ่มเติมบางอย่าง สิ่งที่ฉันคิดที่จะทำคือ: วิเคราะห์กำหนดชุดของการแจกแจง บางส่วนเป็นแบบง่าย ๆ เช่น Gaussian, uniform, หรือ Tophat แต่สิ่งเหล่านี้ต้องยากและท้าทายเช่นการจำหน่ายซิมป์สัน ใช้งานซอฟต์แวร์ตามการแจกแจงเชิงวิเคราะห์และใช้เพื่อสร้างตัวอย่างบางส่วน เนื่องจากการแจกแจงนั้นถูกกำหนดไว้ในการวิเคราะห์ฉันจึงรู้นิยาม PDF ที่แท้จริงของพวกมันอยู่แล้ว มันเยี่ยมมาก จากนั้นฉันจะทดสอบวิธีการประมาณ PDF ต่อไปนี้กับตัวอย่างด้านบน: วิธีการประมาณค่า PDF ที่มีอยู่ (เช่น KDE ที่มีเมล็ดและแบนด์วิดท์ต่างๆ) ความคิดของฉันเองที่ฉันคิดว่าคุ้มค่าที่จะลอง จากนั้นฉันจะวัดข้อผิดพลาดของการประมาณกับ PDF จริง จากนั้นฉันจะรู้ว่าวิธีการประมาณ PDF แบบใดดีกว่า คำถามของฉันคือ: คำถามที่ 1:มีการปรับปรุงแผนของฉันข้างต้นหรือไม่ Q2:ฉันพบว่ามันยากสำหรับฉันที่จะวิเคราะห์ PDF จริงหลาย ๆ อย่าง มีรายการที่ครอบคลุมของ PDF จริงที่กำหนดไว้มากมายที่วิเคราะห์ด้วยความยากลำบากที่แตกต่างกัน (รวมถึงไฟล์ที่ยากมาก) ที่ฉันสามารถนำกลับมาใช้ใหม่ได้หรือไม่?

10 hypothesis-testing  estimation  pdf  kernel-smoothing  model-evaluation 

ในการทดสอบสมมติฐานทางสถิติสมมติฐานว่างมักจะอยู่ในรูปของ (อย่างน้อยในหนังสือที่ฉันอ่าน): หรือ H0H0H_0H0:H0:θ =θ0θ ≤θ0H0:θ=θ0H0:θ≤θ0 \begin{align*} H_0:&\theta=\theta_0\\ H_0:&\theta\le\theta_0 \end{align*} H0:θ1≤ θ ≤θ2H0:θ1≤θ≤θ2 H_0:\theta_1\le\theta\le\theta_2 เป็นเพียงแบบแผนที่ชุดในถูกปิดหรือไม่ หรือมีเหตุผลอื่นใดอีกบ้าง?H0H0H_0

10 hypothesis-testing 

ฉันหวังเป็นอย่างยิ่งว่าฉันจะได้ใช้คำถามนี้ในลักษณะที่สามารถตอบได้อย่างชัดเจน - หากไม่ได้โปรดแจ้งให้เราทราบและฉันจะลองอีกครั้ง! ฉันควรเดาด้วยว่าฉันจะใช้ R สำหรับการวิเคราะห์เหล่านี้ ฉันมีหลายมาตรการplant performance (Ys)ที่ฉันสงสัยว่าได้รับอิทธิพลจากสี่รักษาผม imposed-- และflower thinning (X1), fertilization (X2), leaf clipping (X3) biased flower thinning (X4)สำหรับ Ys ที่เป็นไปได้ทั้งหมด N มีอย่างน้อย 242 ดังนั้นขนาดตัวอย่างของฉันจึงใหญ่ แผนการทั้งหมดถูกทำให้ผอมบางหรือไม่ แต่แต่ละแปลงก็ต้องมีหนึ่ง (และเพียงหนึ่ง) ของการรักษาอีกสาม (หรือไม่ - มีแผนการควบคุมด้วย) แนวคิดของการออกแบบนี้คือการทดสอบว่าอีกสามวิธีการรักษามีความสามารถในการ "กำบัง" หรือ "การเสริมสร้าง" ผลของการทำให้ผอมบาง ดังนั้นด้วยการออกแบบการรักษาทั้งสามหลัง (X2-X4) จึงไม่สามารถโต้ตอบกันได้เพราะพวกเขาไม่ได้ถูกข้าม แต่พวกเขาแต่ละคนสามารถโต้ตอบกับการทำให้ผอมบางของดอกไม้ - และพวกเขาอาจทำ สมมติฐานที่ชัดเจนของฉันคือ 1) การทำให้ผอมบางดอกจะมีนัยสำคัญและ 2) …

10 hypothesis-testing  mixed-model  interaction  nonlinear  regression-strategies 

ฉันเพิ่งได้รับการแนะนำให้รู้จักกับการแก้ไข Hommel Hochberg ฉันกำลังพยายามหาคำอธิบายง่ายๆเกี่ยวกับสิ่งนี้ / ทำจริง ๆ แต่ไม่มีโชค ใครช่วยกรุณาให้คำอธิบายสั้น ๆ และง่าย ๆ เกี่ยวกับการแก้ไข Hommel Hochberg?

10 hypothesis-testing  multiple-comparisons  p-value  glmm 

เมื่อทำการทดสอบสมมติฐานบางตัวเทียบกับสมมติฐานทางเลือกโดยสถิติทดสอบโดยที่ให้ใช้การทดสอบการเปลี่ยนรูปกับชุดของการเปลี่ยนลำดับบนและเรามีสถิติใหม่ ยู( X)U(X)U(X)X= {xผม, . . . ,xn}X={xi,...,xn}X = \{ x_i, ..., x_n\}GGGXXXT( X) : =# { π∈ G : U( πX) ≥ คุณ( X) }| G |.T(X):=#{π∈G:U(πX)≥U(X)}|G|. T(X) := \frac{\# \{\pi \in G: U(\pi X) \geq U(X)\}}{|G|}. ประโยชน์ของการใช้แบบทดสอบการเปลี่ยนรูปมากกว่าไม่ใช้มันคืออะไร? คือเมื่อการทดสอบการเรียงสับเปลี่ยนทำงานอย่างไร มีเงื่อนไขอะไรที่จะทำให้เกิดขึ้น เช่นเงื่อนไขบางอย่างในสถิติการทดสอบและ / หรือตามสมมติฐานว่าง?ยูUU ตัวอย่างเช่น, ควร เท่ากับ p-value ขึ้นอยู่กับสำหรับตัวอย่าง ? …

10 hypothesis-testing  p-value  uniform  permutation-test 

นี่รู้สึกเหมือนเป็นคำถามที่ไร้เดียงสา แต่ฉันมีปัญหาในการดูคำตอบ ฉันมี 30 ชุดหนึ่งค่า ฉันได้รับค่าที่ 31 อย่างอิสระ สมมติฐานที่ว่างเปล่าคือค่าที่ 31 เป็นส่วนหนึ่งของการแจกแจงแบบเดียวกัน ทางเลือกคือมันแตกต่างกัน ฉันต้องการค่า p หรือค่าความน่าจะเป็นบางประเภท ฉันมีความคิดบางอย่าง: นี่คล้ายกับต้องการทำแบบทดสอบสองตัวอย่าง - ยกเว้นว่าสำหรับตัวอย่างที่สองฉันมีเพียงค่าเดียวและค่า 30 ค่าไม่จำเป็นต้องกระจายแบบปกติ หากแทนการวัด 30 รายการฉันมีการวัด 10,000 ตำแหน่งอันดับของการวัดเดี่ยวสามารถให้ข้อมูลที่เป็นประโยชน์ได้ ฉันจะคำนวณความน่าจะเป็นหรือค่า p นี้ได้อย่างไร ขอบคุณ! Yannick

10 hypothesis-testing  bayesian  t-test