สถิติและข้อมูลขนาดใหญ่

ภาพรวมของคำถาม คำเตือน: คำถามนี้ต้องมีการตั้งค่าจำนวนมาก กรุณาทนกับฉัน เพื่อนร่วมงานของฉันและฉันกำลังทำงานในการออกแบบการทดสอบ การออกแบบต้องแก้ไขข้อ จำกัด จำนวนมากซึ่งฉันจะแสดงรายการด้านล่าง ฉันได้พัฒนาการออกแบบที่สอดคล้องกับข้อ จำกัด และนั่นทำให้เราประเมินค่าผลกระทบที่น่าสนใจของเราโดยไม่ลำเอียง อย่างไรก็ตามเพื่อนร่วมงานของฉันเชื่อว่ามีความสับสนในการออกแบบ เราโต้เถียงประเด็นนี้ได้โดยไม่ต้องมีการแก้ปัญหาดังนั้น ณ จุดนี้ฉันต้องการความเห็นจากภายนอก ฉันจะอธิบายถึงเป้าหมายของการศึกษาข้อ จำกัด ของเราความสับสนที่อาจเกิดขึ้นและสาเหตุที่ฉันเชื่อว่า "ความสับสน" นี้ไม่ใช่ปัญหาด้านล่าง เมื่อคุณอ่านแต่ละส่วนโปรดจำไว้ว่าคำถามโดยรวมของฉัน: มีความสับสนในการออกแบบที่ฉันอธิบายหรือไม่ [รายละเอียดของการทดลองนี้ได้รับการแก้ไข แต่องค์ประกอบสำคัญที่จำเป็นในการถามคำถามของฉันยังคงเหมือนเดิม] เป้าหมายการทดสอบ เราต้องการตรวจสอบว่าเรียงความที่เขียนโดยตัวผู้สีขาวได้รับการประเมินอย่างดีกว่าเรียงความที่เขียนโดยตัวเมียสีขาวตัวผู้ผิวดำหรือตัวเมียดำ ( ตัวแปรการประพันธ์เรียงความ ) นอกจากนี้เรายังต้องการตรวจสอบว่าอคติใด ๆ ที่เราพบปรากฏขึ้นในทุนที่มีคุณภาพสูงหรือต่ำ ( ตัวแปรคุณภาพ ) สุดท้ายเราต้องการรวมบทความที่เขียนประมาณ 12 หัวข้อที่แตกต่างกัน ( ตัวแปรหัวข้อ ) อย่างไรก็ตามมีเพียงสองตัวแปรแรกเท่านั้นที่น่าสนใจ แม้ว่าหัวข้อจะต้องแตกต่างกันไปตามแต่ละบทความ แต่เราไม่สนใจอย่างมากว่าการประเมินแตกต่างกันอย่างไรในแต่ละหัวข้อ ข้อ จำกัด มีข้อ จำกัด ทั้งจำนวนผู้เข้าร่วมและจำนวนเรียงความที่เราสามารถรวบรวมได้ ผลที่ได้คือการประพันธ์ไม่สามารถควบคุมได้อย่างสมบูรณ์ระหว่างผู้เข้าร่วมและไม่สามารถจัดการได้อย่างสมบูรณ์ระหว่างการเขียนเรียงความ …

12 mixed-model  experiment-design  simulation  confounding 

ฉันต้องการทราบความแตกต่างระหว่างRandomized Logistic Regression (RLR) และPlain Logistic Regression (LR) ดังนั้นฉันกำลังอ่านบทความ"Stability Selection"โดยMeinshausen, et al ; อย่างไรก็ตามฉันไม่เข้าใจว่า RLR คืออะไรและความแตกต่างระหว่าง RLR และ LR คืออะไร ใครช่วยชี้ให้เห็นสิ่งที่ฉันควรอ่านเพื่อทำความเข้าใจ RLR? หรือมีตัวอย่างง่ายๆในการเริ่มต้นด้วย?

12 machine-learning  logistic 

ประยุกต์แบบจำลองเชิงสถิติเชิงเส้นโดย Kutner และคณะ ระบุเกี่ยวกับการออกเดินทางต่อไปนี้จากสมมติฐานปกติของแบบจำลอง ANOVA: ความโด่งของการกระจายข้อผิดพลาด (อย่างใดอย่างหนึ่งมากหรือน้อยกว่ายอดการกระจายปกติ) มีความสำคัญมากกว่าเบ้ของการกระจายในแง่ของผลกระทบต่อการวินิจฉัย ฉันรู้สึกสับสนนิดหน่อยจากคำแถลงนี้และไม่สามารถหาข้อมูลที่เกี่ยวข้องได้ทั้งในหนังสือหรือออนไลน์ ฉันสับสนเพราะฉันยังได้เรียนรู้ว่าแผนการ QQ ที่มีหางหนาเป็นข้อบ่งชี้ว่าสมมติฐานเชิงบรรทัดฐานคือ "ดีพอ" สำหรับโมเดลการถดถอยเชิงเส้นในขณะที่ QQ แปลงที่เบ้เป็นเรื่องที่น่าเป็นห่วงมากกว่า (เช่นการเปลี่ยนแปลงอาจเหมาะสม) . ฉันถูกต้องหรือไม่ว่าการใช้เหตุผลเดียวกันสำหรับ ANOVA และการเลือกคำศัพท์ของพวกเขา ( สำคัญกว่าในแง่ของผลกระทบที่มีต่อการอนุมาน ) ได้รับการคัดเลือกไม่ดี? นั่นคือการแจกแจงแบบเบ้มีผลกระทบที่รุนแรงกว่าและควรหลีกเลี่ยงในขณะที่ปริมาณเคิร์ตซีสปริมาณเล็กน้อยสามารถยอมรับ แก้ไข: ตามที่ได้รับการยอมรับจาก rolando2 มันยากที่จะกล่าวว่าสิ่งหนึ่งสำคัญกว่าอีกกรณีในทุกกรณี แต่ฉันแค่มองหาข้อมูลเชิงลึกทั่วไป ปัญหาหลักของฉันคือฉันได้รับการสอนว่าในการถดถอยเชิงเส้นอย่างง่าย QQ-plot ที่มีหางที่หนักกว่า (= kurtosis?) ก็โอเคเนื่องจากการทดสอบ F นั้นค่อนข้างแข็งแกร่งเทียบกับเรื่องนี้ ในทางกลับกัน QQ-แผนการแปลง (รูปทรงพาราโบลา) มักเป็นปัญหาที่ใหญ่กว่า สิ่งนี้ดูเหมือนจะขัดแย้งกับแนวทางที่ตำราเรียนของฉันให้ ANOVA แม้ว่าแบบจำลอง ANOVA สามารถแปลงเป็นแบบจำลองการถดถอยและควรมีสมมติฐานเดียวกัน ฉันเชื่อว่าฉันมองอะไรบางอย่างหรือมีสมมติฐานที่ผิดพลาด แต่ฉันไม่สามารถเข้าใจได้ว่ามันจะเป็นอะไร

12 anova  normality-assumption  skewness  kurtosis 

ฉันจะอ่านผลลัพธ์จากการ ทดสอบของ Dunn ได้อย่างไร โดยเฉพาะค่าในตารางด้านล่างบอกอะไรฉัน ฉันมีข้อมูลที่ไม่ใช่พารามิเตอร์ใน 4 กลุ่มและฉันทำการทดสอบ Kruskal-Wallis ก่อนเพื่อยืนยันว่าการแจกแจงของกลุ่มแตกต่างจากชุดข้อมูลอื่นและชุดข้อมูลรวม จากนั้นฉันใช้การทดสอบของ Dunn เพื่อดูว่ากลุ่มใดแตกต่างกันซึ่งไม่ได้เป็นกลุ่ม library(dunn.test) dunn.test(data, g=area, kw=TRUE) Kruskal-Wallis rank sum test data: x and area Kruskal-Wallis chi-squared = 1730.4401, df = 3, p-value = 0 Comparison of x by area (No adjustment) Row Mean-| Col Mean | A B C …

12 r  distributions  kruskal-wallis  dunn-test 

เมื่อ infering ความแม่นยำเมทริกซ์ของการกระจายปกติใช้ในการสร้างNเวกเตอร์ D-มิติx 1 , . , x N x iΛΛ\boldsymbol{\Lambda}ยังไม่มีข้อความNNx1, . . , xยังไม่มีข้อความx1,..,xN\mathbf{x_1},..,\mathbf{x_N} เรามักจะวาง Wishart ไว้ก่อนหน้าΛเนื่องจากการแจกแจง Wishart นั้นเป็นคอนจูเกตก่อนที่จะมีการตกตะกอนของการแจกแจงปกติแบบหลายตัวแปรที่มีค่าเฉลี่ยและตัวแปรที่ไม่รู้จัก: knownxi∼N(μ,Λ−1)xi∼N(μ,Λ−1)\begin{align} \mathbf{x_i} &\sim \mathcal{N}(\boldsymbol{\mu, \Lambda^{-1}}) \\ \end{align}ΛΛ\boldsymbol{\Lambda} ที่υเป็นองศาอิสระและΛ0เมทริกซ์ขนาด ในการเพิ่มความทนทานและความยืดหยุ่นให้กับโมเดลเราได้ใส่ไฮเปอร์ไพรส์ไว้เหนือพารามิเตอร์ของ Wishart ตัวอย่างเช่นGörürและ Rasmussenแนะนำ: Λ 0Λ∼W(υ,Λ0)Λ∼W(υ,Λ0)\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}) \\ \end{align}υυ\upsilonΛ0Λ0\boldsymbol{\Lambda_0} โดยที่Gคือ tha Gamma distributionΛ01υ−D+1∼W(D,1DΛx)∼G(1,1D)Λ0∼W(D,1DΛx)1υ−D+1∼G(1,1D)\begin{align} \mathbf{\Lambda_0} &\sim \mathcal{W}(D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\ …

12 bayesian  posterior  hierarchical-bayesian  conjugate-prior  wishart 

จากสิ่งที่ฉันได้อ่าน: การดูแลที่ห่างไกล : A Distant supervision algorithm usually has the following steps: 1] It may have some labeled training data 2] It "has" access to a pool of unlabeled data 3] It has an operator that allows it to sample from this unlabeled data and label them and this operator …

12 machine-learning  terminology  unsupervised-learning  semi-supervised 

ให้จะกระจายร่วมกันของสองตัวแปรเด็ดขาดX , Yกับx , y ที่∈ { 1 , ... , K } พูดว่าตัวอย่างnถูกดึงมาจากการกระจายตัวนี้ แต่เราจะได้รับจำนวนเล็กน้อยเท่านั้นสำหรับj = 1 , … , K :px,ypx,yp_{x,y}X,YX,YX,Yx,y∈{1,…,K}x,y∈{1,…,K}x,y\in\{1,\ldots,K\}nnnj=1,…,Kj=1,…,Kj=1,\ldots,K Sj=∑i=1nδ( Xผม= l ) , TJ= ∑i = 1nδ( Yผม= J ) ,Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j), S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)}, ประมาณการความน่าจะเป็นสูงสุดคืออะไรได้รับS J , T J ? เป็นที่รู้จักกันไหม? คำนวณความเป็นไปได้? มีแนวทางอื่นที่สมเหตุสมผลสำหรับปัญหานี้นอกเหนือจาก …

12 categorical-data  maximum-likelihood  joint-distribution  marginal  maximum-entropy 

สมมติว่าฉันมีข้อมูลสี่มิติต่อไปนี้ซึ่งสามอันดับแรกสามารถพิจารณาเป็นพิกัดได้และข้อมูลสุดท้ายถือเป็นค่าได้ c1, c2, c3, value 1, 2, 6, 0.456 34, 34, 12 0.27 12, 1, 66 0.95 ทำอย่างไรถึงจะเห็นภาพผลกระทบของสามพิกัดแรกที่ดีกว่าในค่าสุดท้ายได้อย่างไร ฉันตระหนักถึงสามวิธี หนึ่งคือพล็อต 3 มิติสำหรับสามพิกัดแรกที่มีขนาดของคะแนนเป็นค่าสี่ค่า แต่มันไม่ง่ายที่จะเห็นแนวโน้มในข้อมูล อีกอันหนึ่งคือการใช้ชุดข้อมูลพล็อต 3 มิติซึ่งแต่ละรายการมีการแก้ไขพิกัด อีกอันหนึ่งอาจจะเป็น "กราฟโครงสร้างบังตาที่เป็นช่อง" ในตาข่ายของ R. ไม่ใช่ sur eif สำหรับวัตถุประสงค์นี้ แต่ดูเหมือนเป็นเช่นนั้น

12 r  data-visualization 

ฉันพัฒนารูปแบบการถดถอยโลจิสติกส์โดยใช้ข้อมูลย้อนหลังจากฐานข้อมูลการบาดเจ็บระดับชาติของการบาดเจ็บที่ศีรษะในสหราชอาณาจักร ผลลัพธ์ที่สำคัญคืออัตราการเสียชีวิต 30 วัน (แสดงเป็นมาตรการ "เอาตัวรอด") มาตรการอื่น ๆ ที่มีหลักฐานที่ตีพิมพ์ว่ามีผลกระทบอย่างมีนัยสำคัญต่อผลลัพธ์ในการศึกษาก่อนหน้า ได้แก่ Year - Year of procedure = 1994-2013 Age - Age of patient = 16.0-101.5 ISS - Injury Severity Score = 0-75 Sex - Gender of patient = Male or Female inctoCran - Time from head injury to craniotomy in minutes …

12 r  logistic  generalized-linear-model  goodness-of-fit  regression-strategies 

ฉันคุ้นเคยกับสถิติแบบเบย์โดยการอ่านหนังสือDoing Bayesian Data Analysisโดย John K. Kruschke หรือที่เรียกว่า "puppy book" ในบทที่ 9 มีการแนะนำตัวแบบลำดับชั้นด้วยตัวอย่างง่าย ๆ นี้: และการสังเกตของเบอร์นูลีคือ 3 เหรียญต่อการโยน 10 ครั้ง หนึ่งแสดง 9 หัวอื่น ๆ 5 หัวและอีก 1 หัวyjiθjμκ∼Bernoulli(θj)∼Beta(μκ,(1−μ)κ)∼Beta(Aμ,Bμ)∼Gamma(Sκ,Rκ)yji∼Bernoulli(θj)θj∼Beta(μκ,(1−μ)κ)μ∼Beta(Aμ,Bμ)κ∼Gamma(Sκ,Rκ)\begin{align} y_{ji} &\sim {\rm Bernoulli}(\theta_j) \\ \theta_j &\sim {\rm Beta}(\mu\kappa, (1-\mu)\kappa) \\ \mu &\sim {\rm Beta}(A_\mu, B_\mu) \\ \kappa &\sim {\rm Gamma}(S_\kappa, R_\kappa) …

12 bayesian  interpretation  python  mcmc  autocorrelation 

อัตราส่วนของการแจกแจงปกติสองแบบอิสระให้การแจกแจงแบบโคชี การแจกแจงแบบ t เป็นการแจกแจงแบบปกติหารด้วยการแจกแจงแบบไคสแควร์อิสระ อัตราส่วนของการแจกแจงแบบไคสแควร์อิสระสองตัวนั้นให้การกระจายแบบ F ฉันกำลังมองหาอัตราส่วนของการแจกแจงแบบต่อเนื่องอิสระที่ให้ตัวแปรสุ่มแบบกระจายที่มีค่าเฉลี่ยและความแปรปรวน ?μμ\muσ2σ2\sigma^2 อาจมีคำตอบที่เป็นไปได้จำนวนมาก คุณสามารถให้คำตอบที่เป็นไปได้เหล่านี้ให้ฉันได้ไหม ฉันจะซาบซึ้งเป็นพิเศษหากทั้งสองการแจกแจงอิสระซึ่งการคำนวณอัตราส่วนนั้นเหมือนกันหรืออย่างน้อยก็มีความแปรปรวนที่คล้ายกัน

12 probability  distributions  normal-distribution  mathematical-statistics 

ฉันกำลังทำงานกับรุ่น GBM โดยใช้ชุดคาเร็ตและมองหาวิธีการแก้ช่วงการทำนายสำหรับข้อมูลที่คาดการณ์ไว้ ฉันค้นหาอย่างกว้างขวาง แต่มีความคิดเล็กน้อยเพื่อค้นหาช่วงเวลาการคาดการณ์สำหรับ Random Forest ความช่วยเหลือใด ๆ / รหัส R จะได้รับการชื่นชมอย่างมาก!

12 caret  prediction-interval  gbm 

สำหรับคำถามการบ้านฉันถูกขอให้คำนวณค่าเฉลี่ยที่ถูกตัดสำหรับชุดข้อมูลโดยการลบการสังเกตที่เล็กที่สุดและใหญ่ที่สุดและตีความผลลัพธ์ ค่าเฉลี่ยที่ถูกตัดนั้นต่ำกว่าค่าเฉลี่ยที่ไม่ได้รับการตัดต่อ การตีความของฉันคือว่านี่เป็นเพราะการแจกแจงพื้นฐานนั้นเบ้ในทางบวกดังนั้นหางซ้ายจึงทึบกว่าหางขวา ผลที่ตามมาจากความเบ้นี้การลบตัวเลขที่สูงจะลากค่าเฉลี่ยลงมากกว่าการลบค่าต่ำที่ผลักมันขึ้นเพราะการพูดอย่างไม่เป็นทางการมีข้อมูลต่ำมาก "รอให้เกิดขึ้น" (มันสมเหตุสมผลหรือไม่) จากนั้นฉันก็เริ่มสงสัยว่าเปอร์เซ็นต์การตัดแต่งมีผลต่อสิ่งนี้อย่างไรดังนั้นฉันคำนวณค่าเฉลี่ยที่ถูกตัดสำหรับต่าง ๆ n ฉันมีรูปโค้งที่น่าสนใจ: x¯tr(k)x¯tr⁡(k)\bar x_{\operatorname{tr}(k)}k=1/n,2/n,…,(n2−1)/nk=1/n,2/n,…,(n2−1)/nk = 1/n, 2/n, \dotsc, (\frac{n}{2}-1)/n ฉันค่อนข้างไม่แน่ใจว่าจะตีความสิ่งนี้อย่างไร โดยสังหรณ์ใจดูเหมือนว่าความชันของกราฟควรเป็น (สัดส่วน) ความเบ้ลบของส่วนการกระจายภายในจุดข้อมูลของค่ามัธยฐาน (สมมติฐานนี้ตรวจสอบกับข้อมูลของฉัน แต่ฉันมีเพียงดังนั้นฉันไม่มั่นใจมาก)kkkn=11n=11n = 11 กราฟประเภทนี้มีชื่อหรือใช้กันทั่วไปหรือไม่ เราสามารถรวบรวมข้อมูลอะไรจากกราฟนี้ มีการตีความมาตรฐานหรือไม่? สำหรับการอ้างอิงข้อมูลคือ: 4, 5, 5, 6, 11, 17, 18, 23, 33, 35, 80

12 data-visualization  interpretation  mean  trimmed-mean 

ฉันต้องการใช้ฟังก์ชันพื้นฐานแบบเกาส์เซียนในการนำการถดถอยเชิงเส้นมาใช้ น่าเสียดายที่ฉันมีปัญหาในการทำความเข้าใจกับพารามิเตอร์สองตัวในฟังก์ชันพื้นฐาน โดยเฉพาะμμ\muและσσσ\sigma ชุดข้อมูลของฉันคือ 10,000 x 31 เมทริกซ์ 10,000 ตัวอย่างและ 31 คุณสมบัติ ฉันได้อ่านแล้วว่า "ฟังก์ชันพื้นฐานแต่ละตัวแปลงเวกเตอร์อินพุต x เป็นค่าสเกลาร์" ดังนั้นฉันถือว่า x เป็น 1 ตัวอย่างดังนั้นเวกเตอร์ 1 x 31 จากที่นี่ฉันสับสน สิ่งที่แน่นอนคือμjμj\mu_jพารามิเตอร์? ฉันได้อ่านแล้วว่าสิ่งนี้ควบคุมตำแหน่งของฟังก์ชันพื้นฐาน ดังนั้นนี่ไม่ใช่ความหมายของบางสิ่ง? ฉันถูกโยนโดยตัวห้อย j ( μμ\muและϕϕ\phi ) นี่ทำให้ฉันคิดว่าแถวที่ j แต่ดูเหมือนจะไม่สมเหตุสมผล เป็นμjμj\mu_jเวกเตอร์? ตอนนี้สำหรับσσ\sigmaว่า "ควบคุมระดับเชิงพื้นที่" มันคืออะไรกันแน่? ฉันเห็นการใช้งานบางอย่างที่ลองใช้ค่าเช่น. 1, .5, 2.5 สำหรับพารามิเตอร์นี้ ค่าเหล่านี้คำนวณอย่างไร ฉันค้นคว้าและมองหาตัวอย่างเพื่อการเรียนรู้ แต่ ณ ตอนนี้ฉันยังไม่พบอะไรเลย …

12 regression  machine-learning  basis-function 

R version 3.1.1 (2014-07-10) -- "Sock it to Me" > bl <- c(140, 138, 150, 148, 135) > fu <- c(138, 136, 148, 146, 133) > t.test(fu, bl, alternative = "two.sided", paired = TRUE) Error in t.test.default(fu, bl, alternative = "two.sided", paired = TRUE) : data are essentially constant จากนั้นฉันเปลี่ยนอักขระเพียงชุดเดียวในชุดข้อมูลของฉัน: …

12 r  t-test