สถิติและข้อมูลขนาดใหญ่

ทุกคนสามารถรายงานเกี่ยวกับประสบการณ์ของพวกเขาด้วยการประมาณความหนาแน่นเคอร์เนลแบบปรับได้หรือไม่? (มีคำพ้องความหมายมากมาย: การปรับตัว | ตัวแปร | ความกว้างของตัวแปร, KDE | ฮิสโตแกรม | เครื่องมือแทรก ... การประมาณความหนาแน่นของเคอร์เนลตัวแปร บอกว่า "เราเปลี่ยนแปลงความกว้างของเคอร์เนลในพื้นที่ต่าง ๆ ของพื้นที่ตัวอย่างมีสองวิธี ... " จริง ๆ แล้วเพิ่มเติม: เพื่อนบ้านภายในรัศมีบางเพื่อนบ้าน KNN เพื่อนบ้านที่ใกล้ที่สุด (ปกติ K คงที่) ต้นไม้ Kd multigrid ... แน่นอนว่าไม่มีวิธีการเดียวที่สามารถทำทุกอย่างได้ แต่วิธีการปรับตัวนั้นดูน่าสนใจ ดูตัวอย่างภาพที่ดีของตาข่าย 2d การปรับตัวใน วิธีไฟไนต์เอลิเมนต์ ฉันต้องการฟังสิ่งที่ใช้งานได้ / สิ่งที่ใช้ไม่ได้กับข้อมูลจริงโดยเฉพาะ> = 100k จุดข้อมูลกระจัดกระจายใน 2d หรือ 3d เพิ่ม 2 …

12 kde  k-nearest-neighbour 

ฉันมีโปรแกรมถดถอยโลจิสติกโดยใช้อัลกอริทึม IRLS ฉันต้องการใช้การลงโทษ LASSOเพื่อเลือกคุณสมบัติที่ถูกต้องโดยอัตโนมัติ ในการวนซ้ำแต่ละครั้งจะมีการแก้ไขดังต่อไปนี้: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} ให้เป็นจำนวนจริงที่ไม่ลบ ฉันไม่ได้ทำการลงโทษดักตามที่แนะนำในองค์ประกอบของ การเรียนรู้ทางสถิติ เหมือนกันสำหรับสัมประสิทธิ์เป็นศูนย์อยู่แล้ว มิฉะนั้นฉันจะลบคำหนึ่งออกจากด้านขวา:λλ\lambda XT(y−p)−λ×sign(β^)XT(y−p)−λ×sign(β^)\mathbf{X^T\left(y-p\right)-\lambda\times \mathrm{sign}\left(\hat\beta\right)} อย่างไรก็ตามฉันไม่แน่ใจเกี่ยวกับการปรับเปลี่ยนอัลกอริทึม IRLS มันเป็นวิธีที่ถูกต้องหรือไม่ แก้ไข: แม้ว่าฉันไม่มั่นใจเกี่ยวกับเรื่องนี้ แต่นี่เป็นหนึ่งในวิธีแก้ปัญหาที่ฉันได้รับในที่สุด สิ่งที่น่าสนใจคือโซลูชันนี้สอดคล้องกับสิ่งที่ฉันเข้าใจเกี่ยวกับ LASSO ในขณะนี้ แน่นอนว่ามีสองขั้นตอนในการทำซ้ำแต่ละครั้งแทนที่จะเป็นเพียงขั้นตอนเดียว: ขั้นตอนแรกเหมือนกับเมื่อก่อน: เราทำการวนซ้ำของอัลกอริทึม (ราวกับว่าในสูตรสำหรับการไล่ระดับสีด้านบน)λ=0λ=0\lambda=0 ขั้นตอนที่สองคือขั้นตอนใหม่: เราใช้ซอฟต์ในแต่ละองค์ประกอบ (ยกเว้น componentซึ่งสอดคล้องกับการสกัดกั้น) ของ vectorได้รับในขั้นตอนแรก นี้เรียกว่าซ้ำอ่อน Thresholding อัลกอริทึมβ0β0\beta_0ββ\beta ∀i≥1,βi←sign(βi)×max(0,|βi|−λ)∀i≥1,βi←sign(βi)×max(0,|βi|−λ)\forall i \geq 1, \beta_{i}\leftarrow\mathrm{sign}\left(\beta_{i}\right)\times\max\left(0,\,\left|\beta_{i}\right|-\lambda\right)

12 logistic  generalized-linear-model  feature-selection  lasso  convex 

ฉันอยากรู้ว่าใครมีการอ้างอิงเฉพาะ (ข้อความหรือบทความในวารสาร) เพื่อสนับสนุนการปฏิบัติทั่วไปในวรรณคดีทางการแพทย์ของการคำนวณขนาดตัวอย่างโดยใช้วิธีการที่เป็นพารามิเตอร์ (เช่นสมมติว่ามีการแจกแจงปกติและความแปรปรวนของการวัด) เมื่อการวิเคราะห์ผลการทดลองขั้นต้นจะกระทำโดยใช้วิธีที่ไม่ใช้พารามิเตอร์ ตัวอย่าง: ผลลัพธ์หลักคือเวลาที่จะอาเจียนหลังจากให้ยาบางอย่างซึ่งเป็นที่รู้กันว่ามีค่าเฉลี่ย 20 นาที (SD 6 นาที) แต่มีการแจกแจงเบ้ขวาอย่างเห็นได้ชัด การคำนวณขนาดตัวอย่างทำได้โดยใช้สมมติฐานที่ระบุไว้ข้างต้นโดยใช้สูตร n(per-group)=f(α,β)×(2σ2/(μ1−μ2)2)n(per-group)=f(α,β)×(2σ2/(μ1−μ2)2)n(\text{per-group})=f(\alpha,\beta) \times (2\sigma^2 /(\mu_1 - \mu_2)^2 ) , โดยที่เปลี่ยนแปลงตามข้อผิดพลาดและต้องการf(α,β)f(α,β)f(\alpha, \beta)αα\alphaββ\beta อย่างไรก็ตามเนื่องจากความเบ้ของการแจกแจงการวิเคราะห์ผลลัพธ์หลักจะขึ้นอยู่กับอันดับ (วิธีการที่ไม่ใช่พารามิเตอร์เช่นการทดสอบ Mann Whitney U) สคีมานี้สนับสนุนโดยผู้เขียนในวรรณกรรมทางสถิติหรือควรทำการประมาณขนาดตัวอย่างที่ไม่ใช่พารามิเตอร์ (และจะต้องทำอย่างไร) ความคิดของฉันคือเพื่อความสะดวกในการคำนวณมันเป็นที่ยอมรับที่จะทำแบบฝึกหัดข้างต้น ท้ายที่สุดแล้วการประมาณขนาดตัวอย่างเป็นเพียงแค่นั้น - การประมาณการที่ทำข้อสันนิษฐานหลายข้อ - ซึ่งทั้งหมดนั้นมีแนวโน้มเล็กน้อย (หรือมาก!) ไม่แน่ชัด อย่างไรก็ตามฉันอยากรู้ว่าคนอื่นคิดอย่างไรและโดยเฉพาะอย่างยิ่งที่จะรู้ว่ามีการอ้างอิงใด ๆ เพื่อสนับสนุนการให้เหตุผลในแนวนี้ ขอบคุณมากสำหรับความช่วยเหลือใด ๆ

12 nonparametric  sample-size 

ใครบ้างที่สามารถแนะนำหนังสือบางเล่มที่ถือเป็นการอ้างอิงมาตรฐานสำหรับสถิติแบบคลาสสิก IE ค่อนข้างครอบคลุมและอยู่ในช่วงระยะเวลาหนึ่งเพื่อให้การพิมพ์ผิดและผิดพลาดในสูตรมีโอกาสตรวจสอบและแก้ไข

12 references  mathematical-statistics 

ฉันต้องการความช่วยเหลือในการอธิบายและอ้างถึงข้อความสถิติพื้นฐานเอกสารหรือข้อมูลอ้างอิงอื่น ๆ ว่าทำไมจึงไม่ถูกต้องที่จะใช้สถิติขอบของข้อผิดพลาด (MOE) ที่รายงานในการลงคะแนนเลือกตั้งเพื่อประกาศผูกสถิติอย่างไร้เดียงสา ตัวอย่าง: ผู้สมัคร A นำผู้สมัคร B ในแบบสำรวจความคิดเห็นเปอร์เซ็นต์, margin-of-error สำหรับผู้ลงคะแนนสำรวจคน4.5 % 50039−3139−3139 - 314.5%4.5%4.5 \%500500500 เพื่อนของฉันชอบเหตุผลดังนี้: เนื่องจากความซับซ้อนของการสร้างแบบจำลองทางสถิติระยะขอบของข้อผิดพลาดหมายความว่าการสนับสนุนที่แท้จริงของ A อาจต่ำถึง 34.5 เปอร์เซ็นต์และ B's อาจสูงถึง 35.5 เปอร์เซ็นต์ ดังนั้น A และ B จึงอยู่ในสภาพที่มีอุณหภูมิต่ำ ความช่วยเหลือทั้งหมดชื่นชมอย่างชัดเจนในการใช้เหตุผลของเพื่อนฉันอย่างชัดเจน ฉันได้พยายามที่จะอธิบายว่ามันเป็นเรื่องที่ไม่ถูกต้องอย่างไร้เดียงสาปฏิเสธสมมติฐาน "นำไปสู่ B" ถ้า&lt;2MOE pA−pB&lt;2MOEpA−pB&lt;2MOEp_A-p_B < 2MOE

12 polling 

ฉันกำลังทำงานกับคลังข้อความขนาดเล็ก (200M) ซึ่งฉันต้องการสำรวจด้วยการวิเคราะห์กลุ่ม คุณจะแนะนำหนังสือหรือบทความใดในเรื่องนั้น

12 machine-learning  references  clustering 

คำถามของฉันถูกส่งไปยังเทคนิคต่าง ๆ เพื่อจัดการกับข้อมูลที่ไม่สมบูรณ์ในระหว่างการจัดประเภท / การฝึกอบรม / การจำลองแบบ ตัวอย่างเช่นในชุดข้อมูลที่มีไม่กี่ร้อยแถวแต่ละแถวมีสมมุติห้ามิติและเลเบลคลาสเป็นรายการสุดท้ายจุดข้อมูลส่วนใหญ่จะมีลักษณะดังนี้: [0.74, 0.39, 0.14, 0.33, 0.34, 0] บางอย่างอาจมีลักษณะเช่นนี้: [0.21, 0.68,?, 0.82, 0.58, 1] ดังนั้นจุดข้อมูลประเภทนั้นคือจุดสนใจของคำถามนี้ เหตุผลแรกของฉันที่ถามคำถามนี้คือปัญหาตรงหน้าฉัน อย่างไรก็ตามก่อนที่จะโพสต์คำถามของฉันฉันคิดว่ามันอาจจะมีประโยชน์มากกว่าถ้าฉันเขียนอีกครั้งดังนั้นคำตอบจะเป็นประโยชน์กับชุมชนส่วนใหญ่ ในฐานะที่เป็นฮิวริสติกแบบง่ายเรามาแบ่งเทคนิคการจัดการข้อมูลเหล่านี้ตามช่วงเวลาของการประมวลผลที่ใช้ก่อนที่จะป้อนตัวจําแนกหรือในระหว่าง (เช่นเทคนิคอยู่ภายในตัวจําแนก) ตัวอย่างที่ดีที่สุดที่ฉันนึกได้สำหรับหลังคือเทคนิค 'การแยกกิ่งไม้สามทาง' ที่ชาญฉลาดที่ใช้ในต้นไม้การตัดสินใจ ไม่ต้องสงสัยเลยว่าหมวดหมู่เดิมนั้นใหญ่กว่าเดิมมาก เทคนิคที่ฉันรับรู้ทั้งหมดตกอยู่ในกลุ่มใดกลุ่มหนึ่งด้านล่าง ในขณะที่ฉันกำลังทบทวนบันทึกย่อส่วนบุคคลของฉันเกี่ยวกับ "การจัดการข้อมูลที่หายไป" ฉันสังเกตเห็นว่าฉันมีรายการเทคนิคที่น่าประทับใจ ฉันเก็บบันทึกเหล่านี้ไว้เพื่อความสบายใจทั่วไปและในกรณีที่เพื่อนร่วมงานรุ่นน้องขอให้ฉันจัดการกับข้อมูลที่หายไป ในทางปฏิบัติจริง ๆ ฉันไม่ได้ใช้สิ่งใดเลยยกเว้นครั้งสุดท้าย Imputation : รูบริกแบบกว้างสำหรับชุดของเทคนิคที่มีตัวหารร่วม (ฉันเชื่อ) คือข้อมูลที่ขาดหายไปจะถูกส่งโดยตรงโดยชุดข้อมูลเดียวกัน - การแทนที่มากกว่าการประมาณ / การทำนาย การสร้างใหม่ : ประเมินจุดข้อมูลที่ขาดหายไปโดยใช้เครือข่ายเชื่อมโยงอัตโนมัติ (เพียงเครือข่ายประสาทที่ขนาดของชั้นข้อมูลเข้าและส่งออกมีความเท่ากัน …

12 missing-data 

เมื่อใดที่คุณจะใช้ ROC curves ผ่านการทดสอบอื่น ๆ เพื่อกำหนดความสามารถในการทำนายของการวัดในผลลัพธ์ เมื่อจัดการกับผลลัพธ์ที่ไม่ต่อเนื่อง (ชีวิต / ตายปัจจุบัน / ขาดหายไป) อะไรที่ทำให้ ROC โค้งพลังมากขึ้นหรือน้อยลงกว่าบางอย่างเช่นไคสแควร์

12 regression  roc 

ฉันมีชุดข้อมูลที่ประกอบด้วยองค์ประกอบจากสามกลุ่มลองเรียกมันว่า G1, G2 และ G3 ฉันวิเคราะห์คุณสมบัติบางอย่างขององค์ประกอบเหล่านี้และแบ่งออกเป็น "พฤติกรรม" 3 ประเภท T1, T2 และ T3 (ฉันใช้การวิเคราะห์กลุ่มเพื่อทำสิ่งนั้น) ดังนั้นตอนนี้ฉันมีตารางฉุกเฉิน 3 x 3 เช่นนี้โดยมีจำนวนองค์ประกอบในสามกลุ่มหารตามประเภท: | T1 | T2 | T3 | ------+---------+---------+---------+--- G1 | 18 | 15 | 65 | ------+---------+---------+---------+--- G2 | 20 | 10 | 70 | ------+---------+---------+---------+--- G3 | 15 | 55 …

12 contingency-tables 

ไม่มีใครทราบเกี่ยวกับรูปแบบของการทดสอบที่แน่นอนของฟิชเชอร์ซึ่งคำนึงถึงน้ำหนัก? ยกตัวอย่างเช่นการสุ่มตัวอย่างน้ำหนัก ดังนั้นแทนที่จะข้ามตาราง 2x2 ปกติจุดข้อมูลทุกจุดจะมีค่า "มวล" หรือ "ขนาด" ชั่งน้ำหนักจุด ข้อมูลตัวอย่าง: A B weight N N 1 N N 3 Y N 1 Y N 2 N Y 6 N Y 7 Y Y 1 Y Y 2 Y Y 3 Y Y 4 การทดสอบที่แน่นอนของ Fisher ใช้ 2x2 cross table นี้: …

12 hypothesis-testing 

ในภาษาอังกฤษธรรมดาหนึ่งคนตีความพล็อตเรื่อง Bland-Altman อย่างไร ข้อดีของการใช้พล็อต Bland-Altman เหนือวิธีอื่นในการเปรียบเทียบวิธีการวัดสองวิธีแตกต่างกันอย่างไร

12 data-visualization  bland-altman-plot 

คำถามของฉันง่ายเหมือน: การประเมินร่วมกันคืออะไร? และมันหมายถึงอะไรในบริบทของการวิเคราะห์การถดถอย? เป็นอย่างไรบ้าง? ฉันเดินไปในอินเทอร์เน็ตอันยิ่งใหญ่มาระยะหนึ่งแล้ว แต่ไม่พบคำตอบสำหรับคำถามเหล่านี้

12 regression  estimation  terminology 

สมมติว่าเรามี (ที่วัดได้และเหมาะสมมีความประพฤติดี) ชุดที่มีขนาดกะทัดรัด นอกจากนี้สมมติว่าเราสามารถวาดตัวอย่างจากการกระจายชุดมากกว่า wrt เกอวัดและที่เรารู้ว่าวัด(B) เช่นบางทีBเป็นกล่อง[ - C , C ] nมีSS⊆B⊂RnS⊆B⊂RnS\subseteq B\subset\mathbb R^nBBBBBBλ(⋅)λ(⋅)\lambda(\cdot)λ(B)λ(B)\lambda(B)BBB[−c,c]n[−c,c]n[-c,c]^nSSS สำหรับการแก้ไขα∈Rα∈R\alpha\in\mathbb Rจะมีวิธีการที่เป็นกลางที่เรียบง่ายในการประมาณการe−αλ(S)e−αλ(S)e^{-\alpha \lambda(S)}โดยสม่ำเสมอสุ่มตัวอย่างในจุดBBBและการตรวจสอบหากพวกเขาเป็นภายในหรือภายนอกของSSS ? เป็นตัวอย่างของบางสิ่งบางอย่างที่ไม่ได้ทำงานค่อนข้างสมมติว่าเราตัวอย่างkkkจุดp1,…,pk∼Uniform(B)p1,…,pk∼Uniform(B)p_1,\ldots,p_k\sim\textrm{Uniform}(B) ) แล้วเราสามารถใช้การประมาณการ Monte Carlo λ(S)≈λ^:=#{pi∈S}kλ(B).λ(S)≈λ^:=#{pi∈S}kλ(B).\lambda(S)\approx \hat\lambda:= \frac{\#\{p_i\in S\}}{k}\lambda(B). แต่ในขณะที่ λเป็นประมาณการที่เป็นกลางของλ(S)ผมไม่คิดว่ามันเป็นกรณีที่อี-อัลฟ่า λเป็นประมาณการที่เป็นกลางของอี-อัลฟ่าλ(S) มีวิธีแก้ไขอัลกอริทึมนี้ไหม?λ^λ^\hat\lambdaλ(S)λ(S)\lambda(S)e−αλ^e−αλ^e^{-\alpha\hat\lambda}e−αλ(S)e−αλ(S)e^{-\alpha\lambda(S)}

12 probability  monte-carlo  unbiased-estimator  measure-theory 

ฉันติดตั้งโมเดลของฉันแล้วและพยายามเข้าใจว่ามันดีหรือไม่ ฉันได้คำนวณตัวชี้วัดที่แนะนำเพื่อประเมิน ( ข้อผิดพลาด / AUC / ความถูกต้อง / การคาดการณ์ / ฯลฯ ) แต่ไม่ทราบว่าจะตีความได้อย่างไร ในระยะสั้นฉันจะบอกได้อย่างไรว่าแบบจำลองของฉันดีตามเมตริกหรือไม่ เป็น 0.6 (ตัวอย่าง) เพียงพอที่จะแจ้งให้เราดำเนินการวาดข้อสรุปหรือการตัดสินใจธุรกิจ / วิทยาศาสตร์ฐาน?R2R2R^2R2R2R^2 คำถามนี้ตั้งใจกว้างเพื่อครอบคลุมสถานการณ์ที่สมาชิกเผชิญบ่อยครั้ง คำถามดังกล่าวอาจถูกปิดซ้ำซ้อนกับคำถามนี้ การแก้ไขเพื่อขยายขอบเขตนอกเหนือจากตัวชี้วัดที่กล่าวถึงที่นี่ยินดีต้อนรับเช่นเดียวกับคำตอบเพิ่มเติมโดยเฉพาะอย่างยิ่งสิ่งที่ให้ข้อมูลเชิงลึกเกี่ยวกับเมตริกประเภทอื่น

12 goodness-of-fit  r-squared  accuracy  auc  diagnostic 

ในการวิเคราะห์แบบผันคำกริยาแบบเบส์ของเควินเมอร์ฟี่ย์เรื่องการกระจายแบบเกาส์เซียนเขาเขียนว่า p(x∣D)=∫p(x∣θ)p(θ∣D)dθp(x∣D)=∫p(x∣θ)p(θ∣D)dθ p(x \mid D) = \int p(x \mid \theta) p(\theta \mid D) d \theta โดยที่เป็นข้อมูลที่โมเดลมีความเหมาะสมและเป็นข้อมูลที่มองไม่เห็น สิ่งที่ฉันไม่เข้าใจคือสาเหตุที่การพึ่งพาหายไปในเทอมแรกในอินทิกรัล การใช้กฎพื้นฐานความน่าจะเป็นฉันจะคาดหวัง:DDDxxxDDD p(a)p(a∣b)p(x∣D)=∫p(a∣c)p(c)dc=∫p(a∣c,b)p(c∣b)dc↓=∫p(x∣θ,D)⋆p(θ∣D)dθp(a)=∫p(a∣c)p(c)dcp(a∣b)=∫p(a∣c,b)p(c∣b)dc↓p(x∣D)=∫p(x∣θ,D)⏞⋆p(θ∣D)dθ \begin{align} p(a) &= \int p(a \mid c) p(c) dc \\ p(a \mid b) &= \int p(a \mid c, b) p(c \mid b) dc \\ &\downarrow \\ p(x \mid D) &= \int …

12 bayesian  predictive-models  inference  posterior