สถิติและข้อมูลขนาดใหญ่

หมายเหตุ: SSTSSTSST = ผลรวมของกำลังสองรวมSSESSESSE = ผลรวมของข้อผิดพลาดกำลังสองและSSRSSRSSR = ผลรวมการถดถอยของกำลังสอง สมการในชื่อเรื่องมักเขียนเป็น: ∑i=1n(yi−y¯)2=∑i=1n(yi−y^i)2+∑i=1n(y^i−y¯)2∑i=1n(yi−y¯)2=∑i=1n(yi−y^i)2+∑i=1n(y^i−y¯)2\sum_{i=1}^n (y_i-\bar y)^2=\sum_{i=1}^n (y_i-\hat y_i)^2+\sum_{i=1}^n (\hat y_i-\bar y)^2 คำถามตรงไปตรงมาสวย แต่ฉันกำลังมองหาคำอธิบายที่ใช้งานง่าย อย่างสังหรณ์ใจดูเหมือนว่าฉันชอบSST≥SSE+SSRSST≥SSE+SSRSST\geq SSE+SSRจะทำให้รู้สึกมากขึ้น ตัวอย่างเช่นสมมติว่าจุดxixix_iได้ค่า y ที่สอดคล้องyi=5yi=5y_i=5และYฉัน = 3ที่Yฉันเป็นจุดที่สอดคล้องกันบนเส้นถดถอย นอกจากนี้ยังคิดว่าค่าเฉลี่ยค่า y สำหรับชุดข้อมูลที่เป็นˉ Y = 0 จากนั้นสำหรับจุดนี้ฉัน, Sy^i=3y^i=3\hat y_i=3y^iy^i\hat y_iy¯=0y¯=0\bar y=0SST=(5−0)2=52=25SST=(5−0)2=52=25SST=(5-0)^2=5^2=25ในขณะที่SSE=(5−3)2=22=4SSE=(5−3)2=22=4SSE=(5-3)^2=2^2=4และSSR=(3−0)2=32=9SSR=(3−0)2=32=9SSR=(3-0)^2=3^2=9 9 เห็นได้ชัดว่า9+4&lt;259+4&lt;259+4<25 25 ผลลัพธ์นี้จะไม่ทำให้เป็นชุดข้อมูลทั้งหมดหรือไม่ ฉันไม่เข้าใจ

14 regression  least-squares  r-squared 

คำถามนี้เกี่ยวกับการประมาณค่าความน่าจะเป็นสูงสุด (REML) ที่ จำกัด ในรุ่นเฉพาะของตัวแบบเชิงเส้นกล่าวคือ: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), ที่X(α)X(α)X(\alpha)เป็น ( n×pn×pn \times p ) เมทริกซ์ parametrized โดยα∈Rkα∈Rk\alpha \in \mathbb R^kที่เป็นΣ(α)Σ(α)\Sigma(\alpha) ) ββ\betaเป็นเวกเตอร์ที่ไม่รู้จักพารามิเตอร์รำคาญ; ที่น่าสนใจคือในการประมาณαα\alphaและเรามีk≤p≪nk≤p≪nk\leq p\ll n n การประมาณแบบจำลองโดยโอกาสสูงสุดไม่มีปัญหา แต่ฉันต้องการใช้ REML มันเป็นที่รู้จักกันดีให้ดูเช่นLaMotteว่าโอกาสA′YA′YA'Yโดยที่AAAคือเมทริกซ์กึ่งมุมฉากใด ๆ เช่นนั้นสามารถเขียนได้A′X=0A′X=0A'X=0 LREML(α∣Y)∝|X′X|1/2|Σ|−1/2|X′Σ−1X|−1/2exp{−12r′Σ−1r},r=(I−X(X′Σ−1X)+X′Σ−1)Y,LREML(α∣Y)∝|X′X|1/2|Σ|−1/2|X′Σ−1X|−1/2exp⁡{−12r′Σ−1r},r=(I−X(X′Σ−1X)+X′Σ−1)Y, L_{\text{REML}}(\alpha\mid Y) \propto\vert X'X\vert^{1/2} \vert \Sigma\vert^{-1/2}\vert X'\Sigma^{-1}X\vert^{-1/2}\exp\left\{-\frac{1}{2} r'\Sigma^{-1}r \right\}, \\ …

14 mixed-model  maximum-likelihood  linear-model  optimization  reml 

ฉันมีข้อมูลบางอย่างที่ฉันต้องการให้ราบเรียบเพื่อให้จุดที่ราบเรียบลดลงแบบ monotonically ข้อมูลของฉันลดลงอย่างรวดเร็วจากนั้นก็เริ่มเป็นที่ราบสูง นี่คือตัวอย่างการใช้ R df &lt;- data.frame(x=1:10, y=c(100,41,22,10,6,7,2,1,3,1)) ggplot(df, aes(x=x, y=y))+geom_line() เทคนิคการปรับให้เรียบแบบไหนที่ฉันสามารถใช้ได้ นอกจากนี้มันคงจะดีถ้าฉันสามารถบังคับให้จุดที่ปรับให้เรียบครั้งที่ 1 ใกล้เคียงกับจุดที่ฉันสังเกตเห็น

14 regression  smoothing 

ฉันกำลังอ่านเกี่ยวกับการปรับให้เหมาะสมสำหรับปัญหาที่ไม่ถูกต้องในสายตาคอมพิวเตอร์และพบคำอธิบายด้านล่างเกี่ยวกับการปรับให้เหมาะสมใน Wikipedia สิ่งที่ฉันไม่เข้าใจคือทำไมพวกเขาเรียกการเพิ่มประสิทธิภาพนี้ "ลดพลังงาน " ใน Computer Vision ปัญหาการปรับให้เหมาะสมสามารถแสดงได้ด้วยวิธีต่อไปนี้: รับ: ฟังก์ชั่นจากบางชุดf:A→Rf:A→Rf: A \to Rเป็นจำนวนจริงAAA ขอ: องค์ประกอบในAที่f ( x 0 ) ≤ f ( x )สำหรับxทั้งหมดในA ("ย่อเล็กสุด") หรือเช่นนั้นf ( x 0 ) ≥ f ( x )สำหรับxทั้งหมดในA (" สูงสุด ")x0x0x_0AAAf(x0)≤f(x)f(x0)≤f(x)f(x_0) ≤ f(x)xxxAAAf(x0)≥f(x)f(x0)≥f(x)f(x_0) ≥ f(x)xxxAAA สูตรดังกล่าวเรียกว่าปัญหาการเพิ่มประสิทธิภาพหรือปัญหาการเขียนโปรแกรมทางคณิตศาสตร์ (คำที่ไม่เกี่ยวข้องโดยตรงกับการเขียนโปรแกรมคอมพิวเตอร์ แต่ยังคงใช้งานอยู่เช่นในการเขียนโปรแกรมเชิงเส้น - ดูประวัติด้านล่าง) ปัญหาที่เกิดขึ้นจริงในทางทฤษฎีและทางทฤษฎีหลายอย่างอาจเป็นแบบจำลองในกรอบทั่วไปนี้ ปัญหาที่เกิดขึ้นจากการใช้เทคนิคนี้ในสาขาฟิสิกส์และการมองเห็นด้วยคอมพิวเตอร์อาจหมายถึงเทคนิคที่เป็นการลดพลังงานโดยการพูดถึงค่าของฟังก์ชั่นแทนค่าพลังงานของระบบที่ถูกจำลองfff

14 machine-learning  optimization  computer-vision 

คำถามนี้ถูกกระตุ้นจากคำถาม: เมื่อใด (ถ้าเคย) เป็นวิธีการที่พบบ่อยดีกว่า Bayesian อย่างมาก? ในขณะที่ฉันโพสต์ในการแก้ปัญหาของฉันในความคิดของฉันถ้าคุณเป็นนักประดาน้ำที่คุณไม่ต้องเชื่อ / ยึดมั่นในหลักการโอกาส เพราะบ่อยครั้งที่วิธีการบ่อยครั้งจะละเมิดมัน อย่างไรก็ตามและนี่มักจะอยู่ภายใต้สมมติฐานของนักบวชที่เหมาะสมวิธีการแบบเบย์ไม่เคยละเมิดหลักการความน่าจะเป็น ดังนั้นตอนนี้ที่จะบอกว่าคุณเป็นชาว Bayesian แล้วที่ยืนยันความเชื่อหรือข้อตกลงของคน ๆ หนึ่งในหลักการความน่าจะเป็นหรือเป็นข้อโต้แย้งว่าการเป็นชาว Bayesian นั้นมีผลลัพธ์ที่ดีที่หลักการความน่าจะเป็นไม่ได้ถูกละเมิด?

14 bayesian  likelihood  likelihood-principle 

ในการอธิบายว่าทำไม uncorrelated ไม่ได้หมายความอิสระมีหลายตัวอย่างที่เกี่ยวข้องกับพวงของตัวแปรสุ่ม แต่พวกเขาทั้งหมดดูเหมือนนามธรรมดังนั้น: 1 2 3 4 คำตอบนี้ดูเหมือนจะสมเหตุสมผล การตีความของฉัน: ตัวแปรสุ่มและสแควร์ของมันอาจไม่เกี่ยวข้องกัน (เนื่องจากเห็นได้ชัดว่าขาดความสัมพันธ์เป็นสิ่งที่ต้องการความเป็นอิสระเชิงเส้น) แต่พวกเขาก็ขึ้นอยู่อย่างชัดเจน ผมคิดว่าตัวอย่างจะว่า (มาตรฐาน?) ความสูงและความสูงอาจจะไม่มีความ แต่ขึ้นอยู่ แต่ผมไม่เห็นว่าทำไมทุกคนต้องการจะเปรียบเทียบความสูงและความสูง 222^222^2 เพื่อจุดประสงค์ในการให้สัญชาตญาณแก่ผู้เริ่มต้นในทฤษฎีความน่าจะเป็นเบื้องต้นหรือวัตถุประสงค์ที่คล้ายคลึงกันตัวอย่างชีวิตจริงของตัวแปรสุ่มที่ไม่เกี่ยวข้อง แต่ขึ้นอยู่กับอะไร?

14 correlation  independence  non-independent  garch  intuition 

ในการคิดเร็วและช้า Daniel Kahneman วางคำถามสมมุติฐานต่อไปนี้: (หน้า 186) Julie ปัจจุบันเป็นรุ่นพี่ในมหาวิทยาลัยของรัฐ เธออ่านได้คล่องเมื่อเธออายุสี่ขวบ เกรดเฉลี่ย (GPA) ของเธอคืออะไร ความตั้งใจของเขาคือการแสดงให้เห็นว่าเรามักจะล้มเหลวในการบัญชีสำหรับการถดถอยถึงค่าเฉลี่ยเมื่อทำการทำนายเกี่ยวกับสถิติบางอย่าง ในการอภิปรายต่อไปเขาแนะนำ: (หน้า 190) จำได้ว่าความสัมพันธ์ระหว่างสองมาตรการ - ในกรณีการอ่านอายุปัจจุบันและเกรดเฉลี่ย - เท่ากับสัดส่วนของปัจจัยที่ใช้ร่วมกันในปัจจัยของพวกเขา คุณคาดเดาสิ่งที่ดีที่สุดเกี่ยวกับสัดส่วนนั้นได้อย่างไร การคาดเดาในแง่ดีที่สุดของฉันคือประมาณ 30% สมมติว่าประมาณการนี้เรามีทุกอย่างที่เราต้องการในการทำนายอย่างเป็นกลาง นี่คือคำแนะนำสำหรับวิธีการเดินทางในสี่ขั้นตอนง่าย ๆ : เริ่มต้นด้วยการประมาณเกรดเฉลี่ย กำหนดเกรดเฉลี่ยที่ตรงกับการแสดงหลักฐานของคุณ ประมาณค่าสหสัมพันธ์ระหว่างการอ่านค่าความฉลาดสูงกับเกรดเฉลี่ย หากความสัมพันธ์คือ. 30 ให้ย้าย 30% ของระยะทางจากค่าเฉลี่ยไปยังเกรดเฉลี่ยที่ตรงกัน การตีความคำแนะนำของเขาของฉันเป็นดังนี้: ใช้ "เธออ่านได้อย่างคล่องแคล่วเมื่อเธออายุสี่ขวบ" เพื่อสร้างคะแนนมาตรฐานสำหรับความฉลาดเกินอายุการอ่านของจูลี่ กำหนดเกรดเฉลี่ยที่มีคะแนนมาตรฐานที่สอดคล้องกัน (GPA ที่มีเหตุผลในการทำนายจะสอดคล้องกับคะแนนมาตรฐานนี้หากความสัมพันธ์ระหว่าง GPA และความแม่นยำในการอ่านนั้นสมบูรณ์แบบ) ประมาณเปอร์เซ็นต์ของความแปรปรวนใน GPA ที่สามารถอธิบายได้ด้วยความแปรปรวนในการอ่านความแม่นยำ (ฉันคิดว่าเขาหมายถึงสัมประสิทธิ์การตัดสินใจด้วย "สหสัมพันธ์" …

14 standard-deviation  regression-coefficients  regression-to-the-mean 

แบบจำลองการผสมแบบเกาส์ (GMMs) มีความน่าสนใจเพราะง่ายต่อการทำงานกับทั้งในเชิงวิเคราะห์และในทางปฏิบัติ มีคุณสมบัติการวิเคราะห์เล็กน้อยที่เราควรคาดว่าจะมีซึ่งไม่ชัดเจนโดยทั่วไป โดยเฉพาะอย่างยิ่ง: SnSnS_nnnnPPPnnnPPPlimn→∞infP^∈SnD(P||P^)=0?limn→∞infP^∈SnD(P||P^)=0?\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0? บอกว่าเรามีการกระจายอย่างต่อเนื่องและเราได้พบ -component ผสมแบบเกาส์ซึ่งอยู่ใกล้กับPในรูปแบบรวม: \ เดลต้า (P \ hat {P}) &lt;\ varepsilon เราสามารถผูกD (P || \ hat {P})ในแง่ของ\ epsilon ได้หรือไม่?N P P δ ( P , P ) &lt; ε D ( P | | P ) εPPPNNNP^P^\hat{P}PPPδ(P,P^)&lt;εδ(P,P^)&lt;ε\delta(P,\hat{P})<\varepsilonD(P||P^)D(P||P^)D(P||\hat{P})ϵϵ\epsilon ถ้าเราต้องการสังเกตุผ่านเสียงเพิ่มเติมอิสระY \ sim P_Y …

14 probability  normal-distribution  references  gaussian-mixture  information-theory 

ขอให้เราสรุปกระแสตัวแปรสุ่ม, Xi∼iidU(0,1)Xi∼iidU(0,1)X_i \overset{iid}\sim \mathcal{U}(0,1) ; ให้YYYเป็นจำนวนเทอมที่เราต้องการสำหรับผลรวมเกินหนึ่งกล่าวคือYYYเป็นจำนวนน้อยที่สุดเช่นนั้น X1+X2+⋯+XY&gt;1.X1+X2+⋯+XY&gt;1.X_1 + X_2 + \dots + X_Y > 1. ทำไมเฉลี่ยของYYYเท่ากับออยเลอร์คงeee ? E(Y)=e=10!+11!+12!+13!+…E(Y)=e=10!+11!+12!+13!+…\mathbb{E}(Y) = e = \frac{1}{0!} + \frac{1}{1!} + \frac{1}{2!} + \frac{1}{3!} + \dots

14 probability  self-study  expected-value  uniform 

การรักษาแบบดั้งเดิมของการอนุมานทางสถิติอาศัยสมมติฐานที่ว่ามีการใช้สถิติที่ระบุอย่างถูกต้อง นั่นคือการกระจายP∗(Y)P∗(Y)\mathbb{P}^*(Y)ที่สร้างข้อมูลที่สังเกตได้เป็นส่วนหนึ่งของแบบจำลองทางสถิติ : อย่างไรก็ตามในสถานการณ์ส่วนใหญ่เราไม่สามารถสรุปได้ว่านี่เป็นเรื่องจริง ฉันสงสัยว่าจะเกิดอะไรขึ้นกับขั้นตอนการอนุมานเชิงสถิติหากเราทิ้งสมมติฐานที่ระบุไว้อย่างถูกต้องyyyMM\mathcal{M}P∗(Y)∈M={Pθ(Y):θ∈Θ}P∗(Y)∈M={Pθ(Y):θ∈Θ}\mathbb{P}^*(Y) \in \mathcal{M}=\{\mathbb{P}_\theta(Y) :\theta \in \Theta\} ฉันได้พบงานบางอย่างของWhite 1982ในการประมาณ ML ภายใต้การสะกดผิด มันเป็นที่ถกเถียงกันอยู่ว่ามีความเป็นไปได้มากที่สุดคือการประเมินที่สอดคล้องกันสำหรับการแจกแจง ที่ช่วยลด KL-แตกต่างจากการกระจายทั้งหมดภายในแบบจำลองทางสถิติและการจัดจำหน่ายจริง\ mathbb {P} ^ *Pθ1=argminPθ∈MKL(P∗,Pθ)Pθ1=arg⁡minPθ∈MKL(P∗,Pθ)\mathbb{P}_{\theta_1}=\arg \min_{\mathbb{P}_\theta \in \mathcal{M}} KL(\mathbb{P}^*,\mathbb{P}_\theta)P∗P∗\mathbb{P}^* เกิดอะไรขึ้นกับตัวประมาณค่าความเชื่อมั่น ให้สรุปความเชื่อมั่นชุดประเมิน Let δ:ΩY→2Θδ:ΩY→2Θ\delta:\Omega_Y \rightarrow 2^\Thetaเป็นประมาณการที่ตั้งไว้ที่ΩYΩY\Omega_Yเป็นพื้นที่ตัวอย่างและ2Θ2Θ2^\Thetaชุดไฟมากกว่าพื้นที่พารามิเตอร์\ΘΘ\Thetaสิ่งที่เราอยากรู้คือความน่าจะเป็นของเหตุการณ์ที่ชุดที่สร้างโดยδδ\deltaรวมการแจกแจงที่แท้จริงP∗P∗\mathbb{P}^*นั่นคือP∗(P∗∈{Pθ:θ∈δ(Y)}):=A.P∗(P∗∈{Pθ:θ∈δ(Y)}):=A.\mathbb{P}^*(\mathbb{P}^* \in \{P_\theta : \theta \in \delta(Y)\}):=A. อย่างไรก็ตามเราแน่นอนไม่ทราบความจริงการกระจาย * สมมติฐานที่กำหนดไว้อย่างถูกต้องบอกเราว่า{M} อย่างไรก็ตามเรายังไม่ทราบว่าเป็นรุ่นใด แต่เป็นผูกพันที่ต่ำกว่าสำหรับความน่าจะเป็น Equationคือการ จำกัด คลาสสิกของระดับความเชื่อมั่นสำหรับตัวประมาณค่าชุดความเชื่อมั่นP∗P∗\mathbb{P}^*P∗∈MP∗∈M\mathbb{P}^* \in \mathcal{M}infθ∈ΘPθ(θ∈δ(Y)):=Binfθ∈ΘPθ(θ∈δ(Y)):=B\inf_{\theta \in \Theta} \mathbb{P}_\theta(\theta …

14 hypothesis-testing  confidence-interval  model  frequentist  misspecification 

ฉันอ่านบทความมาแล้วและฉันไม่แน่ใจเกี่ยวกับคำจำกัดความเฉพาะของ Average Treatment Effect (ATE) และ Marginal Treatment Effect (MTE) พวกเขาเหมือนกันหรือไม่ ตามที่ออสติน ... ผลตามเงื่อนไขคือผลกระทบโดยเฉลี่ยที่ระดับตัวแบบในการย้ายตัวแบบจากไม่ถูกรักษาไปสู่การรักษา สัมประสิทธิ์การถดถอยสำหรับตัวแปรตัวบ่งชี้การกำหนดการรักษาจากตัวแบบการถดถอยหลายตัวแปรคือการประมาณของผลตามเงื่อนไขหรือปรับ ในทางตรงกันข้ามผลกระทบส่วนเพิ่มคือผลเฉลี่ยในระดับประชากรในการเคลื่อนย้ายประชากรทั้งหมดจากการไม่ได้รับการรักษาไปยังการรักษา [10]ผลการรักษาเชิงเส้น (ความแตกต่างของค่าเฉลี่ยและความแตกต่างของสัดส่วน) นั้นสามารถยุบได้: ผลการรักษาแบบมีเงื่อนไขและส่วนเพิ่มจะตรงกัน อย่างไรก็ตามเมื่อผลลัพธ์เป็นแบบไบนารีหรือเวลาต่อเหตุการณ์โดยธรรมชาติอัตราส่วนอัตราต่อรองและอัตราส่วนความเป็นอันตรายจะไม่สามารถยุบได้ [11] Rosenbaum ตั้งข้อสังเกตว่าวิธีการให้คะแนนความชอบอนุญาตให้หนึ่งในการประเมินผลกระทบมากกว่าเงื่อนไขเงื่อนไข [12] มีความขัดสนของการวิจัยเกี่ยวกับประสิทธิภาพของวิธีคะแนนความชอบที่แตกต่างกันเพื่อประเมินผลการรักษาชายขอบ แต่ในอีกกระดาษออสตินเขาพูดว่า Yผม( 1 ) - Yผม( 0 )Yผม(1)-Yผม(0)Y_i(1)- Y_i(0)E[ Yผม( 1 ) - Yผม( 0 ) ]E[Yผม(1)-Yผม(0)]E[Y_i(1)- Y_i(0)] ดังนั้นคำถามที่ฉันมีคือ ... อะไรคือความแตกต่างระหว่างผลการรักษาโดยเฉลี่ยกับผลการรักษาเล็กน้อย? เช่นกันฉันจะจำแนกการประมาณค่าของฉันได้อย่างไร ฉันมีคะแนนความชอบ (IPTW) …

14 causality  hazard  propensity-scores  marginal-effect  marginal-model 

ตัวอย่างทั้งหมดที่ฉันพบโดยใช้ความเชื่ออย่างลึกล้ำหรือโครงข่ายประสาทเทียมใช้สำหรับการจำแนกภาพการตรวจจับแชทและการรู้จำเสียง โครงข่ายใยประสาทเทียมแบบลึกยังมีประโยชน์สำหรับงานการปรับเปลี่ยนแบบดั้งเดิมซึ่งคุณสมบัติไม่ได้มีโครงสร้าง (เช่นไม่จัดเรียงตามลำดับหรือตาราง) ถ้าใช่คุณยกตัวอย่างได้ไหม

14 regression  machine-learning  neural-networks  deep-learning 

เมื่อมองไปที่ไอเก็นเวกเตอร์ของเมทริกซ์ความแปรปรวนร่วมเราจะได้คำแนะนำของความแปรปรวนสูงสุด (ไอเกนวีคตัวแรกคือทิศทางที่ข้อมูลแตกต่างกันมากที่สุด ฯลฯ ); สิ่งนี้เรียกว่าการวิเคราะห์องค์ประกอบหลัก (PCA) ฉันสงสัยว่าการดู eigenvector / คุณค่าของเมทริกซ์ข้อมูลร่วมหมายความว่าพวกเขาจะชี้ไปในทิศทางของเอนโทรปีสูงสุดหรือไม่

14 pca  entropy  mutual-information  eigenvalues 

ฉันกำลังจำแนกภาพโดยใช้การเรียนรู้ของเครื่อง สมมติว่าฉันมีข้อมูลการฝึกอบรม (ภาพ) และจะแบ่งข้อมูลออกเป็นชุดการฝึกอบรมและการตรวจสอบความถูกต้อง และฉันยังต้องการที่จะเพิ่มข้อมูล (สร้างภาพใหม่จากภาพต้นฉบับ) โดยการหมุนแบบสุ่มและการฉีดสัญญาณรบกวน augmentaion ทำแบบออฟไลน์ วิธีใดที่ถูกต้องในการเพิ่มข้อมูล? ขั้นแรกให้แบ่งข้อมูลออกเป็นชุดฝึกอบรมและตรวจสอบความถูกต้องจากนั้นทำการเพิ่มข้อมูลทั้งชุดฝึกอบรมและชุดตรวจสอบ ขั้นแรกให้แบ่งข้อมูลออกเป็นชุดฝึกอบรมและตรวจสอบความถูกต้องจากนั้นทำการเพิ่มข้อมูลในชุดฝึกอบรมเท่านั้น ก่อนอื่นทำการเพิ่มข้อมูลบนข้อมูลจากนั้นแบ่งข้อมูลออกเป็นชุดฝึกอบรมและตรวจสอบความถูกต้อง

14 machine-learning  classification  cross-validation  dataset  data-augmentation 

การฝึกอบรมทางสถิติของฉันมีรากฐานมาจากสถิติทางคณิตศาสตร์และการเรียนวิธีการเหล่านี้ใน MS ของฉันค่อนข้างน่าตกใจในขณะนี้ ขณะนี้เป็นเรื่องยากสำหรับฉันที่จะสามารถเข้าใจวิธีการ "ใช้งาน" เหล่านี้เนื่องจากฉันไม่มีประสบการณ์ในอุตสาหกรรม หนึ่งในหัวข้อที่เราได้พูดถึงในชั้นเรียนวิธีการของฉันคือแนวคิดของการออกแบบการทดลอง ตัวอย่างเช่นฉันต้องการทำการทดลองเกี่ยวกับประสิทธิผลของโปรแกรมการศึกษาที่อ้างว่าเพิ่มคะแนนการทดสอบของนักเรียน K-12 ในชั้นเรียนวิธีการพวกเขาได้สอนสิ่งต่อไปนี้เพื่อติดตามปัญหาดังกล่าว: ตรวจสอบให้แน่ใจว่าคุณมีคำถามการวิจัยที่ดีวิธีการรวบรวมข้อมูลที่ดีการทดลองแบบสุ่มกลุ่มการรักษาที่เป็นเนื้อเดียวกัน ไม่) ขนาดเท่ากันอย่างสมบูรณ์และจากนั้นเรียกใช้การทดสอบ (หรือการทดสอบสมมติฐานที่ไม่ใช่พารามิเตอร์) และมันก็ดีและสวยหรูใช่ไหม?เสื้อเสื้อt ฉันมีศรัทธาเล็กน้อยว่านี่คือวิธีการทำงานในความเป็นจริง ฉันได้เรียนรู้แล้วว่าคุณอาจต้องทำการสุ่มตัวอย่างเพื่อความสะดวก แต่นอกจากนั้นฉันก็ไม่รู้ว่าจะใช้การออกแบบการทดลองอะไรนอกจากสิ่งที่ฉันเรียนรู้จากตำรา มีหนังสือเล่มไหนอ่าน ฯลฯ ที่สำรวจปัญหาเหล่านี้ในทางปฏิบัติ (และในอุดมคติแล้วก็ไม่ควรปัดเศษคณิตศาสตร์ - ฉันไม่ต้องการการพิสูจน์อย่างละเอียดของทุกสิ่ง แต่ฉันไม่ต้องการบอกว่าทุกอย่างคือ " ชัดเจน "ตัวอย่างเช่น)?

14 references  experiment-design