สถิติและข้อมูลขนาดใหญ่

ถามตอบสำหรับผู้ที่สนใจในสถิติการเรียนรู้ของเครื่องจักรการวิเคราะห์ข้อมูลการขุดข้อมูล

8
ทำไมนิวตันถึงไม่ใช้วิธีการอย่างกว้างขวางในการเรียนรู้ของเครื่อง?
นี่คือสิ่งที่ทำให้ฉันหยุดอยู่พักหนึ่งและฉันไม่พบคำตอบที่น่าพอใจทางออนไลน์ดังนั้นที่นี่จะไป: หลังจากตรวจสอบชุดของการบรรยายเกี่ยวกับการเพิ่มประสิทธิภาพของนูนวิธีการของนิวตันดูเหมือนจะเป็นอัลกอริธึมที่เหนือกว่าการไล่ระดับสีเพื่อค้นหาทางออกที่ดีที่สุดทั่วโลกเพราะวิธีการของนิวตันสามารถรับประกันการแก้ปัญหาได้ ไกลน้อยกว่าขั้นตอน ทำไมอัลกอริธึมการเพิ่มประสิทธิภาพอันดับสองเช่นวิธีของนิวตันไม่ได้ใช้กันอย่างแพร่หลายเช่นเดียวกับการไล่ระดับสีแบบสุ่มในปัญหาการเรียนรู้ของเครื่อง?

4
คัปปาของโคเฮนในภาษาอังกฤษธรรมดา
ฉันกำลังอ่านหนังสือ data mining และมันบอกว่าสถิติ Kappa เป็นวิธีการประเมินประสิทธิภาพการทำนายของตัวจําแนก อย่างไรก็ตามฉันไม่เข้าใจสิ่งนี้ ฉันยังตรวจสอบวิกิพีเดีย แต่มันก็ไม่ได้ช่วยอะไรมากเกินไป: https://en.wikipedia.org/wiki/Cohen's_kappa คัปปาของโคเฮนช่วยในการประเมินประสิทธิภาพการทำนายของตัวแยกประเภทอย่างไร มันบอกอะไร ฉันเข้าใจว่า 100% คัปปาหมายความว่าลักษณนามอยู่ในข้อตกลงทั้งหมดกับลักษณนามแบบสุ่ม แต่ฉันไม่เข้าใจว่าสิ่งนี้ช่วยในการประเมินประสิทธิภาพของลักษณนามอย่างไร 40% คัปปาหมายถึงอะไร? หมายความว่า 40% ของเวลาตัวจําแนกเป็นการตกลงกับตัวจําแนกแบบสุ่มหรือไม่ ถ้าเป็นเช่นนั้นสิ่งที่บอกฉันหรือช่วยฉันในการประเมินลักษณนาม

14
ชุดข้อมูลขนาดใหญ่ไม่เหมาะสมสำหรับการทดสอบสมมติฐานหรือไม่?
ในบทความล่าสุดของAmstat Newsผู้เขียน (Mark van der Laan และ Sherri Rose) ระบุว่า "เรารู้ว่าสำหรับกลุ่มตัวอย่างที่มีขนาดใหญ่เพียงพอทุกการศึกษารวมถึงที่สมมติฐานว่างเปล่าไม่มีผลจริง - จะประกาศ ผลกระทบอย่างมีนัยสำคัญทางสถิติ ". ฉันก็ไม่รู้เหมือนกัน มันเป็นเรื่องจริงเหรอ? หมายความว่าการทดสอบสมมติฐานไม่มีประโยชน์สำหรับชุดข้อมูลขนาดใหญ่หรือไม่?

6
ความแตกต่างระหว่างความแปรปรวนกับค่าเบี่ยงเบนมาตรฐานคืออะไร
ฉันสงสัยว่าความแตกต่างระหว่างความแปรปรวนกับส่วนเบี่ยงเบนมาตรฐานคืออะไร หากคุณคำนวณค่าทั้งสองเป็นที่ชัดเจนว่าคุณได้ค่าเบี่ยงเบนมาตรฐานจากความแปรปรวน แต่นั่นหมายความว่าในแง่ของการกระจายที่คุณสังเกต นอกจากนี้ทำไมคุณต้องมีค่าเบี่ยงเบนมาตรฐานจริง ๆ

9
คำอธิบายจากระยะไกลถึงบนสุดของระยะทาง Mahalanobis คืออะไร?
ฉันเรียนรู้รูปแบบและสถิติและเกือบหนังสือฉันเปิดในเรื่องที่ทุกฉันชนแนวคิดของระยะทาง Mahalanobis หนังสือให้คำอธิบายที่เข้าใจง่าย แต่ก็ยังไม่ดีพอสำหรับฉันที่จะเข้าใจสิ่งที่เกิดขึ้นจริง ๆ ถ้ามีคนถามฉันว่า "มาฮาโลโนบิสระยะทางเท่าไหร่" ฉันทำได้แค่ตอบว่า: "มันเป็นสิ่งที่ดีมากซึ่งวัดระยะทางได้" :) คำจำกัดความมักจะมีค่าลักษณะเฉพาะและค่าลักษณะเฉพาะซึ่งฉันมีปัญหาเล็กน้อยในการเชื่อมต่อกับระยะทาง Mahalanobis ฉันเข้าใจความหมายของคำว่า eigenvector และค่าลักษณะเฉพาะ แต่พวกมันเกี่ยวข้องกับระยะทาง Mahalanobis อย่างไร มีอะไรเกี่ยวข้องกับการเปลี่ยนฐานใน Linear Algebra เป็นต้นหรือไม่? ฉันได้อ่านคำถามก่อนหน้านี้ในหัวข้อนี้ด้วย: ระยะ Mahalanobis คืออะไรและใช้ในการจดจำรูปแบบอย่างไร คำอธิบายที่ใช้งานง่ายสำหรับฟังก์ชั่นการแจกแจงแบบเกาส์และระยะทาง mahalanobis (Math.SE) ฉันได้อ่านคำอธิบายนี้ด้วย คำตอบที่ดีและภาพที่ดี แต่ยังคงฉันไม่ได้จริงๆได้รับมัน ... ฉันมีความคิด แต่ก็ยังคงอยู่ในความมืด ใครสามารถให้ "คุณจะอธิบายให้คุณยายของคุณ" ได้อย่างไร - อธิบายเพื่อที่ฉันจะได้สรุปในที่สุดและไม่เคยสงสัยอีกครั้งว่าห่าคือระยะทาง Mahalanobis? :) มันมาจากอะไรทำไม? UPDATE: นี่คือสิ่งที่ช่วยทำความเข้าใจสูตร Mahalanobis: https://math.stackexchange.com/questions/428064/distance-of-a-test-point-from-the-center-of-an-ellipsoid

9
ได้รับความรู้จากป่าสุ่ม
ป่าสุ่มถือเป็นกล่องดำ แต่เมื่อเร็ว ๆ นี้ฉันกำลังคิดว่าจะได้ความรู้อะไรจากป่าสุ่ม? สิ่งที่ชัดเจนที่สุดคือความสำคัญของตัวแปรในตัวแปรที่ง่ายที่สุดสามารถทำได้เพียงแค่คำนวณจำนวนการเกิดขึ้นของตัวแปร สิ่งที่สองที่ฉันคิดคือการโต้ตอบ ฉันคิดว่าถ้าจำนวนต้นไม้มีขนาดใหญ่เพียงพอจำนวนของตัวแปรคู่ที่สามารถทดสอบได้ (เช่นความเป็นอิสระของไคสแควร์) สิ่งที่สามคือความไม่แปรปรวนของตัวแปร ความคิดแรกของฉันคือการดูแผนภูมิของคะแนน Vs ตัวแปร แต่ฉันยังไม่แน่ใจว่ามันสมเหตุสมผลหรือไม่ เพิ่ม 23.01.2012 แรงจูงใจ ฉันต้องการใช้ความรู้นี้เพื่อปรับปรุงแบบจำลอง logit ฉันคิดว่า (หรืออย่างน้อยก็หวังว่า) เป็นไปได้ที่จะพบปฏิสัมพันธ์และความไม่เป็นเชิงเส้นที่ถูกมองข้าม

3
ความแตกต่างระหว่างตัวประมาณที่สอดคล้องกันและตัวประมาณที่ไม่เอนเอียงคืออะไร?
ฉันแปลกใจจริงๆที่ไม่มีใครถามคำถามนี้แล้ว ... เมื่อพูดถึงเครื่องมือประมาณสองคำที่ใช้บ่อยคือ "สอดคล้อง" และ "ไม่เอนเอียง" คำถามของฉันง่าย: อะไรคือความแตกต่าง? คำจำกัดความทางเทคนิคที่แม่นยำของคำเหล่านี้มีความซับซ้อนอย่างเป็นธรรมและมันเป็นเรื่องยากที่จะได้รับความรู้สึกที่ใช้งานง่ายสำหรับสิ่งที่พวกเขาหมายถึง ฉันจินตนาการได้ว่าตัวประมาณที่ดีและตัวประมาณที่แย่ แต่ฉันมีปัญหาในการดูว่าตัวประมาณตัวใดสามารถสนองเงื่อนไขหนึ่งได้และไม่ใช่อีกตัว

3
ช่วยฉันเข้าใจการแจกแจงแบบเบย์ก่อนและหลัง
ในกลุ่มนักเรียนมี 2 จาก 18 คนที่ถนัดซ้าย ค้นหาการกระจายด้านหลังของนักเรียนที่ถนัดซ้ายในประชากรที่คาดไม่ถึงมาก่อน สรุปผลลัพธ์ ตามวรรณกรรม 5-20% ของคนถนัดซ้าย นำข้อมูลนี้ไปพิจารณาก่อนและคำนวณหลังใหม่ ฉันรู้ว่าควรใช้การกระจายเบต้าที่นี่ ก่อนอื่นด้วยค่าและเป็น 1? สมการที่ฉันพบในวัสดุสำหรับด้านหลังคือαα\alphaββ\beta π(r|Y)∝r(Y+−1)×(1−r)(N−Y+−1)π(r|Y)∝r(Y+−1)×(1−r)(N−Y+−1)\pi(r \vert Y ) \propto r^{(Y +−1)} \times (1 − r)^{(N−Y +−1)} \\ Y=2Y=2Y=2N = 18 ,N=18N=18N=18 ทำไมในสมการนั้น? (แสดงถึงสัดส่วนของคนซ้ายส่ง) ไม่เป็นที่รู้จักดังนั้นมันจะอยู่ในสมการนี้ได้อย่างไร? สำหรับผมแล้วมันดูเหมือนว่าไร้สาระในการคำนวณรับและใช้ในสมการให้Rดีกับตัวอย่างผลที่ได้0,0019ฉันควรจะได้ข้อสรุปจากที่?rrrrrrrrrYYYrrrrrrr=2/18r=2/18r=2/180,00190,00190,0019fff สมการที่ให้ค่าคาดหวังของทราบและทำงานได้ดีขึ้นและให้ซึ่งฟังต้อง สมการเป็นE (R | X, N, α, β) = (α + X) / (α …

4
อะไรคือความแตกต่างระหว่างเครือข่ายประสาทเทียม, เครื่อง Boltzmann แบบ จำกัด , และตัวเข้ารหัสอัตโนมัติ?
เมื่อเร็ว ๆ นี้ฉันได้อ่านเกี่ยวกับการเรียนรู้อย่างลึกซึ้งและฉันสับสนเกี่ยวกับข้อกำหนด (หรือพูดเทคโนโลยี) อะไรคือความแตกต่างระหว่าง เครือข่ายประสาทเทียม (CNN), เครื่อง Boltzmann ที่ จำกัด (RBM) และ -เข้ารหัสอัตโนมัติ?

6
ความสัมพันธ์กับตัวแปรหมวดหมู่ที่ไม่ได้เรียงลำดับ
ฉันมีชื่อไฟล์ที่มีข้อสังเกตและตัวแปรมากมาย บางส่วนมีการจัดหมวดหมู่ (ไม่เรียงลำดับ) และอื่น ๆ เป็นตัวเลข ฉันกำลังมองหาความสัมพันธ์ระหว่างตัวแปรเหล่านี้ ฉันสามารถคำนวณสหสัมพันธ์ของตัวแปรเชิงตัวเลข (Spearman's correlation) ได้ แต่: ฉันไม่ทราบวิธีการวัดความสัมพันธ์ระหว่างตัวแปรเด็ดขาดที่ไม่เรียงลำดับ ฉันไม่รู้วิธีวัดความสัมพันธ์ระหว่างตัวแปรเด็ดขาดที่ไม่เรียงลำดับกับตัวแปรตัวเลข ไม่มีใครรู้ว่าสิ่งนี้สามารถทำได้? ถ้าเป็นเช่นนั้นมีฟังก์ชั่น R ที่ใช้วิธีการเหล่านี้หรือไม่?


3
ทำไมเราต้องใช้ซิกม่า - อัลจีบราเพื่อกำหนดช่องว่างของความน่าจะเป็น
เรามีการทดลองแบบสุ่มกับผลลัพธ์ที่แตกต่างกันในการสร้างพื้นที่ตัวอย่าง ซึ่งเรามองด้วยความสนใจในรูปแบบบางอย่างที่เรียกว่าeventsSigma-algebras (หรือ sigma-fields)ประกอบด้วยเหตุการณ์ที่สามารถวัดความน่าจะเป็นได้ คุณสมบัติบางอย่างเป็นจริงรวมทั้งการรวมของชุด nullและตัวอย่างพื้นที่ทั้งหมดและพีชคณิตที่อธิบายสหภาพแรงงานและสี่แยกที่มีแผนภาพเวนน์Ω ,Ω,\Omega,F หน้า ∅ F.F.\mathscr{F}. PP\mathbb{P}∅∅\varnothing น่าจะมีการกำหนดเป็นฟังก์ชั่นระหว่างที่พีชคณิตและช่วง[0,1]พรึบสามรูปแบบพื้นที่น่าจะเป็นσσ\sigma[0,1][0,1][0,1](Ω,F,P)(Ω,F,P)(\Omega, \mathscr{F}, \mathbb{P}) มีคนอธิบายเป็นภาษาอังกฤษธรรมดาได้หรือไม่ว่าทำไมความน่าจะเป็นที่พังทลายลงมาถ้าเราไม่มี -algebra? พวกเขาเพิ่งจะยืนอยู่ตรงกลางด้วย "F" การประดิษฐ์ตัวอักษรที่เป็นไปไม่ได้ ฉันเชื่อว่าพวกเขามีความจำเป็น ฉันเห็นว่าเหตุการณ์แตกต่างจากผลลัพธ์ แต่สิ่งใดที่จะผิดไปได้หากไม่มี -algebrasσσ\sigmaσσ\sigma คำถามคือในประเภทใดของปัญหาความน่าจะเป็นความหมายของพื้นที่ความน่าจะเป็นรวมถึง - พีชคณิตกลายเป็นสิ่งจำเป็น?σσ\sigma เอกสารออนไลน์นี้บนเว็บไซต์ของมหาวิทยาลัย Dartmouthมีคำอธิบายที่ใช้ภาษาอังกฤษได้ง่าย แนวคิดนี้เป็นตัวชี้การหมุนทวนเข็มนาฬิกาในวงกลมของหน่วยปริมณฑล: เราเริ่มต้นด้วยการสร้างสปินเนอร์ซึ่งประกอบด้วยวงกลมของหน่วยรอบและตัวชี้ตามที่แสดงใน [รูป] รูป เราเลือกจุดบนวงกลมแล้วทำเครื่องหมายจากนั้นติดป้ายทุกจุดอื่นบนวงกลมด้วยระยะทางพูดจากถึงจุดนั้นวัดทวนเข็มนาฬิกา การทดสอบประกอบด้วยการหมุนตัวชี้และบันทึกฉลากของจุดที่ปลายตัวชี้ เราปล่อยให้ตัวแปรสุ่มแทนค่าของผลลัพธ์นี้ พื้นที่ตัวอย่างเป็นช่วงเวลาที่ชัดเจน000xxx000XXX[0,1)[0,1)[0,1). เราต้องการสร้างแบบจำลองความน่าจะเป็นที่แต่ละผลลัพธ์มีแนวโน้มที่จะเกิดขึ้นอย่างเท่าเทียมกัน หากเราดำเนินการตามที่เราทำ [... ] สำหรับการทดลองที่มีจำนวนผลลัพธ์ที่เป็นไปได้ จำกัด เราจะต้องกำหนดความน่าจะเป็นให้แต่ละผลลัพธ์เนื่องจากมิฉะนั้นผลรวมของความน่าจะเป็นเหนือผลลัพธ์ที่เป็นไปได้ทั้งหมดจะไม่ เท่ากับ 1 (อันที่จริงแล้วการรวมจำนวนจริงจำนวนที่นับไม่ได้เป็นธุรกิจที่ยุ่งยากโดยเฉพาะอย่างยิ่งเพื่อให้ผลรวมดังกล่าวมีความหมายใด ๆ โดยสรุปแล้วการสรุปจำนวนมากอาจแตกต่างจาก ) อย่างไรก็ตามถ้า …

21
ในแต่ละขั้นตอนของกระบวนการที่ไม่มีขีด จำกัด ให้ใส่ 10 ลูกในโกศแล้วลบออกโดยการสุ่ม เหลือลูกบอลกี่ลูก?
คำถาม (แก้ไขเล็กน้อย) จะเป็นดังนี้และหากคุณไม่เคยพบมาก่อนคุณสามารถตรวจสอบได้ในตัวอย่าง 6a บทที่ 2 ของหลักสูตรแรกของ Sheldon Ross ' A Probability : สมมติว่าเรามีโกศที่มีขนาดใหญ่มากและมีคอลเลกชันที่ไม่มีที่สิ้นสุดของลูกบอลที่มีป้ายหมายเลข 1 หมายเลข 2 หมายเลข 3 และอื่น ๆ พิจารณาการทดลองที่ดำเนินการดังต่อไปนี้: ที่ 1 นาทีถึง 12.00 น. ลูกบอลหมายเลข 1 ถึง 10 จะถูกวางในโกศและลูกบอลหนึ่งลูกออกโดยการสุ่ม (สมมติว่าการถอนออกใช้เวลาไม่นาน) เวลา 1/2 นาทีถึง 12.00 น. ลูกที่มีหมายเลข 11 ถึง 20 จะถูกวางในโกศและลูกบอลอื่นจะถูกนำออกโดยการสุ่ม ที่ 1/4 นาทีถึง 12P.M. ลูกบอลหมายเลข 21 ถึง …

5
วิธีการเลือกระหว่าง Pearson และ Spearman correlation
จะรู้ได้อย่างไรเมื่อต้องเลือกระหว่างสเปียร์แมนและเพียร์สันR ? ตัวแปรของฉันรวมถึงความพึงพอใจและคะแนนถูกตีความโดยใช้ผลรวมของคะแนน อย่างไรก็ตามคะแนนเหล่านี้ก็สามารถจัดอันดับρρ\rhorrr


โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.