สถิติและข้อมูลขนาดใหญ่

ถามตอบสำหรับผู้ที่สนใจในสถิติการเรียนรู้ของเครื่องจักรการวิเคราะห์ข้อมูลการขุดข้อมูล

2
ข้อมูลรวมเป็นความน่าจะเป็น
ข้อมูลร่วมกันของเอนโทรปีสามารถร่วมกันได้: 0 ≤ ฉัน( X, วาย)H( X,วาย)≤ 10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 หมายถึง: "ความน่าจะเป็นในการถ่ายทอดข้อมูลจาก X ถึง Y"? ฉันขอโทษที่ไร้เดียงสามาก แต่ฉันไม่เคยศึกษาทฤษฎีข้อมูลและฉันพยายามเข้าใจแนวคิดบางอย่างของเรื่องนั้น

2
การแยกข้อมูลออกเป็นการทดสอบและการฝึกอบรมเป็นการกำหนด“ สถิติ” อย่างแท้จริงหรือไม่?
ฉันเป็นนักเรียนฟิสิกส์ที่เรียนการเรียนรู้ด้วยเครื่อง / วิทยาศาสตร์ข้อมูลดังนั้นฉันจึงไม่ได้หมายความว่าคำถามนี้จะเริ่มต้นความขัดแย้งใด ๆ :) อย่างไรก็ตามส่วนใหญ่ของหลักสูตรฟิสิกส์ระดับปริญญาตรีคือการทำห้องปฏิบัติการ / การทดลองซึ่งหมายถึงข้อมูลจำนวนมาก การประมวลผลและการวิเคราะห์ทางสถิติ อย่างไรก็ตามฉันสังเกตเห็นความแตกต่างที่ชัดเจนระหว่างวิธีที่นักฟิสิกส์จัดการกับข้อมูลและวิธีที่วิทยาศาสตร์ข้อมูล / หนังสือการเรียนรู้ทางสถิติจัดการกับข้อมูล ความแตกต่างที่สำคัญคือเมื่อพยายามทำการถดถอยกับข้อมูลที่ได้จากการทดลองทางฟิสิกส์อัลกอริธึมการถดถอยจะถูกนำไปใช้กับชุดข้อมูลWHOLEไม่มีการแยกชุดฝึกอบรมและชุดทดสอบออกมาอย่างแน่นอน ในโลกฟิสิกส์การคำนวณ R ^ 2 หรือการหลอกบางชนิด -R ^ 2 สำหรับแบบจำลองนั้นขึ้นอยู่กับชุดข้อมูลทั้งหมด ในโลกสถิติข้อมูลจะถูกแบ่งออกเป็น 80-20, 70-30 และอื่น ๆ ... จากนั้นโมเดลจะถูกประเมินเทียบกับชุดข้อมูลการทดสอบ นอกจากนี้ยังมีการทดลองทางฟิสิกส์ที่สำคัญ (ATLAS, BICEP2, ฯลฯ ... ) ที่ไม่เคยทำข้อมูลแยกดังนั้นฉันสงสัยว่าทำไมมันมีความแตกต่างอย่างรุนแรงระหว่างวิธีที่นักฟิสิกส์ / นักทดลองทำสถิติและวิธีที่นักวิทยาศาสตร์ด้านข้อมูล ทำสถิติ

5
จะสร้างลำดับด้วยค่าเฉลี่ยอย่างไร
ฉันรู้วิธีการสร้างลำดับที่มีค่าเฉลี่ย0ตัวอย่างเช่นใน Matlab ถ้าฉันต้องการสร้างลำดับของความยาวมันคือ:± 1±1\pm 1000± 1±1\pm 1100001000010000 2*(rand(1, 10000, 1)<=.5)-1 อย่างไรก็ตามวิธีการสร้างลำดับมีค่าเฉลี่ยคือโดยที่เป็นที่ต้องการเล็กน้อย± 1±1\pm 10.050.050.05111

2
อัตราความผิดพลาดเป็นฟังก์ชันนูนของแลมบ์ดาของพารามิเตอร์การทำให้เป็นมาตรฐานหรือไม่?
ในการเลือก lambda พารามิเตอร์การทำให้เป็นมาตรฐานใน Ridge หรือ Lasso วิธีที่แนะนำคือลองค่า lambda ที่แตกต่างกัน, วัดข้อผิดพลาดใน Validation Set และสุดท้ายเลือกค่าของ lambda ที่ส่งกลับข้อผิดพลาดต่ำสุด มันไม่ได้เป็นคลีตสำหรับฉันถ้าฟังก์ชั่น f (lambda) = error คือ Convex มันเป็นอย่างนี้ได้ไหม? นั่นคือเส้นโค้งนี้มีมากกว่าหนึ่ง minima ท้องถิ่น (ซึ่งจะบอกเป็นนัยว่าการหาข้อผิดพลาดขั้นต่ำในบางพื้นที่ของแลมบ์ดาไม่ได้จำกัดความเป็นไปได้ที่ในบางภูมิภาคอื่น ๆ จะมีแลมบ์ดาที่กลับมา คำแนะนำของคุณจะได้รับการชื่นชม

1
ป่าสุ่มและน้ำหนักของชั้นเรียน
คำถามในประโยคเดียว: มีใครรู้วิธีกำหนดน้ำหนักชั้นดีสำหรับป่าสุ่มหรือไม่ คำอธิบาย: ฉันกำลังเล่นกับชุดข้อมูลที่ไม่สมดุล ฉันต้องการใช้RแพคเกจrandomForestเพื่อฝึกอบรมโมเดลบนชุดข้อมูลที่เบ้มากโดยมีตัวอย่างบวกเพียงเล็กน้อยและตัวอย่างเชิงลบจำนวนมาก ฉันรู้ว่ามีวิธีการอื่น ๆ และในที่สุดฉันจะใช้ประโยชน์จากพวกเขา แต่ด้วยเหตุผลทางเทคนิคการสร้างป่าสุ่มเป็นขั้นตอนกลาง classwtดังนั้นผมจึงเล่นรอบกับพารามิเตอร์ ฉันกำลังตั้งค่าชุดข้อมูลเทียมจำนวน 5,000 ตัวอย่างในแผ่นดิสก์ที่มีรัศมี 2 และจากนั้นฉันสุ่มตัวอย่างบวก 100 ตัวอย่างในแผ่นดิสก์ที่มีรัศมี 1 สิ่งที่ฉันสงสัยคือ 1) ถ้าไม่มีคลาสที่มีน้ำหนักโมเดลจะกลายเป็น 'เสื่อม' เช่นคาดการณ์FALSEทุกที่ 2) ด้วยการถ่วงน้ำหนักชั้นเรียนที่เป็นธรรมฉันจะเห็น 'จุดสีเขียว' ที่อยู่ตรงกลางนั่นคือมันจะทำนายแผ่นดิสก์ด้วยรัศมี 1 ราวกับว่าTRUEมีตัวอย่างเชิงลบ นี่คือข้อมูลที่มีลักษณะ: นี่คือสิ่งที่เกิดขึ้นโดยไม่ต้องถ่วงน้ำหนัก: (การโทรคือrandomForest(x = train[, .(x,y)],y = as.factor(train$z),ntree = 50):) สำหรับการตรวจสอบฉันได้ลองสิ่งที่เกิดขึ้นเมื่อฉันสร้างสมดุลของชุดข้อมูลอย่างรุนแรงโดยการสุ่มตัวอย่างชั้นลบเพื่อให้ความสัมพันธ์เป็น 1: 1 อีกครั้ง สิ่งนี้ให้ผลลัพธ์ที่คาดหวัง: อย่างไรก็ตามเมื่อฉันคำนวณแบบจำลองที่มีน้ำหนักคลาส 'FALSE' = 1, 'TRUE' = …
11 r  random-forest 

1
ขัดขวางแบบเบย์และแผ่นเปรียบเทียบกับวิธีการลงโทษ
ฉันกำลังอ่านสไลด์ของ Steven Scott เกี่ยวกับแพ็คเกจ BSTS R (คุณสามารถค้นหาได้ที่นี่: สไลด์ ) เมื่อถึงจุดหนึ่งเมื่อพูดถึงการรวมถึง regressors จำนวนมากในโมเดลอนุกรมเวลาเชิงโครงสร้างเขาได้แนะนำค่าสัมประสิทธิ์การถดถอยและสแลบพื้นและบอกว่าพวกเขาดีกว่าเมื่อเทียบกับวิธีการลงโทษ Scott กล่าวซึ่งอ้างถึงตัวอย่างของชุดข้อมูลที่มีตัวทำนาย 100 ตัว: วิธีการลงโทษจะทำการตัดสินใจเพียงครั้งเดียวว่าตัวแปรใดที่จะถูกรวม / แยกออกซึ่งหมายความว่าพวกเขาจะเลือกเซตย่อยของตัวทำนายหนึ่งตัวอย่างเช่นแบบจำลองหนึ่งในเป็นไปได้2 100210021002^{100} "นักบวช Lasso (และที่เกี่ยวข้อง) ไม่กระจัดกระจายพวกเขาชักนำ sparsity ที่โหมด แต่ไม่ได้อยู่ในการกระจายหลัง" เมื่อมาถึงจุดนี้เขาแนะนำ Spike และ Slab Priors ฉันคิดว่าฉันได้รับปรีชาญาณ แต่ฉันต้องการให้แน่ใจว่า: พวกเขาดีขึ้นหรือไม่ในแง่ที่ว่าพวกเขาใช้วิธีการทดสอบแบบบังคับกำลังอันโหดร้ายในการทดสอบแต่ละชุดย่อยของ regressors ข้อเสียเปรียบคือเวลาในการคำนวณใช่หรือไม่? คุณคิดว่าเขาหมายถึงอะไรเมื่อพูดว่า "Lasso (และที่เกี่ยวข้อง) ... แต่ไม่ได้อยู่ในการกระจายหลัง"

1
คุณจะทำอย่างไรถ้าองศาอิสระของคุณผ่านจุดสิ้นสุดของตารางของคุณ?
องศาความเป็นอิสระในตาราง F ของฉันไม่สูงขึ้นมากพอสำหรับกลุ่มตัวอย่างขนาดใหญ่ของฉัน ตัวอย่างเช่นถ้าฉันมี F ที่มี 5 และ 6744 องศาอิสระฉันจะหาค่าวิกฤต 5% สำหรับ ANOVA ได้อย่างไร ถ้าฉันทำแบบทดสอบไคสแควร์ที่มีองศาอิสระขนาดใหญ่ล่ะ [คำถามเช่นนี้โพสต์เมื่อไม่นานมานี้ แต่ OP สร้างข้อผิดพลาดและจริง ๆ แล้วมีขนาดเล็ก df ลดลงเป็นซ้ำ - แต่คำถาม df ขนาดใหญ่ดั้งเดิมควรมีคำตอบในที่]

1
ทำไม Netflix จึงเปลี่ยนจากระบบการจัดอันดับห้าดาวเป็นระบบ Like / Dislike
Netflix ใช้เพื่อจัดทำข้อเสนอแนะของผู้ใช้เกี่ยวกับการให้คะแนนภาพยนตร์ / รายการอื่น ๆ ระบบการจัดอันดับนี้มีห้าดาว ตอนนี้ Netflix อนุญาตให้ผู้ใช้ชอบ / ไม่ชอบ (thumbs-up / thumbs-down) ภาพยนตร์ / รายการ พวกเขาอ้างว่าให้คะแนนภาพยนตร์ได้ง่ายกว่า การจำแนกแบบสองทางนี้จะไม่สามารถคาดการณ์ทางสถิติได้น้อยกว่าระบบการจำแนกแบบ 5 ทิศทางหรือไม่? มันจะไม่จับการเปลี่ยนแปลงที่น้อยลงหรือไม่

2
ฉันควรรายงานผลลัพธ์ที่ไม่สำคัญหรือไม่
ฉันใช้การทดสอบ Kruskal Wallis และสำหรับบางคำถามค่า p ไม่สำคัญ ฉันจะรายงานสิ่งนี้ในลักษณะเดียวกับที่เป็นสาระสำคัญโดยระบุ df สถิติการทดสอบและค่า p หรือไม่ ดังนั้นมันจะเป็นแบบนี้การทดสอบ Kruskal Wallis ได้ดำเนินการ แต่ผลลัพธ์ไม่พบว่ามีนัยสำคัญ H (3) = 2.119, p> 0.05 (หรือฉันจะระบุค่า p ที่แน่นอนที่นี่ (.548))

2
ค่าเฉลี่ยทางเรขาคณิตเป็นตัวประมาณค่ากลางที่มีการแจกแจงแบบต่อเนื่องหรือไม่
มีการแจกแจงแบบต่อเนื่องที่แสดงออกในรูปแบบปิดซึ่งค่าเฉลี่ยของค่าเฉลี่ยเรขาคณิตของตัวอย่างเป็นตัวประมาณค่าที่เป็นกลางสำหรับค่าเฉลี่ยนั้นหรือไม่ อัปเดต: ฉันเพิ่งรู้ว่าตัวอย่างของฉันต้องเป็นค่าบวก (มิฉะนั้นค่าเฉลี่ยทางเรขาคณิตอาจไม่มีอยู่) ดังนั้นอาจต่อเนื่องไม่ใช่คำที่เหมาะสม วิธีการเกี่ยวกับการกระจายซึ่งเป็นศูนย์สำหรับค่าลบของตัวแปรสุ่มและจะต่อเนื่องสำหรับค่าบวก บางอย่างเช่นการกระจายที่ถูกตัดทอน

1
วิธีการตีความผลลัพธ์เมื่อสันเขาและเชือกแยกทั้งสองทำงานได้ดี แต่ให้ค่าสัมประสิทธิ์ที่แตกต่างกัน
ฉันกำลังใช้ตัวแบบการถดถอยทั้งกับ Lasso และ Ridge (เพื่อทำนายตัวแปรผลลัพธ์แบบไม่ต่อเนื่องตั้งแต่ 0-5) ก่อนที่จะใช้รูปแบบที่ผมใช้SelectKBestวิธีการในการscikit-learnที่จะลดการตั้งค่าให้สถานที่นั้น250ไป25 หากไม่มีการเลือกคุณสมบัติเริ่มต้นทั้ง Lasso และ Ridge ให้คะแนนความแม่นยำที่ต่ำกว่า [ซึ่งอาจเป็นเพราะกลุ่มตัวอย่างขนาดเล็ก 600] นอกจากนี้โปรดทราบว่าคุณลักษณะบางอย่างมีความสัมพันธ์ หลังจากรันโมเดลฉันสังเกตว่าความแม่นยำในการทำนายนั้นใกล้เคียงกับ Lasso และ Ridge อย่างไรก็ตามเมื่อฉันตรวจสอบ 10 คุณสมบัติแรกหลังจากสั่งซื้อโดยค่าสัมประสิทธิ์สัมบูรณ์ฉันเห็นว่ามีการทับซ้อนกันมากที่สุด 50% นั่นคือเนื่องจากความสำคัญของคุณสมบัติที่แตกต่างกันได้รับการกำหนดโดยแต่ละวิธีฉันอาจมีการตีความที่แตกต่างกันโดยสิ้นเชิงกับรุ่นที่ฉันเลือก โดยปกติแล้วคุณสมบัติดังกล่าวจะแสดงถึงพฤติกรรมบางประการของผู้ใช้ในเว็บไซต์ ดังนั้นฉันต้องการอธิบายสิ่งที่ค้นพบโดยเน้นคุณสมบัติ (พฤติกรรมผู้ใช้) ด้วยความสามารถในการคาดเดาที่สูงขึ้นและคุณสมบัติที่อ่อนแอกว่า (พฤติกรรมผู้ใช้) อย่างไรก็ตามฉันไม่ทราบวิธีการก้าวไปข้างหน้า ณ จุดนี้ ฉันจะเข้าใกล้การตีความตัวแบบได้อย่างไร ตัวอย่างเช่นควรรวมทั้งสองและเน้นที่ทับซ้อนกันหรือฉันควรจะไปกับ Lasso เพราะมันให้ตีความมากกว่า

1
การอนุมานแบบแปรผันเป็นภาษาอังกฤษธรรมดา
หลังจากดูวิดีโอบน youtube แล้วฉันรู้สึกว่าฉันไม่สามารถกำหนดความแตกต่างของการอนุมานได้ ฉันสามารถทำตามขั้นตอนในขณะที่ฉันกำลังดูวิดีโอบรรยายเกี่ยวกับเรื่องนี้ แต่ยากที่จะกำหนดว่าจริงๆแล้วคืออะไร หวังว่าจะได้ยินเกี่ยวกับมัน

2
การอ่านพล็อตแบบกล่องและมัสสุ: สามารถรวบรวมความแตกต่างที่สำคัญระหว่างกลุ่มได้หรือไม่
สมมติว่าเรากำลังดูพล็อตบ็อกซ์และมัสสุนี้: ระหว่างวันพฤหัสบดีและวันศุกร์ฉันคิดว่าส่วนใหญ่จะเห็นว่าดูเหมือนจะมีความแตกต่างอย่างมีนัยสำคัญในเวลานอน นั่นเป็นการคาดเดาทางสถิติที่ถูกต้องใช่มั้ย เราสามารถแยกแยะความแตกต่างอย่างมีนัยสำคัญได้หรือไม่เนื่องจากช่วงควอไทล์ชั้นในนั้นไม่ทับซ้อนกันระหว่างวันพฤหัสบดีและวันศุกร์? สิ่งที่เกี่ยวกับความจริงที่ว่าเคราบนและล่างของวันพฤหัสบดีและวันศุกร์ตามลำดับทับซ้อนกัน? สิ่งนี้มีผลต่อการวิเคราะห์ของเราหรือไม่ มักจะมาพร้อมกับแผนภูมิเช่นนี้จะเป็นแบบ ANOVA แต่ฉันแค่อยากรู้ว่าเราสามารถพูดเกี่ยวกับความแตกต่างระหว่างกลุ่มได้ง่ายๆเพียงแค่ดูที่บ็อกซ์ล็อต

1
ขอบเขตทั่วไปบน SVM
ฉันสนใจในผลลัพธ์ทางทฤษฎีสำหรับความสามารถในการวางนัยทั่วไปของ Support Vector Machines เช่นขอบเขตของความน่าจะเป็นของข้อผิดพลาดการจัดหมวดหมู่และมิติ Vapnik-Chervonenkis (VC) ของเครื่องเหล่านี้ อย่างไรก็ตามการอ่านวรรณกรรมฉันรู้สึกว่าผลลัพธ์ที่คล้าย ๆ กันบางครั้งมีแนวโน้มที่จะแตกต่างกันเล็กน้อยจากผู้เขียนถึงผู้เขียนโดยเฉพาะอย่างยิ่งเกี่ยวกับเงื่อนไขทางเทคนิคที่จำเป็นสำหรับขอบเขตที่กำหนดไว้ ในต่อไปนี้ฉันจะเรียกคืนโครงสร้างของปัญหา SVM และสถานะ 3 ของผลลัพธ์การสรุปทั่วไปหลักที่ฉันพบซ้ำในรูปแบบเดียวหรืออีกรูปแบบหนึ่งฉันให้การอ้างอิงหลัก 3 รายการตลอดการจัดนิทรรศการ−−- การตั้งค่าปัญหา : สมมติว่าเรามีตัวอย่างข้อมูลของคู่อิสระและการกระจาย (iid) คู่โดยที่ ,และ\} เราสร้างเครื่องเวกเตอร์สนับสนุน (SVM) ที่เพิ่มระยะขอบให้น้อยที่สุดระหว่างไฮเปอร์เพลนแยกที่กำหนดโดย ,และและจุดที่ใกล้ที่สุดในหมู่เพื่อแยกทั้งสองเรียนที่กำหนดโดยและ1 เราปล่อยให้ SVM ยอมรับข้อผิดพลาดบางอย่างผ่านการทำกำไรขั้นต้นโดยการแนะนำตัวแปรหย่อน(xi,yi)1≤i≤n(xi,yi)1≤i≤n(x_i,y_i)_{1\leq i\leq n}iiixi∈Rpxi∈Rpx_i \in \mathbb{R}^pyi∈{−1,1}yi∈{−1,1}y_i \in \{-1,1\}m∗m∗m^*{x:w⋅x+b=0}{x:w⋅x+b=0}\{x : w \cdot x + b = 0\}w∈Rpw∈Rpw \in \mathbb{R}^pb∈Rb∈Rb \in \mathbb{R}x1,⋯,xnx1,⋯,xnx_1,\cdots,x_ny=−1y=−1y = …

2
หากคุณไม่สามารถทำมันได้แบบตั้งฉากทำมันดิบ (การถดถอยแบบพหุนาม
เมื่อดำเนินการถดถอยพหุนามสำหรับเข้าสู่บางครั้งผู้คนใช้ชื่อพหุนามแบบดิบซึ่งบางครั้งประกอบด้วยชื่อพหุนามแบบมุมฉาก แต่เมื่อพวกเขาใช้สิ่งที่ดูเหมือนว่าจะสมบูรณ์XYYYXXX ที่นี่และที่นี่มีหลายชื่อดิบถูกนำมาใช้ แต่ที่นี่และที่นี่ชื่อพหุนามมุมฉากดูเหมือนจะให้ผลลัพธ์ที่ถูกต้อง อะไรทำไมทำไม! ในทางตรงกันข้ามกับที่เมื่อเรียนรู้เกี่ยวกับการถดถอยพหุนามจากตำรา (เช่นISLR ) ที่ไม่ได้พูดถึงพหุนามดิบหรือมุมฉาก - เพียงรูปแบบที่จะได้รับการติดตั้ง แล้วเราจะต้องใช้อะไรเมื่อไหร่? และทำไมค่าp แต่ละค่าสำหรับ ,ฯลฯ จึงมีความแตกต่างกันมากระหว่างค่าทั้งสองนี้X 2XXXX2X2X^2

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.