สถิติและข้อมูลขนาดใหญ่

การแข่งขัน Kaggle กำหนดอันดับสุดท้ายตามชุดการทดสอบที่จัดขึ้น ชุดการทดสอบที่จัดขึ้นค้างไว้เป็นตัวอย่าง; มันอาจไม่ได้เป็นตัวแทนของประชากรที่ถูกจำลอง เนื่องจากการส่งแต่ละครั้งเป็นเหมือนสมมติฐานอัลกอริทึมที่ชนะการแข่งขันอาจมีเพียงแค่โอกาสโดยรวมเท่านั้นที่จบลงด้วยการจับคู่ชุดทดสอบที่ดีกว่าชุดทดสอบอื่น ๆ กล่าวอีกนัยหนึ่งหากเลือกชุดทดสอบที่แตกต่างกันและการแข่งขันซ้ำการจัดอันดับจะยังคงเหมือนเดิมหรือไม่ สำหรับ บริษัท ที่ให้การสนับสนุนสิ่งนี้ไม่สำคัญเลย (อาจส่ง 20 อันดับแรกจะปรับปรุงพื้นฐานของพวกเขา) ถึงแม้ว่าแดกดันพวกเขาอาจจบลงด้วยการใช้รูปแบบอันดับแรกที่เลวร้ายยิ่งกว่าห้าอันดับแรก แต่สำหรับผู้เข้าร่วมการแข่งขันดูเหมือนว่า Kaggle เป็นเกมแห่งโอกาสในท้ายที่สุดโชคไม่จำเป็นต้องสะดุดในการแก้ปัญหาที่ถูกต้องมันจำเป็นต้องสะดุดกับชุดทดสอบที่ตรงกับชุดทดสอบ! เป็นไปได้หรือไม่ที่จะเปลี่ยนการแข่งขันเพื่อให้ทีมชั้นนำทั้งหมดที่ไม่สามารถชนะได้อย่างมีนัยสำคัญ? หรือในกลุ่มนี้แบบจำลองที่มีราคาต่ำสุดหรือราคาถูกที่สุดสามารถชนะได้หรือไม่

12 machine-learning  probability  hypothesis-testing  sample  kaggle 

มีหลายโพสต์เกี่ยวกับวิธีการเลือกคุณสมบัติ หนึ่งในวิธีการอธิบายความสำคัญของคุณสมบัติตามสถิติ t ใน R ที่varImp(model)ใช้กับโมเดลเชิงเส้นพร้อมคุณสมบัติที่เป็นมาตรฐานจะใช้ค่าสัมบูรณ์ของ t-statistic สำหรับพารามิเตอร์แต่ละโมเดล ดังนั้นโดยทั่วไปเราเลือกคุณลักษณะตามสถิติของ t ซึ่งหมายถึงความแม่นยำของสัมประสิทธิ์ แต่ความแม่นยำของค่าสัมประสิทธิ์ของฉันบอกฉันบางอย่างเกี่ยวกับความสามารถในการทำนายของคุณสมบัติหรือไม่ มันจะเกิดขึ้นหรือไม่ที่คุณสมบัติของฉันมี t-statisstics ต่ำ แต่จะยังคงปรับปรุง (สมมติว่า) ความแม่นยำของโมเดลหรือไม่ ถ้าใช่จะมีใครต้องการแยกตัวแปรตามสถิติของ t หรือไม่ หรือเป็นเพียงจุดเริ่มต้นในการตรวจสอบความสามารถในการทำนายของตัวแปรที่ไม่สำคัญ?

12 regression  p-value  feature-selection 

ฉันมีวิถีของวัตถุในพื้นที่ 2 มิติ (พื้นผิว) วิถีที่ได้รับเป็นลำดับของ(x,y)พิกัด ฉันรู้ว่าการวัดของฉันมีเสียงดังและบางครั้งฉันก็มีค่าผิดปกติชัดเจน ดังนั้นฉันต้องการกรองข้อสังเกตของฉัน เท่าที่ฉันเข้าใจตัวกรองคาลมานมันก็ทำสิ่งที่ฉันต้องการ ฉันก็เลยลองใช้ดู ผมพบว่าการดำเนินงานหลามที่นี่ และนี่คือตัวอย่างที่เอกสารประกอบให้: from pykalman import KalmanFilter import numpy as np kf = KalmanFilter(transition_matrices = [[1, 1], [0, 1]], observation_matrices = [[0.1, 0.5], [-0.3, 0.0]]) measurements = np.asarray([[1,0], [0,0], [0,1]]) # 3 observations kf = kf.em(measurements, n_iter=5) (filtered_state_means, filtered_state_covariances) = kf.filter(measurements) (smoothed_state_means, …

12 python  kalman-filter  smoothing 

เป็นวิธีที่ดีที่สุดที่จะอธิบายว่าทำไมสิ่งที่คือไม่ได้เป็นมาตรการที่ดีการพูดเมื่อเทียบกับ F1?Precision+RecallPrecision+Recall\text{Precision} + \text{Recall}

12 precision-recall 

ใน R ฉันมีตัวอย่างของการวัด 348 รายการและต้องการทราบว่าฉันสามารถสันนิษฐานได้ว่าการกระจายนั้นปกติสำหรับการทดสอบในอนาคต โดยพื้นฐานแล้วทำตามคำตอบสแต็คอื่นฉันกำลังดูพล็อตความหนาแน่นและพล็อต QQ ด้วย: plot(density(Clinical$cancer_age)) qqnorm(Clinical$cancer_age);qqline(Clinical$cancer_age, col = 2) ฉันไม่มีประสบการณ์ที่ดีในด้านสถิติ แต่พวกเขาดูเหมือนตัวอย่างของการแจกแจงแบบปกติที่ฉันเคยเห็น จากนั้นฉันก็ทำการทดสอบ Shapiro-Wilk: shapiro.test(Clinical$cancer_age) > Shapiro-Wilk normality test data: Clinical$cancer_age W = 0.98775, p-value = 0.004952 ถ้าฉันตีความอย่างถูกต้องมันจะบอกฉันว่ามันปลอดภัยที่จะปฏิเสธสมมติฐานว่างซึ่งก็คือการแจกแจงเป็นเรื่องปกติ อย่างไรก็ตามฉันได้พบกับโพสต์สแต็คสองโพสต์ ( ที่นี่และที่นี่ ) ซึ่งบ่อนทำลายประโยชน์ของการทดสอบนี้อย่างมาก ดูเหมือนว่าถ้ากลุ่มตัวอย่างมีขนาดใหญ่ (มีการพิจารณาว่าใหญ่เป็น 348 หรือไม่) มันจะพูดเสมอว่าการแจกแจงไม่ปกติ ฉันจะตีความทั้งหมดนั้นได้อย่างไร ฉันควรติดกับพล็อต QQ และถือว่าการกระจายของฉันเป็นเรื่องปกติหรือไม่?

12 r  normal-distribution 

ฉันได้ศึกษาการถดถอยเชิงเส้นและลองใช้ชุดด้านล่าง {(x, y)} ซึ่ง x ระบุพื้นที่ของบ้านเป็นตารางฟุตและ y ระบุราคาเป็นดอลลาร์ นี่คือตัวอย่างแรกในแอนดรูอึ้งหมายเหตุ 2104.400 1600.330 2400.369 1416.232 3000.540 ฉันพัฒนารหัสตัวอย่าง แต่เมื่อฉันเรียกใช้ราคาจะเพิ่มขึ้นในแต่ละขั้นตอนในขณะที่ควรลดลงในแต่ละขั้นตอน รหัสและผลลัพธ์ที่ได้รับด้านล่าง biasคือ W 0 X 0โดยที่ X 0 = 1 featureWeightsคืออาร์เรย์ของ [X 1 , X 2 , ... , X N ] ฉันยังพยายามวิธีการแก้ปัญหาหลามออนไลน์อยู่ที่นี่และอธิบายที่นี่ แต่ตัวอย่างนี้ยังให้ผลลัพธ์เดียวกัน ช่องว่างในการทำความเข้าใจแนวคิดอยู่ที่ไหน รหัส: package com.practice.cnn; import java.util.Arrays; public class LinearRegressionExample { …

12 regression  least-squares  gradient-descent  supervised-learning 

ในหลักสูตรการเรียนรู้ของเครื่องฉันได้เรียนรู้ว่าการใช้งานทั่วไปของ PCA ( การวิเคราะห์องค์ประกอบหลัก ) คือการเร่งความเร็วอัลกอริทึมการเรียนรู้ของเครื่อง ตัวอย่างเช่นสมมติว่าคุณกำลังฝึกอบรมโมเดลการถดถอยแบบโลจิสติกส์ หากคุณมีชุดฝึกอบรมสำหรับ i จาก 1 ถึง n และปรากฎมิติของเวกเตอร์ x ของคุณใหญ่มาก (สมมุติว่าส่วนหนึ่ง) คุณสามารถใช้ PCA เพื่อรับ ขนาดเล็กลง (สมมุติว่าขนาด k) เวกเตอร์ของคุณลักษณะ z จากนั้นคุณสามารถฝึกรูปแบบการถดถอยโลจิสติกของคุณในชุดฝึกอบรม( z ( i ) , y ( i )( x( i ), y( i ))(x(i),y(i))(x^{(i)},y^{(i)})สำหรับฉันตั้งแต่ 1 ถึง n การฝึกอบรมโมเดลนี้จะเร็วขึ้นเนื่องจากฟีเจอร์ของคุณมีขนาดน้อย( z( i ), y( i …

12 machine-learning  pca 

ในบทความแนะนำ DQN " Playing Atari with Deep Reinforcement Learning " กล่าวถึง: โปรดทราบว่าเมื่อการเรียนรู้ด้วยประสบการณ์การเล่นซ้ำมีความจำเป็นต้องเรียนรู้นอกนโยบาย (เนื่องจากพารามิเตอร์ปัจจุบันของเราแตกต่างจากที่ใช้ในการสร้างตัวอย่าง) ซึ่งเป็นตัวกระตุ้นให้เกิดการเลือก Q-learning ฉันไม่เข้าใจความหมายของมัน จะเป็นอย่างไรถ้าเราใช้ SARSA และจดจำการกระทำa'ที่เราต้องทำในs'ความทรงจำของเราจากนั้นสุ่มตัวอย่างจากมันแล้วอัปเดต Q เหมือนที่เราทำใน DQN และวิธีการที่นักวิจารณ์ (A3C สำหรับเฉพาะ) สามารถใช้การเล่นซ้ำประสบการณ์ได้หรือไม่ ถ้าไม่ทำไม

12 reinforcement-learning 

argminwL(w)=∑ni=1|yi−wTx|arg⁡minwL(w)=∑i=1n|yi−wTx| \underset{\textbf{w}}{\arg\min} L(w)=\sum_{i=1}^{n}|y_{i}-\textbf{w}^T\textbf{x}| min∑ni=1uimin∑i=1nui\min \sum_{i=1}^{n}u_{i} ui≥xTw−yii=1,…,nui≥xTw−yii=1,…,nu_i \geq \textbf{x}^T\textbf{w}- y_{i} \; i = 1,\ldots,n ui≥−(xTw−yi)i=1,…,nui≥−(xTw−yi)i=1,…,nu_i \geq -\left(\textbf{x}^T\textbf{w}-y_{i}\right) \; i = 1,\ldots,n แต่ฉันไม่มีความคิดที่จะแก้มันทีละขั้นตอนเพราะฉันเป็นมือใหม่ที่ LP คุณมีความคิดใด ๆ ขอบคุณล่วงหน้า! แก้ไข: นี่คือขั้นตอนล่าสุดที่ฉันได้มาถึงปัญหานี้ ฉันพยายามที่จะแก้ปัญหาตามหมายเหตุนี้: ขั้นตอนที่ 1: กำหนดเป็นรูปแบบมาตรฐาน minZ=∑ni=1uiminZ=∑i=1nui\min Z=\sum_{i=1}^{n}u_{i} xTw−ui+s1=yii=1,…,nxTw−ui+s1=yii=1,…,n \textbf{x}^T\textbf{w} -u_i+s_1=y_{i} \; i = 1,\ldots,n xTw+ui+s2=−yii=1,…,nxTw+ui+s2=−yii=1,…,n \textbf{x}^T\textbf{w} +u_i+s_2=-y_{i} \; i = 1,\ldots,n ภายใต้s1≥0;s2≥0;ui≥0 i=1,...,ns1≥0;s2≥0;ui≥0 i=1,...,ns_1 …

12 regression  optimization  quantile-regression  linear-programming  least-absolute-deviations 

ฉันได้ยินคำเหล่านี้มากขึ้นเรื่อย ๆ เมื่อฉันเรียนรู้การเรียนรู้ด้วยเครื่อง ในความเป็นจริงบางคนได้รับรางวัลเหรียญฟิลด์จากการทำงานเป็นปกติของสมการ ดังนั้นฉันคิดว่านี่เป็นคำที่นำตัวเองจากฟิสิกส์เชิงสถิติ / คณิตศาสตร์ไปสู่การเรียนรู้ของเครื่อง โดยธรรมชาติแล้วคนจำนวนมากที่ฉันถามก็ไม่สามารถอธิบายได้โดยสัญชาตญาณ ฉันรู้ว่าวิธีการต่าง ๆ เช่นความช่วยเหลือแบบดรอปเอาท์ในการทำให้เป็นมาตรฐาน (=> พวกเขาบอกว่ามันลดการ overfitting แต่ฉันไม่เข้าใจว่ามันคืออะไร: ถ้ามันลดการ overfitting เท่านั้นทำไมไม่เพียงเรียกมันว่า anti-overfitting method => ฉันคิดอะไรมากกว่านี้ดังนั้นคำถามนี้) ฉันจะขอบคุณจริงๆ (ฉันเดาว่าชุมชน ML ไร้เดียงสาก็คงจะเหมือนกัน!) ถ้าคุณสามารถอธิบายได้: คุณจะกำหนดความสม่ำเสมอได้อย่างไร ระเบียบคืออะไร การทำให้เป็นมาตรฐานเป็นวิธีที่ทำให้มั่นใจได้ว่าเป็นเรื่องปกติหรือไม่? คือการจับภาพของระเบียบ? เหตุใดวิธีการรวมกลุ่มเช่นการออกกลางคันวิธีการทำให้เป็นมาตรฐานทั้งหมดจึงอ้างว่ากำลังทำให้เป็นมาตรฐาน ทำไม (ความสม่ำเสมอ / การทำให้เป็นมาตรฐาน) เหล่านี้เกิดขึ้นในการเรียนรู้ของเครื่อง? ขอบคุณมาก ๆ สำหรับความช่วยเหลือของคุณ.

12 machine-learning  self-study  terminology  regularization  definition 

พิจารณาการทดลองที่ให้อัตราส่วนระหว่าง 0 ถึง 1 ว่าการรับอัตราส่วนนี้ไม่ควรเกี่ยวข้องในบริบทนี้อย่างไร มันเป็นเนื้อหาในรุ่นก่อนหน้าของคำถามนี้แต่เอาออกเพื่อความชัดเจนหลังจากการอภิปรายเกี่ยวกับเมตาXiXiX_i การทดลองนี้ซ้ำครั้งในขณะที่nมีขนาดเล็ก (ประมาณ 3-10) X ฉันจะถือว่าเป็นอิสระและกันกระจาย จากนี้เราคาดว่าค่าเฉลี่ยโดยการคำนวณค่าเฉลี่ย¯ Xแต่วิธีการในการคำนวณช่วงความเชื่อมั่นที่สอดคล้องกัน[ U , V ] ?nnnnnnXiXiX_iX¯¯¯¯X¯\overline X[U,V][U,V][U,V] เมื่อใช้วิธีมาตรฐานในการคำนวณช่วงความมั่นใจบางครั้งมีขนาดใหญ่กว่า 1 อย่างไรก็ตามปรีชาของฉันคือช่วงความมั่นใจที่ถูกต้อง ...VVV ... ควรอยู่ในช่วง 0 และ 1 ... ควรเล็กลงด้วยการเพิ่มnnn ... เป็นลําดับตามลําดับที่คํานวณโดยใช้วิธีมาตรฐาน ... คำนวณโดยวิธีทางเสียงเชิงคณิตศาสตร์ สิ่งเหล่านี้ไม่ใช่ข้อกำหนดที่แน่นอน แต่อย่างน้อยฉันก็ต้องการที่จะเข้าใจว่าทำไมสัญชาตญาณของฉันจึงผิด การคำนวณตามคำตอบที่มีอยู่ ในต่อไปนี้ช่วงความเชื่อมั่นที่เกิดจากคำตอบที่มีอยู่เมื่อเทียบสำหรับ }{Xi}={0.985,0.986,0.935,0.890,0.999}{Xi}={0.985,0.986,0.935,0.890,0.999}\{X_i\} = \{0.985,0.986,0.935,0.890,0.999\} วิธีการมาตรฐาน (aka "คณิตศาสตร์ของโรงเรียน") ,σ2=0.0204ดังนั้นช่วงความเชื่อมั่น 99% คือ[0.865,1.053] สิ่งนี้ขัดแย้งกับสัญชาตญาณ 1X¯¯¯¯=0.959X¯=0.959\overline X …

12 confidence-interval 

ในหนังสือของเขา Doing Bayesian Data Analysis John Kruschke ระบุว่าในการใช้ JAGS จาก R ... การประมาณค่าของโหมดจากตัวอย่าง MCMC นั้นค่อนข้างไม่เสถียรเนื่องจากการประมาณจะขึ้นอยู่กับอัลกอริธึมการปรับให้เรียบซึ่งสามารถไวต่อการกระแทกแบบสุ่มและระลอกในตัวอย่าง MCMC (ทำการวิเคราะห์ข้อมูลแบบเบย์ , หน้า 205, ส่วน 8.2.5.1) ในขณะที่ฉันมีความเข้าใจเกี่ยวกับอัลกอริทึม Metropolis และรูปแบบที่แน่นอนเช่นการสุ่มตัวอย่างกิ๊บส์ฉันไม่คุ้นเคยกับอัลกอริธึมที่ราบเรียบที่พูดพาดพิงเกินไปและสาเหตุที่มันหมายถึงการประเมินโหมดจากตัวอย่าง MCMC ไม่เสถียร ทุกคนสามารถให้ข้อมูลเชิงลึกที่เข้าใจง่ายเกี่ยวกับสิ่งที่อัลกอริทึมการปรับให้เรียบและทำไมมันทำให้การประเมินของโหมดไม่เสถียร?

12 bayesian  mcmc  mode 

ฉันใช้ผ้าใบสีส้มและฉันสร้างโครงเรื่องกระจาย ฉันมีโอกาสที่จะกระวนกระวายใจตัวแปรต่อเนื่อง แต่ฉันไม่รู้จริง ๆ ว่าทำไมฉันถึงทำ ความคิดที่อยู่เบื้องหลังการกระวนกระวายใจคืออะไร?

12 data-visualization  scatterplot 

พหุนามมุมฉากในชุดจุดที่มีหลายตัวแปรคือพหุนามที่สร้างค่าบนจุดนั้นในลักษณะที่ผลคูณดอทและสหสัมพันธ์แบบคู่เป็นศูนย์ R สามารถผลิต polynomials มุมฉากกับฟังก์ชั่นโพลี ฟังก์ชั่นเดียวกันนี้มีโพลีเมอร์แบบแปรผันที่สร้างพหุนามแบบฉากฉากในจุดหลายตัวแปร อย่างไรก็ตามชื่อพหุนามที่เกิดขึ้นนั้นไม่ได้เป็นมุมฉากในแง่ของการมีความสัมพันธ์แบบคู่กับศูนย์ ในความเป็นจริงเนื่องจากชื่อพหุนามอันดับแรกควรเป็นเพียงตัวแปรดั้งเดิมพหุนามลำดับที่หนึ่งจะไม่เป็นแบบมุมฉากเว้นแต่ว่าตัวแปรดั้งเดิมจะไม่ถูกแยกส่วน จากนั้นคำถามของฉันคือ: พหุนามหลายมุมฉากหลายตัวแปรคำนวณโดย polym ใน R คืออะไร? พวกเขาเป็นเพียงผลิตภัณฑ์ของชื่อพหุนามแบบหลายมิติแบบมุมฉากหรือไม่? พวกมันใช้ทำอะไร? ชื่อพหุนามหลายมุมฉากแบบหลายตัวแปรมีอยู่จริงหรือไม่? มีวิธีง่าย ๆ ในการผลิตพวกเขา? ใน R พวกเขาใช้จริงในการถดถอยหรือไม่? ปรับปรุง เพื่อตอบสนองต่อความคิดเห็นของ Superpronker ฉันได้ยกตัวอย่างหนึ่งของสิ่งที่ฉันหมายถึงด้วยชื่อพหุนามที่ไม่เกี่ยวข้อง: > x<-rnorm(10000) > cor(cbind(poly(x,degree=3))) 1 2 3 1 1.000000e+00 -6.809725e-17 2.253577e-18 2 -6.809725e-17 1.000000e+00 -2.765115e-17 3 2.253577e-18 -2.765115e-17 1.000000e+00 ฟังก์ชั่นโพลีส่งคืนพหุนามมุมฉากซึ่งประเมินในคะแนน x (ที่นี่ 10,000 …

12 r  multiple-regression  polynomial  orthogonal 

ฉันกำลังเรียนรู้ที่จะใช้แพ็คเกจ BTYD ที่ใช้โมเดล Pareto / NBD เพื่อคาดการณ์ว่าลูกค้าจะกลับมาเมื่อใด อย่างไรก็ตามวรรณคดีทั้งหมดในรุ่นนี้เต็มไปด้วยคณิตศาสตร์และดูเหมือนจะไม่มีคำอธิบายง่ายๆ / แนวคิดเกี่ยวกับการทำงานของรุ่นนี้ เป็นไปได้หรือไม่ที่จะเข้าใจโมเดล Pareto / NBD สำหรับผู้ที่ไม่ใช่นักคณิตศาสตร์ ฉันได้อ่านบทความที่มีชื่อเสียงนี้โดยเฟดเดอร์ โมเดล Pareto / NBD สร้างสมมติฐานดังต่อไปนี้: ผม. ในขณะที่ใช้งานจำนวนของการทำธุรกรรมที่ทำโดยลูกค้าในช่วงระยะเวลาที่มีความยาว t มีการกระจายปัวซองด้วยอัตราการทำธุรกรรมλ ii ความแตกต่างในอัตราการทำธุรกรรมทั่วลูกค้าจะเป็นไปตามการแจกแจงแกมม่าด้วยพารามิเตอร์รูปร่าง r และพารามิเตอร์สเกลα สาม. ลูกค้าแต่ละรายมีความยาว“ ตลอดชีพ” ที่ไม่ได้สังเกตเห็น จุดนี้ที่ลูกค้าไม่ใช้งานจะมีการแจกแจงแบบเอ็กซ์โพเนนเชียลด้วยอัตราการออกกลางคัน µ iv) ความหลากหลายในอัตราการออกกลางคันของลูกค้าตามการกระจายของแกมม่าด้วยพารามิเตอร์รูปร่างและพารามิเตอร์สเกลβ v. อัตราการทำธุรกรรมλและอัตราการออกกลางคัน µ แตกต่างกันไปตามลูกค้า " ฉันไม่เข้าใจเหตุผลของการตั้งสมมติฐาน (ii), (iii) และ (iv) เหตุใดจึงมีเพียงการกระจายเหล่านี้ทำไมจึงไม่ใช่คนอื่น นอกจากนี้สมมติฐานของรุ่น BG …

12 distributions  gamma-distribution  marketing  pareto