สถิติและข้อมูลขนาดใหญ่

เท่าที่รวมของฉัน (และหายาก) ความรู้เกี่ยวกับใบอนุญาตสถิติผมเข้าใจว่าถ้าX1,X2,...,XnX1,X2,...,XnX_1, X_2,..., X_nเป็นตัวแปรสุ่มของ iid จากนั้นเมื่อคำเหล่านี้แสดงถึงความเป็นอิสระและการกระจายตัวที่เหมือนกัน ความกังวลของฉันที่นี่เป็นทรัพย์สินเดิมของตัวอย่าง iid ซึ่งอ่าน: p(Xn|Xi1,Xi2,...,Xik)=p(Xn),พี(Xn|Xผม1,Xผม2,...,Xผมk)=พี(Xn),p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}), สำหรับคอลเลกชันใด ๆ ที่แตกต่างกัน 's เซนต์&lt;nijiji_j1≤ij&lt;n1≤ij&lt;n1 \leq i_j < n อย่างไรก็ตามมีใครรู้ว่าการรวมกลุ่มตัวอย่างอิสระของการแจกแจงแบบเดียวกันให้ข้อมูลเกี่ยวกับโครงสร้างการกระจายและเป็นผลเกี่ยวกับในกรณีข้างต้นดังนั้นจึงไม่ควรเป็นกรณีที่: XnXnX_np(Xn|Xi1,Xi2,...,Xik)=p(Xn).p(Xn|Xi1,Xi2,...,Xik)=p(Xn).p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}). ฉันรู้ว่าฉันตกเป็นเหยื่อของการเข้าใจผิด แต่ฉันไม่รู้ว่าทำไม โปรดช่วยฉันออกจากนี้

24 sampling  conditional-probability  independence 

การเรียนรู้ของเครื่อง (ML) ใช้เทคนิคการถดถอยเชิงเส้นและโลจิสติกอย่างหนัก นอกจากนี้ยังต้องอาศัยเทคนิคคุณลักษณะวิศวกรรม ( feature transform, kernelฯลฯ ) ทำไมจึงไม่มีอะไรที่เกี่ยวกับvariable transformation(เช่นpower transformation) กล่าวถึงใน ML? (ตัวอย่างเช่นฉันไม่เคยได้ยินเกี่ยวกับการรูทหรือบันทึกไปยังฟีเจอร์พวกเขามักใช้พหุนามหรือ RBFs) เช่นเดียวกันทำไมผู้เชี่ยวชาญ ML ไม่สนใจการเปลี่ยนคุณสมบัติสำหรับตัวแปรตาม (ตัวอย่างเช่นฉันไม่เคยได้ยินเกี่ยวกับการเปลี่ยนแปลงการบันทึกของ y พวกเขาเพียงแค่ไม่แปลง y) การแก้ไข: อาจเป็นคำถามที่ไม่แน่นอนคำถามของฉันคือ "การแปลงพลังงานเป็นตัวแปรที่ไม่สำคัญใน ML หรือไม่"

24 regression  machine-learning  data-transformation 

\newcommand{\P}{\mathbb{P}}เรามีขั้นตอนการสุ่มที่อาจจะหรืออาจจะไม่เกิดขึ้นหลายครั้งในระยะเวลาที่กำหนดของเวลาTเรามีฟีดข้อมูลจากรูปแบบที่มีอยู่ก่อนของกระบวนการนี้ที่ให้ความน่าจะเป็นของจำนวนของเหตุการณ์ที่เกิดขึ้นในช่วงเวลาที่&lt;T โมเดลที่มีอยู่นี้เก่าและเราจำเป็นต้องเรียกใช้การตรวจสอบสดกับข้อมูลฟีดสำหรับข้อผิดพลาดในการประเมิน รุ่นเก่าผลิตข้อมูลฟีด (ซึ่งจะให้ความน่าจะเป็นของเหตุการณ์ที่เกิดขึ้นในเวลาที่เหลืออีก ) จะอยู่ที่ประมาณ Poisson กระจายTTT0≤t&lt;T0≤t&lt;T0 \leq t < Tnnnttt ดังนั้นเพื่อตรวจสอบความผิดปกติ / ข้อผิดพลาดเราปล่อยให้tttเป็นเวลาที่เหลืออยู่และXtXtX_tเป็นจำนวนรวมของเหตุการณ์ที่จะเกิดขึ้นในระยะเวลาที่เหลือทีtttรุ่นเก่าหมายถึงการประมาณการP(Xt≤c)P(Xt≤c)\P(X_t \leq c)ค) ดังนั้นภายใต้สมมติฐานของเราXt∼Poisson(λt)Xt∼Poisson⁡(λt)X_t\sim \operatorname{Poisson}(\lambda_{t})เรามี: P(Xt≤c)=e−λ∑k=0cλktk!.P(Xt≤c)=e−λ∑k=0cλtkk!. \P(X_t \leq c) = e^{-\lambda}\sum_{k=0}^c\frac{\lambda_t^k}{k!}\,. เพื่อให้ได้อัตราการจัดกิจกรรมของเราλtλt\lambda_tจากเอ้าท์พุทของโมเดลเก่า (การสังเกตytyty_{t} ) เราใช้วิธีพื้นที่ของรัฐและสร้างแบบจำลองความสัมพันธ์ของรัฐเป็น: yt=λt+εt(εt∼N(0,Ht)).yt=λt+εt(εt∼N(0,Ht)). y_t = \lambda_t + \varepsilon_t\quad (\varepsilon_t \sim N(0, H_t))\,. เรากรองการสังเกตจากแบบจำลองเก่าโดยใช้แบบจำลองพื้นที่รัฐ [การสลายตัวด้วยความเร็วคงที่] สำหรับการวิวัฒนาการของλtλt\lambda_tเพื่อรับสถานะการกรองE(λt|Yt)E(λt|Yt)E(\lambda_t|Y_t)และตั้งค่าสถานะความผิดปกติ / ความผิดพลาดในความถี่เหตุการณ์โดยประมาณจาก ที่ฟีดข้อมูลหากE(λt|Yt)&lt;ytE(λt|Yt)&lt;ytE(\lambda_t|Y_t) < y_t&lt;y_t วิธีการนี้ใช้งานได้ดีในการรับข้อผิดพลาดในเหตุการณ์ที่คาดการณ์นับในช่วงเวลาTเต็มรูปแบบTTTแต่ไม่ดีถ้าเราต้องการทำเช่นเดียวกันสำหรับช่วงเวลาอื่น0≤t&lt;σ0≤t&lt;σ0 \leq t …

24 negative-binomial  kalman-filter  poisson-process  state-space-models 

ฉันรู้ว่าคำถาม / ชื่อของฉันไม่เจาะจงมากดังนั้นฉันจะพยายามอธิบายให้ชัดเจน: โครงข่ายประสาทเทียมมีการออกแบบที่ค่อนข้างเข้มงวด แน่นอนโดยทั่วไปแล้วพวกเขาได้รับอิทธิพลจากชีววิทยาและพยายามสร้างแบบจำลองทางคณิตศาสตร์ของโครงข่ายประสาทจริง แต่ความเข้าใจของเราเกี่ยวกับโครงข่ายประสาทจริงนั้นไม่เพียงพอสำหรับการสร้างแบบจำลองที่แน่นอน ดังนั้นเราจึงไม่สามารถเข้าใจโมเดลที่แน่นอนหรือสิ่งใดก็ตามที่เกิดขึ้น "ใกล้" เครือข่ายประสาทจริง เท่าที่ฉันรู้เครือข่ายประสาทเทียมทั้งหมดอยู่ไกลจากเครือข่ายประสาทจริง MLP มาตรฐานที่เชื่อมต่ออย่างสมบูรณ์แบบคลาสสิกไม่มีอยู่ในชีววิทยา เครือข่ายประสาทที่เกิดขึ้นอีกมีการขาดความเป็นจริงของระบบประสาทแต่ละเซลล์ประสาทของ RNN แต่ละคนมี "สถาปัตยกรรมความคิดเห็น" ที่เหมือนกันในขณะที่เซลล์ประสาทที่แท้จริงบันทึกและแบ่งปันข้อมูลของพวกเขาค่อนข้างเป็นรายบุคคล Convolutional neural Networks นั้นมีประสิทธิภาพและเป็นที่นิยม แต่การประมวลผลภาพในสมองของมนุษย์นั้นประกอบด้วยเพียงสองสามชั้นในขณะที่วิธีการแก้ปัญหาที่ทันสมัย ​​(เช่น GoogLeNet) นั้นใช้หลายสิบชั้น ... และถึงแม้ว่าพวกมันจะสร้างผลลัพธ์ที่ยอดเยี่ยมสำหรับคอมพิวเตอร์ พวกเขาไม่ได้ใกล้เคียงกับประสิทธิภาพของมนุษย์ โดยเฉพาะอย่างยิ่งเมื่อเราคิดว่า "ประสิทธิภาพต่อเลเยอร์" เนื่องจากเราต้องการเลเยอร์และการลดข้อมูลที่ค่อนข้างสูงเมื่อเทียบกับเครือข่ายประสาทจริง นอกจากนี้ตามความรู้ของฉันแม้แต่เครือข่ายโครงข่ายประสาทเทียมที่ปรับขยาย / ปรับโครงสร้างด้วยตนเองนั้นค่อนข้าง "ค่อนข้างคงที่" เมื่อเทียบกับเครือข่ายประสาทจริงที่ปรับตัวได้มาก โดยปกติเซลล์ประสาทชีวภาพจะมี dendrites นับพันที่เชื่อมต่อเซลล์ประสาทกับพื้นที่ต่าง ๆ และเซลล์ประสาทอื่น ๆ มากมาย โครงข่ายประสาทเทียมเป็นวิธีที่ "ตรงไปตรงมา" มากกว่า ดังนั้นมีอะไรบ้างที่เราสามารถเรียนรู้เกี่ยวกับสมองมนุษย์ / เครือข่ายประสาทจริงจากเครือข่ายประสาทเทียม? หรือเป็นเพียงความพยายามในการสร้างซอฟต์แวร์ที่ทำงานได้ดีกว่าอัลกอริธึมแบบคงที่คลาสสิก …

24 machine-learning  neural-networks  bioinformatics  artificial-intelligence  neuroscience 

ได้รับจุดข้อมูลแต่ละคนมีคุณสมบัติมีการระบุว่าเป็น , อื่น ๆมีการระบุว่าเป็น1แต่ละคุณสมบัติใช้ค่าตั้งแต่แบบสุ่ม (การกระจายแบบสม่ำเสมอ) ความน่าจะเป็นที่มีไฮเปอร์เพลนที่สามารถแบ่งสองคลาสได้อย่างไรd n / 2 0 n / 2 1 [ 0 , 1 ]nnndddn / 2n/2n/2000n / 2n/2n/2111[ 0 , 1 ][0,1][0,1] ลองพิจารณากรณีที่ง่ายที่สุดในครั้งแรกคือ1d= 1d=1d = 1

24 probability  classification  mathematical-statistics  separation 

ฉันกำลังใช้ทวิตเตอร์ของ AnomalyDetection ใน R: https://github.com/twitter/AnomalyDetection อัลกอริทึมนี้ให้การตรวจจับความผิดปกติของอนุกรมเวลาสำหรับข้อมูลที่มีฤดูกาล คำถาม: มีอัลกอริธึมอื่น ๆ ที่คล้ายกันนี้หรือไม่ (การควบคุมตามฤดูกาลไม่สำคัญ) ฉันพยายามทำอัลกอริธึมอนุกรมเวลาให้ได้มากที่สุดเท่าที่จะเป็นไปได้ในข้อมูลของฉันเพื่อที่ฉันจะได้เลือกชุดที่ดีที่สุด

24 r  regression  time-series  anomaly-detection 

ซอฟแวร์การดำเนินงานที่แตกต่างกันสำหรับเชือก ฉันรู้มากพูดคุยเกี่ยวกับวิธีการแบบเบส์เทียบกับวิธีการบ่อยในฟอรั่มที่แตกต่างกัน คำถามของฉันเฉพาะเจาะจงมากกับบ่วงบาศ - อะไรคือความแตกต่างหรือข้อดีของบ่วงเซียนบ่วงบาศกับบ่วงบาศปกติ ? นี่เป็นสองตัวอย่างของการใช้งานในแพ็คเกจ: # just example data set.seed(1233) X &lt;- scale(matrix(rnorm(30),ncol=3))[,] set.seed(12333) Y &lt;- matrix(rnorm(10, X%*%matrix(c(-0.2,0.5,1.5),ncol=1), sd=0.8),ncol=1) require(monomvn) ## Lasso regression reg.las &lt;- regress(X, Y, method="lasso") ## Bayesian Lasso regression reg.blas &lt;- blasso(X, Y) ดังนั้นเมื่อใดฉันจึงควรเลือกวิธีใดวิธีหนึ่ง หรือพวกเขาเหมือนกัน?

24 r  machine-learning  linear-model  lasso 

ดังนั้นคำถามนี้จะยุ่งเล็กน้อย แต่ฉันจะรวมกราฟสีสันเพื่อชดเชย ก่อนอื่นมาที่พื้นหลังของคำถาม พื้นหลัง สมมติว่าคุณมีการแจกแจงพหุคูณแบบหลายมิติแบบมิติที่มีโพรไบท์เท่ากันในประเภทให้เป็นจำนวนปกติ ( ) จากการแจกแจงนั่นคือ:nnnnnnπ=(π1,…,πn)π=(π1,…,πn)\pi = (\pi_1, \ldots, \pi_n)ccc (c1,…,cn)∼Multinomial(1/n,…,1/n)πi=cin(c1,…,cn)∼Multinomial(1/n,…,1/n)πi=cin(c_1, \ldots, c_n) \sim \text{Multinomial}(1/n, \ldots, 1/n) \\ \pi_i = {c_i \over n} ตอนนี้การกระจายทั่วมีการสนับสนุนใน -simplex แต่มีขั้นตอนแบบแยก ตัวอย่างเช่นด้วยการกระจายนี้มีการสนับสนุนดังต่อไปนี้ (จุดสีแดง):ππ\pinnnn=3n=3n = 3 การแจกแจงอื่นที่มีการรองรับที่คล้ายกันคือการแจกแจงแบบ -dimensionalนั่นคือการกระจายแบบสม่ำเสมอทั่วหน่วย simplex ตัวอย่างเช่นนี่คือการสุ่มจับจาก 3-dimesional :nnnDirichlet(1,…,1)Dirichlet(1,…,1)\text{Dirichlet}(1, \ldots, 1)Dirichlet(1,1,1)Dirichlet(1,1,1)\text{Dirichlet}(1, 1, 1) ตอนนี้ฉันมีความคิดว่าการกระจายของจากการแจกแจงอาจมีลักษณะเหมือนวาดจากที่มี discretized การสนับสนุนต่อเนื่องของ\ต่อเนื่องผมมีอยู่ในใจ (และที่ดูเหมือนว่าจะทำงานได้ดี) คือการใช้เวลาในแต่ละจุดในเริมและ "รอบมันออก" เพื่อจุดที่ใกล้ที่สุดที่อยู่ในการสนับสนุนของ\สำหรับ simplex …

24 distributions  bayesian  bootstrap  multinomial  dirichlet-distribution 

ฉันสนใจในความหมายทางเรขาคณิตของค่าสหสัมพันธ์และสัมประสิทธิ์การตัดสินใจในการถดถอยหรือในสัญกรณ์เวกเตอร์RRRR2R2R^2yi=β1+β2x2,i+⋯+βkxk,i+ϵiyi=β1+β2x2,i+⋯+βkxk,i+ϵiy_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i y=Xβ+ϵy=Xβ+ϵ\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon} นี่คือการออกแบบเมทริกซ์มีแถวและคอลัมน์ที่แรกคือ , เวกเตอร์ของ 1s ที่สอดคล้องกับการตัด\XX\mathbf{X}nnnkkkx1=1nx1=1n\mathbf{x}_1 = \mathbf{1}_nβ1β1\beta_1 รูปทรงเรขาคณิตน่าสนใจยิ่งขึ้นในพื้นที่หัวเรื่อง -dimensional มากกว่าในพื้นที่ตัวแปร -dimensional กำหนดเมทริกซ์หมวก:nnnkkk H=X(X⊤X)−1X⊤H=X(X⊤X)−1X⊤\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top นี่คือการฉายฉากบนพื้นที่คอลัมน์ของคือแบน ผ่านกำเนิดทอดโดยเวกเตอร์เป็นตัวแทนของแต่ละตัวแปรคนแรกซึ่งเป็น\จากนั้นโครงการเวกเตอร์ของการตอบสนองที่สังเกตบน "เงา" ของมันบนพื้นราบเวกเตอร์ของค่าติดตั้งและถ้าเรา มองไปตามเส้นทางของเส้นโครงที่เราเห็นเวกเตอร์ของเศษเหลือสร้างด้านที่สามของรูปสามเหลี่ยม สิ่งนี้น่าจะให้ทางเราสองทางในการตีความทางเรขาคณิตของXX\mathbf{X}xฉัน1 n H Y Y = H …

24 regression  correlation  multiple-regression  r-squared  geometry 

ฉันมี 50,000 ภาพเช่นสองภาพนี้: พวกเขาแสดงกราฟของข้อมูล ฉันต้องการแยกฟีเจอร์จากภาพเหล่านี้ดังนั้นฉันจึงใช้รหัส autoencoder ที่จัดทำโดย Theano (deeplearning.net) ปัญหาคือตัวเข้ารหัสอัตโนมัติเหล่านี้ดูเหมือนจะไม่ได้เรียนรู้คุณสมบัติใด ๆ ฉันลอง RBM แล้วมันก็เหมือนกัน ชุดข้อมูล MNIST ให้คุณสมบัติที่ดี แต่ดูเหมือนว่าข้อมูลของฉันจะไม่ให้ผลลัพธ์ ฉันแนบตัวอย่างด้านล่าง: ตัวกรองที่สร้างบน MNIST: ตัวกรองที่สร้างขึ้นโดยการฝึกอบรมกับข้อมูลของฉัน: ฉันใช้พีชคณิตขนาดต่าง ๆ ที่ซ่อนอยู่และการฝึกอบรมต่าง ๆ มากมาย แต่ผลลัพธ์ก็เหมือนกันเสมอ ทำไมมันไม่ทำงาน ทำไมระบบเข้ารหัสอัตโนมัติไม่สามารถดึงคุณสมบัติต่าง ๆ จากภาพเหล่านี้ได้? แก้ไข: สำหรับใครก็ตามที่มีปัญหาคล้ายกัน วิธีการแก้ปัญหานั้นง่ายมากและเป็นสาเหตุที่โง่ ฉันลืมที่จะ rescale ค่าพิกเซลจากการเข้ารหัส RGB เพื่อลอยในช่วง 0 - 1 การลดขนาดค่าแก้ปัญหา

24 machine-learning  neural-networks  feature-construction  rbm  autoencoders 

โดยทั่วไปแล้วทฤษฎีความน่าจะเป็นนั้นถูกสอนด้วยสัจพจน์ของ Kolgomorov Bayesians ยอมรับความจริงของ Kolmogorov หรือไม่?

24 probability  bayesian  kolmogorov-axioms 

ภายใต้นิยามคลาสสิกของค่าผิดปกติเป็นจุดข้อมูลที่อยู่ด้านนอก 1.5 * IQR จากควอไทล์ชั้นบนหรือล่างมีการสันนิษฐานของการแจกแจงแบบไม่เอียง สำหรับการแจกแจงแบบเบ้ (เอกซ์โพเนนเชียลปัวซองเรขาคณิต ฯลฯ ) เป็นวิธีที่ดีที่สุดในการตรวจหาค่าผิดปกติโดยการวิเคราะห์การแปลงฟังก์ชันดั้งเดิมหรือไม่? ตัวอย่างเช่นการแจกแจงแบบกระจายที่ควบคุมโดยการแจกแจงแบบเอ็กซ์โพเนนเชียลสามารถถูกแปลงด้วยฟังก์ชันบันทึก - ณ จุดไหนที่สามารถยอมรับค่าผิดปกติตามนิยาม IQR เดียวกันได้หรือไม่?

24 distributions  outliers  skewness  exponential  interquartile 

เป็นไปได้หรือไม่ที่จะทำการถดถอยหากตัวแปรที่ขึ้นกับและอิสระทั้งหมดเป็นตัวแปรหมวดหมู่?

24 regression  logistic  categorical-data 

ฉันได้อ่านคำอธิบายของอัลกอริทึม EM (เช่นจากการจดจำรูปแบบของอธิการและการเรียนรู้ของเครื่องและจากหลักสูตรแรกของ Roger and Gerolami ในการเรียนรู้ของเครื่อง) การได้มาของ EM ก็โอเคฉันเข้าใจแล้ว ฉันยังเข้าใจว่าทำไมอัลกอริทึมครอบคลุมถึงบางสิ่ง: ในแต่ละขั้นตอนเราปรับปรุงผลลัพธ์และโอกาสถูกล้อมรอบด้วย 1.0 ดังนั้นโดยใช้ข้อเท็จจริงง่าย ๆ (หากฟังก์ชันเพิ่มขึ้นและถูก จำกัด ขอบเขตจากนั้นก็มาบรรจบกัน) เรารู้ว่าอัลกอริทึม ทางออกบางอย่าง อย่างไรก็ตามเราจะรู้ได้อย่างไรว่ามันเป็นขั้นต่ำในท้องถิ่น? ในแต่ละขั้นตอนเรากำลังพิจารณาพิกัดเดียวเท่านั้น (ไม่ว่าจะเป็นตัวแปรแฝงหรือพารามิเตอร์) ดังนั้นเราอาจพลาดอะไรบางอย่างเช่นค่าต่ำสุดในท้องถิ่นต้องการการเคลื่อนย้ายโดยพิกัดทั้งสองพร้อมกัน ฉันเชื่อว่านี่เป็นปัญหาที่คล้ายคลึงกับของขั้นตอนวิธีการปีนเขาทั่วไปซึ่ง EM เป็นตัวอย่างของ ดังนั้นสำหรับอัลกอริทึมการปีนเขาทั่วไปเรามีปัญหานี้สำหรับฟังก์ชั่น f (x, y) = x * y หากเราเริ่มต้นจากจุด (0, 0) ดังนั้นเพียงพิจารณาทั้งสองทิศทางในครั้งเดียวเราสามารถเลื่อนขึ้นจาก 0 ค่า

24 missing-data  convergence  expectation-maximization 

คำถามนี้ถูกย้ายจาก Mathematics Stack Exchange เพราะสามารถตอบได้ในการตรวจสอบข้าม อพยพ 6 ปีที่แล้ว ฉันได้ศึกษาโมเดลอันตรายของ Cox Proportional แล้วและคำถามนี้ได้ถูกคัดสรรมาเป็นส่วนใหญ่ Cox เสนอการปรับค่าสัมประสิทธิ์ของฟังก์ชั่น Hazard โดยใช้วิธีความน่าจะเป็นบางส่วน แต่ทำไมไม่เพียงแค่ปรับสัมประสิทธิ์ของฟังก์ชั่น Parametric Survival โดยใช้วิธีโอกาสสูงสุดและแบบจำลองเชิงเส้น? ในกรณีใด ๆ ที่คุณมีข้อมูลเซ็นเซอร์คุณสามารถหาพื้นที่ใต้เส้นโค้ง ตัวอย่างเช่นหากค่าประมาณของคุณคือ 380 โดยมีค่าเบี่ยงเบนมาตรฐานเท่ากับ 80 และตัวอย่างถูกเซ็นเซอร์&gt; 300 ดังนั้นความน่าจะเป็น 84% สำหรับตัวอย่างนั้นในการคำนวณความน่าจะเป็นเป็นข้อผิดพลาดปกติ

24 survival  cox-model