คำถามติดแท็ก algorithms

ฉันกำลังพยายามที่จะจำลองค่าของNNNมิติตัวแปรสุ่มXXXที่มีการแจกแจงแบบปกติหลายตัวแปรที่มีค่าเฉลี่ยเวกเตอร์และความแปรปรวนเมทริกซ์Sμ=(μ1,...,μN)Tμ=(μ1,...,μN)T\mu = (\mu_1,...,\mu_N)^TSSS ผมหวังที่จะใช้วิธีการคล้ายกับวิธีการผกผัน CDF หมายความว่าผมต้องการที่จะเป็นครั้งแรกสร้างมิติเครื่องแบบตัวแปรสุ่มแล้วเสียบเข้าไปใน CDF ผกผันของการกระจายนี้เพื่อที่จะสร้างมูลค่าXNNNUUUXXX ฉันกำลังมีปัญหาเพราะขั้นตอนที่ไม่ได้เป็นเอกสารที่ดีและมีความแตกต่างเล็กน้อยระหว่างฟังก์ชั่น mvnrnd ใน MATLABและคำอธิบายที่ผมพบว่าในวิกิพีเดีย ในกรณีของฉันฉันเลือกพารามิเตอร์ของการแจกแจงแบบสุ่มด้วย โดยเฉพาะอย่างยิ่งผมสร้างแต่ละหมายความว่าจากการกระจายชุด(20,40) ฉันสร้างเมทริกซ์ความแปรปรวนร่วมSโดยใช้ขั้นตอนต่อไปนี้: U ( 20 , 40 )μiμi\mu_iU(20,40)U(20,40)U(20,40)SSS สร้างเมทริกซ์สามเหลี่ยมล่างที่โดยที่L ( i , i ) = 1สำหรับi = 1 .. NและL ( i , j ) = U ( - 1 , 1 )สำหรับ i < jLLLL(i,i)=1L(i,i)=1L(i,i) = …

14 matlab  algorithms  random-generation  multivariate-normal 

ฉันได้เขียนโค้ดบางอย่างที่สามารถทำการกรองคาลมานได้ (โดยใช้ตัวกรองคาลมานที่แตกต่างกันจำนวนหนึ่ง [Information Filter et al.]) สำหรับการวิเคราะห์อวกาศรัฐเกาส์เชิงเส้นสำหรับเวกเตอร์สถานะ n- มิติ ตัวกรองทำงานได้ดีและฉันได้ผลลัพธ์ที่ดี อย่างไรก็ตามการประมาณค่าพารามิเตอร์ผ่านการประมาณ loglikelihood ทำให้ฉันสับสน ฉันไม่ใช่นักสถิติ แต่เป็นนักฟิสิกส์ดังนั้นโปรดเป็นคนใจดี ขอให้เราพิจารณาโมเดลเชิงเส้น Gaussian State Space yt=Ztαt+ϵt,yt=Ztαt+ϵt,y_t = \mathbf{Z}_{t}\alpha_{t} + \epsilon_{t}, αt+1=Ttαt+Rtηt,αt+1=Ttαt+Rtηt,\alpha_{t + 1} = \mathbf{T}_{t}\alpha_{t} + \mathbf{R}_{t}\eta_{t}, ที่เป็นเวกเตอร์ของเราสังเกตเวกเตอร์รัฐของเราในเวลาขั้นตอนทีปริมาณที่เป็นตัวหนาคือเมทริกซ์การแปลงสภาพของแบบจำลองพื้นที่ของรัฐซึ่งตั้งค่าตามลักษณะของระบบภายใต้การพิจารณา เรายังมีytyty_{t}αtαt\alpha_{t}ttt ϵt∼NID(0,Ht),ϵt∼NID(0,Ht),\epsilon_{t} \sim NID(0, \mathbf{H}_{t}), ηt∼NID(0,Qt),ηt∼NID(0,Qt),\eta_{t} \sim NID(0, \mathbf{Q}_{t}), α1∼NID(a1,P1).α1∼NID(a1,P1).\alpha_{1} \sim NID(a_{1}, \mathbf{P}_{1}). ที่n ตอนนี้ฉันได้รับและดำเนินการเรียกซ้ำสำหรับตัวกรองคาลมานสำหรับตัวแบบพื้นที่ว่างทั่วไปโดยคาดเดาพารามิเตอร์เริ่มต้นและเมทริกซ์ความแปรปรวนและฉันสามารถสร้างแปลงได้ ชอบt=1,…,nt=1,…,nt = 1,\ldots, …

13 maximum-likelihood  algorithms  kalman-filter  likelihood 

เห็นได้ชัดว่า การวิเคราะห์แบบฟิชเชอร์มีจุดมุ่งหมายที่จะเพิ่มการแยกระหว่างคลาสให้สูงสุดพร้อม ๆ กับลดการกระจายตัวของคลาสภายใน วัดที่มีประโยชน์ของอำนาจจำแนกของตัวแปรจึงจะได้รับโดยปริมาณเส้นทแยงมุม: ฉันBฉันฉัน/ WฉันฉันBii/WiiB_{ii}/W_{ii} http://root.cern.ch/root/htmldoc/TMVA__MethodFisher.html ผมเข้าใจว่าขนาด ( p x p) ของระหว่าง ( B ) และภายใน-Class ( W ) pการฝึกอบรมจะได้รับจากจำนวนของตัวแปรการป้อนข้อมูล ให้นี้วิธีที่สามารถจะเป็น "วัดที่มีประโยชน์ของอำนาจจำแนก" ของตัวแปรเดียว? ต้องมีตัวแปรอย่างน้อยสองตัวในการสร้างเมทริกซ์ B และ W ดังนั้นการติดตามที่เกี่ยวข้องจะเป็นตัวแทนของตัวแปรมากกว่าหนึ่งตัวBฉันฉัน/ WฉันฉันBii/WiiB_{ii}/W_{ii} ปรับปรุง: ฉันขวาในการคิดว่าไม่ได้เป็นร่องรอยกว่าร่องรอยที่รวมเป็นนัย แต่องค์ประกอบเมทริกซ์B ฉันฉันBฉันฉัน/ WฉันฉันBii/WiiB_{ii}/W_{ii}BฉันฉันBiiB_{ii}หารด้วย ? ปัจจุบันเป็นวิธีเดียวที่ฉันสามารถปรับการแสดงออกด้วยแนวคิดWฉันฉันWiiW_{ii}

13 algorithms  dimensionality-reduction  discriminant-analysis  sums-of-squares 

ข้อดีและข้อเสียของการใช้ LARS [1] เมื่อเทียบกับการใช้โคตรของพิกัดสำหรับการถดถอยเชิงเส้นแบบ L1 ที่เหมาะสมคืออะไร ฉันสนใจในเรื่องของประสิทธิภาพเป็นหลัก (ปัญหาของฉันมักจะNอยู่ในหลักแสนและp<20) อย่างไรก็ตามข้อมูลเชิงลึกอื่น ๆ ก็จะได้รับการชื่นชมเช่นกัน แก้ไข: เนื่องจากฉันได้โพสต์คำถาม, chl ได้ชี้ให้เห็นกระดาษ [2] โดย Friedman และคณะที่พิกัดโคตรถูกแสดงว่าเร็วกว่าวิธีอื่นมาก หากเป็นกรณีนี้ฉันควรเป็นผู้ประกอบการเพียงแค่ลืมเกี่ยวกับ LARS ในความโปรดปรานของการสืบเชื้อสายมาประสานงาน? [1] Efron, Bradley; Hastie เทรเวอร์; Johnstone, Iain และ Tibshirani, Robert (2004) "การถดถอยมุมน้อยที่สุด" พงศาวดารของสถิติ 32 (2): pp 407–499 [2] Jerome H. Friedman, Trevor Hastie, Rob Tibshirani, "เส้นทางการทำให้เป็นมาตรฐานสำหรับตัวแบบเชิงเส้นทั่วไปผ่านพิกัดโคตร", วารสารซอฟท์แวร์สถิติ, อัตรา …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

คำถามนี้มีคำตอบอยู่ที่นี่แล้ว : อัลกอริทึม Backpropagation (2 คำตอบ) ปิดให้บริการใน4 เดือนที่ผ่านมา อัลกอริทึมการเผยแพร่กลับคืออะไรและทำงานอย่างไร

13 algorithms  optimization  neural-networks 

วิธีใดที่ใช้สำหรับทดสอบอัลกอริธึมการสร้างตัวแปรแบบสุ่ม

12 algorithms  hypothesis-testing  random-variable  random-generation 

เมื่อฉันค้นพบการเรียนรู้ของเครื่องฉันเห็นเทคนิคที่น่าสนใจต่าง ๆ เช่น: โดยอัตโนมัติขั้นตอนวิธีการปรับแต่งด้วยเทคนิคเช่นgrid search, ได้รับผลลัพธ์ที่ถูกต้องมากขึ้นผ่านการรวมกันของขั้นตอนวิธีการที่แตกต่างกันของ "พิมพ์" เหมือนกันว่าboosting, ได้รับผลลัพธ์ที่ถูกต้องมากขึ้นผ่านการรวมกันของขั้นตอนวิธีการที่แตกต่างกัน ( แต่ไม่ใช่ชนิดเดียวกันของอัลกอริทึม) ว่าstacking, และอาจมีอีกมากที่ฉันยังต้องค้นพบ ... คำถามของฉันมีดังต่อไปนี้: มีชิ้นส่วนเหล่านั้นทั้งหมด แต่เป็นไปได้หรือไม่ที่จะรวมเข้าด้วยกันเพื่อสร้างอัลกอริทึมที่ใช้เป็นข้อมูลที่ได้รับการทำความสะอาดและผลลัพธ์ที่ดีโดยการนำเอาเทคนิคที่ดีที่สุดออกมา? (แน่นอนว่ามันอาจจะมีประสิทธิภาพน้อยกว่าที่นักวิทยาศาสตร์ด้านข้อมูลมืออาชีพ แต่เขาจะดีกว่าฉัน!) ถ้าใช่คุณมีรหัสตัวอย่างหรือคุณรู้กรอบที่สามารถทำได้หรือไม่? แก้ไข:หลังจากคำตอบบางอย่างดูเหมือนว่าจะต้องแคบลงบางส่วน ลองยกตัวอย่างเรามีหนึ่งคอลัมน์ที่มีข้อมูลหมวดหมู่ลองเรียกมันมาyและเราต้องการทำนายจากข้อมูลตัวเลขที่เป็นข้อมูลXหุ่นหรือข้อมูลตัวเลขจริง (ความสูงอุณหภูมิ) เราถือว่าการทำความสะอาดเสร็จสิ้นแล้ว มีอัลกอริทึมที่มีอยู่ที่สามารถใช้ข้อมูลดังกล่าวและเอาท์พุททำนาย? (โดยการทดสอบอัลกอริธึมหลายตัวการปรับจูนการเพิ่มประสิทธิภาพ ฯลฯ ) ถ้าใช่มันมีประสิทธิภาพในการคำนวณ (การคำนวณเสร็จในเวลาที่เหมาะสมถ้าเราเปรียบเทียบกับอัลกอริทึมปกติ) และคุณมีตัวอย่างของรหัสหรือไม่?

12 machine-learning  algorithms  boosting  stacking  automatic-algorithms 

ฉันรู้วิธีดำเนินการ PCA (การวิเคราะห์องค์ประกอบหลัก) แต่ฉันต้องการทราบขั้นตอนที่ควรใช้สำหรับการวิเคราะห์ปัจจัย ในการดำเนินการ PCA ให้เราพิจารณาเมทริกซ์ตัวอย่างเช่นAAA 3 1 -1 2 4 0 4 -2 -5 11 22 20 ฉันได้คำนวณเมทริกซ์สหสัมพันธ์แล้วB = corr(A): 1.0000 0.9087 0.9250 0.9087 1.0000 0.9970 0.9250 0.9970 1.0000 จากนั้นฉันได้ทำการประเมินค่าการสลายตัวของ[V,D] = eig(B)ไอเคิล 0.5662 0.8209 -0.0740 0.5812 -0.4613 -0.6703 0.5844 -0.3366 0.7383 และค่าลักษณะเฉพาะ: 2.8877 0 0 0 0.1101 0 …

12 pca  factor-analysis  algorithms 

คุณช่วยอธิบายเกี่ยวกับการขุดข้อมูลและอัลกอริทึมปัญญาประดิษฐ์ให้ฉันได้ไหม พวกเขาใช้คณิตศาสตร์อะไร คุณช่วยบอกจุดเริ่มต้นในคณิตศาสตร์ให้ฉันเข้าใจอัลกอริธึมเหล่านี้ได้ไหม

12 mathematical-statistics  references  data-mining  algorithms  artificial-intelligence 

ฉันมีตัวอย่างถ่วงน้ำหนักซึ่งฉันต้องการคำนวณปริมาณ 1 จะเป็นการดีที่น้ำหนักเท่ากัน (ไม่ว่าจะ = 1 หรืออื่น ๆ ) ผลจะสอดคล้องกับพวกและอาร์เอสscipy.stats.scoreatpercentile()quantile(...,type=7) วิธีการง่ายๆวิธีหนึ่งคือ "คูณออก" ตัวอย่างโดยใช้ตุ้มน้ำหนักที่ให้ ที่ให้ ecdf "แบน" ในพื้นที่ได้อย่างมีประสิทธิภาพในพื้นที่น้ำหนัก> 1 ซึ่งดูเหมือนว่าวิธีการที่ไม่ถูกต้องโดยสัญชาตญาณเมื่อตัวอย่างเป็นตัวอย่างย่อย โดยเฉพาะมันหมายความว่าตัวอย่างที่มีน้ำหนักทั้งหมดเท่ากับ 1 มีควอนไทล์ที่แตกต่างกันมากกว่าหนึ่งที่มีน้ำหนักทั้งหมดเท่ากับ 2 หรือ 3 (หมายเหตุอย่างไรก็ตามกระดาษที่อ้างถึงใน [1] จะใช้วิธีการนี้) http://en.wikipedia.org/wiki/Percentile#Weighted_percentileเป็นสูตรทางเลือกสำหรับเปอร์เซ็นไทล์แบบถ่วงน้ำหนัก มันไม่ชัดเจนในการกำหนดนี้ว่าตัวอย่างที่อยู่ติดกันที่มีค่าเหมือนกันควรนำมารวมกันก่อนและรวมน้ำหนักและในกรณีใด ๆ ผลลัพธ์ของผลลัพธ์จะไม่สอดคล้องกับชนิดเริ่มต้นของ R 7 quantile()ในกรณีที่ไม่มีน้ำหนัก / น้ำหนักเท่ากัน หน้าวิกิพีเดียเกี่ยวกับ quantiles ไม่ได้พูดถึงกรณีน้ำหนักเลย มีฟังก์ชั่นทั่วไปของฟังก์ชั่น quantile "type 7" แบบถ่วงน้ำหนักของ R หรือไม่? [ใช้ Python แต่เพียงมองหาอัลกอริทึมจริงๆดังนั้นภาษาใดก็ตามที่จะทำ] …

12 algorithms  quantiles  weighted-sampling 

ฉันคิดว่านี่เป็นคำถามที่ตรงไปตรงมาแม้ว่าการให้เหตุผลว่าทำไมหรือทำไมไม่อาจเป็นเช่นนั้น เหตุผลที่ผมถามคือว่าผมได้เขียนเมื่อเร็ว ๆ นี้การดำเนินการของตัวเองของ RF และแม้ว่ามันจะมีประสิทธิภาพดีมันไม่ได้มีประสิทธิภาพค่อนข้างเช่นเดียวกับที่ผมคาดหวัง (ตามKaggle ภาพคุณภาพสูงของการทำนายการแข่งขันชุดข้อมูลที่คะแนนชนะและบางส่วนของ ข้อมูลที่ตามมาซึ่งมีเกี่ยวกับเทคนิคที่ใช้) สิ่งแรกที่ฉันทำในสถานการณ์เช่นนี้คือข้อผิดพลาดในการทำนายพล็อตสำหรับแบบจำลองของฉันดังนั้นสำหรับแต่ละค่าการทำนายที่กำหนดฉันจะกำหนดความลำเอียงเฉลี่ย (หรือส่วนเบี่ยงเบน) จากค่าเป้าหมายที่ถูกต้อง สำหรับ RF ของฉันฉันได้พล็อตนี้: ฉันสงสัยว่านี่เป็นรูปแบบความเอนเอียงที่สังเกตได้โดยทั่วไปสำหรับ RF หรือไม่หากเป็นเช่นนั้นอาจเป็นสิ่งที่เฉพาะเจาะจงกับชุดข้อมูลและ / หรือการนำไปใช้ของฉัน แน่นอนว่าฉันสามารถใช้พล็อตนี้เพื่อปรับปรุงการทำนายได้โดยใช้มันเพื่อชดเชยอคติ แต่ฉันสงสัยว่ามีข้อผิดพลาดพื้นฐานหรือข้อบกพร่องในโมเดล RF ที่ต้องการแก้ไขปัญหาหรือไม่ ขอบคุณ. == ADDENDUM == การตรวจสอบเบื้องต้นของฉันอยู่ที่บล็อกนี้Random Forest Bias - Update

12 algorithms  random-forest  cart 

มีวิธีที่มีเสถียรภาพเชิงตัวเลขในการคำนวณค่าของการแจกแจงแบบเบต้าสำหรับจำนวนเต็มขนาดใหญ่ alpha, beta (เช่น alpha, beta> 1000000) หรือไม่ ที่จริงแล้วฉันต้องการเพียงแค่ช่วงความมั่นใจ 99% รอบ ๆ โหมดเท่านั้นหากนั่นทำให้ปัญหาง่ายขึ้น เพิ่ม : ฉันขอโทษคำถามของฉันไม่ได้ระบุไว้อย่างชัดเจนเหมือนที่ฉันคิด สิ่งที่ฉันต้องการทำคือ: ฉันมีเครื่องจักรที่ตรวจสอบผลิตภัณฑ์บนสายพานลำเลียง เศษส่วนของผลิตภัณฑ์เหล่านี้ถูกปฏิเสธโดยเครื่อง ตอนนี้หากผู้ประกอบการเครื่องจักรเปลี่ยนแปลงการตั้งค่าการตรวจสอบบางอย่างฉันต้องการแสดงให้เขา / เธอทราบอัตราการปฏิเสธโดยประมาณและคำแนะนำบางอย่างเกี่ยวกับความน่าเชื่อถือของการประมาณการในปัจจุบัน ดังนั้นฉันคิดว่าฉันปฏิบัติกับอัตราการปฏิเสธจริงเป็นตัวแปรสุ่ม X และคำนวณการแจกแจงความน่าจะเป็นสำหรับตัวแปรสุ่มนั้นตามจำนวนของวัตถุที่ถูกปฏิเสธ N และวัตถุที่ยอมรับ M ถ้าฉันถือว่าการกระจายก่อนหน้านี้เหมือนกันสำหรับ X นี่คือ การกระจายเบต้าขึ้นอยู่กับ N และ M ฉันสามารถแสดงการแจกแจงนี้ให้กับผู้ใช้โดยตรงหรือหาช่วงเวลา [l, r] เพื่อให้อัตราการปฏิเสธที่แท้จริงอยู่ในช่วงเวลานี้ด้วย p> = 0.99 (โดยใช้คำศัพท์ของ shabbychef) และแสดง ระยะห่าง สำหรับ M, N ขนาดเล็ก …

12 confidence-interval  algorithms  beta-distribution 

ฉันต้องได้ค่าที่ถูกต้องที่สุดเท่าที่จะเป็นไปได้สำหรับความสว่างของแหล่งกำเนิดแสงที่เสถียรเป็นหลักซึ่งให้ค่าความส่องสว่างตัวอย่างสิบสองค่า เซ็นเซอร์ไม่สมบูรณ์และแสงบางครั้งอาจ "กะพริบ" สว่างขึ้นหรือมืดลงซึ่งสามารถเพิกเฉยได้ดังนั้นฉันจึงจำเป็นต้องมีการตรวจจับในระยะไกล (ฉันคิดว่า?) ฉันได้อ่านวิธีการต่าง ๆ ที่นี่และไม่สามารถตัดสินใจได้ว่าจะใช้วิธีใด จำนวนของค่าผิดปกติไม่เคยทราบล่วงหน้าและมักจะเป็นศูนย์ โดยทั่วไปการสั่นไหวนั้นเป็นค่าเบี่ยงเบนขนาดใหญ่มากจากความสว่างที่คงที่ (เพียงพอที่จะยุ่งกับค่าเฉลี่ยที่ถ่ายด้วยของที่มีขนาดใหญ่) แต่ไม่จำเป็นต้องเป็นเช่นนั้น ต่อไปนี้เป็นตัวอย่างชุดการวัด 12 รายการสำหรับความสมบูรณ์ของคำถาม: 295.5214, 277.7749, 274.6538, 272.5897, 271.0733, 292.5856, 282.0986, 275.0419, 273.084, 273.1783, 274.0317, 290.1837 ความรู้สึกของฉันไม่น่าจะมีค่าผิดปกติในชุดนั้นแม้ว่า 292 และ 295 ดูสูงเล็กน้อย ดังนั้นคำถามของฉันคืออะไรวิธีที่ดีที่สุดที่นี่? ฉันควรพูดถึงว่าค่ามาจากการใช้ระยะทางแบบยุคลิดของส่วนประกอบ RG และ B ของแสงจากจุดศูนย์ (สีดำ) มันจะเจ็บปวดโดยทางโปรแกรม แต่เป็นไปได้ที่จะกลับไปใช้ค่าเหล่านี้หากจำเป็น ระยะทางแบบยุคลิดนั้นใช้เป็นตัวชี้วัดของ "ความแข็งแรงโดยรวม" เนื่องจากฉันไม่ได้สนใจสีแค่ความแรงของเอาท์พุท อย่างไรก็ตามมีโอกาสที่เหมาะสมที่กะพริบที่ฉันกล่าวถึงมีองค์ประกอบ RGB ที่แตกต่างกันไปยังเอาต์พุตปกติ ในขณะนี้ฉันกำลังเล่นกับฟังก์ชั่นบางอย่างที่จะทำซ้ำจนกว่าจะถึงการเป็นสมาชิกที่มั่นคงของมาตรการที่ได้รับอนุญาต: การหาค่าเบี่ยงเบนมาตรฐาน วางทุกอย่างไว้นอกพูด …

12 classification  outliers  algorithms 

มีการใช้อัลกอริทึมใดในเครื่องกำเนิดเลขสุ่มที่ทันสมัยและมีคุณภาพดี?

12 algorithms  random-variable  random-generation 

Wikipediaบอกว่า: มิติ VC คือความสำคัญของชุดแต้มที่ใหญ่ที่สุดที่อัลกอริทึมสามารถสลาย ตัวอย่างเช่นลักษณนามเชิงเส้นมี cardinality n + 1 คำถามของฉันคือทำไมเราสนใจ ชุดข้อมูลส่วนใหญ่ที่คุณทำการจัดหมวดหมู่เชิงเส้นมีแนวโน้มที่จะมีขนาดใหญ่มากและมีจำนวนมากของคะแนน

12 classification  algorithms  vc-dimension