สถิติและข้อมูลขนาดใหญ่

ตอการตัดสินใจเป็นต้นไม้การตัดสินใจที่มีเพียงหนึ่งแยก นอกจากนี้ยังสามารถเขียนเป็นฟังก์ชั่นตามเข็มนาฬิกา ตัวอย่างเช่นสมมติว่าเป็นเวกเตอร์และเป็นองค์ประกอบแรกของในการตั้งค่าการถดถอยการตัดสินใจบางอย่างอาจทำให้ตอx 1 xxxxx1x1x_1xxx ฉ( x ) = { 35x1≤ 2x1> 2ฉ(x)={3x1≤25x1>2f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases} แต่มันเป็นโมเดลเชิงเส้นหรือไม่? สามารถเขียนเป็นที่ไหน คำถามนี้อาจฟังดูแปลกเพราะดังที่ได้กล่าวไว้ในคำตอบและความคิดเห็นหากเราพล็อตฟังก์ชั่นตามลำดับมันไม่ใช่เส้น โปรดดูหัวข้อถัดไปสำหรับสาเหตุที่ฉันถามคำถามนี้ฉ( x ) = βTxฉ(x)=βTxf(x)=\beta^T x แก้ไข: เหตุผลที่ฉันถามคำถามนี้คือการถดถอยโลจิสติกเป็นโมเดลเชิงเส้น (ทั่วไป) และขอบเขตการตัดสินใจเป็นเส้นเช่นกันสำหรับตอการตัดสินใจ หมายเหตุเรามีคำถามนี้ด้วย: เหตุใดการถดถอยแบบลอจิสติกจึงเป็นโมเดลเชิงเส้น . ในทางกลับกันดูเหมือนว่าไม่เป็นความจริงที่ตอการตัดสินใจเป็นแบบจำลองเชิงเส้น อีกเหตุผลที่ฉันถามนี้เนื่องจากคำถามนี้: ในการส่งเสริมหากผู้เรียนพื้นฐานเป็นแบบจำลองเชิงเส้นแบบจำลองสุดท้ายเป็นเพียงแบบจำลองเชิงเส้นอย่างง่ายหรือไม่? โดยที่ถ้าเราใช้โมเดลเชิงเส้นเป็นผู้เรียนพื้นฐานเราจะไม่ได้อะไรมากไปกว่าการถดถอยเชิงเส้น แต่ถ้าเราเลือกผู้เรียนพื้นฐานเป็นตอการตัดสินใจเราจะได้แบบจำลองที่น่าสนใจมาก นี่คือตัวอย่างหนึ่งของการตัดสินใจตอการส่งเสริมการถดถอยด้วย 2 คุณสมบัติและ 1 …

19 machine-learning  cart  linear  boosting 

ดังนั้นในการกระจายปกติเรามีสองพารามิเตอร์: ค่าเฉลี่ยและความแปรปรวน 2 ในการจดจำรูปแบบหนังสือและการเรียนรู้ของเครื่องในทันทีทันใดจะมีพารามิเตอร์หลายพารามิเตอร์ในข้อกำหนดการทำให้เป็นปกติของฟังก์ชันข้อผิดพลาดσ 2 λμμ\muσ2σ2\sigma^2λλ\lambda พารามิเตอร์ไฮเปอร์พารามิเตอร์คืออะไร ทำไมพวกเขาถึงตั้งชื่อเช่นนี้? และพวกเขาแตกต่างจากพารามิเตอร์ทั่วไปอย่างไร

19 terminology  definition  parameterization  hyperparameter 

ให้คาร์ทีเซียนพิกัดของจุดสุ่มจะเลือกเซนต์(-10,10)x,yx,yx,y(x,y)∼U(−10,10)×U(−10,10)(x,y)∼U(−10,10)×U(−10,10)(x,y) \sim U(-10,10) \times U(-10,10) ดังนั้นรัศมีจะไม่กระจายอย่างสม่ำเสมอเป็นโดยนัย 's รูปแบบไฟล์ PDFρ=x2+y2−−−−−−√ρ=x2+y2\rho = \sqrt{x^2 + y^2}ρρ\rho อย่างไรก็ตามฉันคาดว่าเกือบจะเหมือนกันยกเว้นสิ่งประดิษฐ์เนื่องจากมีของเหลือ 4 ชิ้นที่ขอบ:θ=arctanyxθ=arctan⁡yx\theta = \arctan{\frac{y}{x}} ต่อไปนี้เป็นฟังก์ชันความหนาแน่นของความน่าจะเป็นที่คำนวณ grafically ของและ : θθ\thetaρρ\rho ตอนนี้ถ้าฉันปล่อยให้ถูกแจกจ่าย stจากนั้นดูเหมือนกระจายอย่างสม่ำเสมอ:x , y ∼ N ( 0 , 20 2 ) × N ( 0 , 20 2 ) θx,yx,yx,yx,y∼N(0,202)×N(0,202)x,y∼N(0,202)×N(0,202)x,y \sim N(0,20^2)\times N(0,20^2)θθ\theta ทำไมไม่เหมือนกันเมื่อและเป็นชุดเมื่อ ?θθ\theta(x,y)∼U(−10,10)×U(−10,10)(x,y)∼U(−10,10)×U(−10,10)(x,y) \sim …

19 normal-distribution  matlab  pdf  uniform 

มีคำว่า 'ผกผันของความแปรปรวน' หรือไม่? นั่นคือถ้ามีความแปรปรวนสูงแล้วมีต่ำ ? ไม่สนใจคำตรงข้ามที่ใกล้เคียง (เช่น 'ข้อตกลง' หรือ 'ความคล้ายคลึง') แต่มีความหมายเฉพาะ ?X … 1 / σ 2XXXXXX......\dots1 / σ21/σ21/\sigma^2

19 bayesian  variance  terminology  precision 

ฉันเพิ่งเข้าร่วมเป็นอาจารย์ในแผนกคณิตศาสตร์ ของสถาบันที่มีชื่อเสียง ฉันจะสอนหลักสูตรความน่าจะเป็นและสถิติในระดับปริญญาตรี สถาบันมีหลักสูตรสำหรับหลักสูตรนี้ซึ่งฉันไม่พอใจอย่างมาก ในหลักสูตรนั้นจะครอบคลุมสถิติก่อนและส่วนการประมาณก็หายไปเช่นกัน ฉันคิดเสมอว่าควรจะสอนพื้นฐานของความน่าจะเป็นก่อนการสอนสถิติ ใครสามารถให้ความเห็นเกี่ยวกับเรื่องนี้? นอกจากนี้ยังมีข้อเสนอแนะสำหรับหัวข้อที่ควรกล่าวถึงในหลักสูตรดังกล่าวด้วย

19 teaching 

การทำให้เป็นมาตรฐานจะมีประโยชน์ถ้าเราสนใจเพียงการประมาณ (และการตีความ) พารามิเตอร์โมเดลไม่ใช่การพยากรณ์หรือการทำนาย? ฉันเห็นว่าการทำให้เป็นปกติ / การตรวจสอบข้ามมีประโยชน์มากเพียงใดหากเป้าหมายของคุณคือการคาดการณ์ที่ดีเกี่ยวกับข้อมูลใหม่ แต่ถ้าคุณทำเศรษฐศาสตร์แบบดั้งเดิมและสิ่งที่คุณสนใจก็คือการประมาณ ? การตรวจสอบข้ามจะมีประโยชน์ในบริบทนั้นได้หรือไม่ ความยากลำบากทางแนวคิดที่ฉันต่อสู้คือเราสามารถคำนวณจากข้อมูลการทดสอบ แต่เราไม่สามารถคำนวณเพราะจริง\ betaเป็นไปตามคำนิยามที่ไม่เคยสังเกต (รับตามข้อสันนิษฐานที่ว่าแม้จะมีจริง\ betaนั่นคือเรารู้ว่าครอบครัวของแบบจำลองที่สร้างข้อมูล)ββ\betaL(Y,Y^)L(Y,Y^)\mathcal{L}\left(Y, \hat{Y}\right)L(β,β^)L(β,β^)\mathcal{L}\left(\beta, \hat{\beta}\right)ββ\betaββ\beta สมมติว่าสูญเสียของคุณคือL(β,β^)=∥β−β^∥L(β,β^)=‖β−β^‖\mathcal{L}\left(\beta, \hat{\beta}\right) = \lVert \beta - \hat{\beta} \rVert\ คุณเผชิญกับการแลกเปลี่ยนอคติแปรปรวนใช่ไหม? ดังนั้นในทางทฤษฎีคุณน่าจะใช้การปรับให้เป็นมาตรฐานได้ดีกว่า แต่คุณจะเลือกพารามิเตอร์การทำให้เป็นมาตรฐานได้อย่างไร? ฉันยินดีที่จะเห็นตัวอย่างเชิงตัวเลขอย่างง่ายของตัวแบบการถดถอยเชิงเส้นพร้อมค่าสัมประสิทธิ์β≡(β1,β2,…,βk)β≡(β1,β2,…,βk)\beta \equiv (\beta_1, \beta_2, \ldots, \beta_k)ซึ่งฟังก์ชันการสูญเสียของนักวิจัยคือ∥β−β^∥‖β−β^‖\lVert \beta - \hat{\beta} \rVertหรือแม้เพียงแค่(β1−β^1)2(β1−β^1)2(\beta_1 - \hat{\beta}_1)^2 2 ในทางปฏิบัติเราสามารถใช้การตรวจสอบข้ามเพื่อปรับปรุงการสูญเสียที่คาดหวังในตัวอย่างเหล่านั้นได้อย่างไร แก้ไข : DJohnson ชี้ให้ฉันเห็นhttps://www.cs.cornell.edu/home/kleinber/aer15-prediction.pdfซึ่งเกี่ยวข้องกับคำถามนี้ ผู้เขียนเขียนว่า เทคนิคการเรียนรู้ของเครื่อง ... เป็นวิธีที่มีระเบียบวินัยในการทำนาย Y^Y^\hat{Y}ซึ่ง …

19 cross-validation  econometrics  model-selection  interpretation  regularization 

ฉันสงสัยว่าทำไม skip-gram ดีกว่าสำหรับคำที่ไม่บ่อยนักกว่า CBOW ใน word2vec ฉันได้อ่านข้อเรียกร้องในhttps://code.google.com/p/word2vec/

19 natural-language  word2vec  word-embeddings 

สถิติสำหรับฉันมีความหมายเหมือนกันสำหรับความพยายามในการตัดสินใจที่ดีสำหรับตัวอย่างที่เป็นไปได้ทั้งหมด นั่นคือกฎการตัดสินใจที่ใช้บ่อยควรพยายามลดความเสี่ยงที่บ่อยครั้งซึ่งขึ้นอยู่กับฟังก์ชันการสูญเสียและสถานะที่แท้จริงของธรรมชาติ :δδ\deltaLLLθ0θ0\theta_0 Rฉr e q= Eθ0( L ( θ)0, δ( Y) )RฉRอีQ=Eθ0(L(θ0,δ(Y))R_\mathrm{freq}=\mathbb{E}_{\theta_0}(L(\theta_0,\delta(Y)) การประมาณความน่าจะเป็นสูงสุดนั้นเชื่อมโยงกับความเสี่ยงบ่อยเพียงใด ระบุว่าเป็นเทคนิคการประมาณค่าที่ใช้มากที่สุดที่ผู้ใช้บ่อยต้องมีการเชื่อมต่อ เท่าที่ฉันทราบการประมาณความน่าจะเป็นสูงสุดนั้นเก่ากว่าแนวคิดเรื่องความเสี่ยงบ่อย แต่ก็ยังคงต้องมีการเชื่อมโยงกันทำไมคนจำนวนมากถึงอ้างว่ามันเป็นเทคนิคที่ใช้บ่อย? การเชื่อมต่อที่ใกล้ที่สุดที่ฉันได้พบคือ "สำหรับแบบจำลองพารามิเตอร์ที่ตอบสนองสภาวะความอ่อนแอทำให้ตัวประมาณความน่าจะเป็นสูงสุดคือประมาณขั้นต่ำสุด" Wassermann 2006, p. 201 " คำตอบที่ได้รับการยอมรับจะเชื่อมโยงการประมาณค่าความน่าจะเป็นระดับสูงสุดกับความเสี่ยงของผู้ใช้บ่อยหรือให้คำจำกัดความทางเลือกอย่างเป็นทางการของการอนุมานของผู้ที่แสดงให้เห็นว่า MLE เป็นเทคนิคการอนุมานแบบบ่อยๆ

19 maximum-likelihood  frequentist 

ฉันยังใหม่กับการเรียนรู้ของเครื่องและกำลังมองหาชุดข้อมูลบางอย่างที่ฉันสามารถเปรียบเทียบและตัดกันความแตกต่างระหว่างอัลกอริทึมการเรียนรู้ของเครื่องที่แตกต่างกัน (Decision Trees, Boosting, SVM และ Neural Networks) ฉันจะหาชุดข้อมูลเหล่านี้ได้จากที่ไหน? ฉันควรมองหาอะไรขณะพิจารณาชุดข้อมูล มันจะดีถ้าคุณสามารถชี้ไปที่ชุดข้อมูลที่ดีและบอกฉันว่าอะไรทำให้พวกเขาเป็นชุดข้อมูลที่ดี?

19 machine-learning  dataset 

ในบทความนี้ ผู้เขียนเชื่อมโยงการวิเคราะห์จำแนกเชิงเส้น (LDA) กับการวิเคราะห์องค์ประกอบหลัก (PCA) ด้วยความรู้ที่ จำกัด ของฉันฉันไม่สามารถทำตามวิธี LDA ได้ค่อนข้างคล้ายกับ PCA ฉันคิดเสมอว่า LDA เป็นรูปแบบของอัลกอริทึมการจำแนกประเภทซึ่งคล้ายกับการถดถอยโลจิสติก ฉันจะซาบซึ้งในความช่วยเหลือในการทำความเข้าใจว่า LDA คล้ายกับ PCA อย่างไรเช่นเป็นเทคนิคการลดขนาด

19 classification  pca  dimensionality-reduction  discriminant-analysis  canonical-correlation 

ฉันมีปัญหาง่าย ๆ แต่ฉันไม่สามารถหาเครื่องมือที่เหมาะสมในการแก้ปัญหาได้ ฉันมีลำดับเวกเตอร์บางส่วนที่มีความยาวเท่ากัน ตอนนี้ฉันต้องการในการฝึกอบรม LSTM RNN ตัวอย่างรถไฟของลำดับเหล่านี้แล้วทำให้มันจะทำนายลำดับใหม่ของเวกเตอร์ของความยาวขึ้นอยู่กับหลายรองพื้นเวกเตอร์nnn ฉันไม่พบการใช้งานที่ง่ายซึ่งจะทำเช่นนี้ ภาษาพื้นฐานของฉันคือ Python แต่สิ่งใดก็ตามที่ไม่ได้ติดตั้งไว้นานจะเก็บไว้ ผมพยายามที่จะใช้ลาซานญ่าแต่การดำเนินงานของ RNN ยังไม่พร้อมและจะอยู่ในแพคเกจแยกnntools อย่างไรก็ตามฉันลองอันหลัง แต่ไม่สามารถหาวิธีฝึกได้แล้วนำไปทดสอบโดยเวกเตอร์ทดสอบและปล่อยให้มันทำนายใหม่ บล็อกเป็นปัญหาเดียวกัน - ไม่มีเอกสารประกอบสำหรับ LSTM RNN แม้ว่าจะดูเหมือนว่ามีบางคลาสและฟังก์ชันที่สามารถใช้งานได้ (เช่นblocks.bricks.recurrent) มีการใช้งาน RNN LSTM หลายอย่างใน Theano เช่นGroundHog, และtheano-rnn, theano_lstmสำหรับเอกสารบางส่วน, แต่ไม่ใช่ของเหล่านั้นที่มีการสอนหรือแนะนำวิธีการทำสิ่งที่ฉันต้องการ ทางออกเดียวที่ฉันพบคือใช้ Pybrain แต่น่าเสียดายที่มันขาดคุณสมบัติของ Theano (ส่วนใหญ่เป็นการคำนวณ GPU) และเป็นกำพร้า (ไม่มีคุณสมบัติใหม่และการสนับสนุน) ไม่มีใครรู้ว่าฉันสามารถหาสิ่งที่ฉันขอได้ที่ไหน ใช้งานง่ายกับ RNN LSTM เพื่อทำนายลำดับของเวกเตอร์หรือไม่ แก้ไข: ฉันลอง Keras แบบนี้: …

19 neural-networks  python  lstm 

อัตราการเรียนรู้พารามิเตอร์ ( ) ในการไล่โทนสีการส่งเสริมการมีส่วนร่วมของ shrinks รุ่นแต่ละฐานใหม่ -typically tree- ตื้นที่จะถูกเพิ่มในซีรีส์ มันแสดงให้เห็นถึงการเพิ่มความแม่นยำของชุดการทดสอบอย่างมากซึ่งเป็นที่เข้าใจได้เช่นเดียวกับขั้นตอนที่เล็กกว่าขั้นต่ำของฟังก์ชั่นการสูญเสียสามารถบรรลุได้อย่างแม่นยำมากขึ้น ν∈[0,1]ν∈[0,1]\nu \in [0,1] ฉันไม่เข้าใจว่าทำไมอัตราการเรียนรู้จึงถือเป็นพารามิเตอร์ในการทำให้เป็นมาตรฐาน? อ้างถึงองค์ประกอบของการเรียนรู้สถิติส่วนที่ 10.12.1, p.364: การควบคุมจำนวนต้นไม้ไม่ได้เป็นเพียงกลยุทธ์การทำให้เป็นมาตรฐานเท่านั้น เช่นเดียวกับการถดถอยของสันเขาและโครงข่ายประสาทเทียมสามารถใช้เทคนิคการหดตัวได้เช่นกัน ค่าที่น้อยกว่าของ (หดตัวมากกว่า) ผลความเสี่ยงในการฝึกอบรมที่มีขนาดใหญ่สำหรับหมายเลขเดียวกันซ้ำM ดังนั้นทั้งνและM จึงควบคุมความเสี่ยงในการทำนายข้อมูลการฝึกอบรมνν\nuMMMνν\nuMMM การทำให้เป็นมาตรฐานหมายถึง "วิธีหลีกเลี่ยงการทำให้อ้วนมากเกินไป" ดังนั้นจึงเป็นที่ชัดเจนว่าจำนวนการวนซ้ำเป็นสิ่งสำคัญในการเคารพนั้น ( Mที่สูงเกินไปที่จะนำไปสู่การล้น) แต่:MMMMMM ค่าที่น้อยกว่าของ (หดตัวมากกว่า) ผลความเสี่ยงในการฝึกอบรมที่มีขนาดใหญ่สำหรับหมายเลขเดียวกันซ้ำMνν\nuMMM เพียงหมายความว่าด้วยอัตราการเรียนรู้ต่ำจำเป็นต้องมีการทำซ้ำมากขึ้นเพื่อให้ได้ความถูกต้องเหมือนกันในชุดฝึกอบรม แล้วมันเกี่ยวข้องอย่างไรกับการบรรจุมากเกินไป?

19 machine-learning  data-mining  predictive-models  boosting  overfitting 

นี่อาจเป็นคำถามง่าย ๆ สำหรับหลาย ๆ คน แต่ที่นี่คือ: เหตุใดจึงไม่ได้กำหนดความแปรปรวนเป็นความแตกต่างระหว่างทุกค่าที่ติดตามกันแทนที่จะแตกต่างกับค่าเฉลี่ยของค่า นี่จะเป็นตัวเลือกที่สมเหตุสมผลกว่าสำหรับฉันฉันคิดว่าฉันกำลังดูแลข้อเสียอยู่บ้าง ขอบคุณ แก้ไข: ให้ฉันใช้ถ้อยคำใหม่อย่างชัดเจนที่สุด นี่คือสิ่งที่ฉันหมายถึง: สมมติว่าคุณมีตัวเลขเรียงตามลำดับ: 1,2,3,4,5 คำนวณและสรุปผลต่าง (ค่าสัมบูรณ์) (อย่างต่อเนื่องระหว่างทุกค่าต่อไปนี้ไม่ใช่คู่) ระหว่างค่า (โดยไม่ใช้ค่าเฉลี่ย) หารด้วยจำนวนความแตกต่าง (การติดตามผล: คำตอบจะแตกต่างกันหรือไม่หากตัวเลขยังไม่ได้รับคำสั่ง) -> อะไรคือข้อเสียของวิธีการนี้เมื่อเทียบกับสูตรมาตรฐานสำหรับความแปรปรวน?

19 variance 

ฉันพยายามที่จะได้รับความเข้าใจที่ง่ายของการวิเคราะห์องค์ประกอบวิธีการหลัก (PCA) ทำงานในเรื่อง (คู่) พื้นที่ พิจารณาชุดข้อมูล 2D ที่มีตัวแปรสองตัวคือและและจุดข้อมูล (เมทริกซ์ข้อมูลคือคูณและถือว่าอยู่กึ่งกลาง) การนำเสนอตามปกติของ PCA คือเราพิจารณาคะแนนในเขียนเมทริกซ์ความแปรปรวนร่วมและหาค่าลักษณะเฉพาะของมัน สอดคล้องเครื่องแรกกับทิศทางของความแปรปรวนสูงสุด ฯลฯ นี่คือตัวอย่างที่มีความแปรปรวนเดอะเมทริกซ์ขวา) เส้นสีแดงแสดงค่าไอเกนผู้ประเมินโดยสแควร์รูทของค่าลักษณะเฉพาะนั้น ๆx 2 n X n × 2 n R 2 2 × 2 C = ( 4 2 2 2 )x1x1x_1x2x2x_2nnnXX\mathbf Xn×2n×2n\times 2nnnR2R2\mathbb R^22×22×22\times 2C=(4222)C=(4222)\mathbf C = \left(\begin{array}{cc}4&2\\2&2\end{array}\right) \hskip 1in ตอนนี้ให้พิจารณาสิ่งที่เกิดขึ้นในพื้นที่หัวเรื่อง (ฉันเรียนรู้คำศัพท์นี้จาก @ttnphns) หรือที่เรียกว่าช่องว่างคู่ …

19 pca  linear-algebra  intuition  geometry 

โพสต์นี้เกี่ยวข้องกับเหตุการณ์ที่เปลี่ยนแปลงอย่างรวดเร็ว ฉันเจอคำถามปี 2012 ที่มีการอภิปรายที่ดีมากเกี่ยวกับ Julia เป็นทางเลือกแทน R / Python สำหรับงานสถิติประเภทต่างๆ ต่อไปนี้เป็นคำถามเริ่มต้นจากปี 2012 เกี่ยวกับคำสัญญาของจูเลีย น่าเสียดายที่ Julia เป็นคนใหม่มากในตอนนั้น & ชุดเครื่องมือที่จำเป็นสำหรับงานสถิตินั้นค่อนข้างเก่าแก่ ข้อบกพร่องถูกรีดออก การกระจายติดตั้งยาก เป็นต้น บางคนมีความคิดเห็นที่ฉลาดมากสำหรับคำถามนั้น: สิ่งนี้กล่าวว่าจะใช้เวลา 5 ปีก่อนที่คำถามนี้อาจตอบได้ในแบบย้อนหลัง ณ ตอนนี้ Julia ยังขาดประเด็นสำคัญต่อไปนี้ของระบบการเขียนโปรแกรมเชิงสถิติที่สามารถแข่งขันกับ R สำหรับผู้ใช้ประจำวัน: นั่นคือในปี 2012 ตอนนี้มันผ่านไปแล้ว 2015 และสามปีที่ผ่านมาฉันสงสัยว่าคนที่คิดว่าจูเลียทำอะไร? มีร่างกายที่มีประสบการณ์มากขึ้นเกี่ยวกับภาษาและระบบนิเวศของ Julia โดยรวมหรือไม่? ฉันชอบที่จะรู้ โดยเฉพาะ: คุณจะแนะนำผู้ใช้ใหม่ของเครื่องมือทางสถิติเพื่อเรียนรู้ Julia มากกว่า R หรือไม่? สถิติการใช้งานประเภทใดที่คุณจะแนะนำให้ใครบางคนใช้ Julia ใน หาก …

19 r  python  computing  julia