สถิติและข้อมูลขนาดใหญ่

แบ็คกราวน์:ฉันกำลังศึกษาบทที่ 6 ของ Deep Learning โดย Ian Goodfellow และ Yoshua Bengio และ Aaron Courville ในส่วน 6.2.2.2 (หน้า 182 จาก 183 ซึ่งสามารถดูได้ที่นี่ ) การใช้ sigmoid เพื่อส่งออกเป็นแรงจูงใจP( y= 1 | x )P(y=1|x)P(y=1|x) เพื่อสรุปเนื้อหาบางส่วนที่พวกเขาปล่อยให้เป็นเซลล์ประสาทเอาท์พุทก่อนที่จะมีการเปิดใช้งานโดยที่hคือผลลัพธ์ของเลเยอร์ที่ซ่อนอยู่ก่อนหน้านี้wคือเวกเตอร์ของน้ำหนักและbเป็นสเกลาร์สเกลา เวกเตอร์อินพุตถูกเขียนแทนx (ซึ่งhคือฟังก์ชันของ) และค่าเอาต์พุตจะแสดงเป็นy = ϕ ( z )โดยที่ϕคือฟังก์ชัน sigmoid หนังสือมีความประสงค์ที่จะแจกแจงความน่าจะเป็นเหนือyโดยใช้ค่าzZ= wTh + bz=wTh+bz = w^Th+bชั่วโมงhhWwwขbbxxxชั่วโมงhhY= ϕ ( z)y=ϕ(z)y=\phi(z)φϕ\phiYyyzzz. จากย่อหน้าที่สองของหน้า …

12 neural-networks  deep-learning 

หากเราประมวลผลตัวอย่าง 10 ตัวอย่างในแบตช์ฉันเข้าใจว่าเราสามารถสรุปการสูญเสียสำหรับแต่ละตัวอย่าง แต่การ backpropagation ทำงานอย่างไรในการอัปเดตน้ำหนักสำหรับแต่ละตัวอย่าง ตัวอย่างเช่น: ตัวอย่างที่ 1 -> การสูญเสีย = 2 ตัวอย่างที่ 2 -> การสูญเสีย = -2 ซึ่งส่งผลให้สูญเสียเฉลี่ย 0 (E = 0) ดังนั้นสิ่งนี้จะปรับปรุงน้ำหนักและบรรจบกันได้อย่างไร มันเป็นเพียงการสุ่มของชุดที่เรา "หวังว่า" มาบรรจบกันไม่ช้าก็เร็ว? สิ่งนี้ไม่เพียงคำนวณการไล่ระดับสีสำหรับตุ้มน้ำหนักชุดแรกสำหรับตัวอย่างสุดท้ายที่ประมวลผลด้วยหรือไม่

12 neural-networks  gradient-descent  backpropagation  tensorflow 

ฉันมีชุดข้อมูลขนาดใหญ่ที่มีตัวแปร 2500 ตัวและชอบการสังเกต 142 ครั้ง ฉันต้องการเรียกใช้ความสัมพันธ์ระหว่าง Variable X และส่วนที่เหลือของตัวแปร แต่สำหรับคอลัมน์จำนวนมากมีรายการขาดหายไป ฉันพยายามทำสิ่งนี้ใน R โดยใช้อาร์กิวเมนต์ "pairwise-complete" ( use=pairwise.complete.obs) และมันแสดงความสัมพันธ์จำนวนมาก แต่บางคนใน StackOverflow โพสต์ลิงก์ไปยังบทความนี้http://bwlewis.github.io/covar/missing.htmlและทำให้วิธีการ "จับคู่แบบเต็ม" ใน R ดูใช้ไม่ได้ คำถามของฉัน: ฉันจะรู้ได้อย่างไรว่าเมื่อใดที่เหมาะสมที่จะใช้ตัวเลือก "pairwise-complete" ฉันuse = complete.obsกลับมาno complete element pairsแล้วดังนั้นถ้าคุณสามารถอธิบายสิ่งที่มีความหมายเช่นนั้นก็จะดี

12 r  correlation  missing-data  correlation-matrix 

ฉันเพิ่งถามคำถามที่ค้นหาการตีความทางคณิตศาสตร์ / ปรีชาอยู่เบื้องหลังสมการพื้นฐานที่เกี่ยวข้องกับค่าเฉลี่ยตัวอย่างและความแปรปรวน:เรขาคณิตหรืออย่างอื่นE[X2]=Var(X)+(E[X])2E[X2]=Var(X)+(E[X])2 E[X^2] = Var(X) +(E[X])^2 แต่ตอนนี้ฉันอยากรู้เกี่ยวกับสมการการแลกเปลี่ยนความเอนเอียงที่มีอคติคล้ายกันมาก MSE(θ^)=E[(θ^−θ)2]==E[(θ^−E[θ^])2]+(E[θ^]−θ)2Var(θ^)+Bias(θ^,θ)2MSE(θ^)=E[(θ^−θ)2]=E[(θ^−E[θ^])2]+(E[θ^]−θ)2=Var(θ^)+Bias(θ^,θ)2 \begin{eqnarray} \text{MSE}(\hat{\theta}) = E [(\hat{\theta}-\theta)^2 ] &=& E[(\hat{\theta} - E[\hat\theta])^2] + (E[\hat\theta] - \theta)^2\\ &=& \text{Var}(\hat\theta) + \text{Bias}(\hat\theta,\theta)^2 \\ \end{eqnarray} (สูตรจากWikipedia ) สำหรับฉันมันมีความคล้ายคลึงกันเพียงผิวเผินกับสมการแลกเปลี่ยนอคติแปรปรวนสำหรับการถดถอย: สามเทอมกับกำลังสองและอีกสองบวกกัน พีทาโกรัสมองมาก มีความสัมพันธ์แบบเวกเตอร์ที่คล้ายกันรวมถึง orthogonality สำหรับรายการเหล่านี้ทั้งหมดหรือไม่? หรือมีการตีความทางคณิตศาสตร์อื่น ๆ ที่เกี่ยวข้องที่ใช้? ฉันกำลังมองหาความคล้ายคลึงทางคณิตศาสตร์กับวัตถุทางคณิตศาสตร์อื่น ๆ ที่อาจทำให้กระจ่าง ฉันไม่ได้กำลังมองหาการเปรียบเทียบความถูกต้องแม่นยำซึ่งครอบคลุมอยู่ที่นี่ แต่ถ้ามีการเปรียบเทียบที่ไม่ใช่ด้านเทคนิคที่ผู้คนสามารถให้ได้ระหว่างการแลกเปลี่ยนความเอนเอียงกับอคติและความสัมพันธ์ความแปรปรวนพื้นฐานที่มากขึ้นก็จะดีเช่นกัน

12 variance  bias 

นี่คือตัวอย่างเล็ก ๆ : MyDf<-data.frame(x=c(1,2,3,4), y=c(1.2, .7, -.5, -3)) ตอนนี้ด้วยbase::lm: > lm(y~x, data=MyDf) %>% summary Call: lm(formula = y ~ x, data = MyDf) Residuals: 1 2 3 4 -0.47 0.41 0.59 -0.53 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 3.0500 0.8738 3.491 0.0732 . x -1.3800 0.3191 -4.325 0.0495 …

12 r  regression  p-value  linear-model 

ฉันต้องการทราบความแตกต่างระหว่างการถดถอยเชิงเส้นในการวิเคราะห์การเรียนรู้ของเครื่องปกติและการถดถอยเชิงเส้นในการตั้งค่า "การเรียนรู้ลึก" ขั้นตอนวิธีใดที่ใช้สำหรับการถดถอยเชิงเส้นในการตั้งค่าการเรียนรู้ลึก

12 regression  machine-learning  deep-learning 

ทั้งคำว่า "อัพแซมปลิง" และ "ทรานสคริซิชั่น" จะถูกใช้เมื่อคุณกำลังทำ "deconvolution" (<- ไม่ใช่คำศัพท์ที่ดี แต่ให้ฉันใช้ที่นี่) แต่เดิมฉันคิดว่าพวกเขาหมายถึงสิ่งเดียวกัน แต่ดูเหมือนว่าฉันจะแตกต่างกันหลังจากที่ฉันอ่านบทความเหล่านี้ ใครช่วยอธิบายหน่อยได้ไหม Transpose convolution : ดูเหมือนว่าเราสามารถใช้มันได้เมื่อเราเผยแพร่การสูญเสียผ่านเครือข่ายประสาทเทียม convolutonal http://andrew.gibiansky.com/blog/machine-learning/convolutional-neural-networks/#Backward-Propagation https://github.com/vdumoulin/conv_arithmetic https://arxiv.org/pdf/1312.6034v2.pdfส่วนที่ 4 "สำหรับเลเยอร์ convolutional ... " Upsampling : ดูเหมือนว่าเราจะใช้มันเมื่อเราต้องการสุ่มตัวอย่างจากอินพุตที่เล็กลงไปสู่อินพุตที่ใหญ่ขึ้นในโครงสร้าง convnet-decovnet https://www.youtube.com/watch?v=ByjaPdWXKJ4&feature=youtu.be&t=22m

12 machine-learning  neural-networks  conv-neural-network  transposed-convolution 

ฉันกำลังอ่านการเรียนรู้ส่วนที่เหลือลึกเพื่อการจดจำรูปภาพและฉันมีปัญหาในการทำความเข้าใจกับความมั่นใจ 100% สิ่งที่บล็อกส่วนเหลือตกค้างคำนวณ อ่านกระดาษของพวกเขาพวกเขามีรูปที่ 2: ซึ่งแสดงให้เห็นถึงสิ่งที่บล็อกส่วนที่เหลือควรจะเป็น การคำนวณของส่วนที่เหลือเป็นเพียงบล็อกเดียวกับ: y=σ(W2σ(W1x+b1)+b2+x)y=σ(W2σ(W1x+b1)+b2+x) \mathbf{y} = \sigma( W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 + \mathbf{x} ) หรือมันเป็นอย่างอื่น? ในคำอื่น ๆ อาจจะพยายามที่จะตรงกับสัญกรณ์ของกระดาษคือ: F(x)+x=[W2σ(W1x+b1)+b2]+xF(x)+x=[W2σ(W1x+b1)+b2]+x \mathcal F(x) + x = \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x} มันเป็นเรื่องจริงเหรอ? โปรดสังเกตว่าหลังจากการรวมกลุ่มวงกลมคำว่า ReLU จะปรากฏบนกระดาษดังนั้นผลลัพธ์ของบล็อกส่วนที่เหลือ …

12 machine-learning  neural-networks  deep-learning  conv-neural-network  residual-networks 

ฉันมีชุดข้อมูลประกอบด้วยสัดส่วนที่วัด "ระดับกิจกรรม" ของลูกอ๊อดแต่ละตัวดังนั้นจึงทำให้ค่าที่ผูกไว้ระหว่าง 0 และ 1 ข้อมูลนี้ถูกรวบรวมโดยการนับจำนวนครั้งที่บุคคลย้ายภายในช่วงเวลาหนึ่ง (1 สำหรับการเคลื่อนไหว 0 สำหรับไม่มีการเคลื่อนไหว) จากนั้นค่าเฉลี่ยเพื่อสร้างหนึ่งค่าต่อบุคคล ผลกระทบคงที่หลักของฉันคือ "ระดับความหนาแน่น" ปัญหาที่ฉันเผชิญคือว่าฉันมีตัวแปรปัจจัย "บ่อน้ำ" ที่ฉันต้องการรวมไว้เป็นเอฟเฟกต์แบบสุ่ม - ฉันไม่สนใจความแตกต่างระหว่างบ่อน้ำ แต่ต้องการที่จะอธิบายถึงสถิติเหล่านั้น ประเด็นสำคัญอย่างหนึ่งเกี่ยวกับบ่อน้ำคือฉันมีเพียง 3 แห่งเท่านั้นและฉันเข้าใจว่ามันเป็นอุดมคติที่จะมีระดับปัจจัยมากกว่า (5+) เมื่อจัดการกับเอฟเฟกต์แบบสุ่ม หากเป็นไปได้ที่จะทำฉันต้องการคำแนะนำเกี่ยวกับวิธีการใช้รูปแบบผสมโดยใช้betareg()หรือbetamix()ในอาร์ฉันได้อ่านไฟล์วิธีใช้ R แต่ฉันมักจะพบพวกเขายากที่จะเข้าใจ (สิ่งที่แต่ละพารามิเตอร์อาร์กิวเมนต์จริงๆหมายถึงในบริบท ของข้อมูลของฉันเองและความหมายของผลลัพธ์ในแง่ของระบบนิเวศ) และดังนั้นฉันจึงมักจะทำงานได้ดีขึ้นผ่านตัวอย่าง ในบันทึกที่เกี่ยวข้องฉันสงสัยว่าถ้าฉันสามารถใช้glm()ภายใต้ตระกูลทวินามและลิงค์ logit แทนการทำบัญชีสุ่มเอฟเฟ็กต์กับข้อมูลประเภทนี้

12 r  mixed-model  random-effects-model  beta-distribution  beta-regression 

ฉันเข้าใจความสัมพันธ์ระหว่างการวิเคราะห์องค์ประกอบหลักและการสลายตัวของค่าเอกพจน์ในระดับพีชคณิต / แน่นอน คำถามของฉันเป็นเรื่องเกี่ยวกับการดำเนินงาน scikit เรียนรู้ เอกสารกล่าวว่า: " [TruncatedSVD] คล้ายกับ PCA มาก แต่ทำงานกับเวกเตอร์ตัวอย่างโดยตรงแทนที่จะเป็นเมทริกซ์ความแปรปรวนร่วม " ซึ่งจะสะท้อนความแตกต่างพีชคณิตระหว่างทั้งสองวิธี อย่างไรก็ตามภายหลังได้กล่าวว่า: " ตัวประมาณนี้ [TruncatedSVD] รองรับสองอัลกอริทึม: ตัวแก้ SVD แบบสุ่มที่รวดเร็วและอัลกอริทึม“ ไร้เดียงสา” ที่ใช้ ARPACK เป็น eigensolver บน (X * XT) หรือ (XT * X) มีประสิทธิภาพ ". เกี่ยวกับPCAมันบอกว่า: "การลดขนาดเชิงเส้นโดยใช้การแยกส่วนประกอบของข้อมูลเพื่อฉายภาพ ... " และการติดตั้ง PCA รองรับสองอัลกอริทึม (สุ่มและ ARPACK) ตัวแก้ปัญหาบวกอีกหนึ่ง LAPACK เมื่อมองดูโค้ดฉันจะเห็นว่าทั้ง …

12 pca  scikit-learn  svd  scipy 

หนังสือ Bayesian ของ Kruschke กล่าวว่าเกี่ยวกับการใช้การแจกแจงเบต้าสำหรับการพลิกเหรียญ ตัวอย่างเช่นหากเราไม่มีความรู้มาก่อนนอกจากความรู้ที่ว่าเหรียญมีด้านหัวและด้านท้ายนั่นเท่ากับการสังเกตก่อนหน้านี้หนึ่งหัวและหนึ่งหางซึ่งสอดคล้องกับ a = 1 และ b = 1 ทำไมไม่มีข้อมูลใดเท่ากับการได้เห็นหัวหนึ่งและหนึ่งหาง - 0 หัวและ 0 หางดูเหมือนเป็นธรรมชาติสำหรับฉัน

12 probability  bayesian  beta-distribution 

ในโพสต์นี้คุณสามารถอ่านคำสั่ง: แบบจำลองมักจะถูกแทนที่ด้วยจุดบนมิติที่ จำกัดθθ\theta ในเรขาคณิตเชิงอนุพันธ์และสถิติโดย Michael K Murray และ John W Riceแนวคิดเหล่านี้อธิบายได้ในร้อยแก้วที่อ่านได้แม้จะไม่สนใจนิพจน์ทางคณิตศาสตร์ น่าเสียดายที่มีภาพประกอบไม่มาก กันไปสำหรับโพสต์นี้ใน MathOverflow ฉันต้องการขอความช่วยเหลือด้วยการนำเสนอด้วยภาพเพื่อใช้เป็นแผนที่หรือแรงจูงใจในการทำความเข้าใจหัวข้อที่เป็นทางการมากขึ้น อะไรคือจุดที่หลากหลาย อ้างจากการค้นหาออนไลน์นี้ดูเหมือนจะบ่งบอกว่ามันอาจเป็นจุดข้อมูลหรือพารามิเตอร์การกระจาย: สถิติเกี่ยวกับแมนิโฟลด์และเรขาคณิตข้อมูลเป็นสองวิธีที่แตกต่างกันซึ่งเรขาคณิตเชิงอนุพันธ์ตรงกับสถิติ ในขณะที่ในสถิติเกี่ยวกับแมนิโฟลด์มันเป็นข้อมูลที่วางอยู่บนท่อร่วมในเรขาคณิตข้อมูลข้อมูลอยู่ในแต่พารามิเตอร์ของฟังก์ชันความหนาแน่นของความน่าจะเป็นแบบพารามิเตอร์ที่น่าสนใจจะได้รับการปฏิบัติเหมือนนานา manifolds ดังกล่าวเรียกว่า manifolds ทางสถิติRnRnR^n ฉันวาดไดอะแกรมนี้โดยได้แรงบันดาลใจจากคำอธิบายของพื้นที่แทนเจนต์ที่นี่ : [ แก้ไขเพื่อแสดงความคิดเห็นด้านล่างเกี่ยวกับ :C∞C∞C^\infty ] บนนานาพื้นที่แทนเจนต์คือเซตของอนุพันธ์ที่เป็นไปได้ทั้งหมด ("ความเร็ว") ที่จุดเกี่ยวข้องกับ ทุกโค้งที่เป็นไปได้บนท่อร่วมไอวิ่งผ่าน นี่จะเห็นได้ว่าเป็นชุดของแผนที่จากทุกโค้งผ่านคือกำหนดเป็นองค์ประกอบ , ด้วยแสดงถึงเส้นโค้ง (ฟังก์ชั่นจากเส้นจริงถึงพื้นผิวของท่อร่วมพี∈ M (ψ: R → M )P P, C ∞ (T)→ R , ( …

12 distributions  manifold-learning  information-geometry  topologies 

ฉันกำลังทำงานการจำแนกประเภทแบบไบนารีที่ความน่าจะเป็นผลลัพธ์อยู่ในระดับต่ำ (ไม่เกิน 3%) ฉันกำลังพยายามตัดสินใจว่าจะเพิ่มประสิทธิภาพโดย AUC หรือบันทึกการสูญเสีย เท่าที่ฉันเข้าใจ AUC จะเพิ่มความสามารถของโมเดลในการแยกแยะระหว่างคลาสขณะที่ logloss จะลงโทษความแตกต่างระหว่างความน่าจะเป็นจริงและประมาณ ในงานของฉันเป็นสิ่งสำคัญอย่างยิ่งในการสอบเทียบความถูกต้องแม่นยำ ดังนั้นฉันจะเลือก logloss แต่ฉันสงสัยว่ารูปแบบการบันทึกที่ดีที่สุดควรเป็น AUC / GINI ที่ดีที่สุดหรือไม่

12 classification  binary-data  auc  log-loss 

ฉันอ่านบทความ Wikipedia เกี่ยวกับแบบจำลองทางสถิติที่นี่และฉันค่อนข้างงุนงงกับความหมายของ "ตัวแบบทางสถิติที่ไม่ใช่พารามิเตอร์" โดยเฉพาะ: แบบจำลองทางสถิติไม่ใช่พารามิเตอร์ถ้าชุดพารามิเตอร์ΘΘ\Theta เป็นมิติที่ไม่มีที่สิ้นสุด แบบจำลองทางสถิติคือsemiparametricถ้ามันมีทั้งขอบเขต จำกัด และพารามิเตอร์อนันต์มิติ อย่างเป็นทางการถ้าdddคือมิติของΘΘ\Thetaและnnnคือจำนวนของกลุ่มตัวอย่างทั้งสองรุ่น semiparametric และไม่อิงพารามิเตอร์มีd→ ∞d→∞d \rightarrow \inftyเป็นn → ∞n→∞n \rightarrow \infty ∞ ถ้าd/ n→0d/n→0d/n \rightarrow 0 เป็นn → ∞n→∞n \rightarrow \inftyโมเดลจะเป็นแบบ semiparametric มิฉะนั้นโมเดลนั้นไม่ใช่พารามิเตอร์ ฉันเข้าใจว่าถ้ามิติ (ฉันใช้นั่นหมายถึงจำนวนพารามิเตอร์) ของโมเดลนั้น จำกัด แน่นอนนี่คือโมเดลพาราเมตริก สิ่งที่ไม่สมเหตุสมผลสำหรับฉันคือวิธีที่เราสามารถมีแบบจำลองทางสถิติที่มีจำนวนพารามิเตอร์ที่ไม่สิ้นสุดเช่นที่เราจะเรียกมันว่า "แบบไม่อิงพารามิเตอร์" ยิ่งไปกว่านั้นแม้ว่าในกรณีนี้ทำไม "ไม่ใช่" หากในความเป็นจริงมีจำนวนมิติไม่สิ้นสุด สุดท้ายเนื่องจากฉันมาที่นี่จากภูมิหลังการเรียนรู้ของเครื่องมีความแตกต่างระหว่าง "แบบจำลองทางสถิติที่ไม่ใช่พารามิเตอร์" นี้หรือไม่และพูดว่า "แบบจำลองการเรียนรู้ด้วยเครื่องที่ไม่ใช่พารามิเตอร์" ในที่สุดตัวอย่างที่เป็นรูปธรรมอาจเป็นของโมเดลที่ไม่มีขอบเขตอนันต์แบบไม่มีพารามิเตอร์

12 nonparametric  model 

ในการเรียนรู้ของเครื่อง (สำหรับปัญหาการถดถอย) ฉันมักจะเห็นค่าเฉลี่ย - กำลังสอง - ข้อผิดพลาด (MSE) หรือค่าเฉลี่ย - ข้อผิดพลาด (แม่) ที่ใช้เป็นฟังก์ชันข้อผิดพลาดเพื่อลด (บวกกับข้อกำหนดการทำให้เป็นปกติ) ฉันสงสัยว่ามีสถานการณ์ที่การใช้สัมประสิทธิ์สหสัมพันธ์จะเหมาะสมกว่าหรือไม่ หากสถานการณ์ดังกล่าวมีอยู่แล้ว: ค่าสัมประสิทธิ์สหสัมพันธ์ภายใต้สถานการณ์ใดเป็นตัวชี้วัดที่ดีกว่าเมื่อเทียบกับ MSE / MAE ในสถานการณ์เหล่านี้ MSE / MAE ยังคงเป็นฟังก์ชั่นต้นทุนพร็อกซีที่ดีที่จะใช้หรือไม่? สัมประสิทธิ์สหสัมพันธ์เป็นไปได้สูงสุดหรือไม่ นี่เป็นฟังก์ชั่นวัตถุประสงค์ที่มั่นคงที่จะใช้หรือไม่? ฉันไม่พบกรณีที่มีการใช้สัมประสิทธิ์สหสัมพันธ์โดยตรงเป็นฟังก์ชันวัตถุประสงค์ในการปรับให้เหมาะสม ฉันจะขอบคุณถ้าคนสามารถชี้ให้ฉันข้อมูลในพื้นที่นี้

12 regression  machine-learning  svm  optimization  deep-learning