คำถามติดแท็ก fisher-information

ฉันไม่พอใจกับข้อมูลฟิชเชอร์มาตรการและวิธีการที่เป็นประโยชน์ นอกจากนี้ความสัมพันธ์กับขอบเขตแครมเมอร์ - ราวไม่ชัดเจนสำหรับฉัน ใครสามารถช่วยอธิบายแนวคิดเหล่านี้ได้ด้วยตนเอง?

59 estimation  intuition  fisher-information 

ตกลงนี่เป็นคำถามพื้นฐาน แต่ฉันสับสนเล็กน้อย ในวิทยานิพนธ์ของฉันฉันเขียน: ข้อผิดพลาดมาตรฐานสามารถพบได้โดยการคำนวณค่าผกผันของสแควร์รูทขององค์ประกอบเส้นทแยงมุมของเมทริกซ์ข้อมูลฟิชเชอร์ (สังเกต) เนื่องจากคำสั่งการเพิ่มประสิทธิภาพในการวิจัยลด-เข้าสู่ระบบL(การปฏิบัติ) ข้อมูลฟิชเชอร์เมทริกซ์สามารถพบได้โดยการคำนวณค่าผกผันของรัฐนี้ ฉัน(μ,σ2)=H-1sμ^, σ^2= 1ฉัน ( μ^, σ^2)------√sμ^,σ^2=1I(μ^,σ^2)\begin{align*} s_{\hat{\mu},\hat{\sigma}^2}=\frac{1}{\sqrt{\mathbf{I}(\hat{\mu},\hat{\sigma}^2)}} \end{align*}- บันทึกL−log⁡L-\log\mathcal{L}ฉัน ( μ^, σ^2) = H- 1I(μ^,σ^2)=H−1\begin{align*} \mathbf{I}(\hat{\mu},\hat{\sigma}^2)=\mathbf{H}^{-1} \end{align*} คำถามหลักของฉัน: ถูกต้องสิ่งที่ฉันพูด ? ฉันสับสนเล็กน้อยเพราะในแหล่งที่มาในหน้า 7 มันบอกว่า: ข้อมูลเมทริกซ์เป็นค่าลบของค่าที่คาดหวังของเมทริกซ์ Hessian (ดังนั้นจึงไม่ตรงกันข้ามกับ Hessian) ในขณะที่ในนี้แหล่งที่มาในหน้า 7 (เชิงอรรถ 5) มันพูดว่า: (−H)−1(−H)−1(-H)^{-1} (ดังนั้นนี่คือสิ่งที่ตรงกันข้าม) ฉันตระหนักถึงเครื่องหมายลบและควรใช้เมื่อใดและเมื่อใด แต่ทำไมจึงมีความแตกต่างในการกลับด้านหรือไม่

54 maximum-likelihood  fisher-information 

สมมติว่าเรามีตัวแปรสุ่มtheta) ถ้าเป็นพารามิเตอร์จริงฟังก์ชันความน่าจะเป็นควรขยายให้ใหญ่สุดและอนุพันธ์เท่ากับศูนย์ นี่คือหลักการพื้นฐานที่อยู่เบื้องหลังตัวประมาณค่าความน่าจะเป็นสูงสุดX∼f(x|θ)X~ฉ(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 ตามที่ฉันเข้าใจแล้วข้อมูลฟิชเชอร์ถูกกำหนดให้เป็น I(θ)=E[(∂∂θf(X|θ))2]ผม(θ)=E[(∂∂θฉ(X|θ))2]I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ] ดังนั้นหากเป็นพารามิเตอร์ที่จริง0 แต่ถ้ามันไม่ใช่พารามิเตอร์จริงเราจะมีข้อมูลฟิชเชอร์จำนวนมากขึ้นθ0θ0\theta_0I(θ)=0ผม(θ)=0I(\theta) = 0θ0θ0\theta_0 คำถามของฉัน ข้อมูล Fisher ทำการวัด "ข้อผิดพลาด" ของ MLE ที่กำหนดหรือไม่ กล่าวอีกนัยหนึ่งการมีอยู่ของข้อมูลฟิชเชอร์ในเชิงบวกไม่ได้หมายความว่า MLE ของฉันไม่เหมาะอย่างยิ่งหรือ คำจำกัดความของ "ข้อมูล" นี้แตกต่างจากที่ Shannon ใช้อย่างไร ทำไมเราถึงเรียกมันว่าข้อมูล?

29 bayesian  maximum-likelihood  likelihood  intuition  fisher-information 

บางคนสามารถพิสูจน์การเชื่อมต่อต่อไปนี้ระหว่างตัวชี้วัดข้อมูลฟิชเชอร์กับเอนโทรปีสัมพัทธ์ (หรือ KL divergence) อย่างเคร่งครัดทางคณิตศาสตร์อย่างหมดจด? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3)= ( 1 , ... , n ) , วันที่= ( วันที่1 , ... , วันที่n ) กรัมฉัน, J = ∫ ∂ ฉัน ( เข้าสู่ระบบP ( x ; a ) …

20 mathematical-statistics  kullback-leibler  fisher-information 

ให้เป็นแบบลำดับชั้น และ โดยที่เป็นการแจกแจงแบบปกติ มีวิธีที่จะได้รับการแสดงออกที่แน่นอนสำหรับข้อมูลฟิชเชอร์ของการกระจายร่อแร่ของได้รับคนั่นคือสิ่งที่เป็นข้อมูลฟิชเชอร์ของ: ฉันจะได้รับการแสดงออกสำหรับการกระจายส่วนเพิ่มของได้รับ , แต่การแยกแยะความแตกต่าง wrtและจากนั้นการรับความคาดหวังดูเหมือนยากมาก ฉันขาดอะไรที่ชัดเจนหรือไม่ ความช่วยเหลือใด ๆ ที่จะได้รับการชื่นชมμ ∼ l a p l a c e ( 0 , c ) N ( ⋅ , ⋅ ) X c p ( x | c ) = ∫ p ( x | μ ) p ( μ …

20 multilevel-analysis  information  fisher-information 

ให้ n เมทริกซ์ข้อมูลฟิชเชอร์ถูกกำหนดเป็น:θ∈Rnθ∈Rn\theta \in R^{n} I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] ฉันจะพิสูจน์ฟิชเชอร์ข้อมูลเมทริกซ์เป็น semidefinite เชิงบวกได้อย่างไร

19 inference  linear-algebra  fisher-information 

ฉันกำลังโพสต์ข้อความ "คำตอบ" สำหรับคำถามที่ฉันให้ไว้เมื่อสองสัปดาห์ก่อนที่นี่: ทำไม Jeffreys จึงมีประโยชน์มาก่อน มันเป็นคำถามจริงๆ (และฉันไม่มีสิทธิ์ในการโพสต์ความคิดเห็นในเวลานั้น) อย่างไรก็ตามดังนั้นฉันหวังว่าจะเป็นเช่นนั้น: ในลิงก์ด้านบนมีการกล่าวถึงคุณสมบัติที่น่าสนใจของ Jeffreys ก่อนคือเมื่อทำการวิเคราะห์รูปแบบซ้ำการกระจายหลังทำให้เกิดความน่าจะเป็นหลังซึ่งเป็นไปตามข้อ จำกัด ที่กำหนดโดยการเปลี่ยนแปลง กล่าวว่าตามที่กล่าวไว้ที่นั่นเมื่อย้ายจากความสำเร็จที่น่าจะเป็นθθ\thetaในตัวอย่าง Beta-Bernoulli อัตราต่อรองψ=θ/(1−θ)ψ=θ/(1−θ)\psi=\theta/(1-\theta)ก็ควรจะเป็นกรณีที่มีความพึงพอใจหลังP(1/3≤θ≤2/3∣X=x)=P(1/2≤ψ≤2∣X=x)P(1/3≤θ≤2/3∣X=x)=P(1/2≤ψ≤2∣X=x)P(1/3\leq\theta\leq 2/3\mid X=x)=P(1/2\leq\psi\leq 2\mid X=x) ) ฉันอยากจะสร้างตัวอย่างที่ตัวเลขของการแปรเปลี่ยนของฟรีย์ก่อนสำหรับการเปลี่ยนθθ\thetaอัตราต่อรองψψ\psiและอื่น ๆ อีกมากมายที่น่าสนใจขาดมันของไพรเออร์อื่น ๆ (พูด, Haldane เครื่องแบบหรือคนโดยพล) ตอนนี้ถ้าหลังสำหรับความน่าจะเป็นความสำเร็จคือเบต้า (Beta สำหรับการใด ๆ ก่อนฟรีย์ไม่ได้เท่านั้น) หลังของราคาดังต่อไปนี้การกระจายเบต้าของประเภทที่สอง (ดูวิกิพีเดีย) กับพารามิเตอร์เดียวกัน จากนั้นดังที่ไฮไลต์ในตัวอย่างตัวเลขด้านล่างมันไม่น่าแปลกใจเกินไป (สำหรับฉันอย่างน้อย) ที่มีค่าคงที่สำหรับตัวเลือกเบต้าใด ๆ ก่อนหน้านี้ (เล่นรอบ ๆ ด้วยalpha0_Uและbeta0_U) ไม่ใช่แค่ Jeffreys, cf ผลลัพธ์ของโปรแกรม library(GB2) …

17 bayesian  mathematical-statistics  fisher-information  jeffreys-prior  invariance 

ในการตั้งค่าความน่าจะเป็นมาตรฐานสูงสุด (ตัวอย่าง iid จากการกระจายบางอย่างที่มีความหนาแน่นf y ( y | θ 0 )) และในกรณีของรูปแบบที่ระบุอย่างถูกต้องข้อมูลฟิชเชอร์จะได้รับY1,…,YnY1,…,YnY_{1}, \ldots, Y_{n}fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} I(θ)=−Eθ0[∂2θ2lnfy(θ)]I(θ)=−Eθ0[∂2θ2ln⁡fy(θ)]I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right] เมื่อความคาดหวังถูกนำมาใช้โดยคำนึงถึงความหนาแน่นที่แท้จริงซึ่งสร้างข้อมูล ฉันได้อ่านแล้วว่าข้อมูลฟิชเชอร์ที่สังเกตได้ J^(θ)=−∂2θ2lnfy(θ)J^(θ)=−∂2θ2ln⁡fy(θ)\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) ถูกใช้เป็นหลักเนื่องจากอินทิกรัลที่เกี่ยวข้องในการคำนวณ (คาดว่า) ข้อมูลฟิชเชอร์อาจไม่สามารถทำได้ในบางกรณี สิ่งที่สร้างความสับสนให้ฉันก็คือแม้ว่าหนึ่งเป็นไปได้คาดหวังจะต้องมีการดำเนินการที่เกี่ยวกับรูปแบบความจริงที่เกี่ยวข้องกับค่าพารามิเตอร์ที่ไม่รู้จัก 0 หากเป็นกรณีที่ปรากฏว่าโดยไม่ทราบว่าθ 0มันเป็นไปไม่ได้ในการคำนวณฉัน มันเป็นเรื่องจริงเหรอ?θ0θ0\theta_{0}θ0θ0\theta_{0}III

17 maximum-likelihood  fisher-information 

ฉันพยายามที่จะพิสูจน์ว่าเมทริกซ์ข้อมูลที่สังเกตได้ประเมินที่ตัวประมาณความน่าจะเป็นค่าสูงสุดที่ไม่สม่ำเสมอ (MLE) ซึ่งเป็นค่าประมาณที่ไม่แน่นอนของเมทริกซ์ข้อมูลที่คาดหวัง นี่คือผลลัพธ์ที่ยกมาอย่างกว้างขวาง แต่ไม่มีใครให้การอ้างอิงหรือหลักฐาน (ฉันหมดแรงฉันคิดว่าหน้าแรกของผลการค้นหาของ google และตำราสถิติของฉัน) 20 หน้า! การใช้ลำดับของ MLE ที่สอดคล้องกันอย่างอ่อนฉันสามารถใช้กฏที่อ่อนแอของจำนวนมาก (WLLN) และทฤษฎีการทำแผนที่แบบต่อเนื่องเพื่อให้ได้ผลลัพธ์ตามที่ฉันต้องการ อย่างไรก็ตามฉันเชื่อว่าไม่สามารถใช้ทฤษฎีบทการทำแผนที่อย่างต่อเนื่องได้ แต่ฉันคิดว่าต้องใช้กฎหมายเครื่องแบบของคนจำนวนมาก (ULLN) มีใครทราบถึงข้อมูลอ้างอิงที่มีหลักฐานนี้หรือไม่? ฉันมีความพยายามที่ ULLN แต่ไม่ต้องสนใจเลยสำหรับตอนนี้ ฉันต้องขออภัยในความยาวของคำถามนี้ แต่จะต้องมีการจดบันทึก สัญกรณ์เป็นเหมือน folows (หลักฐานของฉันอยู่ท้าย) สมมติว่าเรามีตัวอย่าง IID ของตัวแปรสุ่ม{ Y 1 , ... , Y N }{Y1,…,YN}\{Y_1,\ldots,Y_N\}กับความหนาแน่นฉ( ~ Y | θ )f(Y~|θ)f(\tilde{Y}|\theta)ที่θ ∈ Θ ⊆ R kθ∈Θ⊆Rk\theta\in\Theta\subseteq\mathbb{R}^{k} (ที่นี่~ YY~\tilde{Y}เป็นเพียงตัวแปรสุ่มทั่วไปที่มีความหนาแน่นเดียวกัน …

16 maximum-likelihood  expected-value  asymptotics  information  fisher-information 

การทดสอบการเปลี่ยนรูป (เรียกอีกอย่างว่าการทดสอบแบบสุ่มการทดสอบแบบสุ่มอีกครั้งหรือการทดสอบที่แน่นอน) มีประโยชน์มากและมีประโยชน์เมื่อสมมติฐานของการแจกแจงปกติที่ต้องการโดยตัวอย่างเช่นt-testไม่พบและเมื่อการเปลี่ยนแปลงของค่าโดยการจัดอันดับ การทดสอบแบบไม่มีพารามิเตอร์Mann-Whitney-U-testจะนำไปสู่การสูญเสียข้อมูลมากขึ้น อย่างไรก็ตามไม่ควรมองข้ามสมมุติฐานข้อเดียวและข้อเดียวเพียงข้อเดียวเมื่อใช้การทดสอบชนิดนี้คือข้อสมมติฐานของความสามารถแลกเปลี่ยนได้ของตัวอย่างภายใต้สมมติฐานว่าง เป็นที่น่าสังเกตว่าวิธีการแบบนี้สามารถใช้ได้เมื่อมีตัวอย่างมากกว่าสองตัวอย่างเช่นสิ่งที่นำไปใช้ในcoinแพ็คเกจ R คุณช่วยกรุณาใช้ภาษาที่เป็นรูปเป็นร่างหรือปรีชาเชิงแนวคิดในภาษาอังกฤษธรรมดาเพื่อแสดงสมมติฐานนี้ได้หรือไม่? นี่จะมีประโยชน์มากในการอธิบายปัญหาที่ถูกมองข้ามในหมู่ผู้ที่ไม่ใช่นักสถิติเช่นฉัน หมายเหตุ: จะเป็นประโยชน์อย่างมากหากพูดถึงกรณีที่การใช้การทดสอบการเปลี่ยนแปลงไม่ถือหรือไม่ถูกต้องภายใต้สมมติฐานเดียวกัน ปรับปรุง: สมมติว่าฉันมี 50 วิชาที่รวบรวมจากคลินิกท้องถิ่นในเขตของฉันโดยการสุ่ม พวกเขาถูกสุ่มให้รับยาหรือยาหลอกในอัตราส่วน 1: 1 พวกเขาทั้งหมดถูกวัดสำหรับ Paramerter 1 Par1ที่ V1 (พื้นฐาน), V2 (3 เดือนต่อมา) และ V3 (1 ปีต่อมา) วิชาทั้งหมด 50 กลุ่มสามารถแบ่งเป็น 2 กลุ่มตามคุณสมบัติ A; ค่าบวก = 20 และค่าลบ = 30 นอกจากนี้ยังสามารถจัดกลุ่มย่อยได้อีก 2 กลุ่มตามคุณลักษณะ B; B positive = …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

(ฉันโพสต์คำถามที่คล้ายกันในmath.se ) ในเรขาคณิตข้อมูล, ดีเทอร์มิแนนต์ของเมทริกซ์ข้อมูลฟิชเชอร์เป็นรูปแบบปริมาตรตามธรรมชาติบนท่อร่วมทางสถิติดังนั้นจึงมีการตีความทางเรขาคณิตที่ดี ความจริงที่ว่ามันปรากฏในคำจำกัดความของเจฟฟรีย์ก่อนหน้านั้นเชื่อมโยงกับความไม่แปรเปลี่ยนของมันภายใต้การซ่อมแซมซ้ำซึ่งเป็นสมบัติทางเรขาคณิต แต่อะไรคือปัจจัยในสถิติ ? มันวัดสิ่งที่มีความหมายหรือไม่? (ตัวอย่างเช่นฉันจะบอกว่าถ้ามันเป็นศูนย์แล้วพารามิเตอร์ไม่ได้เป็นอิสระสิ่งนี้จะไปอีกหรือไม่) นอกจากนี้มีรูปแบบปิดใด ๆ ในการคำนวณอย่างน้อยในบางกรณี "ง่าย"

13 variance  information-theory  fisher-information  information-geometry 

ตำราที่แตกต่างกันอ้างถึงเงื่อนไขต่าง ๆ สำหรับการมีอยู่ของเมทริกซ์ข้อมูลฟิชเชอร์ เงื่อนไขดังกล่าวมีหลายรายการด้านล่างซึ่งแต่ละเงื่อนไขจะปรากฏในบางส่วน แต่ไม่ทั้งหมดของคำจำกัดความของ "ฟิชเชอร์ข้อมูลเมทริกซ์" มีเงื่อนไขมาตรฐานที่น้อยที่สุดหรือไม่? จาก 5 เงื่อนไขด้านล่างซึ่งสามารถแก้ไขได้ด้วย? หากหนึ่งในเงื่อนไขสามารถทำได้ด้วยทำไมคุณถึงคิดว่ามันรวมอยู่ในสถานที่แรก? หากเงื่อนไขข้อใดข้อหนึ่งไม่สามารถกระทำได้หมายความว่าตำราเรียนที่ไม่ได้ระบุว่าเป็นข้อผิดพลาดหรืออย่างน้อยคำจำกัดความที่ไม่สมบูรณ์หรือไม่ Zacks ทฤษฎีการอนุมานทางสถิติ (1971), p. 194 เมทริกซ์เป็นบวกที่ชัดเจนสำหรับทุกθ ∈ Θ I(θ)I(θ)\mathcal{I}\left(\theta\right)θ∈Θθ∈Θ\theta\in\Theta Schervish ทฤษฎีสถิติ (1997, corr. 2nd printing), นิยาม 2.78, p. 111 ชุดเป็นเหมือนกันสำหรับทุกθ C={x:f(x;θ)>0}C={x:f(x;θ)>0}C=\left\{x:f\left(x;\theta\right)>0\right\}θθ\theta Borovkov สถิติคณิตศาสตร์ (1998) พี 147 ที่มีอย่างต่อเนื่องอนุพันธ์ WRT θฉัน f(x;θ)f(x;θ)f\left(x;\theta\right)θiθi\theta_i Borovkov สถิติคณิตศาสตร์ (1998) พี 147 ต่อเนื่องและกลับด้านได้ I(θ)I(θ)\mathcal{I}\left(\theta\right) Gourieroux …

13 fisher-information 

พิจารณาตัวแปรสุ่ม Bernoulliพร้อมพารามิเตอร์ (ความน่าจะเป็นของความสำเร็จ) ฟังก์ชันโอกาสและข้อมูลฟิชเชอร์ ( เมทริกซ์คูณ ) คือ:X∈{0,1}X∈{0,1}X\in\{0,1\}θθ\theta1×11×11 \times 1 L1(θ;X)I1(θ)=p(X|θ)=θX(1−θ)1−X=detI1(θ)=1θ(1−θ)L1(θ;X)=p(X|θ)=θX(1−θ)1−XI1(θ)=detI1(θ)=1θ(1−θ) \begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align} ตอนนี้พิจารณาเป็น "มากกว่าแปร" รุ่นที่มีสองพารามิเตอร์: ความน่าจะเป็นของความสำเร็จθ1θ1\theta_1และความน่าจะเป็นของความล้มเหลว\θ0θ0\theta_0(โปรดทราบว่าθ1+θ0=1θ1+θ0=1\theta_1+\theta_0=1และข้อ จำกัด นี้บอกเป็นนัยว่าหนึ่งในพารามิเตอร์นั้นซ้ำซ้อน) ในกรณีนี้ฟังก์ชันโอกาสและเมทริกซ์ข้อมูลฟิชเชอร์ (FIM) คือ: L2(θ1,θ0;X)I2(θ1,θ0)detI2(θ)=p(X|θ1,θ0)=θX1θ1−X0=(1θ1001θ0)=1θ1θ0=1θ1(1−θ1)L2(θ1,θ0;X)=p(X|θ1,θ0)=θ1Xθ01−XI2(θ1,θ0)=(1θ1001θ0)detI2(θ)=1θ1θ0=1θ1(1−θ1) \begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ …

10 bernoulli-distribution  parameterization  fisher-information  determinant 

ตัวอย่าง: ฉันมีประโยคในรายละเอียดงาน: "วิศวกรอาวุโสของ Java ในสหราชอาณาจักร" ฉันต้องการที่จะใช้รูปแบบการเรียนรู้ที่ลึกที่จะคาดการณ์ว่ามันเป็น 2 ประเภทและEnglish IT jobsถ้าฉันใช้รูปแบบการจำแนกแบบดั้งเดิมมันสามารถทำนายได้เพียง 1 ฉลากที่มีsoftmaxฟังก์ชั่นที่ชั้นสุดท้าย ดังนั้นฉันสามารถใช้โครงข่ายประสาทเทียม 2 แบบในการทำนาย "ใช่" / "ไม่" กับทั้งสองหมวดหมู่ แต่ถ้าเรามีหมวดหมู่มากขึ้นมันก็แพงเกินไป ดังนั้นเราจึงมีรูปแบบการเรียนรู้หรือการเรียนรู้ด้วยเครื่องเพื่อคาดการณ์ 2 หมวดหมู่ขึ้นไปพร้อมกันหรือไม่ "แก้ไข": ด้วย 3 ป้ายกำกับโดยวิธีดั้งเดิมมันจะถูกเข้ารหัสโดย [1,0,0] แต่ในกรณีของฉันมันจะถูกเข้ารหัสโดย [1,1,0] หรือ [1,1,1] ตัวอย่าง: หากเรามี 3 ป้ายกำกับและประโยคอาจเหมาะกับป้ายกำกับเหล่านี้ทั้งหมด ดังนั้นถ้าผลลัพธ์จากฟังก์ชัน softmax คือ [0.45, 0.35, 0.2] เราควรแบ่งมันออกเป็น 3 label หรือ 2 label หรืออาจเป็นหนึ่ง? ปัญหาหลักเมื่อเราทำคือ: …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

จาก "ในทุกโอกาส: การสร้างแบบจำลองทางสถิติและการอนุมานโดยใช้โอกาส" โดย Y. Pawitan ความน่าจะเป็นของการกำหนดพารามิเตอร์ใหม่ถูกกำหนดเป็น ดังนั้นถ้าgเป็นแบบหนึ่งต่อหนึ่งดังนั้นL ^ * (\ psi) = L (g ^ {- 1} (\ psi)) (หน้า 45) ฉันพยายามแสดงแบบฝึกหัด 2.20 ซึ่งระบุว่าถ้า\ thetaเป็นสเกลาร์ (และฉันคิดว่าgควรเป็นฟังก์ชันสเกลาร์เช่นกัน) จากนั้น ฉัน ^ * (g (\ hat {\ theta})) = I ( \ hat {\ theta}) \ left | \ frac {\ partial …

9 mathematical-statistics  inference  likelihood  fisher-information