ตัวกำหนดข้อมูลเมทริกซ์ฟิชเชอร์สำหรับแบบจำลองที่มีพารามิเตอร์มากเกินไป

พิจารณาตัวแปรสุ่ม Bernoulliพร้อมพารามิเตอร์ (ความน่าจะเป็นของความสำเร็จ) ฟังก์ชันโอกาสและข้อมูลฟิชเชอร์ ( เมทริกซ์คูณ ) คือ: $X\in\{0,1\}$ $\theta$ $1 \times 1$

\begin{aligned} L_{1} (θ; X) & = p (X | θ) = θ^{X} (1 - θ)^{1 - X} \\ I_{1} (θ) & = det I_{1} (θ) = \frac{1}{θ (1 - θ)} \end{aligned}

$\begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align}$

ตอนนี้พิจารณาเป็น "มากกว่าแปร" รุ่นที่มีสองพารามิเตอร์: ความน่าจะเป็นของความสำเร็จ $\theta_1$ และความน่าจะเป็นของความล้มเหลว\ $\theta_0$ (โปรดทราบว่า $\theta_1+\theta_0=1$ และข้อ จำกัด นี้บอกเป็นนัยว่าหนึ่งในพารามิเตอร์นั้นซ้ำซ้อน) ในกรณีนี้ฟังก์ชันโอกาสและเมทริกซ์ข้อมูลฟิชเชอร์ (FIM) คือ:

\begin{aligned} L_{2} (θ_{1}, θ_{0}; X) & = p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X} \\ I_{2} (θ_{1}, θ_{0}) & = (\begin{matrix} \frac{1}{θ_{1}} & 0 \\ 0 & \frac{1}{θ_{0}} \end{matrix}) \\ det I_{2} (θ) & = \frac{1}{θ_{1} θ_{0}} = \frac{1}{θ_{1} (1 - θ_{1})} \end{aligned}

$\begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ 0 & \frac{1}{\theta_0} \end{matrix} \right) \\ \det \mathcal{I}_2(\theta) &= \frac{1}{\theta_1 \theta_0} = \frac{1}{\theta_1 (1-\theta_1)} \end{align}$

ขอให้สังเกตว่าดีเทอร์มิแนนต์ของ FIM ทั้งสองนี้เหมือนกัน นอกจากนี้คุณสมบัตินี้ขยายไปถึงกรณีทั่วไปมากขึ้นของตัวแบบเด็ดขาด (เช่นมากกว่าสองสถานะ) นอกจากนี้ยังปรากฏขึ้นเพื่อขยายไปยังโมเดลเชิงเส้นล็อกด้วยชุดย่อยของพารามิเตอร์ต่างๆที่ จำกัด ให้เป็นศูนย์ ในกรณีนี้พารามิเตอร์พิเศษ "ซ้ำซ้อน" สอดคล้องกับฟังก์ชั่นบันทึกพาร์ทิชันและความเท่าเทียมกันของสองปัจจัย FIM ที่สามารถแสดงตามSchur ส่วนประกอบของ FIM ที่มีขนาดใหญ่ (ที่จริงแล้วสำหรับโมเดลบันทึกเชิงเส้น FIM ที่เล็กกว่านั้นเป็นเพียงส่วนเสริมของ Schur ของ FIM ที่ใหญ่กว่า)

บางคนสามารถอธิบายได้หรือไม่ว่าคุณสมบัตินี้ขยายไปถึงโมเดลพาราเมตริกที่มีขนาดใหญ่ขึ้น (เช่นกับตระกูลเอ็กซ์โปเนนเชียลทุกตระกูล) ช่วยให้มีตัวเลือกในการหาดีเทอร์มิแนนต์ FIM คือสมมติว่าตัวแบบทางสถิติใด ๆ ที่กำหนดด้วยพารามิเตอร์ซึ่งอยู่บน -dimensional manifold ที่ฝังอยู่ในพื้นที่ -dimensional ตอนนี้ถ้าเราขยายชุดของพารามิเตอร์เพื่อรวมอีกหนึ่งมิติ (ซึ่งถูก จำกัด โดยสิ้นเชิงตามที่คนอื่น ๆ ) และคำนวณ FIM ตามพารามิเตอร์เหล่านั้นเราจะได้รับดีเทอร์มิแนนต์เดิมตามเดิมพารามิเตอร์ (อิสระ)? นอกจากนี้ FIM ทั้งสองนี้เกี่ยวข้องกันอย่างไร $n$ $n$ $(n+1)$ $(n+1)$ $n$

เหตุผลที่ฉันถามคำถามนี้ก็คือ FIM พร้อมพารามิเตอร์พิเศษมักจะดูง่ายกว่า ความคิดแรกของฉันคือสิ่งนี้ไม่ควรทำงานโดยทั่วไป FIM เกี่ยวข้องกับการคำนวณอนุพันธ์บางส่วนของความน่าจะเป็นบันทึกซึ่งแต่ละพารามิเตอร์ อนุพันธ์บางส่วนเหล่านี้สันนิษฐานว่าในขณะที่พารามิเตอร์ในคำถามมีการเปลี่ยนแปลงพารามิเตอร์อื่น ๆ ทั้งหมดจะคงที่ซึ่งไม่เป็นความจริงเมื่อเราเกี่ยวข้องกับพารามิเตอร์พิเศษ (จำกัด ) ในกรณีนี้ดูเหมือนว่าอนุพันธ์บางส่วนจะไม่สามารถใช้งานได้อีกต่อไปเพราะเราไม่สามารถสันนิษฐานได้ว่าตัวแปรอื่น ๆ นั้นมีค่าคงที่ อย่างไรก็ตามฉันยังไม่พบหลักฐานว่านี่เป็นปัญหาจริง (หากตราสารอนุพันธ์บางส่วนมีปัญหาในกรณีที่มีพารามิเตอร์ที่ต้องพึ่งพาเป็นอนุพันธ์ทั้งหมด $(n+1) \times (n+1)$ จำเป็นต้องใช้แทนไหม ฉันยังไม่เห็นตัวอย่างของการคำนวณ FIM ด้วยอนุพันธ์ทั้งหมด แต่อาจเป็นวิธีแก้ปัญหา ... )

ตัวอย่างเดียวที่ฉันสามารถหาทางออนไลน์ซึ่งคำนวณ FIM ตามชุดพารามิเตอร์ "แบบขยาย" ดังต่อไปนี้: หมายเหตุเหล่านี้มีตัวอย่างสำหรับการแจกแจงแบบแบ่งหมวดหมู่คำนวณอนุพันธ์ย่อยบางส่วนที่ต้องการตามปกติ (เช่นราวกับว่าแต่ละพารามิเตอร์เป็นอิสระ แม้ว่าจะมีข้อ จำกัด อยู่ท่ามกลางพารามิเตอร์)

— Tyler Streeter
แหล่งที่มา

คำถามที่ดี! ฉันคิดว่าสเปคสองพารามิเตอร์ของตัวแปรสุ่มของ Bernoulli เป็นตัวอย่างที่ค่อนข้างโชคร้ายเพราะไม่มีข้อ จำกัดไม่มีความหนาแน่นอีกต่อไป คุณสามารถจำลองการสังเกตของคุณสำหรับตระกูลเอ็กซ์โพเนนเชียลแบบโค้งได้หรือไม่?

p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X}

$p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X}$

— Khashaa

@Khashaa ฉันสมมติว่าข้อ จำกัดใช้กับกรณีสองพารามิเตอร์ (อันที่คุณพูดถึง) ดังนั้นฟังก์ชันโอกาสจะยังคงมีความหนาแน่นที่ถูกต้อง นอกจากนี้ใช่ฉันสามารถสร้างข้อสังเกตนี้อีกครั้งเช่นสำหรับโมเดลเชิงเส้นล็อกด้วยชุดย่อยของพารามิเตอร์ต่างๆที่ จำกัด ให้เป็นศูนย์ ในกรณีนี้พารามิเตอร์ "ซ้ำซ้อน" สอดคล้องกับฟังก์ชั่นบันทึกพาร์ทิชัน

θ_{1} + θ_{2} = 1

$\theta_1 + \theta_2 = 1$

— Tyler Streeter

แล้วล่ะ?

N (μ, μ^{2})

$N(\mu, \mu^2)$

— Khashaa

คำตอบ:

สำหรับเมทริกซ์ข้อมูลคือ สำหรับการโค้งปกติดังนั้นการสังเกตของคุณว่าปัจจัยที่เท่ากันนั้นไม่ใช่สากล แต่นั่นไม่ใช่ทั้งหมด $X\sim N(\mu,\sigma^2)$

I_{1} = (\begin{matrix} \frac{1}{σ^{2}} & 0 \\ 0 & \frac{1}{2 σ^{4}} \end{matrix})

$\mathcal{I}_1 = \left( \begin{matrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{matrix} \right)$

X \sim N (μ, μ^{2})

$X\sim N(\mu,\mu^2)$

I_{2} = \frac{3}{μ^{2}} .

$\mathcal{I}_2=\frac{3}{\mu^2}.$

โดยทั่วไปถ้าเป็นเมทริกซ์ข้อมูลภายใต้ reparametrizationดังนั้นจึงไม่ยากที่จะเห็นว่า เมทริกซ์ข้อมูลสำหรับพารามิเตอร์เดิมคือที่คือจาโคเบียนของการเปลี่ยนแปลงtheta) $\mathcal{I}_g$

g (θ) = (g_{1} (θ), . . ., g_{k} (θ))^{'},

$g(\theta)=(g_1(\theta),...,g_k(\theta))',$

I (θ) = G^{'} I_{g} (g (θ)) G

$I(\theta)=G'I_g(g(\theta))G$

G

$G$

g = g (θ)

$g=g(\theta)$

สำหรับ Bernoulli ตัวอย่างเช่นและP) ดังนั้น Jacobian คือและ $(\theta_0,\theta_1)=(p,1-p)$ $g(p)=(p,1-p)$ $(1,-1)'$

I (p) = (\begin{matrix} 1 & - 1 \end{matrix}) (\begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1 - p} \end{matrix}) (\begin{matrix} 1 \\ - 1 \end{matrix}) = \frac{1}{p (1 - p)}

$\mathcal{I}(p) = \left( \begin{matrix} 1& -1 \end{matrix} \right)\left( \begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1-p} \end{matrix} \right) \left( \begin{matrix} 1 \\ -1 \end{matrix} \right)=\frac{1}{p(1-p)}$

สำหรับตัวอย่างของโค้งปกติ

I_{2} = (\begin{matrix} 1 & 2 μ \end{matrix}) (\begin{matrix} \frac{1}{μ^{2}} & 0 \\ 0 & \frac{1}{2 μ^{4}} \end{matrix}) (\begin{matrix} 1 \\ 2 μ \end{matrix}) = \frac{3}{μ^{2}} .

$\mathcal{I}_2 = \left( \begin{matrix} 1& 2\mu \end{matrix} \right)\left( \begin{matrix} \frac{1}{\mu^2} & 0 \\ 0 & \frac{1}{2\mu^4} \end{matrix} \right) \left( \begin{matrix} 1 \\ 2\mu \end{matrix} \right)=\frac{3}{\mu^2}.$

ฉันคิดว่าตอนนี้คุณสามารถเชื่อมโยงปัจจัยได้อย่างง่ายดาย

ติดตามความคิดเห็น

ถ้าฉันเข้าใจคุณอย่างถูกต้อง FIM นั้นใช้ได้ตราบใดที่คุณขยายพารามิเตอร์ด้วยวิธีที่มีความหมายความน่าจะเป็นที่จะเกิดจากการ parametrization ใหม่ควรเป็นความหนาแน่นที่ถูกต้อง ดังนั้นฉันจึงเรียกตัวอย่าง Bernoulli เป็นคนที่โชคร้าย

ฉันคิดว่าลิงก์ที่คุณให้มีข้อบกพร่องร้ายแรงในการได้รับ FIM สำหรับตัวแปรเด็ดขาดเนื่องจากเรามีและ0 ความคาดหวังของลบ Hessian ให้แต่ไม่ใช่เพราะความแปรปรวนร่วมของคะแนนเวกเตอร์ หากคุณละเลยข้อ จำกัด ความเท่าเทียมกันของเมทริกซ์ข้อมูลจะไม่ถือ $E(x_i^2)=\theta_i(1-\theta_i)\neq \theta_i$ $E(x_ix_j)=\theta_i\theta_j\neq 0$ $\mathrm{diag}\{1/\theta_i\}$

— Khashaa
แหล่งที่มา

ขอบคุณที่กล่าวถึงแนวทางการเปลี่ยนแปลงของยาโคเบียนและเป็นตัวอย่างที่ชัดเจนและชัดเจน คุณสามารถ (หรือคนอื่น ๆ ) แสดงความคิดเห็นในประเด็นต่อไปนี้ซึ่งยังคงเกี่ยวข้องกับฉัน: เมื่อขยายชุดพารามิเตอร์ตามมิติเดียวอย่างที่เราทำที่นี่เราแนะนำข้อ จำกัด ระหว่างพารามิเตอร์ต่างๆเช่นอนุพันธ์ย่อยบางส่วน (ตามที่กำหนดโดย FIM) ควรจะไม่ถูกต้องเพราะตอนนี้เมื่อเราเปลี่ยนแปลงพารามิเตอร์หนึ่งพารามิเตอร์อื่น ๆ จะไม่คงที่อีกต่อไป FIM นั้นใช้ได้กับชุดพารามิเตอร์เพิ่มเติมเนื่องจากอนุพันธ์ย่อยบางส่วนไม่ถูกต้องเนื่องจากข้อ จำกัด พิเศษหรือไม่

— Tyler Streeter

@TylerStreeter ฉันได้อัปเดตคำตอบเพื่อแก้ไขปัญหาของคุณแล้ว

— Khashaa

ปรากฏว่าผลลัพธ์มีความสัมพันธ์เฉพาะระหว่างพารามิเตอร์

โดยไม่อ้างสิทธิ์ทั่วไปเต็มรูปแบบสำหรับผลลัพธ์ด้านล่างฉันยึดติดกับกรณี "หนึ่งถึงสองพารามิเตอร์" แสดงว่าสมการทางที่แสดงถึงความสัมพันธ์ที่ต้องเก็บระหว่างพารามิเตอร์ทั้งสอง จากนั้นบันทึกความน่าจะเป็น "ถูกต้องเพิ่มเติม", "สองพารามิเตอร์" (ไม่ใช่สิ่งที่ OP คำนวณ - เราจะไปถึงที่นั่น) $g(\theta_0,\theta_1) =0$

L^{e} = L^{*} (θ_{0}, θ_{1}) + λ g (θ_{0}, θ_{1})

$L^e=L^*(\theta_0,\theta_1) +\lambda g(\theta_0,\theta_1)$ เทียบเท่ากับโอกาสที่แท้จริงเนื่องจาก , (เป็น ตัวทวีคูณ) และเราสามารถถือว่าพารามิเตอร์ทั้งสองเป็นอิสระในขณะที่เราแยกความแตกต่าง

L

$L$

g (θ_{0}, θ_{1}) = 0

$g(\theta_0,\theta_1)=0$

λ

$\lambda$

การใช้ตัวห้อยเพื่อแสดงอนุพันธ์ที่เกี่ยวกับพารามิเตอร์ (ตัวย่อตัวแรกตัวต่อเนื่องตัวที่สองตัวที่สองตัวดัดแปลง) ตัวกำหนดของ Hessian ของความน่าจะเป็นบันทึกการขยายที่ถูกต้อง

\begin{matrix} (1) & D_{H} (L^{e}) = [L_{00}^{*} + λ g_{00}] [L_{11}^{*} + λ g_{11}] - [L_{01}^{*} + λ g_{01}]^{2} = D_{H} (L) \end{matrix}

$D_H(L^e) = [L^*_{00}+\lambda g_{00}][L^*_{11}+\lambda g_{11}] - [L^*_{01}+\lambda g_{01}]^2 = D_H(L) \tag{1}$

OP กำลังทำอะไรแทน

เขาคิดผิดน่าจะเป็น "ไม่สนใจ" ความสัมพันธ์ระหว่างทั้งสองพารามิเตอร์และไม่คำนึงถึงข้อ จำกัดtheta_1) จากนั้นเขาก็ดำเนินการกับความแตกต่างและได้รับ $L^*(\theta_0,\theta_1)$ $g(\theta_0,\theta_1)$

\begin{matrix} (2) & D_{H} (L^{*}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} \end{matrix}

$D_H(L^*) = L^*_{00}L^*_{11} - [L^*_{01}]^2 \tag{2}$

จะเห็นว่าไม่ได้อยู่ในทั่วไปเท่ากับ(1) $(2)$ $(1)$

แต่ถ้า ดังนั้น $g_{00}=g_{11}=g_{00}=0$

(1) \to D_{H} (L^{e}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} = D_{H} (L^{*}) = D_{H} (L)

$(1) \rightarrow D_H(L^e) = L^*_{00}L^*_{11} - [L^*_{01}]^2 = D_H(L^*) = D_H(L)$

ดังนั้นหากความสัมพันธ์ระหว่างพารามิเตอร์ที่แท้จริงและพารามิเตอร์ที่ซ้ำซ้อนเป็นเช่นนั้นอนุพันธ์อันดับสองของฟังก์ชันโดยปริยายที่เชื่อมโยงพวกเขาเป็นศูนย์ทั้งหมดดังนั้นแนวทางที่ผิดขั้นพื้นฐานจะกลายเป็น "ถูกต้อง"

สำหรับกรณีของ Bernoulli เรามีแน่นอน

g (θ_{0}, θ_{1}) = θ_{0} + θ_{1} - 1 \Rightarrow g_{00} = g_{11} = g_{01} = 0

$g(\theta_0,\theta_1) = \theta_0 + \theta_1 -1 \Rightarrow g_{00}=g_{11}=g_{01}=0$

ADDENDUM
เพื่อตอบคำถาม @Khashaa และแสดงกลไกที่นี่เราพิจารณาถึงความน่าจะเป็นที่ระบุด้วยพารามิเตอร์ที่ซ้ำซ้อน แต่ยังอยู่ภายใต้ข้อ จำกัด ที่เชื่อมโยงพารามิเตอร์ที่ซ้ำซ้อนกับความจริง สิ่งที่เราทำกับความน่าจะเป็นบันทึกคือเพิ่มพวกมันให้มากที่สุด - ที่นี่เรามีกรณีของการทำให้เกิดข้อ จำกัด สูงสุด สมมติตัวอย่างขนาด : $n$

max L_{n}^{*} (θ_{0}, θ_{1}) = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1}, s . t . θ_{1} = 1 - θ_{0}

$\max L_n^*(\theta_0, \theta_1) = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1,\;\; s.t. \;\; \theta_1 = 1-\theta_0$

ปัญหานี้มีภาษา Langrangean (สิ่งที่ฉันเรียกอย่างไม่เป็นทางการว่า "โอกาสขยายที่ถูกต้อง" ด้านบน)

L^{e} = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1} + λ (θ_{1} - 1 + θ_{0})

$L^e = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1 + \lambda(\theta_1 - 1+\theta_0)$

เงื่อนไขการสั่งซื้อครั้งแรกสำหรับจำนวนสูงสุดคือ

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} + λ = 0, \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} + λ_{0} = 0

$\frac {\sum_{i=1}^nx_i}{\theta_0} + \lambda = 0,\;\;\; \frac {n-\sum_{i=1}^nx_i}{\theta_1} +\lambda_0 =0$

ซึ่งเราได้รับความสัมพันธ์

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} = \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} \Rightarrow θ_{1} \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$\frac {\sum_{i=1}^nx_i}{\theta_0} = \frac {n-\sum_{i=1}^nx_i}{\theta_1} \Rightarrow \theta_1\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

การใช้ข้อ จำกัด ที่ถูกต้องข้างต้นเราได้รับ $\theta_1 = 1-\theta_0$

(1 - θ_{0}) \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$(1-\theta_0)\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

\Rightarrow \sum_{i = 1}^{n} x_{i} = n θ_{0} \Rightarrow {\hat{θ}}_{0} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\Rightarrow \sum_{i=1}^nx_i = n\theta_0 \Rightarrow \hat \theta_0 = \frac 1n\sum_{i=1}^nx_i$

อย่างที่เราควร

ยิ่งกว่านั้นเนื่องจากข้อ จำกัด นั้นเป็นแบบเส้นตรงในพารามิเตอร์ทั้งหมดอนุพันธ์อันดับสองของมันจะเป็นศูนย์ สิ่งนี้สะท้อนให้เห็นในความจริงที่ว่าในอนุพันธ์อันดับหนึ่งของลากรองจ์ตัวคูณ "ยืนอยู่คนเดียว" และมันจะถูกกำจัดเมื่อเราจะใช้อนุพันธ์อันดับสองของลากรองจ์ ซึ่งในทางกลับกันจะนำเราไปสู่ Hessian ซึ่งปัจจัยจะเท่ากับอนุพันธ์อันดับสอง (หนึ่งมิติ) ของบันทึกความน่าจะเป็นหนึ่งพารามิเตอร์ดั้งเดิมหลังจากการจัดเก็บภาษียัง จำกัด (ซึ่งเป็นสิ่งที่ OP ทำ) จากนั้นนำค่าลบของค่าที่คาดหวังในทั้งสองกรณีไม่เปลี่ยนความเท่าเทียมกันทางคณิตศาสตร์นี้และเรามาถึงความสัมพันธ์ "ข้อมูลหนึ่งมิติของชาวประมง = ปัจจัยของสองมิติข้อมูลชาวประมง" ตอนนี้ $\lambda$ เนื่องจากข้อ จำกัด นั้นเป็นแบบเส้นตรงในพารามิเตอร์ทั้งหมด OP ได้ผลลัพธ์เดียวกัน (ที่ระดับอนุพันธ์อันดับสอง) โดยไม่ต้องแนะนำข้อ จำกัด ที่มีตัวคูณในฟังก์ชันที่จะขยายให้ใหญ่สุดเพราะในระดับอนุพันธ์อันดับสองสถานะ / ผลกระทบของ ข้อ จำกัด จะหายไปในกรณีเช่นนี้

สิ่งเหล่านี้เกี่ยวข้องกับแคลคูลัสไม่ใช่แนวคิดเชิงสถิติ

— Alecos Papadopoulos
แหล่งที่มา

ฉันดูเหมือนจะไม่ทำตามตรรกะของคุณ คุณช่วยอธิบายได้ไหมว่าเหตุใด Languเหมือนลากรองจ์ถือว่าเป็น "ความถูกต้องที่ขยายเพิ่ม", "สองพารามิเตอร์" บันทึก? นอกจากนี้ Hessian ยังเป็นปริศนาสำหรับฉันอย่างสมบูรณ์ คุณกำลังคำนวณเมทริกซ์ข้อมูลที่สังเกตได้หรือไม่?

L^{e}

$L^e$

— Khashaa

@Khashaa มีการสร้างคำศัพท์ที่ "Hessian" เป็นเมทริกซ์ของอนุพันธ์อันดับสองของฟังก์ชันหลายตัวแปร

— Alecos Papadopoulos

มันจะมีประโยชน์ถ้า downvoters ที่นี่โพสต์คำตอบ - เนื่องจากมีตัวอย่างเฉพาะของ OP อยู่ - และต้องการคำอธิบาย

— Alecos Papadopoulos

ขออภัยถ้าคำถามของฉันไม่ชัดเจน คำถามของฉันเกี่ยวกับวิธีที่คุณเชื่อมโยง Hessian เข้ากับเมทริกซ์ข้อมูลเนื่องจากฉันไม่เห็นความคาดหวังใด ๆ เกิดขึ้นกับมันและผลลัพธ์ดูเหมือนเมทริกซ์ข้อมูลที่สังเกตได้ นอกจากนี้คุณสามารถอธิบายได้หรือไม่ว่าเหตุใดจึงถูกต้อง ฉันเดาว่าคุณกำลังใช้วิธีการบางอย่างในการประเมินความเป็นไปได้ที่ถูก จำกัด แต่ฉันไม่เข้าใจว่ามันทำงานอย่างไร

L^{e}

$L^e$

— Khashaa

@Khashaa ฉันเพิ่มการแสดงออกโดยใช้ตัวอย่างของ OP

— Alecos Papadopoulos