โอกาสสูงสุดที่ จำกัด ที่มีน้อยกว่าอันดับเต็มของคอลัมน์

คำถามนี้เกี่ยวกับการประมาณค่าความน่าจะเป็นสูงสุด (REML) ที่ จำกัด ในรุ่นเฉพาะของตัวแบบเชิงเส้นกล่าวคือ:

Y = X (α) β + ϵ, ϵ \sim N_{n} (0, Σ (α)),

$Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)),$

ที่ $X(\alpha)$ เป็น ( $n \times p$ ) เมทริกซ์ parametrized โดย $\alpha \in \mathbb R^k$ ที่เป็น $\Sigma(\alpha)$ ) $\beta$ เป็นเวกเตอร์ที่ไม่รู้จักพารามิเตอร์รำคาญ; ที่น่าสนใจคือในการประมาณ $\alpha$ และเรามี $k\leq p\ll n$ nการประมาณแบบจำลองโดยโอกาสสูงสุดไม่มีปัญหา แต่ฉันต้องการใช้ REML มันเป็นที่รู้จักกันดีให้ดูเช่นLaMotteว่าโอกาส $A'Y$ โดยที่ $A$ คือเมทริกซ์กึ่งมุมฉากใด ๆ เช่นนั้นสามารถเขียนได้ $A'X=0$

L_{REML} (α ∣ Y) \propto | X^{'} X |^{1 / 2} | Σ |^{- 1 / 2} | X^{'} Σ^{- 1} X |^{- 1 / 2} \exp {- \frac{1}{2} r^{'} Σ^{- 1} r}, r = (I - X (X^{'} Σ^{- 1} X)^{+} X^{'} Σ^{- 1}) Y,

$L_{\text{REML}}(\alpha\mid Y) \propto\vert X'X\vert^{1/2} \vert \Sigma\vert^{-1/2}\vert X'\Sigma^{-1}X\vert^{-1/2}\exp\left\{-\frac{1}{2} r'\Sigma^{-1}r \right\}, \\ r = (I - X(X'\Sigma^{-1}X)^+X'\Sigma^{-1})Y,$

เมื่อ $X$ คือยศคอลัมน์เต็ม

ปัญหาของฉันเป็นที่สำหรับบางคนที่ดีที่สุดที่เหมาะสมและน่าสนใจทางวิทยาศาสตร์เมทริกซ์ไม่ได้ของการจัดอันดับคอลัมน์เต็ม ผลสืบเนื่องทั้งหมดที่ฉันได้เห็นถึงความน่าจะเป็นที่ถูก จำกัด ข้างต้นใช้ประโยชน์จากความเท่ากันที่กำหนดซึ่งไม่สามารถใช้ได้เมื่อคือพวกเขาถือว่ายศคอลัมน์เต็มรูปแบบของXซึ่งหมายความว่าโอกาสที่ จำกัด ข้างต้นนั้นถูกต้องเฉพาะสำหรับการตั้งค่าของฉันในส่วนของพื้นที่พารามิเตอร์เท่านั้นดังนั้นจึงไม่ใช่สิ่งที่ฉันต้องการเพิ่มประสิทธิภาพ $\alpha$ $X(\alpha)$ $\vert X'X\vert=0$ $X$

คำถาม:มีความเป็นไปได้ที่ถูก จำกัด โดยทั่วไปมากขึ้นในวรรณคดีทางสถิติหรือที่อื่น ๆ โดยไม่มีการสันนิษฐานว่าเป็นอันดับคอลัมน์เต็มหรือไม่ ถ้าเป็นเช่นนั้นพวกเขามีลักษณะอย่างไร $X$

ข้อสังเกตบางอย่าง:

การได้รับส่วนเอ็กซ์โปเนนเชียลนั้นไม่มีปัญหาสำหรับใด ๆและมันอาจถูกเขียนในรูปของการผกผันของ Moore-Penrose ดังกล่าวข้างต้น $X(\alpha)$
คอลัมน์เป็นพื้นฐาน orthonormal (ใด ๆ ) สำหรับ $A$ $C(X)^\bot$
สำหรับรู้จักกันความน่าจะเป็นสำหรับสามารถเขียนได้ง่ายสำหรับทุกแต่แน่นอนว่าจำนวนของเวกเตอร์พื้นฐานเช่นคอลัมน์ในขึ้นอยู่กับอันดับของคอลัมน์ $A$ $A'Y$ $\alpha$ $A$ $X$

หากใครที่สนใจในคำถามนี้เชื่อว่าการกำหนดพารามิเตอร์ที่แน่นอนของจะช่วยได้โปรดแจ้งให้เราทราบและฉันจะเขียนลงไป ถึงตอนนี้ฉันสนใจ REML สำหรับทั่วไปในมิติที่ถูกต้อง $X,\Sigma$ $X$

คำอธิบายโดยละเอียดเพิ่มเติมของรุ่นนี้มีดังนี้ ปล่อยให้เป็น -dimensional ลำดับแรก Vector Vector Autoregression [VAR (1)] โดยที่ . สมมติว่ากระบวนการจะเริ่มต้นในบางค่าคงที่ในเวลา 0 $y_t = \mu + Ay_{t - 1} + v_t, t = 1, \dots, T$ $r$ $v_t \overset{iid}{\sim}N(0, \Omega)$ $y_0$ $t = 0$

กำหนด 'ตัวแบบอาจถูกเขียนในรูปแบบโมเดลเชิงเส้นโดยใช้คำจำกัดความและสัญลักษณ์ต่อไปนี้: $Y = [y_1', \dots, y_T']'$ $Y = X\beta + \varepsilon$

\begin{aligned} X & = [1_{T} \otimes I_{r}, C^{- 1} B] \\ β & = [μ^{'}, y_{0}^{'} - μ^{'}]^{'} \\ v a r (ε)^{- 1} & = C^{'} (I_{T} \otimes Ω^{- 1}) C \\ C & = [\begin{matrix} I_{r} & 0 & 0 & \dots \\ - A & I_{r} & 0 & \dots \\ 0 & - A & I_{r} & \dots \\ ⋮ & ⋮ & ⋮ & ⋱ \end{matrix}] \\ B & = e_{1, T} \otimes A, \end{aligned}

$\begin{align} X &= [1_T \otimes I_r, C^{-1}B] \\ \beta &= [\mu', y_0' - \mu']' \\ \mathrm{var}(\varepsilon)^{-1} &= C'(I_T \otimes \Omega^{-1})C \\ C &= \begin{bmatrix} I_r & 0 & 0 & \cdots \\ -A & I_r & 0 & \cdots \\ 0 & -A & I_r & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{bmatrix} \\ B &= e_{1, T} \otimes A, \end{align}$

ที่หมายถึงเวกเตอร์มิติของคนและแรกเวกเตอร์พื้นฐานมาตรฐานของ T $1_T$ $T-$ $e_{1,T}$ $\mathbb R^T$

แสดงว่า )ขอให้สังเกตว่าถ้าไม่เต็มอันดับไม่ใช่อันดับคอลัมน์เต็ม ซึ่งรวมถึงตัวอย่างเช่นกรณีที่หนึ่งในองค์ประกอบของไม่ได้ขึ้นอยู่กับอดีต $\alpha = \mathrm{vec}(A)$ $A$ $X(\alpha)$ $y_t$

แนวคิดของการประมาณค่า VARs โดยใช้ REML นั้นเป็นที่รู้จักกันดีเช่นในวรรณคดีการถดถอยเชิงทำนาย (ดูตัวอย่างเช่นPhillips and Chenและการอ้างอิงในนั้น)

มันอาจจะคุ้มค่าที่จะชี้แจงว่าเมทริกซ์ไม่ใช่เมทริกซ์การออกแบบตามความรู้สึกปกติมันเพิ่งหลุดออกจากโมเดลและถ้าไม่มีความรู้เบื้องต้นเกี่ยวกับมีเท่าที่ฉันสามารถบอกได้ว่าไม่มีวิธีแก้ไขพารามิเตอร์ มันจะเต็มอันดับ $X$ $A$

ฉันได้โพสต์คำถามเกี่ยวกับmath.stackexchangeที่เกี่ยวข้องกับเรื่องนี้ในแง่ที่ว่าคำตอบของคำถามทางคณิตศาสตร์อาจช่วยในการหาโอกาสที่จะตอบคำถามนี้

— Ekvall
แหล่งที่มา

บางทีวิธีหนึ่งในการตอบคำถามคือถามว่าจะเกิดอะไรขึ้นในโมเดลเชิงเส้นผสมเมื่อเมทริกซ์โมเดลไม่ได้อยู่ในอันดับเต็มของคอลัมน์

— Greenparker

ขอบคุณสำหรับรางวัล @Greenparker และใช่ถ้าความน่าจะเป็นที่ถูก จำกัด นั้นสามารถเขียนลงในแบบจำลองเชิงเส้นแบบผสมโดยมีเมทริกซ์การออกแบบเอฟเฟกต์แบบคงที่น้อยกว่าคอลัมน์แบบเต็มนั่นจะช่วยได้

— ekvall

การได้รับส่วนเอ็กซ์โปเนนเชียลนั้นไม่มีปัญหาสำหรับ X (α) X (α) ใด ๆ และมันอาจถูกเขียนในรูปของการผกผันของ Moore-Penrose ดังกล่าวข้างต้น

ฉันสงสัยว่าการสังเกตนี้ถูกต้อง การผกผันทั่วไปวางข้อ จำกัด เชิงเส้นเพิ่มเติมลงในตัวประมาณของคุณ [Rao & Mitra] ดังนั้นเราควรพิจารณาความเป็นไปได้ร่วมกันโดยรวมแทนที่จะคาดเดา "การผกผันของ Moore-Penrose ดูเหมือนว่าจะถูกต้องอย่างเป็นทางการ แต่คุณอาจไม่เข้าใจรูปแบบผสมอย่างถูกต้อง

(1) วิธีคิดแบบจำลองผสมแบบผสมอย่างถูกต้องอย่างไร? $\blacksquare$

คุณต้องคิดแบบผสมเอฟเฟ็กต์ด้วยวิธีที่แตกต่างกันก่อนที่จะลองเสียบ g-inverse (หรือ Moore-Penrose inverse ซึ่งเป็นชนิดพิเศษของ g-inverse รีเฟล็กทีฟ [Rao & Mitra]) ลงในสูตรโดย RMLE (จำกัด ) เครื่องมือประมาณค่าความน่าจะเป็นสูงสุดด้านล่าง.)

X = (\begin{array}{cc} f i x e d e f f e c t \\ r a n d o m e f f e c t \end{array})

$\boldsymbol{X}=\left(\begin{array}{cc} fixed\quad effect\\ & random\quad effect \end{array}\right)$

วิธีคิดแบบผสมที่พบบ่อยคือส่วนผลกระทบแบบสุ่มในเมทริกซ์การออกแบบนั้นเกิดจากข้อผิดพลาดในการวัดซึ่งมีชื่ออีกชื่อหนึ่งของ นี่เป็นแรงจูงใจทางประวัติศาสตร์อีกประการหนึ่งของการศึกษาเมทริกซ์สุ่มในการตั้งค่าสถิติ

ปัญหาของฉันคือสำหรับบางเหตุผลที่สมเหตุสมผลและน่าสนใจทางวิทยาศาสตร์ααเมทริกซ์ X (α) X (α) ไม่ได้อยู่ในอันดับเต็มของคอลัมน์

เมื่อพิจารณาถึงความเป็นไปได้แบบนี้ความน่าจะเป็นที่ไม่ได้อยู่ในอันดับเต็มจะเป็นศูนย์ นี่เป็นเพราะฟังก์ชันดีเทอร์มิแนนต์เป็นแบบต่อเนื่องในรายการของเมทริกซ์และการแจกแจงปกติคือการแจกแจงแบบต่อเนื่องที่กำหนดความน่าจะเป็นศูนย์ให้กับจุดเดียว น่าจะเป็นของที่มีข้อบกพร่องอันดับเป็นบวก IFF คุณแปรมันในทางพยาธิวิทยาเช่น $X(\alpha)$ $X(\alpha)$ ) $\left(\begin{array}{ccc} \alpha & \alpha\\ \alpha & \alpha\\ & & random\quad effect \end{array}\right)$

ดังนั้นคำตอบสำหรับคำถามของคุณค่อนข้างตรงไปตรงมาคุณแค่รบกวนเมทริกซ์การออกแบบของคุณ (รบกวนส่วนที่มีผลคงที่เท่านั้น) และใช้เมทริกซ์ที่รบกวน (ซึ่งเป็นระดับเต็ม) เพื่อดำเนินการ derivations ทั้งหมด ถ้าแบบจำลองของคุณมีลำดับชั้นที่ซับซ้อนหรือตัวอยู่ใกล้เอกพจน์ฉันไม่เห็นว่ามีปัญหาร้ายแรงเมื่อคุณใช้ในผลลัพธ์สุดท้ายเนื่องจากฟังก์ชันดีเทอร์มิแนนต์นั้นต่อเนื่องและเราสามารถ จำกัด ขอบเขตภายในฟังก์ชันดีเทอร์มิแนนต์ $X_\epsilon(\alpha)=X(\alpha)+\epsilon\left(\begin{array}{cc} I & 0\\ 0 & 0 \end{array}\right)$ $X$ $\epsilon\rightarrow 0$ . และในรูปแบบการก่อกวนการผกผันของสามารถหาได้โดยทฤษฎีบท Sherman-Morrision-Woodbury และดีเทอร์มีแนนต์ของเมทริกซ์นั้นได้รับในหนังสือพีชคณิตเชิงเส้นมาตรฐานเช่น [Horn & Johnson] แน่นอนว่าเราสามารถเขียนดีเทอร์มิแนนต์ในแง่ของแต่ละรายการของเมทริกซ์ แต่การก่อกวนนั้นเป็นที่ต้องการ [Horn & Johnson] เสมอ $lim_{\epsilon\rightarrow 0}|X_\epsilon|=|lim_{\epsilon\rightarrow 0}X_\epsilon|$ $X_\epsilon$ $I+X$

(2) เราควรจัดการกับพารามิเตอร์ความรำคาญในแบบจำลองอย่างไร $\blacksquare$

As you see, to deal with the random effect part in the model, we should regard it as sort of "nuisance parameter". The problem is: Is RMLE the most appropriate way of eliminating a nuisance parameter? Even in GLM and mixed effect models, RMLE is far from the only choice. [Basu] pointed out that many other ways of eliminating parameters in setting of estimation. Today people tend to choose inbetween RMLE and Bayesian modeling because they correspond to two popular computer based solutions: EM and MCMC respectively.

In my opinion it is definitely more suitable to introduce a prior in the situation of defective rank in the fixed effect part. Or you can reparameterize your model in order to make it into a full rank one.

$\hat{\beta}=(X\Sigma^{-1} X')^{-1}\Sigma^{-1}y$ $\Sigma$ $X(\alpha)$

$\blacksquare$

The problem is not how you modify the RMLE to make it work in the case that fixed effect part of the matrix is not of full rank; the problem is that in that case your model itself may be problematic if non full-rank case has positive probability.

One relevant case I have encountered is that in the spatial case people may want to reduce the rank of fixed effect part due to computational consideration[Wikle].

I have not seen any "scientifically interesting" case in such situation, can you point out some literature where the non full-rank case is of major concern? I would like to know and discuss further, thanks.

$\blacksquare$ Reference

[Rao&Mitra]Rao, Calyampudi Radhakrishna, and Sujit Kumar Mitra. Generalized inverse of matrices and its applications. Vol. 7. New York: Wiley, 1971.

[Basu]Basu, Debabrata. "On the elimination of nuisance parameters." Journal of the American Statistical Association 72.358 (1977): 355-366.

[Horn&Johnson]Horn, Roger A., and Charles R. Johnson. Matrix analysis. Cambridge university press, 2012.

[Wikle]Wikle, Christopher K. "Low-rank representations for spatial processes." Handbook of Spatial Statistics (2010): 107-118.

— Henry.L
แหล่งที่มา

Thanks for your interest and very thought through answer, + 1 for effort. I will read it in more detail and come back with some clarifications. I think a first thing that I will have to clarify is that there are no random effects in this model, and the matrix

X

$X$ is not a design matrix at all, except perhaps by name fr lack of a better word; it's a highly non-linear function (deterministic) of the parameter

α

$\alpha$ which consists of (the vectorization of) the coefficient matrix in a vector autoregressive process, so the concept of probability of being low-rank is not meaningful.

— ekvall

@Student001 Yes, feel free to make any clarification since I also feel it more like a GLM instead of mixed model. I will try to answer again if I can:)

— Henry.L

@Student001 If you can, do write the whole model and I would like to study such case, possibly AR(1) in spatial setting I guess.

— Henry.L

"Given this way of thinking the likelihood, the probability that

X (α)

$X(\alpha)$ is not of full rank is zero." Right answer, wrong problem. The probability that it will be numerically not of full rank in finite precision is non-zero.

— Mark L. Stone

@MarkL.Stone I already provided perturbation as a solution if you read lines carefully, which is a standard solution to numerical singularity. And the OP said he will update the description, so I guess we will reach some consesus on the correctly formulated problem.

— Henry.L