ความไม่เท่าเทียมกันของ Oracle: ในแง่พื้นฐาน

ฉันกำลังอ่านกระดาษที่ใช้ความไม่เท่าเทียมกันของออราเคิลเพื่อพิสูจน์บางสิ่ง แต่ฉันไม่สามารถเข้าใจสิ่งที่มันกำลังพยายามทำอยู่ เมื่อฉันค้นหาทางออนไลน์เกี่ยวกับ 'Oracle Inequality' บางแหล่งก็นำฉันไปยังบทความ "Candes, Emmanuel J. 'การประมาณทางสถิติสมัยใหม่ผ่านทางอสมการ oracle' "ซึ่งสามารถพบได้ที่นี่https://statweb.stanford.edu/~candes/papers/NonlinearEstimation.pdf แต่หนังสือเล่มนี้ดูเหมือนจะหนักเกินไปสำหรับฉันและฉันเชื่อว่าฉันขาดข้อกำหนดเบื้องต้นบางอย่าง

คำถามของฉันคือ: คุณจะอธิบายได้อย่างไรว่าความไม่เท่าเทียมกันของ oracle สำหรับสาขาวิชาที่ไม่ใช่คณิตศาสตร์ (รวมถึงวิศวกร) ประการที่สองวิธีที่คุณแนะนำให้พวกเขาไปเกี่ยวกับข้อกำหนดเบื้องต้น / หัวข้อก่อนที่จะพยายามเรียนรู้บางสิ่งบางอย่างเช่นหนังสือดังกล่าวข้างต้น

ฉันขอแนะนำว่าคนที่มีความเข้าใจอย่างเป็นรูปธรรมและมีประสบการณ์ที่ดีในสถิติมิติสูงควรตอบคำถามนี้

$$Y_i=\sum_{j=1}^{p} \beta_jX_{i}^{(j)}+\epsilon_i, i=1,...,n.$$ $p \leq n$$b$ $$\hat{b}=(X^TX)^{-1}X^TY$$ $$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$$ $$\dfrac{ \mathbb{E} \| X(\hat{b}-\beta^0) \|_2^2}{n}=\dfrac{\sigma^2}{n}p.$$ $\beta_j^0$$\sigma^2/n, j=1,...,p.$$(\sigma^2/n)p.$

แล้วถ้าจำนวนการสังเกตน้อยกว่าจำนวนตัวแปรอิสระล่ะ? เรา "เชื่อ" ว่าไม่ใช่ตัวแปรอิสระทั้งหมดของเราที่มีบทบาทในการอธิบายดังนั้นมีเพียงไม่กี่ตัวเท่านั้นที่บอกว่าของพวกเขานั้นไม่ใช่ศูนย์ หากเรารู้ว่าตัวแปรใดที่ไม่ใช่ศูนย์เราสามารถละเลยตัวแปรอื่นทั้งหมดและโดยการโต้แย้งข้างต้นความแม่นยำกำลังสองโดยรวมจะเป็น$(p>n)$$Y$$k$$(\sigma^2/n)k.$

เนื่องจากชุดของตัวแปรที่ไม่ใช่ศูนย์ไม่เป็นที่รู้จักเราจำเป็นต้องมีการปรับค่าใช้จ่ายจากการทำให้เป็นมาตรฐาน (เช่น ) ด้วยพารามิเตอร์การทำให้เป็นมาตรฐาน (ซึ่งควบคุมจำนวนของตัวแปร) ตอนนี้คุณต้องการได้ผลลัพธ์ที่คล้ายกับที่กล่าวข้างต้นคุณต้องการประมาณความแม่นยำยกกำลังสอง ปัญหาคือที่ดีที่สุดของคุณประมาณการตอนนี้ขึ้นอยู่กับ\แต่ความจริงก็คือมีตัวเลือกที่เหมาะสมสำหรับคุณจะได้รับข้อผิดพลาดในการคาดเดาที่มีความน่าจะเป็นสูงนั่นคือ "oracle inequality" หมายเหตุปัจจัยเพิ่มเติม$l_1$$\lambda$$\hat{\beta}$$\lambda$$\lambda$

$$\dfrac{\| X(\hat{\beta}-\beta^0) \|_2^2}{n} \leq const.\dfrac{\sigma^2\log p}{n}k.$$ $\log p$ซึ่งเป็นราคาที่ไม่ทราบชุดของตัวแปรที่ไม่เป็นศูนย์ " " ขึ้นอยู่กับหรือเท่านั้น$const.$$p$$n$