หากเคอร์เนล Epanechnikov เหมาะสมที่สุดในทางทฤษฎีเมื่อทำการประมาณค่าความหนาแน่นเคอร์เนลทำไมจึงไม่ใช้บ่อยกว่านี้

ฉันได้อ่าน (เช่นที่นี่ ) ว่าเคอร์เนล Epanechnikov เหมาะสมที่สุดอย่างน้อยก็ในทางทฤษฎีเมื่อทำการประมาณความหนาแน่นของเคอร์เนล หากเป็นจริงแล้วทำไมเกาส์เซียนถึงปรากฏบ่อยขึ้นในฐานะเคอร์เนลเริ่มต้นหรือในหลาย ๆ กรณีเป็นเคอร์เนลเพียงตัวเดียวในไลบรารีการประเมินความหนาแน่น

nonparametric kernel-smoothing

— John Rauser
แหล่งที่มา

คำถามสองข้อที่แช่งที่นี่: ทำไมไม่ใช้กันมากขึ้น? ทำไมเกาส์เซียนมักเป็นเคอร์เนลเริ่มต้น / อย่างเดียว? มันอาจฟังดูเล็กน้อย แต่ชื่อ Epanechnikov อาจดูเหมือนยากที่จะสะกดและออกเสียงอย่างถูกต้องสำหรับคนที่ไม่พูดภาษาอังกฤษ (ฉันไม่แน่ใจด้วยซ้ำว่าอีเป็นชาวรัสเซีย; ฉันไม่สามารถหารายละเอียดเกี่ยวกับชีวประวัติใด ๆ ได้) นอกจากนี้หากฉันแสดง (เช่น) สิ่งมีชีวิตตัวใหญ่แสดงความคิดเห็นเกี่ยวกับรูประฆังความกว้างที่แน่นอน ขายง่ายกว่า Epanechnikov เป็นค่าเริ่มต้นใน kdensityStata

— Nick Cox

ฉันจะเพิ่มว่าการเพิ่มประสิทธิภาพทางทฤษฎีนี้มีผลในทางปฏิบัติน้อยถ้ามี

— ซีอาน

มันเป็นชื่อที่คุ้นเคย หากเหมาะสมที่จะใช้เคอร์เนลที่ไม่มีการสนับสนุนที่ จำกัด คุณควรเลือกใช้มัน เท่าที่ประสบการณ์ของฉันดำเนินไปมันก็ไม่สมเหตุสมผลดังนั้นทางเลือกจึงปรากฏขึ้นทางสังคมไม่ใช่ทางเทคนิค

— Nick Cox

@NickCox ใช่ E เป็นเพื่อนรัสเซียมันไม่ใช่ตัวย่อ :) เขาเป็นคนที่ลึกลับนี่คือทั้งหมดที่คุณจะได้พบกับเขา ฉันยังจำหนังสือที่มีประโยชน์มากคนที่มีชื่อของเขาเขียนไว้ในเครื่องคิดเลขแบบตั้งโปรแกรมใช่มันเป็นเรื่องใหญ่ในเวลานี้

— Aksakal

@amoeba เขาทำงานที่ИнститутрадиотехникииэлектроникиРоссийскойАкадемииНауким . Котельникова, ฉันพนันว่าเขาได้จัดประเภทการวิจัย, ชื่อเต็มคือЕпанечниковВикторАлександрович

— Aksakal

คำตอบ:

สาเหตุที่การ Epanechnikov เคอร์เนลไม่ได้ถูกใช้อย่างกว้างขวางสำหรับ optimality ทฤษฎีของมันเป็นอย่างดีอาจเป็นไปได้ว่าEpanechnikov เคอร์เนลไม่จริงในทางทฤษฎีที่ดีที่สุด Tsybakov วิพากษ์วิจารณ์ข้อโต้แย้งอย่างชัดเจนว่าเมล็ดพันธุ์ Epanechnikov นั้น "ดีที่สุดในทางทฤษฎี" ในหน้า 16-19 ของการประมาณค่าเบื้องต้นแบบไม่อิงพารามิเตอร์ (ข้อ 1.2.4)

พยายามที่จะสรุปภายใต้สมมติฐานบางอย่างเกี่ยวกับเคอร์เนล $K$ และคงหนาแน่น $p$ หนึ่งได้ว่าค่าเฉลี่ยรวมตารางข้อผิดพลาดเป็นของแบบฟอร์ม

\begin{matrix} (1) & \frac{1}{n h} \int K^{2} (u) d u + \frac{h^{4}}{4} S_{K}^{2} \int (p^{″} (x))^{2} d x . \end{matrix}

$\frac{1}{nh} \int K^2 (u) du + \frac{h^4}{4}S_K^2 \int (p''(x))^2 dx \,. \tag{1}$

การวิจารณ์หลักของ Tsybakov ดูเหมือนว่าจะลดน้อยลงไปกว่าเมล็ดที่ไม่เป็นลบเนื่องจากมักเป็นไปได้ที่จะได้รับการประมาณค่าที่ดีกว่าซึ่งเป็นแบบที่ไม่เป็นลบโดยไม่ จำกัด เมล็ดที่ไม่เป็นเชิงลบ

ขั้นตอนแรกของการโต้แย้งสำหรับเคอร์เนล Epanechnikov เริ่มต้นโดยการลด $(1)$ กว่า $h$ และทุกเมล็ดที่ไม่ใช่เชิงลบ (มากกว่าเมล็ดทั้งหมดในระดับที่กว้างขึ้น) จะได้รับ "ดีที่สุด" แบนด์วิดธ์สำหรับ $K$

h^{M I S E} (K) = {(\frac{\int K^{2}}{n S_{K}^{2} \int (p^{″})^{2}})}^{1 / 5}

$h^{MISE}(K) = \left( \frac{\int K^2}{nS_K^2 \int (p'')^2} \right)^{1/5}$

และเคอร์เนล "ดีที่สุด" (Epanechnikov)

K^{*} (u) = \frac{3}{4} (1 - u^{2})_{+}

$K^*(u) = \frac{3}{4}(1-u^2)_+$

ซึ่งความคลาดเคลื่อนกำลังสองเฉลี่ยหมายถึงอะไร:

h^{M I S E} (K^{*}) = {(\frac{15}{n \int (p^{″})^{2}})}^{1 / 5} .

$h^{MISE}(K^*) = \left( \frac{15}{n \int (p'')^2} \right)^{1/5} \,.$

อย่างไรก็ตามสิ่งเหล่านี้ไม่ใช่ทางเลือกที่เป็นไปได้เนื่องจากมันขึ้นอยู่กับความรู้ (ผ่าน $p''$ ) ของความหนาแน่นที่ไม่รู้จัก $p$ - ดังนั้นจึงเป็นปริมาณ "oracle"

ข้อเสนอจาก Tsybakov ก็หมายความว่า MISE แบบ asymptotic สำหรับ oran Epanechnikov คือ:

\begin{matrix} (2) & lim_{n \to \infty} n^{4 / 5} E_{p} \int (p_{n}^{E} (x) - p (x))^{2} d x = \frac{3^{4 / 5}}{5^{1 / 5} 4} {(\int (p^{″} (x))^{2} d x)}^{1 / 5} . \end{matrix}

$\lim_{n \to \infty} n^{4/5} \mathbb{E}_p \int (p_n^E (x) - p(x))^2 dx = \frac{3^{4/5}}{5^{1/5}4} \left( \int (p''(x))^2 dx \right)^{1/5} \,. \tag{2}$

Tsybakov พูดว่า (2) มักจะอ้างว่าเป็น MISE ที่ทำได้ดีที่สุด แต่จากนั้นแสดงให้เห็นว่าใครสามารถใช้เมล็ดของลำดับ 2 (ซึ่ง $S_K =0$ ) เพื่อสร้างตัวประมาณเคอร์เนลสำหรับทุก $\varepsilon >0$ เช่นนั้น

\underset{n \to \infty}{lim sup} n^{4 / 5} E_{p} \int ({\hat{p}}_{n} (x) - p (x))^{2} d x \leq ε .

$\limsup_{n \to \infty} n^{4/5} \mathbb{E}_p \int (\hat{p}_n (x) - p(x))^2 dx \le \varepsilon \,.$

แม้ว่าไม่จำเป็นต้องเป็นที่ไม่ใช่เชิงลบหนึ่งยังคงมีผลเหมือนกันสำหรับประมาณการบวกส่วน (ซึ่งรับประกันได้ว่าจะไม่เป็นลบแม้ว่าไม่ได้): $\hat{p}_n$ $p_n^+ := \max(0, \hat{p}_n)$ $K$

\underset{n \to \infty}{lim sup} n^{4 / 5} E_{p} \int (p_{n}^{+} (x) - p (x))^{2} d x \leq ε .

$\limsup_{n \to \infty} n^{4/5} \mathbb{E}_p \int (p_n^+ (x) - p(x))^2 dx \le \varepsilon \,.$

ดังนั้นสำหรับ $\varepsilon$ พอขนาดเล็กที่มีอยู่ประมาณค่าที่แท้จริงที่มี MISE asymptotic ขนาดเล็กกว่า Epanechnikov oracleแม้ใช้สมมติฐานเดียวกันกับความหนาแน่นที่ไม่รู้จัก หน้า $p$

โดยเฉพาะอย่างยิ่งคนมีเป็นผลที่ infimum ของ MISE asymptotic สำหรับการแก้ไขที่ $p$ มากกว่าทุกประมาณเคอร์เนล (หรือชิ้นส่วนในเชิงบวกของประมาณเคอร์เนล) เป็น0 $0$ ดังนั้น Epanechnikov oracle จึงไม่ใกล้เคียงกับความเหมาะสมแม้เมื่อเปรียบเทียบกับตัวประมาณที่แท้จริง

เหตุผลที่ผู้คนทะเลาะกันเรื่องคำพยากรณ์ของ Epanechnikov ในตอนแรกก็คือคนเรามักจะโต้แย้งว่าเคอร์เนลนั้นควรจะไม่เป็นลบ แต่เมื่อ Tsybakov ชี้ให้เห็นเราไม่ต้องคิดว่าเคอร์เนลนั้นไม่เป็นลบเพื่อให้ได้ค่าประมาณความหนาแน่นแบบไม่ลบและการอนุญาตให้เมล็ดอื่นสามารถประมาณค่าความหนาแน่นไม่เป็นลบได้ซึ่ง (1) ไม่ใช่ออราเคิล และ (2) ดำเนินการโดยพลการที่ดีกว่า oracle Epanechnikov สำหรับการแก้ไข $p$ หน้าTsybakov ใช้ความคลาดเคลื่อนนี้เพื่อยืนยันว่ามันไม่สมเหตุสมผลที่จะโต้เถียงสำหรับ optimality ในแง่ของการแก้ไข $p$ แต่สำหรับคุณสมบัติ optimality ซึ่งเป็นเครื่องแบบในชั้นเรียนของความหนาแน่น นอกจากนี้เขายังชี้ให้เห็นว่าการโต้แย้งยังคงใช้ได้เมื่อใช้ MSE แทนที่จะเป็น MISE

แก้ไข:ดูข้อ 1.1 บน p.25 โดยที่เคอร์เนล Epanechnikov แสดงให้เห็นว่าไม่สามารถยอมรับได้ตามเกณฑ์อื่น Tsybakov ดูเหมือนจะไม่ชอบเคอร์เนล Epanechnikov

— Chill2Macht
แหล่งที่มา

+1 สำหรับการอ่านที่น่าสนใจ แต่นี่ไม่ได้ตอบว่าทำไมเคอร์เนล Gaussian ถูกใช้บ่อยกว่าเคอร์เนล Epanechnikov: ทั้งคู่นั้นไม่เป็นลบ

— อะมีบาพูดว่า Reinstate Monica

@amoeba นั่นคือความจริง อย่างน้อยที่สุดนี้ตอบคำถามในชื่อซึ่งเป็นเพียงเกี่ยวกับเคอร์เนล Epanechnikov (นั่นคือที่อยู่สถานที่ตั้งของคำถามและแสดงให้เห็นว่ามันเป็นเท็จ)

— Chill2Macht

(+1) สิ่งหนึ่งที่ต้องระวังกับแผนการของ Tsybakov ในการใช้ส่วนที่เป็นบวกของเคอร์เนลที่เป็นค่าลบ - ซึ่งอย่างน้อยความทรงจำของฉันเกี่ยวกับคำแนะนำของเขา - คือแม้ว่าตัวประมาณความหนาแน่นที่ได้อาจทำให้ MSE คอนเวอร์เจนซ์ โดยทั่วไปการประมาณความหนาแน่นจะไม่ใช่ความหนาแน่นที่ถูกต้อง (เนื่องจากคุณตัดมวลออกและจะไม่รวมเข้ากับ 1) หากคุณสนใจเกี่ยวกับ MSE จริง ๆ แล้วมันไม่สำคัญ แต่บางครั้งนี่จะเป็นปัญหาสำคัญ

— Dougal

เคอร์เนลเกาส์เซียนใช้ในการประมาณความหนาแน่นผ่านอนุพันธ์:

\frac{d^{i} f}{d x^{i}} (x) \approx \frac{1}{b a n d w i d t h} \sum_{j = 1}^{N} \frac{d^{i} k}{d x^{i}} (X_{j}, x)

$\frac{d^if}{dx^i}(x)\approx \frac{1}{bandwidth}\sum_{j=1}^N \frac{d^ik}{dx^i}(X_j,x)$

นี่เป็นเพราะเคอร์เนล Epanechnikov มี 3 อนุพันธ์ก่อนที่จะเป็นศูนย์เหมือนกันซึ่งแตกต่างจากเกาส์เซียนซึ่งมีสัญญาซื้อขายล่วงหน้าจำนวนมาก (ไม่ใช่ศูนย์) ดูหัวข้อ 2.10 ในลิงค์ของคุณสำหรับตัวอย่างเพิ่มเติม

— อเล็กซ์อาร์
แหล่งที่มา

อนุพันธ์แรกของ Epanechnikov (หมายเหตุที่สองn , โดยวิธี) เคอร์เนลไม่ต่อเนื่องที่ฟังก์ชันข้ามขอบเขตของเคอร์เนล; ที่อาจมีปัญหามากขึ้น

— Glen_b -Reinstate Monica

i

$i$

@AlexR ในขณะที่สิ่งที่คุณพูดนั้นเป็นความจริงฉันไม่เข้าใจว่ามันอธิบายได้อย่างไรว่าทำไมเกาส์เซียนจึงเป็นเรื่องธรรมดาในการประมาณค่าความหนาแน่นแบบธรรมดา และแม้กระทั่งเมื่อการประเมินอนุพันธ์ส่วนที่ 2.10 แสดงให้เห็นว่าเกาส์เซียนไม่เคยเป็นเคอร์เนลที่ต้องการ

— John Rauser

@JohnRauser: โปรดจำไว้ว่าคุณต้องใช้เมล็ด Epanechnikov เพื่อให้ได้ประสิทธิภาพสูงสุด โดยปกติแล้วคนใช้ Gaussian เพราะง่ายกว่าที่จะทำงานด้วยและมีคุณสมบัติที่ดีกว่า

— Alex R.

@AlexR ฉันจะพูดคลุมเครือใน "[u] คน sually ใช้แบบเกาส์"; คุณมีข้อมูลที่เป็นระบบเกี่ยวกับความถี่ในการใช้งานหรือนี่เป็นเพียงความประทับใจจากงานที่คุณเห็น? ฉันเห็นน้ำหนักร่างกายบ่อยครั้ง แต่ฉันจะไม่เรียกร้องมากกว่านั้น

— Nick Cox