คุณสามารถอธิบายการประมาณความหนาแน่นของ Parzen window (kernel) ในแง่ของคนธรรมดาได้หรือไม่?

24

การประเมินความหนาแน่นของหน้าต่าง Parzen อธิบายไว้ดังนี้

p (x) = \frac{1}{n} \sum_{i = 1}^{n} \frac{1}{h^{2}} ϕ (\frac{x_{i} - x}{h})

$p(x)=\frac{1}{n}\sum_{i=1}^{n} \frac{1}{h^2} \phi \left(\frac{x_i - x}{h} \right)$

โดยที่คือจำนวนองค์ประกอบในเวกเตอร์,คือเวกเตอร์,คือความหนาแน่นของความน่าจะเป็นของ ,คือขนาดของหน้าต่าง Parzen และเป็นฟังก์ชันของหน้าต่าง $n$ $x$ $p(x)$ $x$ $h$ $\phi$

คำถามของฉันคือ:

อะไรคือความแตกต่างพื้นฐานระหว่างฟังก์ชั่น Parzen Window และฟังก์ชั่นความหนาแน่นอื่น ๆ เช่นฟังก์ชั่นเกาส์เซียนเป็นต้น
ฟังก์ชั่น Window Function ( ) ในการค้นหาความหนาแน่นของคืออะไร? $\phi$ $x$
ทำไมเราสามารถเสียบฟังก์ชั่นความหนาแน่นอื่น ๆ แทนฟังก์ชั่นหน้าต่าง?
บทบาทของการเป็นสิ่งที่ในในการค้นหาความหนาแน่นของ ? $h$ $x$

— user366312
แหล่งที่มา

44

Parzen ประมาณความหนาแน่นหน้าต่างเป็นชื่ออีกประมาณความหนาแน่นเคอร์เนล มันเป็นวิธีการแบบไม่พารามิเตอร์สำหรับการประเมินฟังก์ชั่นความหนาแน่นต่อเนื่องจากข้อมูล

ลองจินตนาการว่าคุณมี datapoints บางที่มาจากการที่ไม่รู้จักที่พบสันนิษฐานอย่างต่อเนื่องกระจายฉคุณสนใจที่จะประเมินการกระจายของข้อมูลของคุณ สิ่งหนึ่งที่คุณทำได้คือดูที่การกระจายเชิงประจักษ์และถือว่ามันเป็นตัวอย่างที่เทียบเท่ากับการแจกแจงจริง อย่างไรก็ตามหากข้อมูลของคุณต่อเนื่องอาจเป็นไปได้ว่าคุณจะเห็นแต่ละอัน $x_1,\dots,x_n$ $f$ $x_i$ จุดปรากฏเพียงครั้งเดียวในชุดข้อมูลดังนั้นตามนี้คุณจะสรุปได้ว่าข้อมูลของคุณมาจากการกระจายเครื่องแบบเนื่องจากแต่ละค่ามีความน่าจะเป็นเท่ากับ หวังว่าคุณสามารถทำได้ดีกว่านี้: คุณสามารถแพ็คข้อมูลของคุณในช่วงระยะห่างเท่ากันจำนวนหนึ่งและนับค่าที่อยู่ในแต่ละช่วงเวลา วิธีการนี้จะขึ้นอยู่กับการประเมินhistogram น่าเสียดายที่ด้วยฮิสโตแกรมคุณจะได้ถังขยะจำนวนหนึ่งแทนที่จะมีการกระจายอย่างต่อเนื่องดังนั้นจึงเป็นเพียงการประมาณคร่าวๆ

การประเมินความหนาแน่นของเคอร์เนลเป็นทางเลือกที่สาม แนวคิดหลักคือคุณประมาณค่าโดยการผสมของการแจกแจงแบบต่อเนื่อง (โดยใช้สัญลักษณ์ของคุณ ) ที่เรียกว่าเมล็ดซึ่งมีศูนย์กลางอยู่ที่ datapoints และมีสเกล ( แบนด์วิดท์ ) เท่ากับ : $f$ $K$ $\phi$ $x_i$ $h$

\hat{f_{h}} (x) = \frac{1}{n h} \sum_{i = 1}^{n} K (\frac{x - x_{i}}{h})

$\hat{f_h}(x) = \frac{1}{nh} \sum_{i=1}^n K\Big(\frac{x-x_i}{h}\Big)$

นี่คือภาพที่แสดงด้านล่างซึ่งใช้การแจกแจงปกติเป็นเคอร์เนลและค่าที่แตกต่างกันสำหรับแบนด์วิดท์จะใช้ในการประเมินการกระจายกำหนด datapoints เจ็ด (ทำเครื่องหมายโดยเส้นที่มีสีสันด้านบนของแปลง) ความหนาแน่นของสีสันบนแปลงเป็นเมล็ดที่มีศูนย์กลางอยู่ที่จุดโปรดสังเกตว่าเป็นพารามิเตอร์สัมพัทธ์ค่าจะถูกเลือกเสมอขึ้นอยู่กับข้อมูลของคุณและค่าเดียวกันของอาจไม่ให้ผลลัพธ์ที่คล้ายกันสำหรับชุดข้อมูลที่แตกต่างกัน $K$ $h$ $x_i$ $h$ $h$

เคอร์เนลสามารถคิดได้ว่าเป็นฟังก์ชันความหนาแน่นของความน่าจะเป็นและจำเป็นต้องรวมเข้ากับความสามัคคี นอกจากนี้ยังต้องสมมาตรเพื่อให้และสิ่งต่อไปนี้โดยมีศูนย์กลางที่ศูนย์ บทความ Wikipedia เกี่ยวกับเมล็ดแสดงรายการเมล็ดข้าวยอดนิยมจำนวนมากเช่น Gaussian (การแจกแจงแบบปกติ), Epanechnikov, สี่เหลี่ยม (การกระจายแบบสม่ำเสมอ) ฯลฯ โดยทั่วไปแล้วการแจกจ่ายใด ๆ ที่ตอบสนองความต้องการเหล่านั้นสามารถใช้เป็นเคอร์เนลได้ $K$ $K(x) = K(-x)$

เห็นได้ชัดว่าการประมาณการครั้งสุดท้ายจะขึ้นอยู่กับทางเลือกของเคอร์เนล ( แต่ไม่มาก) และพารามิเตอร์แบนด์วิดธ์ชั่วโมงเธรดต่อไปนี้ จะแปลค่าแบนด์วิดท์ในการประมาณความหนาแน่นของเคอร์เนลได้อย่างไร อธิบายการใช้พารามิเตอร์แบนด์วิดธ์โดยละเอียดยิ่งขึ้น $h$

พูดแบบนี้เป็นภาษาอังกฤษธรรมดาสิ่งที่คุณคิดในที่นี้คือจุดที่สังเกตได้เป็นเพียงตัวอย่างและติดตามการแจกแจงเพื่อประมาณ เนื่องจากการกระจายนั้นต่อเนื่องเราสันนิษฐานว่ามีความหนาแน่นที่ไม่ทราบค่า แต่ไม่เป็นศูนย์รอบ ๆ บริเวณใกล้เคียงของจุด (ย่านนั้นถูกกำหนดโดยพารามิเตอร์ ) และเราใช้เมล็ดเพื่อคำนวณ จุดมากกว่าที่อยู่ในพื้นที่ใกล้เคียงบางส่วนมีความหนาแน่นมากขึ้นคือการสะสมทั่วภูมิภาคนี้และอื่น ๆ ที่สูงกว่าความหนาแน่นโดยรวมของ{} ขณะนี้ฟังก์ชันสามารถประเมินได้สำหรับจุดใด ๆ $x_i$ $f$ $x_i$ $h$ $K$ $\hat{f_h}$ $\hat{f_h}$ $x$ (โดยไม่ต้องห้อย) ได้รับการประมาณการความหนาแน่นของมันนี้เป็นวิธีที่เราได้รับฟังก์ชั่นที่เป็นประมาณของที่ไม่รู้จักฟังก์ชั่นความหนาแน่นของ(x) $\hat{f_h}(x)$ $f(x)$

สิ่งที่ดีเกี่ยวกับความหนาแน่นของเคอร์เนลก็คือไม่เหมือนกับฮิสโทแกรมพวกมันคือฟังก์ชันต่อเนื่องและพวกมันคือความหนาแน่นของความน่าจะเป็นที่ถูกต้องเนื่องจากมันเป็นส่วนผสมของความหนาแน่นของความน่าจะเป็นที่ถูกต้อง ในหลายกรณีนี้อยู่ใกล้ที่สุดเท่าที่คุณจะได้รับใกล้เคียงฉ $f$

ความแตกต่างระหว่างความหนาแน่นของเคอร์เนลและความหนาแน่นอื่น ๆ เช่นการแจกแจงปกติคือความหนาแน่น "ปกติ" เป็นฟังก์ชันทางคณิตศาสตร์ในขณะที่ความหนาแน่นของเคอร์เนลเป็นการประมาณความหนาแน่นที่แท้จริงโดยประมาณที่ใช้ข้อมูลของคุณดังนั้นจึงไม่ใช่การกระจายแบบสแตนด์อโลน

ฉันอยากจะแนะนำคุณกับหนังสือแนะนำเบื้องต้นสองเล่มเกี่ยวกับเรื่องนี้โดย Silverman (1986) และ Wand and Jones (1995)

Silverman, BW (1986) การประมาณค่าความหนาแน่นสำหรับสถิติและการวิเคราะห์ข้อมูล CRC / Chapman & Hall

Wand, MP และ Jones, MC (1995) Kernel Smoothing ลอนดอน: แชปแมน & ฮอล / ซีอาร์ซี

— ทิม
แหล่งที่มา

นี้คืออะไร?

x

$x$

— user366312

@anonymousคือ datapoints ของคุณคือจุดที่คุณประเมินฟังก์ชันความหนาแน่น

x_{i}

$x_i$

x

$x$

— ทิม

1

@anonymous ฉันได้เพิ่มการแก้ไขการอ้างถึงคำถามของคุณในความคิดเห็นในตอนท้ายของวรรค "พูดเป็นภาษาอังกฤษธรรมดา ... "

— ทิม

4

1) ความเข้าใจของฉันคือผู้ใช้มีตัวเลือกฟังก์ชั่นที่จะใช้สำหรับและฟังก์ชั่นเกาส์เซียนนั้นเป็นตัวเลือกที่ใช้กันทั่วไปมาก $\phi$

2) ความหนาแน่นที่เป็นค่าเฉลี่ยของค่าที่แตกต่างกันของที่xตัวอย่างเช่นคุณอาจมี ,และเสียนกระจายกับสำหรับ\ในกรณีนี้มีความหนาแน่นที่จะ{2} $x$ $\phi_h(x_i - x)$ $x$ $x_1=1$ $x_2 = 2$ $\sigma=1$ $\phi_h$ $x$ $\frac{\mathcal{N}_{1, 1}(x) + \mathcal{N}_{2, 1}(x)}{2}$

3) คุณสามารถเสียบฟังก์ชั่นความหนาแน่นใด ๆ ที่คุณชอบเป็นฟังก์ชั่นหน้าต่างของคุณ

4)กำหนดความกว้างของฟังก์ชั่นหน้าต่างที่คุณเลือก $h$

— David J. Harris
แหล่งที่มา