“ การประมาณความหนาแน่นของเคอร์เนล” คือการโน้มน้าวใจอะไร

ฉันพยายามทำความเข้าใจเกี่ยวกับการประมาณความหนาแน่นของเคอร์เนลให้ดีขึ้น

ใช้คำจำกัดความจาก Wikipedia: https://en.wikipedia.org/wiki/Kernel_density_estimation#Definition

$\hat{f_h}(x) = \frac{1}{n}\sum_{i=1}^n K_h (x - x_i) \quad = \frac{1}{nh} \sum_{i=1}^n K\Big(\frac{x-x_i}{h}\Big)$

ลองเอาไปเป็นฟังก์ชันรูปสี่เหลี่ยมผืนผ้าซึ่งให้ถ้าอยู่ระหว่างถึงและมิฉะนั้นและ (ขนาดหน้าต่าง) เป็น 1 $K()$ $1$ $x$ $-0.5$ $0.5$ $0$ $h$

ฉันเข้าใจว่าความหนาแน่นนั้นเป็นหน้าที่ของทั้งสองฟังก์ชั่น แต่ฉันไม่แน่ใจว่าฉันรู้วิธีกำหนดฟังก์ชันทั้งสองนี้อย่างไร หนึ่งในนั้นควร (อาจ) เป็นฟังก์ชันของข้อมูลซึ่งสำหรับทุกจุดใน R บอกเราว่ามีจุดข้อมูลจำนวนเท่าใดในตำแหน่งนั้น (ส่วนใหญ่ ) และฟังก์ชั่นอื่น ๆ น่าจะเป็นการปรับเปลี่ยนบางส่วนของฟังก์ชั่นเคอร์เนลรวมกับขนาดหน้าต่าง แต่ฉันไม่แน่ใจว่าจะนิยามมันอย่างไร $0$

ข้อเสนอแนะใด ๆ

ร้องเป็นตัวอย่างรหัส R ซึ่ง (ฉันสงสัย) ทำซ้ำการตั้งค่าที่ฉันกำหนดไว้ด้านบน (ด้วยการผสมผสานของสอง Gaussians และ ) ซึ่งฉันหวังว่าจะเห็น "พิสูจน์" ว่าฟังก์ชั่นที่จะต้อง convoluted เป็นที่เราสงสัย . $n=100$

# example code:
set.seed(2346639)
x <- c(rnorm(50), rnorm(50,2))
plot(density(x, kernel='rectangular', width=1, n = 10**4))
rug(x)

ป้อนคำอธิบายรูปภาพที่นี่

r kernel-smoothing convolution

— Tal Galili
แหล่งที่มา

พรมของคุณที่ด้านล่างให้สัญชาตญาณหยาบ ลองนึกภาพแต่ละค่า

จาก

เพื่อ

เป็นเข็มที่มีน้ำหนักที่เกี่ยวข้อง

ตอนนี้ smear แต่ละขัดขวางโดยใช้รูปทรงและความกว้างของเคอร์เนลของคุณเพื่อที่ว่าเข็มจะเปลี่ยนที่จะใช้ในรูปแบบเดียวกันและความกว้างความสูงดังกล่าวว่าพื้นที่ดังต่อไปนี้คือ

เพิ่มผลลัพธ์และคุณมีการประเมินความหนาแน่นของเคอร์เนล

x_{i}

$x_i$

i = 1

$i = 1$

n

$n$

1 / n

$1/n$

1 / n

$1/n$

— Nick Cox

สวัสดีนิคขอบคุณสำหรับความคิดเห็น ไกลจากสัญชาตญาณที่ฉันได้รับมันคือการเปลี่ยนอย่างเป็นทางการในรูปแบบของการโน้มน้าวใจซึ่งฉันอยากรู้ที่จะเห็น :) (ตอนนี้ฉันอยากจะผ่านคำตอบของ Whuber!)

— Tal Galili

สอดคล้องกับชุดข้อมูลใด ๆ $X = (x_1, x_2, \ldots, x_n)$ คือ "ฟังก์ชันความหนาแน่นเชิงประจักษ์"

f_{X} (x) = \frac{1}{n} \sum_{i = 1}^{n} δ (x - x_{i}) .

$f_X(x) = \frac{1}{n}\sum_{i=1}^{n} \delta(x-x_i).$

ที่นี่ $\delta$ คือ "ฟังก์ชันทั่วไป" แม้จะมีชื่อนั้นมันไม่ได้เป็นฟังก์ชั่นเลย: มันเป็นวัตถุทางคณิตศาสตร์ใหม่ที่สามารถใช้ได้ภายในอินทิกรัลเท่านั้น คุณสมบัติที่กำหนดของมันคือสำหรับฟังก์ชั่น $g$ ของการสนับสนุนขนาดกะทัดรัดที่ต่อเนื่องในละแวก $0$ ,

\int_{R} δ (x) g (x) d x = g (0) .

$\int_{\mathbb{R}}\delta(x) g(x) dx = g(0).$

(ชื่อสำหรับ $\delta$ รวมการวัด "atomic" หรือ "point" และ " Dirac delta function " ในการคำนวณต่อไปนี้แนวคิดนี้ขยายเพื่อรวมฟังก์ชั่น $g$ ซึ่งต่อเนื่องจากด้านหนึ่งเท่านั้น)

การอธิบายลักษณะของ $f_X$ นี้เป็นการสังเกตว่า

\begin{aligned} \int_{- \infty}^{x} f_{X} (y) d y & = \int_{- \infty}^{x} \frac{1}{n} \sum_{i = 1}^{n} δ (y - x_{i}) d y \\ = \frac{1}{n} \sum_{i = 1}^{n} \int_{- \infty}^{x} δ (y - x_{i}) d y \\ = \frac{1}{n} \sum_{i = 1}^{n} \int_{R} I (y \leq x) δ (y - x_{i}) d y \\ = \frac{1}{n} \sum_{i = 1}^{n} I (x_{i} \leq x) \\ = F_{X} (x) \end{aligned}

$\eqalign{ \int_{-\infty}^{x} f_X(y) dy &= \int_{-\infty}^{x} \frac{1}{n}\sum_{i=1}^{n} \delta(y-x_i)dy \\ &= \frac{1}{n}\sum_{i=1}^{n} \int_{-\infty}^{x} \delta(y-x_i)dy \\ &= \frac{1}{n}\sum_{i=1}^{n} \int_{\mathbb{R}} I(y\le x) \delta(y-x_i)dy \\ &= \frac{1}{n}\sum_{i=1}^{n} I(x_i \le x) \\ &= F_X(x) }$

โดยที่ $F_X$ คือ CDF เชิงประจักษ์ปกติและ $I$ เป็นฟังก์ชันลักษณะปกติ (เท่ากับ $1$ โดยที่อาร์กิวเมนต์เป็นจริงและ $0$ อย่างอื่น) (ฉันข้ามอาร์กิวเมนต์การ จำกัด เบื้องต้นที่จำเป็นในการย้ายจากฟังก์ชั่นของการสนับสนุนขนาดกะทัดรัดไปยังฟังก์ชั่นที่กำหนดไว้เหนือ $\mathbb{R}$ ; เพราะ $I$ เพียงแค่ต้องกำหนดค่าภายในช่วงของ $X$ ซึ่งกะทัดรัดซึ่งไม่มีปัญหา)

การบิดของ $f_X(x)$ กับฟังก์ชั่นอื่น ๆ $k$ จะได้รับตามคำนิยามตามที่

\begin{aligned} (f_{X} * k) (x) & = \int_{R} f_{X} (x - y) k (y) d y \\ = \int_{R} \frac{1}{n} \sum_{i = 1}^{n} δ (x - y - x_{i}) k (y) d y \\ = \frac{1}{n} \sum_{i = 1}^{n} \int_{R} δ (x - y - x_{i}) k (y) d y \\ = \frac{1}{n} \sum_{i = 1}^{n} k (x_{i} - x) . \end{aligned}

$\eqalign{ (f_X * k)(x) &= \int_{\mathbb{R}} f_X(x - y) k(y) dy \\ &=\int_{\mathbb{R}} \frac{1}{n}\sum_{i=1}^{n} \delta(x-y-x_i) k(y) dy \\ &= \frac{1}{n}\sum_{i=1}^{n}\int_{\mathbb{R}} \delta(x-y-x_i) k(y) dy \\ &=\frac{1}{n}\sum_{i=1}^{n} k(x_i-x). }$

ปล่อยให้ $k(x) = K_h(-x)$ (ซึ่งเป็นเช่นเดียวกับ $K_h(x)$ สำหรับเมล็ดสมมาตร - และเมล็ดส่วนใหญ่มีความสมมาตร) เราได้รับผลอ้างว่า: สูตรวิกิพีเดียบิด

— whuber
แหล่งที่มา

สถานการณ์ในสองมิติคือคำอธิบาย (ในแง่ภาษาเพิ่มเติม) และแสดงบนเว็บไซต์ GIS ที่gis.stackexchange.com/questions/14374/...

— whuber

ถึง Whuber ฉันเพิ่งผ่านไปและอ่านคำตอบของคุณด้วยความยินดี! ขอบคุณมากสำหรับคำอธิบายและรายละเอียดคำตอบ (อันนี้และอื่น ๆ โดยทั่วไป) เป็นแรงบันดาลใจอย่างแท้จริง ขอแสดงความนับถือ Tal

— Tal Galili

δ

$\delta$

g,

$g,$

x_{i}

$x_i$

g (x_{i}) .

$g(x_i).$

@whuber ขอบคุณ ประโยคฟังก์ชัน ized ทั่วไปไม่ใช่ฟังก์ชันเลยมันเป็นวัตถุทางคณิตศาสตร์ใหม่ที่สามารถใช้ได้ภายในอินทิกรัลเท่านั้น ทำให้ชัดเจนขึ้น ตรงจุดเสมอ ;)

— Jan Vainer

@Jan ขอบคุณสำหรับความช่วยเหลือของคุณ: ฉันได้รวบรวมความคิดนั้นไว้ในคำตอบนี้

— whuber