หากความกว้างของเคอร์เนลตัวแปรมักจะดีสำหรับการถดถอยของเคอร์เนลทำไมพวกเขาถึงไม่ดีสำหรับการประมาณความหนาแน่นของเคอร์เนล?

คำถามนี้เป็นคำถามได้รับแจ้งจากที่อื่น ๆ การอภิปราย

เมล็ดแปรผันมักใช้ในการถดถอยแบบท้องถิ่น ตัวอย่างเช่นเหลืองถูกนำมาใช้กันอย่างแพร่หลายและทำงานได้ดีเช่นเดียวกับการถดถอยนุ่มนวลและขึ้นอยู่กับเคอร์เนลของความกว้างของตัวแปรที่ปรับให้เหมาะกับข้อมูล sparsity

ในทางตรงกันข้ามเมล็ดแปรผันมักจะคิดว่านำไปสู่การประมาณค่าที่ไม่ดีในการประมาณความหนาแน่นของเคอร์เนล (ดูTerrell and Scott, 1992 )

มีเหตุผลที่เข้าใจง่ายว่าทำไมพวกเขาจะทำงานได้ดีสำหรับการถดถอย แต่ไม่ใช่สำหรับการประเมินความหนาแน่น?

ดูเหมือนจะมีสองคำถามที่แตกต่างกันที่นี่ซึ่งฉันจะพยายามแยก:

1) KS, การทำให้เคอร์เนลราบเรียบแตกต่างจาก KDE อย่างไรการประมาณความหนาแน่นของเคอร์เนล ดีว่าฉันมีตัวประมาณ / นุ่มนวล / interpolator

est( xi, fi -> gridj, estj )

และเกิดขึ้นกับทราบความหนาแน่น "จริง" ที่ xi จากนั้นการรัน est( x, densityf ) จะต้องให้ค่าความหนาแน่นโดยประมาณ (): KDE อาจเป็นได้ว่า KS และ KDE ได้รับการประเมินต่างกัน - เกณฑ์ความเรียบที่แตกต่างกัน, บรรทัดฐานที่แตกต่างกัน - แต่ฉันไม่เห็นความแตกต่างพื้นฐาน ฉันพลาดอะไรไป

2) วิธีการที่ไม่ส่งผลกระทบต่อการประมาณมิติหรือเรียบintuitivly ? นี่คือตัวอย่างของเล่นเพียงเพื่อช่วยปรีชา พิจารณากล่อง N = 10,000 คะแนนในกริดสม่ำเสมอและหน้าต่างเส้นหรือสี่เหลี่ยมหรือคิวบ์ W = 64 คะแนนภายใน:

                1d          2d          3d          4d
---------------------------------------------------------------
data            10000       100x100     22x22x22    10x10x10x10
side            10000       100         22          10
window          64          8x8         4x4x4       2.8^4
side ratio      .64 %       8 %         19 %        28 %
dist to win     5000        47          13          7

ที่นี่ "อัตราส่วนด้าน" คือด้านข้างของหน้าต่าง / กล่องและ "dist to win" เป็นค่าประมาณคร่าวๆของระยะเฉลี่ยของจุดสุ่มในกล่องไปยังหน้าต่างที่วางแบบสุ่ม

สิ่งนี้สมเหตุสมผลหรือไม่? (รูปภาพหรือแอปเพล็ตจะช่วยได้จริง: ใคร?)

แนวคิดก็คือหน้าต่างขนาดคงที่ภายในกล่องขนาดคงที่นั้นมีความใกล้เคียงกันมากกับส่วนที่เหลือของกล่องใน 1d 2d 3d 4d นี่คือกริดที่เหมือนกัน บางทีการพึ่งพามิติที่แข็งแกร่งอาจนำไปสู่การแจกแจงอื่น อย่างไรก็ตามดูเหมือนว่าเอฟเฟกต์ทั่วไปที่แข็งแกร่งลักษณะของการสาปแช่งของมิติ

การประมาณความหนาแน่นของเคอร์เนลหมายถึงการรวมผ่านหน้าต่างโลคัล (ฝอย) และการทำให้เคอร์เนลราบเรียบหมายถึงค่าเฉลี่ยบนหน้าต่างโลคัล (ฟัซซี่)

$\tilde y(x) \propto \frac 1 {\rho(x)} \sum K(||x-x_i||)\,y_i$.

การประเมินความหนาแน่นของเคอร์เนล: $\rho(x) \propto \sum K(||x-x_i||)$.

สิ่งเหล่านี้เป็นอย่างไร

ลองพิจารณาตัวอย่างของฟังก์ชันที่มีค่าบูลีนเช่นชุดที่มีทั้ง "ตัวอย่างจริง" (แต่ละรายการมีค่าหน่วย) และ "ตัวอย่างเท็จ" (แต่ละรายการมีค่าศูนย์) สมมติว่าความหนาแน่นของตัวอย่างโดยรวมเป็นค่าคงที่ (เช่นกริด) ค่าเฉลี่ยในท้องถิ่นของฟังก์ชันนี้จะเป็นสัดส่วนเดียวกันกับความหนาแน่นของท้องถิ่น (บางส่วน -) ของเซตย่อยที่มีค่าจริง (ตัวอย่างที่ผิดพลาดทำให้เราไม่ต้องสนใจตัวหารของสมการการปรับให้เรียบอย่างต่อเนื่องในขณะที่การเพิ่มศูนย์เป็นศูนย์เพื่อการรวมเพื่อให้มันง่ายขึ้นในสมการการประเมินความหนาแน่น)

ในทำนองเดียวกันถ้าตัวอย่างของคุณแสดงเป็นองค์ประกอบกระจัดกระจายบนแรสเตอร์บูลีนคุณสามารถประเมินความหนาแน่นได้โดยใช้ตัวกรองเบลอกับแรสเตอร์

แตกต่างกันอย่างไร

โดยสังเขปคุณอาจคาดหวังว่าทางเลือกของอัลกอริธึมการปรับให้เรียบนั้นขึ้นอยู่กับว่าการวัดตัวอย่างมีข้อผิดพลาดในการวัดอย่างมีนัยสำคัญหรือไม่

ที่จุดสูงสุดหนึ่งจุด (ไม่มีจุดรบกวน) คุณเพียงแค่ต้องทำการประมาณค่าระหว่างค่าที่รู้จักกันในสถานที่ตัวอย่าง บอกว่าโดย Delaunay triangulation (พร้อมการแก้ไขแบบสองส่วน bilinear)

การประมาณความหนาแน่นมีลักษณะใกล้เคียงกับขั้วตรงข้ามมากที่สุดมันเป็นเสียงรบกวนทั้งหมดเนื่องจากตัวอย่างในการแยกไม่ได้มาพร้อมกับการวัดค่าความหนาแน่น ณ จุดนั้น (ดังนั้นจึงไม่มีอะไรจะสอดแทรกคุณอาจพิจารณาการวัด Voronoi แผนภาพพื้นที่เซลล์ แต่การปรับให้เรียบ / denoising จะยังคงมีความสำคัญ .. )

ประเด็นก็คือแม้จะมีความคล้ายคลึงกัน แต่ปัญหาต่างกันดังนั้นวิธีการต่าง ๆ อาจเหมาะสมที่สุด