ทำไมคนชอบข้อมูลที่ราบรื่น

ฉันต้องใช้เคอร์เนล Squared Exponential (SE) สำหรับ Gaussian Process Regression ข้อดีของเคอร์เนลนี้คือ: 1) ง่าย ๆ : มีเพียง 3 พารามิเตอร์เท่านั้น 2) ราบรื่น: เคอร์เนลนี้คือเกาส์เซียน

ทำไมคนถึงชอบ 'ความเรียบ' มาก ๆ ? ฉันรู้ว่าเคอร์เนลเกาส์เซียนมีความแตกต่างกันอย่างมากมาย แต่นั่นสำคัญมากเหรอ? (โปรดแจ้งให้เราทราบหากมีเหตุผลอื่นว่าทำไมเคอร์เนล SE จึงได้รับความนิยม)

PS: ฉันบอกว่าสัญญาณส่วนใหญ่ในโลกแห่งความเป็นจริง (ไม่มีเสียงรบกวน) ราบรื่นดังนั้นจึงมีเหตุผลที่จะใช้เมล็ดเรียบเพื่อสร้างแบบจำลอง ใครช่วยกรุณาเข้าใจแนวคิดนี้ได้บ้าง

" Natura non facit saltus " เป็นหลักการเก่าในปรัชญา นอกจากนี้ความงามและความสามัคคีเป็นหลักการดังกล่าว หลักปรัชญาอีกข้อที่มีผลกระทบต่อสถิติคือการคิดเชิงคุณภาพ: ตามเนื้อผ้าเราไม่ได้คิดขนาดที่มีผล แต่ไม่ว่าจะมีผลกระทบหรือไม่ก็ตาม ให้ทดสอบสมมติฐานนี้ เครื่องมือประมาณการแม่นยำเกินไปสำหรับการรับรู้ของคุณเกี่ยวกับธรรมชาติ เอามันไปตามที่มันเป็น

สถิติมีไว้เพื่อการรับรู้ของมนุษย์ ดังนั้นคะแนนความไม่ต่อเนื่องจึงไม่ชอบ เราจะถามทันที: ทำไมถึงเกิดความไม่ต่อเนื่องตรงนี้ โดยเฉพาะอย่างยิ่งในการประเมินความหนาแน่นจุดความไม่ต่อเนื่องเหล่านี้ส่วนใหญ่เกิดจากลักษณะของข้อมูลจริงที่ไม่เชิงเส้นกำกับ แต่คุณไม่ต้องการที่จะเรียนรู้เกี่ยวกับตัวอย่างที่แน่นอนของคุณ แต่เกี่ยวกับความจริงตามธรรมชาติ หากคุณเชื่อว่าลักษณะนี้ไม่ได้กระโดดคุณต้องมีการประมาณที่ราบรื่น

จากมุมมองทางคณิตศาสตร์ที่เข้มงวดมีเหตุผลสำหรับมันแทบจะไม่ นอกจากนี้เนื่องจากปรากฏการณ์ทางธรรมชาติของไลบนิซและนิวตันกลายเป็นที่รู้จักกันว่าไม่ราบรื่น พูดคุยกับนักวิทยาศาสตร์ธรรมชาติที่คุณทำงานอยู่ ท้าทายมุมมองของเขาต่อความราบรื่น / ไม่ต่อเนื่องแล้วทำในสิ่งที่คุณทั้งคู่ตัดสินใจจะมีประโยชน์มากที่สุดสำหรับความเข้าใจของเขา

มีอีกสองเหตุผลของเรื่องการปฏิบัติ สิ่งแรกคือฟังก์ชั่นการวิเคราะห์นั้นง่ายกว่ามากในการทำงานกับทางคณิตศาสตร์และดังนั้นจึงพิสูจน์ทฤษฎีบทเกี่ยวกับอัลกอริทึมของคุณและทำให้พวกเขามีพื้นฐานที่แข็งแกร่ง

ประการที่สองคือความไว สมมติว่าคุณมีเครื่องเรียนที่มีการส่งออกมีความไม่ต่อเนื่องที่xจากนั้นคุณจะได้ผลลัพธ์ที่แตกต่างกันมากสำหรับและแต่ก็ไม่เป็นไรเพราะเราทำให้มันไม่ต่อเนื่อง ตอนนี้ถ้าคุณฝึกรูปแบบของคุณกับข้อมูลที่แตกต่างกันเล็กน้อย ( ) ที่สุ่มเสียงเป็นเพียงบิตที่แตกต่างเล็ก ๆ ไม่ต่อเนื่องจะตอนนี้จะอยู่ที่อาจจะเป็นมากใกล้กับแต่ไม่มากและตอนนี้ สำหรับค่าของบางส่วน ,มีค่าที่แตกต่างกันมากสำหรับและ$M$$x=x_0$$x_0 - \epsilon$$x_0 + \epsilon$$\tilde M$$\tilde x_0$$x_0$$\epsilon$$x_0 + \epsilon$$M$$\tilde M$.

มีแรงจูงใจมากมายขึ้นอยู่กับปัญหา แต่แนวคิดก็เหมือนกัน: เพิ่มความรู้เบื้องต้นเกี่ยวกับปัญหาบางอย่างเพื่อให้ได้ทางออกที่ดีขึ้นและรับมือกับความซับซ้อน วิธีการเพิ่มเติมคือ: การเลือกรุ่น นี่เป็นตัวอย่างที่ดีในการเลือกรูปแบบ

อีกแนวคิดหนึ่งที่เกี่ยวข้องอย่างลึกซึ้งคือการหาตัวชี้วัดความคล้ายคลึงกันของตัวอย่างข้อมูล (มีเงื่อนไขต่าง ๆ ที่เกี่ยวข้องกับความคิดนั้น: การแมปภูมิประเทศภูมิประเทศการวัดระยะทางการเรียนรู้ที่หลากหลาย)

ตอนนี้ให้เราพิจารณาตัวอย่างที่ใช้งานได้จริง: การรู้จำอักขระด้วยแสง หากคุณถ่ายภาพตัวละครคุณจะคาดว่าลักษณนามจะจัดการกับ invariances: ถ้าคุณหมุนย้ายหรือปรับขนาดภาพก็ควรจะสามารถตรวจจับได้ นอกจากนี้หากคุณใช้การดัดแปลงเพียงเล็กน้อยกับอินพุตคุณคาดหวังว่าคำตอบ / พฤติกรรมของตัวจําแนกของคุณจะแตกต่างกันเล็กน้อยเช่นกันเพราะทั้งสองตัวอย่าง (ต้นฉบับและการดัดแปลงมีความคล้ายคลึงกันมาก) นี่คือที่มาของการบังคับใช้ความราบรื่น

มีเอกสารมากมายที่เกี่ยวข้องกับความคิดนี้ แต่บทความนี้ (การแปรปรวนการเปลี่ยนแปลงในการจดจำรูปแบบระยะทางแทนเจนต์และการแพร่กระจายแทนเจนต์ Simard และคณะ) แสดงให้เห็นถึงแนวคิดเหล่านี้อย่างละเอียด