การใช้ทฤษฎีสารสนเทศในศาสตร์ข้อมูลประยุกต์

วันนี้ฉันวิ่งข้ามหนังสือ"ทฤษฎีข้อมูล: บทแนะนำการสอน"โดย James Stone และคิดสักครู่หรือสองครั้งเกี่ยวกับขอบเขตของการใช้ทฤษฎีข้อมูลในวิทยาศาสตร์ข้อมูลประยุกต์ (ถ้าคุณไม่พอใจกับคำนี้ค่อนข้างคลุมเครือ คิดว่าการวิเคราะห์ข้อมูลซึ่งวิทยาศาสตร์ข้อมูลของ IMHO เป็นรุ่นที่ได้รับเกียรติ) ฉันตระหนักดีถึงการใช้งานที่สำคัญของทฤษฎีสารสนเทศ -based วิธี , วิธีการและมาตรการโดยเฉพาะอย่างยิ่งเอนโทรปี , ภายใต้ประทุนเทคนิคทางสถิติและวิธีการต่างๆในการวิเคราะห์ข้อมูล

อย่างไรก็ตามฉันอยากรู้เกี่ยวกับขอบเขต / ระดับความรู้ที่จำเป็นสำหรับนักวิทยาศาสตร์สังคมประยุกต์ที่ประสบความสำเร็จในการเลือกและใช้แนวคิดมาตรการและเครื่องมือเหล่านั้นโดยไม่ต้องดำลึกเข้าไปในจุดกำเนิดทางคณิตศาสตร์ของทฤษฎี ฉันหวังว่าจะได้คำตอบของคุณซึ่งอาจกล่าวถึงข้อกังวลของฉันภายในบริบทของหนังสือที่กล่าวถึงข้างต้น (หรือหนังสือที่คล้ายคลึงกันอื่น ๆ - อย่าลังเลที่จะแนะนำ) หรือโดยทั่วไป

ฉันขอขอบคุณข้อเสนอแนะบางอย่างสำหรับแหล่งข้อมูลการพิมพ์หรือออนไลน์ที่กล่าวถึงทฤษฎีข้อมูลและแนวคิดแนวทางวิธีการและมาตรการในบริบทของ ( เปรียบเทียบกับ) วิธีการทางสถิติแบบดั้งเดิมอื่น ๆ (เพิ่มเติม) (ผู้ใช้บ่อยและBayesian )

ดังนั้นส่วนแรกของคำถาม: นักวิทยาศาสตร์ด้านข้อมูลจำเป็นต้องรู้ทฤษฎีข้อมูลหรือไม่? ฉันคิดว่าคำตอบคือไม่นานมาก เหตุผลที่ฉันเปลี่ยนใจเป็นองค์ประกอบที่สำคัญอย่างหนึ่ง: เสียงรบกวน

โมเดลการเรียนรู้ของเครื่องจำนวนมาก (ทั้งสุ่มหรือไม่) ใช้เสียงเป็นส่วนหนึ่งของกระบวนการเข้ารหัสและการแปลงของพวกเขาและในหลาย ๆ โมเดลคุณจำเป็นต้องสรุปความน่าจะเป็นที่เสียงดังกระทบหลังจากถอดรหัสเอาท์พุทที่แปลงแล้วของแบบจำลอง ฉันคิดว่านี่เป็นส่วนสำคัญของทฤษฎีข้อมูล ไม่เพียงแค่นั้นในการเรียนรู้อย่างลึกล้ำ KL แตกต่างเป็นมาตรการที่สำคัญมากที่ใช้ซึ่งมาจากทฤษฎีข้อมูล

ส่วนที่สองของคำถาม: ผมคิดว่าแหล่งที่ดีที่สุดคือเดวิดแมคเคย์ของข้อมูลทฤษฎีการอนุมานและการเรียนรู้ขั้นตอนวิธี เขาเริ่มต้นด้วยทฤษฎีข้อมูลและนำแนวคิดเหล่านั้นไปใช้ในการอนุมานและแม้แต่โครงข่ายประสาทเทียม Pdf นั้นฟรีบนเว็บไซต์ของ Daveและการบรรยายออนไลน์ซึ่งยอดเยี่ยม