เหตุใดจึงควรหลีกเลี่ยงการถูก Binning ที่ค่าใช้จ่ายทั้งหมด?

ดังนั้นผมจึงได้อ่านโพสต์ไม่กี่เกี่ยวกับสาเหตุที่ Binning ควรเสมอที่จะหลีกเลี่ยง ข้อมูลอ้างอิงยอดนิยมสำหรับการอ้างสิทธิ์ว่าเป็นลิงก์นี้

การหลบหลีกที่สำคัญคือจุดที่ binning (หรือจุดตัด) นั้นค่อนข้างมีข้อ จำกัด รวมถึงการสูญเสียข้อมูลที่เกิดขึ้นและเส้นโค้งนั้นควรเป็นที่ต้องการ

อย่างไรก็ตามฉันกำลังทำงานกับ Spotify API ซึ่งมีมาตรการความเชื่อมั่นอย่างต่อเนื่องสำหรับคุณสมบัติหลายประการของพวกเขา

ดูที่คุณลักษณะหนึ่ง "instrumentalness" สถานะอ้างอิง:

ทำนายว่าแทร็กไม่มีเสียงร้องหรือไม่ เสียง“ Ooh” และ“ aah” นั้นถือเป็นเครื่องมือในบริบทนี้ แร็พหรือแทร็กคำพูดนั้นชัดเจนว่า "แกนนำ" ยิ่งมีค่าใกล้กับ 1.0 มากเท่าไหร่โอกาสที่แทร็กจะไม่มีเนื้อหาเสียงร้องก็ยิ่งมากขึ้นเท่านั้น ค่าที่สูงกว่า 0.5 มีวัตถุประสงค์เพื่อเป็นตัวแทนเครื่องมือแต่ความมั่นใจสูงกว่าเมื่อค่าเข้าใกล้ 1.0

ด้วยการกระจายข้อมูลที่เบ้ไปทางซ้ายอย่างมาก (ประมาณ 90% ของกลุ่มตัวอย่างแทบจะไม่สูงกว่า 0 ฉันพบว่าเหมาะสมที่จะเปลี่ยนคุณสมบัตินี้ให้เป็นคุณสมบัติสองประเภท: "เครื่องมือ" (ตัวอย่างทั้งหมดที่มีค่าสูงกว่า 0.5) และ "non_instrumental "(สำหรับตัวอย่างทั้งหมดที่มีค่าต่ำกว่า 0.5)

มันผิดหรือเปล่า? และอะไรจะเป็นทางเลือกเมื่อข้อมูล (ต่อเนื่อง) เกือบทั้งหมดของฉันหมุนรอบค่าเดียว? จากสิ่งที่ฉันเข้าใจเกี่ยวกับเส้นโค้งพวกเขาจะไม่ทำงานกับปัญหาการจำแนกประเภท (สิ่งที่ฉันทำ) เช่นกัน

เป็นเรื่องที่พูดเกินจริงเล็กน้อยที่จะกล่าวว่าควรหลีกเลี่ยงการทำ binning ด้วยค่าใช้จ่ายทั้งหมดแต่แน่นอนว่าในกรณีที่ binning แนะนำตัวเลือก bin ที่แนะนำการวิเคราะห์โดยพลการ ด้วยวิธีการทางสถิติที่ทันสมัยโดยทั่วไปไม่จำเป็นต้องมีส่วนร่วมในการ binning เนื่องจากสิ่งที่สามารถทำได้บนข้อมูล "binned" discretized โดยทั่วไปสามารถทำได้ในค่าต่อเนื่องพื้นฐาน

การใช้ "binning" ที่พบมากที่สุดในสถิติคือการสร้างฮิสโตแกรม ฮิสโทแกรมมีความคล้ายคลึงกับคลาสทั่วไปของการประมาณความหนาแน่นของเคอร์เนล (KDEs) ตราบเท่าที่พวกมันเกี่ยวข้องกับการรวมฟังก์ชั่นขั้นตอนบนถังขยะที่เลือกในขณะที่ KDE เกี่ยวข้องกับการรวมของเมล็ดที่นุ่มนวลขึ้น ฟังก์ชั่นขั้นตอนที่ใช้ในฮิสโตแกรมนั้นไม่ใช่ฟังก์ชั่นที่ราบรื่นและโดยทั่วไปแล้วในกรณีที่ฟังก์ชั่นเคอร์เนลที่ดีกว่านั้นสามารถเลือกได้โดยไม่ตั้งใจภายใต้วิธี KDE ซึ่งให้ผลการประมาณความหนาแน่นของข้อมูลที่ดีกว่า ฉันมักจะบอกนักเรียนว่าฮิสโตแกรมนั้นเป็นเพียง "KDE ของคนจน" โดยส่วนตัวแล้วฉันจะไม่ใช้อันใดอันหนึ่งเพราะมันง่ายมากที่จะได้รับ KDE โดยไม่ต้อง binning ข้อมูลและนี่จะให้ผลลัพธ์ที่เหนือกว่าโดยไม่มีทางเลือกในการ binning โดยพลการ

การใช้ "binning" ทั่วไปอื่นเกิดขึ้นเมื่อนักวิเคราะห์ต้องการแยกข้อมูลอย่างต่อเนื่องเป็นถังขยะเพื่อใช้เทคนิคการวิเคราะห์ที่ใช้ค่าแยก สิ่งนี้ดูเหมือนจะเป็นสิ่งที่ถูกแนะนำในส่วนที่คุณพูดถึงเกี่ยวกับการทำนายเสียงร้อง ในกรณีเช่นนี้มีการแนะนำให้ทำโดยอนุญาโตตุลาการและมีการสูญหายของข้อมูล เป็นการดีที่สุดที่จะหลีกเลี่ยงปัญหานี้หากเป็นไปได้โดยพยายามสร้างแบบจำลองโดยตรงกับค่าต่อเนื่องที่สำคัญมากกว่าการสร้างแบบจำลองบนค่า "binned" discretized

ตามกฎทั่วไปมันเป็นที่พึงปรารถนาสำหรับนักสถิติเพื่อหลีกเลี่ยงเทคนิคการวิเคราะห์ที่แนะนำสมมติฐานโดยพลการโดยเฉพาะอย่างยิ่งในกรณีที่มีเทคนิคทางเลือกที่มีอยู่เพื่อหลีกเลี่ยงสมมติฐานเหล่านี้ได้อย่างง่ายดาย ดังนั้นฉันจึงเห็นด้วยกับความรู้สึกว่าโดยทั่วไปการ binning นั้นไม่จำเป็น ไม่ควรหลีกเลี่ยงค่าใช้จ่ายใด ๆ อย่างแน่นอนเนื่องจากค่าใช้จ่ายมีความสำคัญ แต่โดยทั่วไปควรหลีกเลี่ยงเมื่อมีเทคนิคทางเลือกง่าย ๆ ที่อนุญาตให้หลีกเลี่ยงได้โดยไม่เกิดความไม่สะดวกอย่างร้ายแรง

ฉันมักจะเถียงอย่างยิ่งกับการจัดประเภทของตัวแปรต่อเนื่องสำหรับเหตุผลที่แสดงออกอย่างดีโดยคนอื่นเด่น Frank Harrell ในกรณีนี้อาจเป็นประโยชน์ แต่ถามตัวเองเกี่ยวกับกระบวนการที่สร้างคะแนน ดูเหมือนว่าคะแนนส่วนใหญ่จะเป็นศูนย์อย่างมีประสิทธิภาพอาจมีสัญญาณรบกวนบ้าง บางคนใกล้เคียงกับความสามัคคีอีกครั้งด้วยเสียง โกหกน้อยมากในระหว่าง ในกรณีนี้ดูเหมือนจะมีเหตุผลมากขึ้นสำหรับการจัดหมวดหมู่ตั้งแต่หนึ่งสามารถยืนยันว่าโมดูโล่เสียงนี้เป็นตัวแปรไบนารี หากใครเหมาะสมกับมันเป็นตัวแปรต่อเนื่องสัมประสิทธิ์จะมีความหมายในแง่ของการเปลี่ยนแปลงในตัวแปรทำนาย แต่ในกรณีนี้ในช่วงส่วนใหญ่ของตัวแปรที่มีประชากรเบาบางมากดังนั้นดูเหมือนว่าไม่น่าสนใจ

ลองนึกภาพคุณมีนาฬิกาที่แสดงเฉพาะชั่วโมง โดยเฉพาะฉันหมายความว่ามันมีเพียงลูกศรชั่วโมงที่เมื่อชั่วโมงทำให้ 1/12 ข้ามไปยังอีกชั่วโมงมันไม่เคลื่อนไหวอย่างราบรื่น นาฬิกาดังกล่าวจะไม่มีประโยชน์มากนักเนื่องจากคุณไม่รู้ว่ามันเป็นห้าโมงครึ่งสองโมงครึ่งหรือสิบถึงสามนาฬิกา นั่นเป็นปัญหาของข้อมูลที่ถูกขัดจังหวะโดยจะสูญเสียรายละเอียดและทำให้เกิดการเปลี่ยนแปลง

สำหรับบางแอปพลิเคชั่นซึ่งรวมถึงแอพที่คุณใคร่ครวญอาจจำเป็นต้องใช้การอย่างเคร่งครัด เห็นได้ชัดว่าในการดำเนินการปัญหาการจัดหมวดหมู่ในบางจุดคุณต้องถอนข้อมูลเด็ดขาดจากแบบจำลองของคุณและถ้าอินพุตของคุณเป็นหมวดหมู่ทั้งหมดเช่นกันคุณจะต้องดำเนินการ binning ลองพิจารณาตัวอย่าง:

AI ที่ซับซ้อนกำลังเล่นโป๊กเกอร์ มันได้ประเมินความเป็นไปได้ที่มือจะดีกว่ามือของผู้เล่นอื่น ๆ ถึง 70% มันเป็นตาของการเดิมพันอย่างไรก็ตามมันบอกว่าควรหลีกเลี่ยงการ binning ที่ต้นทุนทั้งหมดและดังนั้นจึงไม่เคยวางเดิมพัน มันพับตามค่าเริ่มต้น

อย่างไรก็ตามสิ่งที่คุณเคยได้ยินอาจเป็นจริงในการ binning ก่อนหน้าของค่ากลางที่ยอมจำนนข้อมูลที่อาจถูกเก็บรักษาไว้ หากวัตถุประสงค์สุดท้ายของโครงการของคุณคือการพิจารณาว่าคุณจะ "ชอบ" เพลงที่เป็นปัญหาซึ่งอาจถูกกำหนดโดยสองปัจจัย: "instrumentalness" และ "rockitude" คุณน่าจะทำได้ดีกว่าที่จะเก็บไว้เป็นตัวแปรต่อเนื่องจนกว่าคุณจะ ต้องดึง "likingness" ออกเป็นตัวแปรเด็ดขาด

หรือสัมประสิทธิ์อะไรก็ตามที่คุณเห็นว่าเหมาะสมที่สุดหรือโมเดลอื่นใดที่เหมาะสมกับชุดฝึกอบรมของคุณ

หากคุณตัดสินใจว่าบางสิ่งบางอย่างเป็น "เครื่องมือ" (จริงหรือเท็จ) และ "หิน" (จริงหรือเท็จ) แสดงว่าคุณมี 4 หมวดหมู่ของคุณก่อนที่คุณจะเรียบเรียงในวันธรรมดา:

1. เครื่องมือหิน
2. หินที่ไม่เป็นเครื่องมือ
3. มีประโยชน์ไม่มีหิน
4. ไม่มีเครื่องมือไม่มีหิน

แต่สิ่งที่คุณต้องตัดสินใจคือ 4 หมวดหมู่ที่คุณ "ถูกใจ" คุณมีความยืดหยุ่นในการตัดสินใจครั้งสุดท้าย

การตัดสินใจทิ้งถังขยะหรือไม่ขึ้นอยู่กับเป้าหมายของคุณ โชคดี.

$R$

$R$$\{b_1 \cdots b_N\}$$b_i=[l_i,u_i]$$l_i$$u_i$$i$

$l=l_0$$w$$l_0$$u_0=l_0+w$$w$$(w_{min},w_{max})$

$w_{max}, w_{min},$$l_0$$P(R) \rightarrow P(R|w_{max}, w_{min},l_0)$$P(R)$$P(R|w_{max}, w_{min},l_0)=P(R)$

ในบริบทของคำถามของ OPฉันจะพอใจถ้าค่า threshold ตามอำเภอใจ 0.5 ถูกกำหนดเป็นค่าที่หลากหลายระหว่างค่า min และค่าที่เชื่อถือได้และเพื่อดูว่าผลลัพธ์พื้นฐานของการวิเคราะห์ของเขาส่วนใหญ่ไม่ขึ้นอยู่กับการเลือก