การคำนวณจำนวนที่เหมาะสมของถังขยะในฮิสโตแกรม

ฉันสนใจที่จะหาวิธีที่ดีที่สุดเท่าที่จะทำได้เพื่อหาจำนวนถังขยะที่ควรใช้ในฮิสโตแกรม ข้อมูลของฉันควรอยู่ในช่วงวัตถุสูงสุด 30 ถึง 350 และโดยเฉพาะอย่างยิ่งฉันพยายามที่จะใช้การกำหนดเกณฑ์ขั้นต่ำ (เช่นวิธีของ Otsu) โดยที่วัตถุ "ดี" ซึ่งฉันควรมีน้อยกว่าและควรแยกออกจาก " วัตถุที่ไม่ดีซึ่งควรมีความหนาแน่นมากกว่าในค่า ค่าที่เป็นรูปธรรมจะมีคะแนน 1-10 สำหรับแต่ละวัตถุ ฉันมี 5-10 วัตถุที่มีคะแนน 6-10 และ 20-25 วัตถุที่มีคะแนน 1-4 ฉันต้องการหารูปแบบฮิสโตแกรม binning ที่โดยทั่วไปแล้วอนุญาตให้บางสิ่งบางอย่างเช่นวิธีของ Otsu ในการ จำกัด วัตถุที่ให้คะแนนต่ำ อย่างไรก็ตามในการดำเนินการของ Otsu ที่ฉันเคยเห็นขนาดของช่องเก็บข้อมูลเท่ากับ 256 และบ่อยครั้งที่ฉันมีจุดข้อมูลน้อยกว่ามากที่ 256 ที่ฉันแนะนำว่า 256 ไม่ใช่หมายเลขถังขยะที่ดี ด้วยข้อมูลน้อยมากฉันควรใช้วิธีใดในการคำนวณจำนวนถังขยะที่จะใช้

อิสระ-Diaconisกฎมีประสิทธิภาพมากและทำงานได้ดีในทางปฏิบัติ ถังความกว้างมีการตั้งค่า1/3} ดังนั้นจำนวนของถังขยะคือโดยที่คือจำนวนการสังเกตค่าสูงสุดคือค่าสูงสุดและ min เป็นค่าต่ำสุด$h=2\times\text{IQR}\times n^{-1/3}$$(\max-\min)/h$$n$

ในฐาน R คุณสามารถใช้:

hist(x, breaks="FD")

สำหรับไลบรารีการพล็อตอื่นที่ไม่มีตัวเลือกนี้ (เช่น, ggplot2) คุณสามารถคำนวณความกว้างเป็น:

bw <- 2 * IQR(x) / length(x)^(1/3)

### for example #####
ggplot() + geom_histogram(aes(x), binwidth = bw)

หากคุณใช้ถังขยะน้อยเกินไปฮิสโทแกรมจะไม่แสดงข้อมูลได้ดีนัก หากคุณมีถังขยะมากเกินไปคุณจะได้หวีที่หักซึ่งก็ไม่ได้ให้ความรู้สึกถึงการกระจาย

ทางออกหนึ่งคือการสร้างกราฟที่แสดงทุกค่า อาจเป็นพล็อตจุดหรือการแจกแจงความถี่สะสมซึ่งไม่จำเป็นต้องมีถังขยะ

หากคุณต้องการสร้างการแจกแจงความถี่ที่มีช่องว่างเท่า ๆ กันคุณต้องตัดสินใจว่าจะมีกี่ถังขยะ (หรือความกว้างของแต่ละช่อง) การตัดสินใจอย่างชัดเจนขึ้นอยู่กับจำนวนของค่า หากคุณมีค่ามากมายกราฟของคุณจะดูดีขึ้นและมีข้อมูลมากขึ้นหากคุณมีถังขยะจำนวนมาก หน้าวิกิพีเดียนี้แสดงวิธีการหลายวิธีในการตัดสินความกว้างของถังขยะจากจำนวนการสังเกต วิธีที่ง่ายที่สุดคือการกำหนดจำนวนของถังขยะเท่ากับรากที่สองของจำนวนค่าที่คุณกำลัง binning

หน้านี้จากฮิเดอากิชิมาซากิอธิบายวิธีการอื่น มันค่อนข้างซับซ้อนกว่าในการคำนวณ แต่ดูเหมือนว่าจะทำได้ดีมาก ส่วนบนของหน้าคือแอป Java เลื่อนผ่านเพื่อดูทฤษฎีและคำอธิบายจากนั้นเลื่อนไปเรื่อย ๆ เพื่อค้นหาลิงก์ไปยังเอกสารที่อธิบายวิธีการ

บางทีกระดาษ "การเปลี่ยนแปลงในฮิสโตแกรม " ของ Denby และ Mallows อาจเป็นที่สนใจ:

จอแสดงผลใหม่นี้ซึ่งเราเรียกว่า "dhist" (สำหรับฮิสโตแกรมแนวทแยงมุม) รักษาคุณสมบัติที่ต้องการของทั้งฮิสต์ความกว้างเท่ากันและฮิสต์พื้นที่เท่ากัน มันจะแสดงถังขยะแคบ ๆ สูง ๆ เช่น ea hist เมื่อมี spikes ในข้อมูลและจะแสดงค่าผิดปกติโดดเดี่ยวเช่นเดียวกับฮิสโตแกรมปกติ

พวกเขายังพูดถึงว่ารหัสใน R สามารถร้องขอได้

ฉันไม่แน่ใจว่านี่เป็นวิธีปฏิบัติที่ดีอย่างเคร่งครัด แต่ฉันมักจะผลิตฮิสโตแกรมมากกว่าหนึ่งที่มีความกว้างช่องเก็บที่แตกต่างกันและเลือกฮิสโตแกรมที่ฮิสแกรมที่จะใช้ขึ้นอยู่กับฮิสแกรมที่เหมาะกับการตีความ ในขณะที่สิ่งนี้นำเสนอความเป็นกลางในการเลือกฮิสโตแกรมฉันเลือกมันบนพื้นฐานที่ฉันมีเวลามากขึ้นในการทำความเข้าใจข้อมูลมากกว่าคนที่ฉันให้ฮิสโตแกรมกับฉันดังนั้นฉันจึงต้องการให้พวกเขามีข้อความสั้นกระชับ

ฉันยังเป็นแฟนตัวยงของการนำเสนอฮิสโทแกรมที่มีจำนวนแต้มเท่ากันในแต่ละถังแทนที่จะเป็นความกว้างของถังขยะเดียวกัน ฉันมักจะพบว่าสิ่งเหล่านี้เป็นตัวแทนของข้อมูลที่ดีกว่านั้นก็คือความกว้างของถังขยะคงที่แม้ว่าพวกมันจะสร้างยากมาก

คุณเห็นวิธีการShimazaki-Shinomotoหรือไม่?

แม้ว่ามันจะมีราคาแพง แต่ก็อาจให้ผลลัพธ์ที่ดีแก่คุณ มันคุ้มค่าที่จะลองถ้าเวลาในการคำนวณไม่ใช่ปัญหาของคุณ มีการใช้งานของวิธีการนี้ใน java, MATLAB, และอื่น ๆ ในลิงค์ต่อไปนี้ซึ่งทำงานเร็วพอ: เว็บอินเตอร์เฟส

ถ้าฉันต้องการกำหนดจำนวนของถังขยะโดยทางโปรแกรมฉันมักจะเริ่มต้นด้วยฮิสโตแกรมที่มีวิธีถังขยะมากกว่าที่จำเป็น เมื่อเติมฮิสโตแกรมแล้วฉันจะรวมถังขยะจนกว่าฉันจะมีรายการต่อช่องเก็บข้อมูลเพียงพอสำหรับวิธีการที่ฉันใช้เช่นถ้าฉันต้องการสร้างแบบจำลองความไม่แน่นอนปัวซองในการทดสอบการนับด้วยความไม่แน่นอนจากการแจกแจงแบบปกติ รายการ.

โปรดดูคำตอบนี้เป็นที่สมบูรณ์ของคำตอบนายร็อบ Hyndman ของ

เพื่อที่จะสร้างแปลง histogram กับช่วงเวลาเดียวกันแน่นอนหรือ 'binwidths' โดยใช้กฎอิสระ-Diaconisทั้งที่มีพื้นฐาน R หรือggplot2แพคเกจที่เราสามารถใช้ค่าใดค่าหนึ่งของฟังก์ชั่นคือhist() breaksสมมติว่าเราต้องการสร้างฮิสโตแกรมqsecจากmtcarsข้อมูลโดยใช้กฎ Freedman – Diaconis ในพื้นฐาน R เราใช้

x <- mtcars$qsec
hist(x, breaks = "FD")

ในggplot2แพคเกจที่เราใช้

h <- hist(x, breaks = "FD", plot = FALSE)
qplot(x, geom = "histogram", breaks = h$breaks, fill = I("red"), col = I("white"))

หรืออีกวิธีหนึ่ง

ggplot(mtcars, aes(x)) + geom_histogram(breaks = h$breaks, col = "white")

พวกเขาทั้งหมดสร้างพล็อตฮิสโตแกรมที่มีช่วงเวลาและจำนวนของถังขยะที่แน่นอนตามที่ตั้งใจไว้

ฉันมีการสังเกต 600 ครั้งสำหรับ Au g / t Bin ขนาด 1 มอบสิ่งนี้ให้ฉัน:

การเลือกอัตโนมัติ (ละเว้นช่วงของช่องเก็บ) จะทำให้:

ข้อมูลดู O'K บนกราฟที่หนึ่งและที่สองราวกับว่าไม่มีปัญหากับความสมบูรณ์ของข้อมูล เฉพาะ bin ขนาด 0.1 (g / t) เท่านั้นที่ตอบคำถาม: การวัดนั้นไม่ถูกต้องและไม่แม่นยำ

วิจารณญาณของฉัน: 1. ไม่มีเทคนิคการวัดบนโลกที่จะแสดงให้เห็นถึงคุณค่าที่แท้จริงของปรากฏการณ์ทางธรรมชาติ การวัดทั้งหมดเป็นค่าประมาณบางอย่างใกล้เคียงกับมูลค่าที่แท้จริง มันขึ้นอยู่กับการออกแบบการสุ่มตัวอย่างการสอบเทียบคุณสมบัติของมนุษย์ ฯลฯ 2. นี่คือสาเหตุที่การกระจายตัวนั้นเบ้มากกว่าแบบสมมาตร 3. อย่างไรก็ตามรูปร่างของการกระจายควรคล้ายกับส่วน "ระฆังเหมือน" อย่างน้อยประมาณ ทีละระฆัง (ยกเว้นในสภาพแวดล้อมทางธรณีวิทยาหลายแห่ง) 4. การกระจายความถี่ด้วยการปรับขนาดถังขยะสามารถช่วยเปิดเผยรูปแบบการวัดที่แม่นยำและแม่นยำ ดังนั้นต้องมีการเลือกขนาดถังขยะมากกว่าการตัดกฎบนหิน