วิธีทำให้ข้อมูลของการแจกจ่ายที่ไม่รู้จักเป็นมาตรฐาน

ฉันพยายามค้นหาการกระจายลักษณะเฉพาะที่เหมาะสมที่สุดของข้อมูลการวัดซ้ำประเภทหนึ่ง

โดยพื้นฐานแล้วในสาขาธรณีวิทยาของฉันเรามักจะใช้การตรวจสอบด้วยรังสีของแร่ธาตุจากตัวอย่าง (ก้อนหิน) เพื่อหาว่านานแค่ไหนที่มีเหตุการณ์เกิดขึ้น (หินเย็นลงต่ำกว่าอุณหภูมิที่กำหนด) โดยทั่วไปการวัดหลาย ๆ (3-10) จะทำจากตัวอย่างแต่ละตัวอย่าง จากนั้นค่าเฉลี่ยและค่าเบี่ยงเบนมาตรฐานσจะถูกนำ นี่คือธรณีวิทยาดังนั้นอายุการระบายความร้อนของตัวอย่างสามารถปรับได้ตั้งแต่10 5ถึง10 9ปีขึ้นอยู่กับสถานการณ์$\mu$$\sigma$$10^5$$10^9$

อย่างไรก็ตามฉันมีเหตุผลที่เชื่อได้ว่าการวัดไม่ใช่ Gaussian: 'Outliers' ไม่ว่าจะเป็นการประกาศโดยพลการหรือผ่านเกณฑ์บางอย่างเช่นเกณฑ์ของ Peirce [Ross, 2003]หรือการทดสอบ Q ของ Dixon [Dean and Dixon, 1951]นั้นค่อนข้างยุติธรรม ทั่วไป (พูด 1 ใน 30) และสิ่งเหล่านี้เกือบจะเก่ากว่าทุกครั้งซึ่งบ่งชี้ว่าการวัดเหล่านี้มีลักษณะเอียงไปทางขวา มีเหตุผลที่เข้าใจกันดีเกี่ยวกับสิ่งสกปรกที่เกี่ยวกับแร่วิทยา

$\mu$$\sigma$

ฉันสงสัยว่าวิธีที่ดีที่สุดในการทำเช่นนี้คืออะไร ถึงตอนนี้ฉันมีฐานข้อมูลประมาณ 600 ตัวอย่างและ 2-10 (หรือมากกว่านั้น) ทำซ้ำการวัดต่อตัวอย่าง ฉันได้ลองทำตัวอย่างให้เป็นมาตรฐานโดยการหารค่าเฉลี่ยหรือค่ามัธยฐานแล้วดูที่ฮิสโตแกรมของข้อมูลที่ทำให้เป็นมาตรฐาน สิ่งนี้สร้างผลลัพธ์ที่สมเหตุสมผลและดูเหมือนว่าบ่งชี้ว่าข้อมูลนั้นเป็นลักษณะเฉพาะของ Laplacian:

อย่างไรก็ตามฉันไม่แน่ใจว่านี่เป็นวิธีการที่เหมาะสมหรือไม่หรือมีข้อแม้ที่ฉันไม่ทราบว่าอาจทำให้เกิดผลลัพธ์ของฉันดังนั้นพวกเขาจึงมีลักษณะเช่นนี้ ใครบ้างมีประสบการณ์กับสิ่งนี้และรู้วิธีปฏิบัติที่ดีที่สุด?

คุณได้พิจารณาการวัดค่าเฉลี่ย (3-10) จากแต่ละตัวอย่าง จากนั้นคุณสามารถทำงานกับการแจกแจงที่เป็นผลลัพธ์ซึ่งจะใกล้เคียงกับการแจกแจงแบบ t ซึ่งจะประมาณการกระจายตัวแบบปกติสำหรับ n ที่ใหญ่กว่า

ฉันไม่คิดว่าคุณกำลังใช้ normalize เพื่อหมายถึงความหมายปกติซึ่งโดยทั่วไปแล้วจะเป็นสิ่งที่ทำให้ค่าเฉลี่ยและ / หรือความแปรปรวนและ / หรือการฟอกสีฟันเป็นปกติ

ฉันคิดว่าสิ่งที่คุณพยายามจะทำคือการหาการทำ reparameterization และ / หรือฟีเจอร์ที่ช่วยให้คุณใช้ตัวแบบเชิงเส้นกับข้อมูลของคุณ

นี่ไม่ใช่เรื่องไร้สาระและไม่มีคำตอบง่ายๆ นั่นเป็นสาเหตุที่นักวิทยาศาสตร์ด้านข้อมูลได้รับเงินจำนวนมาก ;-)

วิธีหนึ่งที่ค่อนข้างตรงไปตรงมาในการสร้างคุณสมบัติที่ไม่เป็นเชิงเส้นคือการใช้เครือข่ายประสาทส่งต่อซึ่งจำนวนชั้นและจำนวนเซลล์ประสาทต่อชั้นควบคุมความจุของเครือข่ายเพื่อสร้างคุณสมบัติ ความจุที่สูงขึ้น => ความไม่เป็นเชิงเส้นมากขึ้น กำลังการผลิตลดลง => เป็นเส้นตรงมากขึ้นมีอคติสูงกว่าลดความแปรปรวน

อีกวิธีหนึ่งที่ช่วยให้คุณควบคุมได้มากขึ้นเล็กน้อยคือการใช้เส้นโค้ง

ในที่สุดคุณสามารถสร้างคุณสมบัติดังกล่าวด้วยมือซึ่งฉันคิดว่าเป็นสิ่งที่คุณพยายามทำ แต่จากนั้นไม่มีคำตอบ 'กล่องดำ' ที่เรียบง่าย: คุณจะต้องวิเคราะห์ข้อมูลอย่างระมัดระวังมองหารูปแบบและอื่น ๆ .

คุณสามารถลองใช้ตระกูลของการแจกแจงความเป็นไปได้สี่พารามิเตอร์ของ Johnson (SL, SU, SB, SN) การแจกแจงแต่ละครั้งแสดงถึงการแปลงเป็นการแจกแจงแบบปกติ