อะไรคือเหตุผลที่ทำให้การเปลี่ยนแปลงบันทึกของตัวแปรต่อเนื่องน้อย

ฉันได้รับปัญหาการจัดหมวดหมู่และฉันได้อ่านรหัสและแบบฝึกหัดของคนจำนวนมาก สิ่งหนึ่งที่ผมสังเกตเห็นก็คือว่าหลายคนใช้np.logหรือlogของตัวแปรอย่างต่อเนื่องเหมือนloan_amountหรือapplicant_incomeฯลฯ

ฉันแค่ต้องการเข้าใจเหตุผลที่อยู่เบื้องหลัง มันช่วยปรับปรุงความแม่นยำในการทำนายแบบจำลองของเราหรือไม่ จำเป็นหรือไม่ หรือมีเหตุผลใด ๆ ที่อยู่เบื้องหลังมัน?

โปรดระบุคำอธิบายหากเป็นไปได้ ขอขอบคุณ.

สิ่งนี้จะเกิดขึ้นเมื่อตัวแปรครอบคลุมหลายลำดับของขนาด รายได้เป็นตัวอย่างทั่วไป: การกระจายของมันคือ "กฎหมายพลังงาน" ซึ่งหมายความว่ารายได้ส่วนใหญ่มีขนาดเล็กและน้อยมาก

การกระจายแบบ "fat tailed" ประเภทนี้มีการศึกษาในสเกลลอการิทึมเนื่องจากคุณสมบัติทางคณิตศาสตร์ของลอการิทึม:

ซึ่งแสดงถึง

และ

ซึ่งแปลงความแตกต่างอย่างมาก

ส่วนใหญ่เป็นเพราะการกระจายเบ้ ลอการิทึมลดช่วงไดนามิกของตัวแปรโดยธรรมชาติดังนั้นความแตกต่างจะถูกรักษาไว้ในขณะที่สเกลไม่เบ้อย่างมาก ลองนึกภาพว่าบางคนได้รับเงินกู้ 100,000,000 คนและบางคนได้ 10,000 และ 0 ส่วนคุณลักษณะใด ๆ ที่อาจทำให้ 0 และ 10,000 ใกล้เคียงกันมากที่สุดเนื่องจากจำนวนที่มากที่สุดจะผลักดันขอบเขต ลอการิทึมแก้ปัญหาได้

$\log{x}$$0 < x < \infty$$-\infty < \log{x} <\infty$

$x$

log(A/B) = -log(B/A)แต่เหตุผลที่ว่าทำไมการเปลี่ยนแปลงลอการิทึมมีประโยชน์อื่นมาลงเล่นสำหรับข้อมูลอัตราส่วนเนื่องจากความจริงที่ว่า (0, Inf)หากคุณวางแผนการกระจายของอัตราส่วนในระดับดิบคะแนนของคุณตกอยู่ในช่วง อัตราส่วนใดน้อยกว่า 1 จะได้รับการ squished เป็นพื้นที่เล็ก ๆ ของพล็อตและนอกจากพล็อตจะมีลักษณะที่แตกต่างกันอย่างสมบูรณ์หากคุณพลิกอัตราส่วนการแทน(B/A) (A/B)หากคุณทำสิ่งนี้ในระดับลอการิทึมช่วงนี้(-Inf, +Inf)หมายถึงอัตราส่วนที่น้อยกว่า 1 และมากกว่า 1 จะกระจายออกไปเท่า ๆ กัน หากคุณตัดสินใจที่จะพลิกอัตราส่วนคุณเพียงแค่พล็อตรอบ ๆ 0 มิฉะนั้นมันจะเหมือนกัน ในระดับบันทึกมันไม่สำคัญว่าคุณจะแสดงอัตราส่วน1/10 or 10/1ซึ่งมีประโยชน์เมื่อไม่มีตัวเลือกที่ชัดเจนว่าควรจะเป็นอย่างไร

คุณควรดูการแจกแจงล็อกปกติ

ผู้คนอาจใช้ล็อกเพราะพวกเขาคิดว่ามันบีบอัดสเกลหรือบางอย่าง แต่การใช้หลักการของบันทึกคือคุณกำลังทำงานกับข้อมูลที่มีการแจกแจงแบบล็อกปกติ สิ่งนี้จะมีแนวโน้มที่จะเป็นเงินเดือนเงินเดือนราคาบ้าน ฯลฯ ซึ่งค่าทั้งหมดเป็นค่าบวกและส่วนใหญ่ค่อนข้างเรียบง่าย แต่บางแห่งมีขนาดใหญ่มาก

หากคุณสามารถบันทึกข้อมูลและกลายเป็นเรื่องปกติคุณสามารถใช้ประโยชน์จากคุณลักษณะหลายอย่างของการแจกแจงแบบปกติเช่นค่าเฉลี่ยที่กำหนดไว้อย่างดีค่าเบี่ยงเบนมาตรฐาน (และด้วยคะแนน z), สมมาตรเป็นต้น

ในทำนองเดียวกันการเพิ่มบันทึกจะเหมือนกับการคูณค่า un-log'd ซึ่งหมายความว่าคุณได้เปลี่ยนการกระจายโดยที่ข้อผิดพลาดนั้นเป็นส่วนเสริมที่มีการคูณ (เช่นอิงตามเปอร์เซ็นต์) เนื่องจากเทคนิคต่าง ๆ เช่นการถดถอยของ OLS นั้นจำเป็นต้องมีการแจกแจงข้อผิดพลาดตามปกติการทำงานกับบันทึกจึงขยายการบังคับใช้ของพวกเขาตั้งแต่กระบวนการเติมแต่งไปจนถึงกระบวนการคูณ

ฉันบอกว่าเหตุผลหลักไม่ใช่การกระจาย แต่เพราะความสัมพันธ์แบบไม่เชิงเส้น บันทึกมักจะจับความสัมพันธ์ที่อิ่มตัว ...