เหตุใดเราจึงแปลงข้อมูลที่เบ้เป็นการแจกแจงแบบปกติ

ฉันกำลังแก้ไขปัญหาการแข่งขันด้านราคาที่อยู่อาศัยใน Kaggle ( เคอร์เนลของ Human Analog ในราคาบ้าน: เทคนิคการถดถอยขั้นสูง ) และได้ข้ามส่วนนี้:

# Transform the skewed numeric features by taking log(feature + 1).
# This will make the features more normal.
from scipy.stats import skew

skewed = train_df_munged[numeric_features].apply(lambda x: skew(x.dropna().astype(float)))
skewed = skewed[skewed > 0.75]
skewed = skewed.index

train_df_munged[skewed] = np.log1p(train_df_munged[skewed])
test_df_munged[skewed] = np.log1p(test_df_munged[skewed])

ฉันไม่แน่ใจว่าจำเป็นต้องแปลงการแจกแจงแบบเบ้เป็นการแจกแจงแบบปกติอย่างไร กรุณาอธิบายให้คนอื่นทราบ:

1. ทำไมสิ่งนี้ถึงถูกทำที่นี่? หรือว่ามีประโยชน์อย่างไร
2. สิ่งนี้แตกต่างจากการปรับขนาดคุณสมบัติอย่างไร
3. นี่เป็นขั้นตอนที่จำเป็นสำหรับวิศวกรรมคุณลักษณะหรือไม่ จะเกิดอะไรขึ้นถ้าฉันข้ามขั้นตอนนี้

คุณอาจต้องการตีความค่าสัมประสิทธิ์ของคุณ นั่นคือเพื่อให้สามารถที่จะพูดสิ่งที่ชอบ "ถ้าผมเพิ่มตัวแปรของฉันโดย 1 แล้วโดยเฉลี่ยและทุกคนเท่าเทียมกัน, Yควรจะเพิ่มขึ้นโดยβ 1 "$X_1$$Y$$\beta_1$

เพื่อให้สัมประสิทธิ์ของคุณตีความได้การถดถอยเชิงเส้นถือว่าเป็นเรื่องต่าง ๆ

หนึ่งในสิ่งเหล่านี้คือไม่มีความสัมพันธ์อันหลากหลาย นั่นคือตัวแปรของคุณไม่ควรมีความสัมพันธ์ซึ่งกันและกัน$X$

อีกประการหนึ่งคือความกระเทย ข้อผิดพลาดที่กระทำแบบจำลองของคุณควรจะมีความแปรปรวนเดียวกันเช่นคุณควรให้แน่ใจว่าการถดถอยเชิงเส้นไม่ได้ทำให้ข้อผิดพลาดเล็ก ๆ สำหรับค่าที่ต่ำของและข้อผิดพลาดที่ยิ่งใหญ่สำหรับค่าที่สูงขึ้นของX ในคำอื่น ๆ ความแตกต่างระหว่างสิ่งที่คุณคาดการณ์Yและค่าที่แท้จริงYควรจะคงที่ คุณสามารถมั่นใจได้ว่าด้วยการทำให้แน่ใจว่าYติดตามการแจกแจงแบบเกาส์ (การพิสูจน์เป็นแบบคณิตศาสตร์สูง)$X$$X$$\hat Y$$Y$$Y$

ขึ้นอยู่กับข้อมูลของคุณคุณอาจทำให้ Gaussian การแปลงแบบปกติกำลังการผกผัน, ลอการิทึมหรือรากที่สอง แน่นอนว่ามีคนอื่น ๆ อีกมากมายทุกอย่างขึ้นอยู่กับข้อมูลของคุณ คุณต้องดูข้อมูลของคุณแล้วทำฮิสโตแกรมหรือเรียกใช้การทดสอบปกติเช่นการทดสอบ Shapiro-Wilk

เหล่านี้เป็นเทคนิคในการสร้างประมาณเป็นกลาง ฉันไม่คิดว่ามันจะเกี่ยวอะไรกับการคอนเวอร์เจนซ์อย่างที่คนอื่นพูด (บางครั้งคุณอาจต้องการทำให้ข้อมูลของคุณเป็นปกติ แต่นั่นเป็นหัวข้อที่ต่างออกไป)

การทำตามสมมติฐานการถดถอยเชิงเส้นเป็นสิ่งสำคัญหากคุณต้องการตีความค่าสัมประสิทธิ์หรือหากคุณต้องการใช้การทดสอบทางสถิติในแบบจำลองของคุณ มิฉะนั้นลืมมัน

$\|\hat y - y\|^2$$y$normalize

ข้อมูลที่เอียงที่นี่กำลังถูกทำให้เป็นมาตรฐานโดยการเพิ่มหนึ่งรายการ (เพิ่มอีกหนึ่งรายการเพื่อให้ค่าศูนย์ถูกแปลงเป็นหนึ่งเนื่องจากไม่ได้กำหนดล็อก 0 ไว้) และทำการบันทึกตามธรรมชาติ ข้อมูลเกือบจะเป็นมาตรฐานโดยใช้เทคนิคการแปลงเช่นการสแควร์รูทหรือซึ่งกันและกันหรือลอการิทึม ตอนนี้มันเป็นสิ่งจำเป็น อันที่จริงแล้วอัลกอริธึมในข้อมูลจำนวนมากถือว่าวิทยาศาสตร์ข้อมูลเป็นเรื่องปกติและคำนวณสถิติต่างๆที่สมมติว่าเป็นเช่นนี้ ดังนั้นยิ่งข้อมูลใกล้เคียงกับปกติมากเท่าไหร่มันก็ยิ่งเหมาะกับสมมติฐานมากเท่านั้น

เพราะข้อมูลวิทยาศาสตร์เป็นเพียงสถิติในตอนท้ายของวันและเป็นหนึ่งในสมมติฐานที่สำคัญของสถิติเป็นทฤษฎีขีด จำกัด กลาง ดังนั้นขั้นตอนนี้จึงเสร็จเนื่องจากบางขั้นตอนต่อมาใช้เทคนิคสถิติที่ต้องอาศัย