วิธีการเลือกการแปลงที่ดีที่สุดเพื่อให้เป็นเส้นตรง?

ฉันต้องการทำการถดถอยเชิงเส้นหลายครั้งและจากนั้นเพื่อทำนายค่าใหม่ด้วยการประมาณค่าเล็กน้อย ฉันมีตัวแปรตอบสนองของฉันอยู่ในช่วงตั้งแต่ -2 ถึง +7 และตัวทำนายสามตัว (ช่วงประมาณ +10 - +200) การกระจายเกือบปกติ แต่ความสัมพันธ์ระหว่างการตอบสนองและตัวทำนายนั้นไม่ใช่เชิงเส้นฉันเห็นเส้นโค้งบนแปลง ตัวอย่างเช่นนี้: http://cs10418.userapi.com/u17020874/153949434/x_9898cf38.jpg

ฉันต้องการใช้การแปลงเพื่อให้เป็นเชิงเส้น ฉันพยายามเปลี่ยนตัวแปรการตอบสนองโดยการตรวจสอบฟังก์ชั่นต่าง ๆ และดูที่แปลงผลลัพธ์เพื่อดูความสัมพันธ์เชิงเส้นระหว่างการตอบสนองและตัวทำนาย และฉันพบว่ามีฟังก์ชั่นมากมายที่สามารถให้ความสัมพันธ์เชิงเส้นที่มองเห็นได้กับฉัน ตัวอย่างเช่นฟังก์ชั่น

$t_1=\log(y+2.5)$

$t_2=\frac{1}{\log(y+5)}$

$t_3=\frac{1}{y+5}$

$t_4=\frac{1}{(y+10)^3}$

$t_5=\frac{1}{(y+3)^\frac{1}{3}}$ ฯลฯ ให้ผลลัพธ์ที่คล้ายกัน: http://cs10418.userapi.com/u17020874/153949434/x_06f13dbf.jpg

หลังจากที่ฉันจะแปลงกลับค่าที่ทำนายไว้ (สำหรับเป็นเป็นต้น) การแจกแจงจะคล้ายกันมากหรือน้อยกว่าปกติ $t=\frac{1}{(y+10)^3}$ $y’=\frac{1}{t^\frac{1}{3}}-10$

ฉันจะเลือกการแปลงที่ดีที่สุดสำหรับข้อมูลของฉันได้อย่างไร มีวิธีเชิงปริมาณ (และไม่ซับซ้อนมาก) ในการประเมินความเป็นเชิงเส้นหรือไม่? เพื่อพิสูจน์ว่าการแปลงที่เลือกนั้นดีที่สุดหรือค้นหาโดยอัตโนมัติหากเป็นไปได้

หรือวิธีเดียวที่จะทำได้คือการถดถอยแบบหลายเส้นที่ไม่เป็นเชิงเส้น?

regression data-transformation

— Nadya
แหล่งที่มา

ฉันได้ไปที่การปรับปรุงการจัดรูปแบบของสูตรของคุณ แต่อาจมีข้อผิดพลาดบางอย่าง - โปรดตรวจสอบ

— ปีเตอร์เอลลิส

ฉันไม่เชื่อคุณ. มันเป็นไปไม่ได้ในทางคณิตศาสตร์สำหรับผ่านไปพร้อม ๆ กันมีความสัมพันธ์เชิงเส้นที่มีตัวแปรที่หกในช่วง200 ฉันคิดว่าคุณอาจจะทำผิดพลาดในการคำนวณการเปลี่ยนแปลงเหล่านี้ของปี

t_{1}

$t_1$

t_{5}

$t_5$

0 \dots 200

$0\ldots 200$

y

$y$

— whuber

@whuber ขอบคุณสำหรับคำตอบ ฉันทำแปลงใน R cs9579.userapi.com/u17020874/153949434/z_9fa17c02.jpg cs9579.userapi.com/u17020874/153949434/z_7fa6891c.jpg

— nadya

คุณถูก. ช่างน่าทึ่งทีเดียวที่ความหลากหลายของการแสดงออกของ y จะยังคงอยู่ในความสัมพันธ์เชิงเส้นกับ r ขอบคุณสำหรับการแบ่งปัน หากคุณพล็อตที่เหลือคุณจะพบว่ารูปลักษณ์ที่เกี่ยวกับการที่ดีที่สุดแล้วไม่จำเป็นต้องแสดงออกอีกครั้ง:

1 / (y + 5)

$1/(y+5)$

r

$r$ plot(lm(1/(y+5)~r))

— whuber

คำตอบ:

นี่เป็นศิลปะ แต่มีมาตรฐานบางอย่างที่ตรงไปตรงมาที่เราสามารถพยายามได้

สิ่งแรกที่ต้องทำคือแสดงตัวแปรที่ขึ้นต่อกัน ( ) อีกครั้งเพื่อให้ส่วนที่เหลือเป็นปกติ นั่นไม่ได้มีผลบังคับใช้จริงในตัวอย่างนี้ซึ่งมีจุดที่ลดลงไปตามเส้นโค้งไม่เชิงเส้นที่เรียบเนียนและกระจายน้อยมาก ดังนั้นเราจึงดำเนินการในขั้นตอนต่อไป $y$

สิ่งต่อไปคือการแสดงตัวแปรอิสระอีกครั้ง ( ) เพื่อทำให้ความสัมพันธ์เป็นเส้นตรง มีวิธีที่ง่ายและสะดวกในการทำเช่นนี้ เลือกจุดตัวแทนสามจุดตามเส้นโค้งโดยเฉพาะที่ปลายทั้งสองและตรงกลาง จากรูปแรกที่ผมอ่านออกคู่ได้รับคำสั่ง = ,และ-2) หากไม่มีข้อมูลอื่นใดนอกจากปรากฏว่าเป็นค่าบวกเสมอตัวเลือกที่ดีคือสำรวจการแปลง Box-Coxสำหรับพลังต่าง ๆโดยปกติจะเลือกเป็นทวีคูณของหรือและโดยทั่วไประหว่าง $r$ $(r,y)$ $(10,7)$ $(90,0)$ $(180,-2)$ $r$ $r \to (r^p-1)/p$ $p$ $1/2$ $1/3$ $-1$ และ1(ค่า จำกัด เมื่อเข้าใกล้คือ ) การแปลงนี้จะสร้างความสัมพันธ์เชิงเส้นโดยประมาณหากความชันระหว่างจุดสองจุดแรกเท่ากับความชันระหว่างคู่ที่สอง $1$ $p$ $0$ $\log(r)$

ยกตัวอย่างเช่นทางลาดของข้อมูล untransformed ที่มี = -และ = -0.022สิ่งเหล่านี้ค่อนข้างแตกต่าง: อันหนึ่งประมาณสี่เท่า การลองจะให้ความชันของ $(0-7)/(90-10)$ $0.088$ $(-2-0)/(180-90)$ $-0.022$ $p=-1/2$ $(0-7)/(\frac{90^{-1/2}-1}{-1/2}-\frac{10^{-1/2}-1}{-1/2})$ ฯลฯ ซึ่งทำงานกับและ : ตอนนี้หนึ่งในนั้นเป็นเพียงสองครั้งเท่านั้นซึ่งเป็นการปรับปรุง ต่อเนื่องในลักษณะนี้ (สเปรดชีตสะดวก) ฉันพบว่างานได้ดี: ตอนนี้ลาดและ $-16.6$ $-32.4$ $p \approx 0$ $-7.3$ $-6.6$ เกือบจะเป็นค่าเดียวกัน ดังนั้นคุณควรพยายามที่รูปแบบของรูปแบบ(R) จากนั้นทำซ้ำ: พอดีกับเส้นตรวจสอบส่วนที่เหลือระบุการเปลี่ยนแปลงของเพื่อทำให้พวกมันประมาณสมมาตรและวนซ้ำ $y = \alpha + \beta \log(r)$ $y$

John Tukey ให้รายละเอียดและตัวอย่างมากมายในการวิเคราะห์ข้อมูลเชิงสำรวจในหนังสือคลาสสิกของเขา(Addison-Wesley, 1977) เขาให้ใกล้เคียงกัน ( แต่เล็กน้อยที่เกี่ยวข้องมากขึ้น) ขั้นตอนในการระบุการเปลี่ยนแปลงแปรปรวนรักษาเสถียรภาพของปีชุดข้อมูลตัวอย่างหนึ่งชุดที่เขาใช้เป็นแบบฝึกหัดเกี่ยวข้องกับข้อมูลเก่าแก่ศตวรรษเกี่ยวกับแรงกดดันจากไอปรอทที่วัดที่อุณหภูมิต่าง ๆ การทำตามขั้นตอนนี้จะทำให้สามารถค้นพบความสัมพันธ์ของ Clausius-Clapeyronอีกครั้ง; ส่วนที่เหลือเพื่อความพอดีสุดท้ายสามารถตีความได้ในแง่ของผลกระทบเชิงกลควอนตัมที่เกิดขึ้นในระยะอะตอม! $y$

— whuber
แหล่งที่มา

ขอบคุณสำหรับคำแนะนำของการเปลี่ยนแปลง Box-Cox มันสมเหตุสมผลหรือไม่ที่จะตรวจสอบ R-squared ของ lm (1 / (y + 5) ~ r) และ lm ของฟังก์ชั่นอื่น ๆ จากนั้นเปรียบเทียบ R-squared เหล่านี้?

— nadya

มันสมเหตุสมผลเมื่อrได้รับการแก้ไขเพราะจากนั้นเป็นตัวแทนสำหรับความแปรปรวนของส่วนที่เหลือ หากคุณอีกครั้งแสดงกำลัง(ตัวแปรอิสระ) แต่แล้วจะไร้ค่าหรือทำให้เข้าใจผิด: ดูstats.stackexchange.com/questions/13314/...

R^{2}

$R^2$ r

R^{2}

$R^2$

— whuber

ขอบคุณมากสำหรับคำตอบ! ฉันจะไม่แปลงตัวแปรอิสระของฉัน

— nadya

y

$y$

@Erich ทุก ๆ เล่มของหนังสือเล่มนี้เป็นรางวัลที่ล้ำลึก: ถ้าคุณสามารถทำอะไรด้วยดินสอและกระดาษคุณสามารถตั้งโปรแกรมคอมพิวเตอร์ให้ทำ :-) ด้วยตัวแปรเดียวมักจะเป็นการดีที่จะแปลงให้เป็นสมมาตร (ของการกระจายเชิงประจักษ์); Tukey เรียกสิ่งนี้ว่า "ข้อตกลงเล็กน้อย" วิธีง่ายๆในการระบุการเปลี่ยนแปลงดังกล่าวได้อธิบายไว้ในหัวข้อ 3E ว่า "ดูอย่างรวดเร็ว" มันแสดงให้เห็นถึงสิ่งที่สามารถเรียนรู้ได้จากการสรุป N ตัวอักษร (Tukey แนะนำการสรุป 7 หรือ 9 ตัวอักษร) การได้รับทักษะนั้นมีค่ามากกว่าการมีโปรแกรมคอมพิวเตอร์ทำการคำนวณสำหรับคุณ

— whuber

หากตัวแปรตอบกลับของคุณ (หรือมากกว่าสิ่งที่จะกลายเป็นส่วนที่เหลือของตัวแปรตอบกลับของคุณ) ในระดับเดิมจะมีการแจกแจงแบบปกติตามที่คุณต้องการจากนั้นเปลี่ยนมันเพื่อสร้างความสัมพันธ์เชิงเส้นกับตัวแปรอื่น ๆ และมันจะเปลี่ยนความสัมพันธ์ระหว่างความแปรปรวนกับค่าเฉลี่ยด้วย ดังนั้นจากส่วนหนึ่งของคำอธิบายของคุณฉันคิดว่าคุณดีกว่าโดยใช้การถดถอยแบบไม่ใช่เชิงเส้นมากกว่าเปลี่ยนการตอบสนอง มิฉะนั้นหลังจากการแปลงการตอบสนองเชิงเส้นคุณจะต้องมีโครงสร้างข้อผิดพลาดที่ซับซ้อนมากขึ้น (แม้ว่านี่จะเป็นเรื่องของการตัดสินและคุณจะต้องตรวจสอบโดยใช้วิธีกราฟิก)

อีกทางเลือกหนึ่งตรวจสอบการเปลี่ยนแปลงของตัวแปรอธิบาย เช่นเดียวกับการแปลงแบบตรงคุณยังมีตัวเลือกในการเพิ่มคำกำลังสอง

โดยทั่วไปแล้วการแปลงสภาพเป็นศิลปะมากกว่าวิทยาศาสตร์หากไม่มีทฤษฎีที่มีอยู่เพื่อแนะนำสิ่งที่คุณควรใช้เป็นพื้นฐานของการเปลี่ยนแปลง

— ปีเตอร์เอลลิส
แหล่งที่มา