คำถามติดแท็ก data-transformation

ฉันต้องการทำการถดถอยเชิงเส้นหลายครั้งและจากนั้นเพื่อทำนายค่าใหม่ด้วยการประมาณค่าเล็กน้อย ฉันมีตัวแปรตอบสนองของฉันอยู่ในช่วงตั้งแต่ -2 ถึง +7 และตัวทำนายสามตัว (ช่วงประมาณ +10 - +200) การกระจายเกือบปกติ แต่ความสัมพันธ์ระหว่างการตอบสนองและตัวทำนายนั้นไม่ใช่เชิงเส้นฉันเห็นเส้นโค้งบนแปลง ตัวอย่างเช่นนี้: http://cs10418.userapi.com/u17020874/153949434/x_9898cf38.jpg ฉันต้องการใช้การแปลงเพื่อให้เป็นเชิงเส้น ฉันพยายามเปลี่ยนตัวแปรการตอบสนองโดยการตรวจสอบฟังก์ชั่นต่าง ๆ และดูที่แปลงผลลัพธ์เพื่อดูความสัมพันธ์เชิงเส้นระหว่างการตอบสนองและตัวทำนาย และฉันพบว่ามีฟังก์ชั่นมากมายที่สามารถให้ความสัมพันธ์เชิงเส้นที่มองเห็นได้กับฉัน ตัวอย่างเช่นฟังก์ชั่น t1=log(y+2.5)t1=log⁡(y+2.5)t_1=\log(y+2.5) t2=1log(y+5)t2=1log⁡(y+5)t_2=\frac{1}{\log(y+5)} t3=1y+5t3=1y+5t_3=\frac{1}{y+5} t4=1(y+10)3t4=1(y+10)3t_4=\frac{1}{(y+10)^3} t5=1(y+3)13t5=1(y+3)13t_5=\frac{1}{(y+3)^\frac{1}{3}}ฯลฯ ให้ผลลัพธ์ที่คล้ายกัน: http://cs10418.userapi.com/u17020874/153949434/x_06f13dbf.jpg หลังจากที่ฉันจะแปลงกลับค่าที่ทำนายไว้ (สำหรับเป็นเป็นต้น) การแจกแจงจะคล้ายกันมากหรือน้อยกว่าปกติt=1(y+10)3t=1(y+10)3t=\frac{1}{(y+10)^3}y′=1t13−10y′=1t13−10y’=\frac{1}{t^\frac{1}{3}}-10 ฉันจะเลือกการแปลงที่ดีที่สุดสำหรับข้อมูลของฉันได้อย่างไร มีวิธีเชิงปริมาณ (และไม่ซับซ้อนมาก) ในการประเมินความเป็นเชิงเส้นหรือไม่? เพื่อพิสูจน์ว่าการแปลงที่เลือกนั้นดีที่สุดหรือค้นหาโดยอัตโนมัติหากเป็นไปได้ หรือวิธีเดียวที่จะทำได้คือการถดถอยแบบหลายเส้นที่ไม่เป็นเชิงเส้น?

10 regression  data-transformation 

ฉันมีโมเดลเชิงเส้นต่อไปนี้: เพื่อแก้ไขปัญหาความแตกต่างแบบตกค้างฉันพยายามใช้การแปลงบันทึกกับตัวแปรตามเป็นแต่ฉันยังคงเห็นแฟน ๆ มีผลต่อส่วนที่เหลือ ค่า DV มีขนาดค่อนข้างเล็กดังนั้นการเพิ่มค่าคงที่ +1 ก่อนที่จะบันทึกอาจไม่เหมาะสมในกรณีนี้log(Y+1)log⁡(Y+1)\log(Y + 1) > summary(Y) Min. :-0.0005647 1st Qu.: 0.0001066 Median : 0.0003060 Mean : 0.0004617 3rd Qu.: 0.0006333 Max. : 0.0105730 NA's :30.0000000 ฉันจะแปลงตัวแปรเพื่อปรับปรุงข้อผิดพลาดการทำนายและความแปรปรวนได้อย่างไรโดยเฉพาะอย่างยิ่งสำหรับค่าที่เหมาะสมที่สุด

10 regression  data-transformation  linear-model  heteroscedasticity 

สถานการณ์ของฉันคือ ฉันมีตัวแปรพึ่งพาอย่างต่อเนื่อง 1 ตัวและตัวแปรทำนายต่อเนื่อง 1 ตัวที่ฉันเปลี่ยนลอการิทึมเพื่อทำให้ปกติเหลืออยู่สำหรับการถดถอยเชิงเส้นอย่างง่าย ฉันขอขอบคุณความช่วยเหลือใด ๆ เกี่ยวกับวิธีที่ฉันสามารถเชื่อมโยงตัวแปรที่แปลงสภาพเหล่านี้กับบริบทดั้งเดิมของพวกเขา ฉันต้องการใช้การถดถอยเชิงเส้นเพื่อทำนายจำนวนวันที่นักเรียนพลาดโรงเรียนในปี 2011 ตามจำนวนวันที่พวกเขาพลาดในปี 2010 นักเรียนส่วนใหญ่พลาด 0 วันหรือเพียงไม่กี่วันข้อมูลจะเอียงไปทางซ้าย ดังนั้นจึงจำเป็นต้องมีการแปลงสภาพเพื่อใช้การถดถอยเชิงเส้น ฉันใช้ log10 (var + 1) สำหรับทั้งสองตัวแปร (ฉันใช้ +1 สำหรับนักเรียนที่ไม่ได้เรียน 0 วัน) ฉันกำลังใช้การถดถอยเพราะฉันต้องการเพิ่มในปัจจัยการจัดหมวดหมู่ - เพศ / เชื้อชาติ ฯลฯ ปัญหาของฉันคือ: ผู้ชมที่ฉันต้องการย้อนกลับไปจะไม่เข้าใจ log10 (y) = log (ค่าคงที่) + บันทึก (var2) x (และตรงไปตรงมาไม่ทำฉัน) คำถามของฉันคือ: a) มีวิธีที่ดีกว่าในการตีความตัวแปรที่ถูกแปลงในการถดถอยหรือไม่? เช่นเคยพลาด …

10 regression  data-transformation  regression-coefficients  logarithm 

ขณะนี้ฉันกำลังเรียนการถดถอยเชิงเส้นเป็นครั้งแรกในระดับบัณฑิตศึกษาและกำลังดิ้นรนกับการเปลี่ยนแปลงตัวแปรตัวทำนายในการถดถอยเชิงเส้นหลายครั้ง ข้อความที่ฉันใช้ Kutner et al "โมเดลเชิงสถิติเชิงเส้นประยุกต์" ดูเหมือนจะไม่ครอบคลุมคำถามที่ฉันมี (นอกเหนือจากการแนะนำว่ามีวิธี Box-Cox สำหรับเปลี่ยนการทำนายหลายตัว) เมื่อต้องเผชิญกับตัวแปรตอบสนองและตัวแปรทำนายหลายตัวเงื่อนไขใดบ้างที่มุ่งมั่นที่จะพบกับตัวแปรตัวทำนายแต่ละตัว ฉันเข้าใจว่าท้ายที่สุดเรากำลังมองหาความแปรปรวนของความคลาดเคลื่อนและการแจกแจงข้อผิดพลาดตามปกติ (อย่างน้อยที่สุดในเทคนิคที่ฉันได้รับการสอนมา) ฉันเคยมีแบบฝึกหัดมากมายกลับมาซึ่งวิธีแก้ปัญหาเป็นตัวอย่างy ~ x1 + (1/x2) + log(x3)ที่ ตัวทำนายหนึ่งตัวหรือมากกว่าถูกเปลี่ยน ฉันเข้าใจเหตุผลภายใต้การถดถอยเชิงเส้นอย่างง่ายเนื่องจากมันง่ายที่จะดู y ~ x1 และการวินิจฉัยที่เกี่ยวข้อง (พล็อตของคิวคิวของส่วนที่เหลือ, ส่วนที่เหลือเทียบกับ y, ส่วนที่เหลือเทียบกับ x, ฯลฯ ) และทดสอบเพื่อดูว่า y ~ log ( x1) เหมาะสมกับสมมติฐานของเราดีกว่า มีสถานที่ที่ดีที่จะเริ่มทำความเข้าใจเมื่อมีการเปลี่ยนแปลงตัวทำนายในที่ที่มีผู้ทำนายหลายคนหรือไม่? ขอบคุณล่วงหน้า. ด้าน

10 data-transformation  multiple-regression 

ในการวิเคราะห์คะแนนการทดสอบ (เช่นในด้านการศึกษาหรือจิตวิทยา) เทคนิคการวิเคราะห์ทั่วไปมักจะสมมติว่ามีการแจกจ่ายข้อมูลตามปกติ อย่างไรก็ตามอาจบ่อยกว่าไม่ได้คะแนนมีแนวโน้มที่จะเบี่ยงเบนบางครั้งอย่างรุนแรงจากปกติ ฉันคุ้นเคยกับการแปลง normalizing พื้นฐานบางอย่างเช่น: สแควร์รูท, ลอการิทึม, การแปลงส่วนกลับเพื่อลดความเบ้เป็นบวก, เวอร์ชันที่สะท้อนข้างต้นสำหรับการลดความเบ้เชิงลบ, กำลังสองสำหรับการกระจายเลป ฉันเคยได้ยินเรื่องการแปลงอาร์ซีนและการแปลงพลังงานแม้ว่าฉันจะไม่ค่อยมีความรู้เกี่ยวกับมัน ดังนั้นฉันอยากรู้ว่านักวิเคราะห์ที่ใช้การแปลงแบบอื่นคืออะไร?

10 data-transformation  normality-assumption  variance-stabilizing 

ฉันจำเป็นต้องวิเคราะห์ด้วย R ข้อมูลจากการสำรวจทางการแพทย์ (พร้อมคอลัมน์มากกว่า 100 คอลัมน์) ที่มาในรูปแบบ CSV ฉันจะใช้เสียงอึกทึกสำหรับการวิเคราะห์เริ่มต้น แต่เบื้องหลังมันยังคงเป็นอาร์ ถ้าฉันread.csv ()ไฟล์คอลัมน์ที่มีรหัสตัวเลขจะถือว่าเป็นข้อมูลตัวเลข ฉันรู้ว่าฉันสามารถสร้างคอลัมน์เด็ดขาดจากพวกเขาด้วยfactor ()แต่การทำเพื่อ 100+ คอลัมน์เป็นความเจ็บปวด ฉันหวังว่าจะมีวิธีที่ดีกว่าในการบอกให้ R นำเข้าคอลัมน์เป็นปัจจัยโดยตรง หรืออย่างน้อยก็แปลงพวกมันให้เข้าที่หลังจากนั้น ขอบคุณ!

10 r  categorical-data  data-transformation 

ลองนึกภาพเรามีรูปแบบการถดถอยเชิงเส้นที่มีตัวแปรตามYเราได้พบกับสิ่งRตอนนี้เราทำถดถอยอีก แต่คราวนี้และเช่นเดียวกันสิ่ง(y)} ฉันถูกบอกว่าฉันไม่สามารถเปรียบเทียบทั้งเพื่อดูว่าแบบจำลองใดเหมาะสมกว่า ทำไมถึงเป็นอย่างนั้น? เหตุผลที่ทำให้ฉันคือเราจะเปรียบเทียบความแปรปรวนของปริมาณที่แตกต่างกัน (ตัวแปรตามต่างกัน) ฉันไม่แน่ใจว่านี่ควรเป็นเหตุผลเพียงพอสำหรับเรื่องนี้yyyR2yRy2R^2_ylog(y)log⁡(y)\log(y)R2log(y)Rlog⁡(y)2R^2_{\log(y)}R2R2R^2 นอกจากนี้ยังมีวิธีที่จะทำให้เป็นระเบียบนี้หรือไม่? ความช่วยเหลือใด ๆ ที่จะได้รับการชื่นชม

10 regression  data-transformation  r-squared 

ฉันมีพื้นฐานด้านวิทยาศาสตร์คอมพิวเตอร์เป็นหลัก แต่ตอนนี้ฉันพยายามสอนตัวเองเกี่ยวกับสถิติพื้นฐาน ฉันมีข้อมูลบางอย่างที่ฉันคิดว่ามีการแจกแจงแบบปัวซอง ฉันมีสองคำถาม: นี่คือการแจกแจงปัวซองหรือไม่ ประการที่สองเป็นไปได้ไหมที่จะแปลงเป็นการแจกแจงแบบปกติ ความช่วยเหลือใด ๆ ที่จะได้รับการชื่นชม ขอบคุณมาก

10 normal-distribution  data-transformation  poisson-distribution 

ฉันพบวิธีแก้ปัญหาที่ระบุว่าหากตารางเวลาของอนุกรมเวลาคงที่ดังนั้นอนุกรมเวลาเดิมและในทางกลับกัน อย่างไรก็ตามฉันดูเหมือนจะไม่สามารถพิสูจน์ได้ว่าใครมีความคิดว่านี่เป็นเรื่องจริงและถ้ามันเป็นวิธีการที่จะได้รับมัน?

9 time-series  self-study  data-transformation  stationarity 

สมมติว่าตัวแปรสุ่มและเป็นอิสระและกระจาย แสดงว่ามี\ การแจกแจงข้อความ {Exp} (1)X1, . . . ,XnX1,...,XnX_1, ... , X_nY1, . . . ,YnY1,...,YnY_1, ..., Y_nยู( 0 , a )ยู(0,a)U(0,a)Zn=nlogmax(Y(n),X(n))min(Y(n),X(n))Zn=nlog⁡max(Y(n),X(n))min(Y(n),X(n))Z_n= n\log\frac{\max(Y_{(n)},X_{(n)})}{\min(Y_{(n)},X_{(n)})}Exp(1)Exp(1)\text{Exp}(1) ฉันได้เริ่มต้นปัญหานี้ด้วยการตั้งค่า{X1,...,Xn,Y1,...Yn}={Z1,...,Zn}{X1,...,Xn,Y1,...Yn}={Z1,...,Zn}\{X_1,...,X_n,Y_1,...Y_n\} = \{Z_1,...,Z_n\}แล้วmax(Yn,Xn)=Z(2n)max(Yn,Xn)=Z(2n)\max(Y_n,X_n)= Z_{(2n)}จะกระจายเป็น(za)2n(za)2n(\frac{z}{a})^{2n}และmin(Yn,Xn)=Z(1)min(Yn,Xn)=Z(1)\min(Y_n,X_n)= Z_{(1)}จะกระจายเป็น1−(1−za)2n1−(1−za)2n1 - (1 - \frac{z}{a})^{2n} ความหนาแน่นสามารถพบได้ง่ายเหมือนกับfZ1(z)=(2n)(1−za)2n−11afZ1(z)=(2n)(1−za)2n−11af_{Z_{1}}(z) = (2n)(1-\frac{z}{a})^{2n-1}\frac{1}{a}และfZ(2n)(z)=(2n)(za)2n−11afZ(2n)(z)=(2n)(za)2n−11af_{Z_{(2n)}}(z) = (2n)(\frac{z}{a})^{2n-1} \frac{1}{a} นี่คือที่ฉันมีเวลายากที่จะรู้ว่าจะไปที่ไหนต่อไปตอนนี้สิ่งเหล่านี้จะถูกคำนวณ ฉันคิดว่ามันต้องทำอะไรบางอย่างกับการเปลี่ยนแปลง แต่ฉันไม่แน่ใจ ...

9 self-study  data-transformation  order-statistics 

ฉันพยายามทำนายคะแนนสมดุลและลองวิธีการถดถอยที่แตกต่างกันหลายวิธี สิ่งหนึ่งที่ฉันสังเกตเห็นคือค่าคาดการณ์ดูเหมือนจะมีขอบเขตบนบางอย่าง นั่นคือความสมดุลที่เกิดขึ้นจริงในแต่คาดการณ์ของฉันที่ด้านบนสุดที่ประมาณ0.8พล็อตต่อไปนี้แสดงยอดคงเหลือตามจริงกับยอดคงเหลือที่คาดการณ์ไว้ (ทำนายด้วยการถดถอยเชิงเส้น):[ 0.0 , 1.0 )[0.0,1.0)[0.0, 1.0)0.80.80.8 และนี่คือแผนการแจกแจงสองข้อมูลเดียวกัน: เนื่องจากตัวทำนายของฉันเบ้มาก (ข้อมูลผู้ใช้ที่มีการแจกแจงกฎหมายพลังงาน) ฉันจึงใช้การแปลงแบบบ็อกซ์ค็อกซ์ซึ่งเปลี่ยนผลลัพธ์เป็นต่อไปนี้: แม้ว่ามันจะเปลี่ยนการกระจายตัวของการทำนาย แต่ก็ยังคงมีขอบเขตบน ดังนั้นคำถามของฉันคือ: อะไรคือเหตุผลที่เป็นไปได้สำหรับขอบเขตบนดังกล่าวในผลการทำนาย? ฉันจะแก้ไขการคาดการณ์เพื่อให้สอดคล้องกับการแจกแจงของค่าจริงได้อย่างไร โบนัส:เนื่องจากการกระจายหลังจากแปลงบ็อกซ์ค็อกซ์ดูเหมือนว่าจะเป็นไปตามการกระจายตัวของตัวทำนายที่ถูกแปลงเป็นไปได้หรือไม่ว่ามันเชื่อมโยงโดยตรงหรือไม่ ถ้าเป็นเช่นนั้นจะมีการเปลี่ยนแปลงที่ฉันสามารถนำไปใช้เพื่อให้เหมาะสมกับการกระจายตัวกับค่าจริงหรือไม่? แก้ไข:ฉันใช้การถดถอยเชิงเส้นอย่างง่ายพร้อมตัวทำนาย 5 ตัว

9 regression  distributions  data-transformation  prediction  bounds 

หากมีการใช้การวิเคราะห์เชิงเส้นหลายชั้น (หรือฉันยังอ่านการวิเคราะห์การจำแนกหลาย ๆ ครั้ง) ใช้สำหรับการลดขนาด (หรือการเปลี่ยนแปลงหลังจากการลดมิติผ่าน PCA) ฉันเข้าใจว่าโดยทั่วไปคือ "การทำให้เป็นมาตรฐานของคะแนน Z" (หรือมาตรฐาน) ไม่จำเป็นต้องใช้ฟีเจอร์แม้ว่าจะทำการวัดด้วยเครื่องชั่งที่แตกต่างกันอย่างสมบูรณ์ถูกต้องหรือไม่ เนื่องจาก LDA มีคำที่คล้ายกับระยะทาง Mahalanobis ซึ่งหมายถึงระยะทางแบบยุคลิดแบบดั้งเดิมหรือไม่? ดังนั้นจึงไม่เพียง แต่ไม่จำเป็นเท่านั้น แต่ผลลัพธ์ที่ได้หลังจาก LDA สำหรับคุณสมบัติที่เป็นมาตรฐานและไม่ได้มาตรฐานควรจะเหมือนกันทุกประการ!

9 classification  data-transformation  normalization  standardization  discriminant-analysis 

แก้ไข: ตั้งแต่การทำโพสต์นี้ผมได้ตามมาด้วยการโพสต์เพิ่มเติมที่นี่ บทสรุปของข้อความด้านล่าง: ฉันกำลังทำงานกับแบบจำลองและได้ลองถดถอยเชิงเส้นการแปลงบ็อกซ์คอคส์และ GAM แต่ยังไม่คืบหน้ามากนัก ใช้ตอนRนี้ฉันกำลังทำงานกับแบบจำลองเพื่อทำนายความสำเร็จของผู้เล่นเบสบอลลีกในระดับเมเจอร์ลีก (MLB) ตัวแปรน่ารังเกียจอาชีพชนะเหนือทดแทน (oWAR) เป็นพร็อกซี่สำหรับความสำเร็จในระดับเอ็มและเป็นวัดที่เป็นผลรวมของผลงานที่น่ารังเกียจสำหรับการเล่นผู้เล่นที่มีส่วนเกี่ยวข้องในช่วงอาชีพของเขาทุกคน (รายละเอียดที่นี่ - http : //www.fangraphs.com/library/misc/war/) ตัวแปรอิสระคือคะแนนความไม่พอใจเล็กน้อยในลีกที่มีคะแนน z สำหรับสถิติที่คิดว่าเป็นตัวทำนายที่สำคัญของความสำเร็จในระดับเมเจอร์ลีกรวมถึงอายุ (ผู้เล่นที่ประสบความสำเร็จมากกว่าในวัยเยาว์มีแนวโน้มที่จะเป็นกลุ่มเป้าหมายที่ดีกว่า) ], อัตราการเดิน [BBrate] และการผลิตที่ปรับปรุงแล้ว (การวัดทั่วโลกของการผลิตที่น่ารังเกียจ) นอกจากนี้เนื่องจากมีลีกย่อยหลายระดับฉันจึงได้รวมตัวแปรจำลองสำหรับระดับการเล่นของลีกย่อย (Double A, High A, Low A, Rookie และ Short Season กับ Triple A [ระดับสูงสุดก่อนลีกใหญ่]] เป็นตัวแปรอ้างอิง]) หมายเหตุ: ฉันได้ปรับขนาด WAR ใหม่ให้เป็นตัวแปรที่เปลี่ยนจาก 0 เป็น 1 ตัวแปร scatterplot …

9 r  multiple-regression  data-transformation  nonlinear-regression  gam 

กำลังศึกษาเพื่อทดสอบ ไม่สามารถตอบคำถามนี้ ให้เป็น iidตัวแปรสุ่ม กำหนดX1,i,X2,i,X3,i,i=1,…,nX1,i,X2,i,X3,i,i=1,…,nX_{1,i},X_{2,i},X_{3,i}, i=1,\ldots,nN(0,1)N(0,1)\mathcal{N}(0,1) Wi=(X1,i+X2,iX3,i)/1+X23,i−−−−−−−√,i=1,…,nWi=(X1,i+X2,iX3,i)/1+X3,i2,i=1,…,nW_i = (X_{1,i} + X_{2,i}X_{3,i})/\sqrt{1 + X_{3,i}^2}, i = 1, \ldots, n , และ ,W¯¯¯¯¯n=n−1∑ni=1WiW¯n=n−1∑i=1nWi\overline{W}_n = n^{-1}\sum_{i=1}^nW_i S2n=(n−1)−1∑ni=1(Wi−W¯¯¯¯¯n)2,n≥2.Sn2=(n−1)−1∑i=1n(Wi−W¯n)2,n≥2.S_n^2 = (n-1)^{-1}\sum_{i=1}^n(W_i - \overline{W}_n)^2, n \ge 2. การกระจายของ ,คืออะไรW¯¯¯¯¯nW¯n\overline{W}_nS2nSn2S_n^2 ฉันจะได้รับแนวคิดวิธีที่ดีที่สุดที่จะใช้เมื่อเริ่มต้นปัญหาเช่นนี้ได้อย่างไร

9 normal-distribution  data-transformation 

ฉันกำลังพยายามปรับตัวแบบเชิงเส้นในข้อมูลบางส่วนด้วยตัวทำนายเพียงตัวเดียว (พูด (x, y)) ข้อมูลเป็นเช่นนั้นสำหรับค่าเล็ก ๆ ของ x ค่า y ให้พอดีกับเส้นตรงอย่างไรก็ตามเมื่อค่า x เพิ่มขึ้นค่า y จะกลายเป็นความผันผวนมากขึ้น นี่คือตัวอย่างของข้อมูลดังกล่าว (รหัส R) y = c(3.2,3.4,3.5,3.8,4.2,5.5,4.5,6.8,7.4,5.9) x = seq(1,10,1) ฉันอยากรู้ว่ามีการแปลงพลังงานหรือไม่ (อาจเป็น Box cox?) ที่ช่วยให้ฉันได้รับข้อมูลที่ดีกว่าสำหรับการทำแบบพอดีเชิงเส้นดังที่แสดงด้านล่าง fit = lm(y ~ x)

9 r  regression  variance  data-transformation