คำถามติดแท็ก r

ใครช่วยบอกฉันหน่อยได้ไหมว่าทำไมฉันถึงได้ผลลัพธ์ที่แตกต่างจากRน้ำหนักอย่างน้อยกำลังสองและวิธีแก้ปัญหาด้วยตนเองโดยการทำงานของเมทริกซ์ ? โดยเฉพาะฉันกำลังพยายามแก้ไขด้วยตนเองโดยที่คือเมทริกซ์แนวทแยงมุมที่มีน้ำหนักคือเมทริกซ์ข้อมูลคือการตอบสนอง เวกเตอร์ W A x = W bWAx=Wb\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf bWW\mathbf WAA\mathbf Aขb\mathbf b ฉันพยายามเปรียบเทียบผลลัพธ์กับR lmฟังก์ชันโดยใช้weightsอาร์กิวเมนต์

9 r  regression  least-squares  weighted-regression  weighted-data 

คำถามของฉันในระยะสั้น: มีวิธีการปรับปรุงเกี่ยวกับเวลาทำงานของ R MICE (การใส่ข้อมูล) หรือไม่ ฉันกำลังทำงานกับชุดข้อมูล (30 ตัวแปร, 1.3 ล้านแถว) ซึ่งมีข้อมูลที่หายไป (ค่อนข้างสุ่ม) ประมาณ 8% ของการสังเกตในตัวแปรประมาณ 15 จาก 30 ตัวประกอบด้วย NAs เพื่อระบุข้อมูลที่หายไปฉันกำลังเรียกใช้ฟังก์ชัน MICE ซึ่งเป็นส่วนหนึ่งของแพ็คเกจMICE ฉันพบเวลาทำงานค่อนข้างช้าแม้จะอยู่บนชุดย่อย (100,000 แถว) ด้วยเมธอด = "fastpmm" และ m = 1 และทำงานประมาณ 15 นาที มีวิธีปรับปรุงเวลาทำงานโดยไม่สูญเสียประสิทธิภาพมากเกินไปหรือไม่? (mice.impute.mean ค่อนข้างเร็ว แต่มาพร้อมกับการสูญเสียข้อมูลที่สำคัญ!) รหัสที่ทำซ้ำได้: library(mice) df <- data.frame(replicate(30,sample(c(NA,1:10),1000000,rep=TRUE))) df <- data.frame(scale(df)) output …

9 r  multiple-imputation  mice 

ฉันจะกำหนดน้ำหนักให้กับการสำรวจล่าสุดใน R มากขึ้นได้อย่างไร ฉันคิดว่านี่เป็นคำถามหรือความปรารถนาที่ถามบ่อย แต่ฉันมีเวลายากที่จะหาวิธีการใช้งาน ฉันพยายามค้นหาสิ่งนี้มาก แต่ฉันไม่สามารถหาตัวอย่างการปฏิบัติที่ดีได้ ในตัวอย่างของฉันฉันจะมีชุดข้อมูลขนาดใหญ่เมื่อเวลาผ่านไป ฉันต้องการบอกว่าใช้การยกน้ำหนักแบบเอกซ์โปเนนเชียลของแถวของข้อมูลที่ใหม่กว่า ดังนั้นฉันจะมีฟังก์ชันเลขชี้กำลังบางส่วนที่บอกว่าการสังเกตในปี 2558 มีความสำคัญมากกว่า ___ ในการฝึกอบรมแบบจำลองมากกว่าการสังเกตในปี 2012 ตัวแปรชุดข้อมูลของฉันมีการผสมผสานของค่าหมวดหมู่และตัวเลขและเป้าหมายของฉันคือค่าตัวเลข - หากเป็นสิ่งสำคัญ ฉันต้องการทดสอบ / ลองใช้โมเดลเช่น GBM / Random Forest โดยเฉพาะในแพ็คเกจ CARET ปรับปรุงคำถาม ฉันขอขอบคุณคำตอบที่ระบุไว้ด้านล่างเกี่ยวกับวิธีลดน้ำหนักแบบเอ็กซ์โปเนนเชียลตามระยะทางวันที่ระหว่างจุดสองจุด อย่างไรก็ตามเมื่อพูดถึงการฝึกอบรมรุ่นนี้ด้วยคาเร็ตน้ำหนักตัวประกอบมีอะไรกันแน่? ค่าน้ำหนักในแต่ละแถวการฝึกอบรมคือระยะห่างระหว่างบางจุดในอนาคตและเมื่อจุดนั้นเกิดขึ้นในอดีต น้ำหนักมีการเล่นเฉพาะในระหว่างการทำนายหรือไม่? เพราะถ้าพวกเขาเข้ามาในระหว่างการฝึกซ้อมนั่นจะไม่ทำให้เกิดปัญหาทุกอย่างเพราะ cross-folds ต่าง ๆ จะมีน้ำหนักต่างกันพยายามที่จะทำนายบางสิ่งที่อาจมีอยู่ก่อนหน้านี้ใช่ไหม?

9 r  time-series  regression  random-forest 

การใช้ R กับข้อมูลบางอย่างและพยายามดูว่าข้อมูลของฉันเป็นแบบ heteroscedastic หรือไม่ฉันพบการใช้งานสองแบบของการทดสอบ Breusch-Pagan, bptest (แพ็คเกจ lmtest) และncvTest (รถยนต์แพ็คเกจ) อย่างไรก็ตามสิ่งเหล่านี้ให้ผลลัพธ์ที่แตกต่าง ความแตกต่างระหว่างสองคืออะไร? เมื่อใดที่คุณควรเลือกใช้อย่างใดอย่างหนึ่ง > model <- lm(y ~ x) > bp <- bptest(model) > bp studentized Breusch-Pagan test data: model BP = 3.3596, df = 1, p-value = 0.06681 > ncvTest(model) Non-constant Variance Score Test Variance formula: ~ fitted.values …

9 r  regression  heteroscedasticity  assumptions  breusch-pagan 

ฉันกำลังพยายามจัดกลุ่มชุดข้อมูลที่แตกต่างกันโดยใช้อัลกอริทึมที่ไม่ได้รับการสำรอง (การจัดกลุ่ม) ปัญหาคือฉันมีคุณสมบัติหลายอย่าง (~ 500) และจำนวนคดีเล็กน้อย (200-300) จนถึงตอนนี้ฉันเคยทำเฉพาะปัญหาการจำแนกซึ่งฉันมักจะมีข้อมูลที่ระบุว่าเป็นชุดฝึกอบรม ที่นั่นฉันใช้เกณฑ์บางอย่าง (เช่น random.forest.importance หรือ information.gain) สำหรับการเลือกคุณสมบัติล่วงหน้าจากนั้นฉันใช้การเลือกไปข้างหน้าตามลำดับสำหรับผู้เรียนที่แตกต่างกันเพื่อค้นหาคุณลักษณะที่เกี่ยวข้อง ตอนนี้ฉันเห็นว่าในกรณีของการเรียนรู้ที่ไม่มีผู้ดูแลฉันไม่มีเกณฑ์สำหรับการเลือกล่วงหน้าและฉันไม่สามารถใช้การเลือกไปข้างหน้าตามลำดับ (อย่างน้อยไม่ได้อยู่ในแพ็คเกจ MLR) ฉันสงสัยว่าฉันสามารถทำการวิเคราะห์องค์ประกอบหลักก่อนที่จะค้นหาคุณลักษณะจำนวนเล็กน้อยเพื่อนำไปใช้กับอัลกอริทึมการจัดกลุ่มของฉันหรือไม่ หรือคุณมีความคิดอื่น ๆ ขอบคุณ แก้ไข: ตกลงดังนั้นหลังจากการวิจัยออนไลน์ฉันสามารถอัปเดตคำถามของฉันได้นิดหน่อย: ก่อนอื่นฉันได้อ่านบางบทความที่ไม่สนับสนุนการใช้ PCA ก่อนอัลกอริทึมการจัดกลุ่มเนื่องจากเหตุผลสองประการ: พีซีเป็นฟังก์ชั่นของฟีเจอร์ทั้งหมดดังนั้นจึงยากที่จะสัมพันธ์กับผลลัพธ์ของชุดข้อมูล inital และทำให้ยากต่อการตีความ ยิ่งไปกว่านั้นถ้าคุณมีปัญหาที่จริงแล้วคุณสมบัติเพียงเล็กน้อยของคุณมีประโยชน์ในการทำคลัสเตอร์ก็ไม่ได้กล่าวว่าคุณสมบัติเหล่านี้ยังอธิบายถึงความแปรปรวนที่ใหญ่ที่สุดในกลุ่มตัวอย่าง (ซึ่งเป็นสิ่งที่พีซีทำ) PCA อยู่นอกโต๊ะ ... ตอนนี้ฉันกลับไปที่แนวคิดเริ่มต้นของฉันเพื่อทำการเลือกการส่งต่อตามลำดับสำหรับการทำคลัสเตอร์ คุณต้องการแนะนำการวัดประสิทธิภาพแบบใด? (ฉันคิดเกี่ยวกับ Dunn-Index) อัลกอริทึมการจัดกลุ่มใดที่จะนำไปสู่กลุ่มที่มีขนาดเท่ากันหรือมากกว่า (สำหรับการจัดกลุ่มแบบลำดับชั้นฉันมักจะได้รับหนึ่งคลัสเตอร์ที่มีค่าผิดปกติเดียวและอีกส่วนที่เหลือทั้งหมด -> ดังนั้นฉันจะต้องการบางสิ่งที่ป้องกันอย่างใดต่อผู้ผิด) หวังว่าพวกคุณจะช่วยฉัน ...

9 r  clustering  feature-selection  unsupervised-learning 

ฉันพยายามแปลงคอลัมน์ปัจจัยของฉันเป็นตัวแปรจำลอง: str(cards$pointsBin) # Factor w/ 5 levels ".lte100",".lte150",..: 3 2 3 1 4 4 2 2 4 4 ... labels <- model.matrix(~ pointsBin, data=cards) head(labels) # (Intercept) pointsBin.lte150 pointsBin.lte200 pointsBin.lte250 pointsBin.lte300 # 741 1 0 0 0 0 # 407 1 1 0 0 0 # 676 1 0 0 …

9 r  categorical-data  categorical-encoding 

ฉันได้รับข้อมูลรายเดือนตั้งแต่ปี 1993 ถึงปี 2558 และต้องการคาดการณ์ข้อมูลเหล่านี้ ฉันใช้แพ็คเกจ tsoutliers เพื่อตรวจหาค่าผิดปกติ แต่ฉันไม่รู้ว่าฉันจะคาดการณ์ข้อมูลชุดของฉันได้อย่างไร นี่คือรหัสของฉัน: product.outlier<-tso(product,types=c("AO","LS","TC")) plot(product.outlier) นี่คือผลลัพธ์ของฉันจากแพ็คเกจ tsoutliers ARIMA(0,1,0)(0,0,1)[12] Coefficients: sma1 LS46 LS51 LS61 TC133 LS181 AO183 AO184 LS185 TC186 TC193 TC200 0.1700 0.4316 0.6166 0.5793 -0.5127 0.5422 0.5138 0.9264 3.0762 0.5688 -0.4775 -0.4386 s.e. 0.0768 0.1109 0.1105 0.1106 0.1021 0.1120 0.1119 0.1567 0.1918 …

9 r  time-series  forecasting  arima  outliers 

ฉันใช้ lmer ใน R เพื่อตรวจสอบผลกระทบของ condition ( cond) ต่อผลลัพธ์บางรายการ นี่คือบางส่วนทำข้อมูลที่อยู่ที่ระบุเรื่องและa, bและcเงื่อนไข library("tidyr") library("dplyr") set.seed(123) temp <- data.frame(s = paste0("S", 1:30), a = rnorm(30, -2, 1), b = rnorm(30, -3, 1), c = rnorm(30, -4, 1)) ฉันต้องการจะเปรียบเทียบ ระดับaของค่าเฉลี่ยของระดับbและcและ ระดับไปที่ระดับbc คำถามของฉันคือฉันจะตั้งค่าความแตกต่างได้อย่างไรในวิธีที่การสกัดกั้นสะท้อนค่าเฉลี่ยของสามเงื่อนไขและประมาณการที่คำนวณได้ทั้งสองสะท้อนถึงความแตกต่างโดยตรงตามที่กำหนดใน 1 และ 2? ฉันลองด้วย c1 <- cbind(c(-0.5, 0.25, 0.25), c(0, -0.5, …

9 r  lme4-nlme  contrasts 

ปัญหา ฉันต้องการอนุมานเกี่ยวกับระบบที่คล้ายคลึงกันเพื่อตายด้วยจำนวนด้านที่ไม่รู้จัก ตายถูกม้วนหลายครั้งหลังจากนั้นฉันต้องการอนุมานการกระจายความน่าจะเป็นเหนือพารามิเตอร์ที่สอดคล้องกับจำนวนด้านที่มีตายθ ปรีชา หากหลังจาก 40 ม้วนคุณสังเกตเห็น 10 สีแดง, 10 บลูส์, 10 กรีนและ 10 สีเหลืองดูเหมือนว่าθควรสูงสุดที่ 4 และอคติของการหมุนแต่ละด้านจะมีการจัดกึ่งกลางที่ 1/4 θมีขอบเขตล่างที่ไม่สำคัญเป็นจำนวนด้านต่าง ๆ ที่สังเกตได้ในข้อมูล ขอบเขตบนยังไม่ทราบ อาจมีด้านที่ห้าซึ่งอาจมีอคติต่ำ ยิ่งคุณสังเกตเห็นข้อมูลที่ขาดหมวดหมู่ที่ห้ายิ่งความน่าจะเป็นด้านหลังของ of = 4 ยิ่งสูงขึ้น เข้าใกล้ ฉันใช้ JAGS สำหรับปัญหาที่คล้ายกัน (ผ่าน R และ rjags) ซึ่งดูเหมือนเหมาะสมที่นี่ ด้วยความเคารพต่อข้อมูลให้พูดobs <- c(10, 10, 10, 10)สอดคล้องกับการสังเกตในตัวอย่างข้างต้น ผมคิดว่าข้อสังเกตที่ควรจะสร้างแบบจำลองที่มีการกระจายพหุนามobs ~ dmulti(p, n)ที่และp ~ ddirch(alpha)n <- …

9 r  probability  bayesian  jags 

ฉันไม่แน่ใจว่า VectorSource และ VCorpus อยู่ในแพ็คเกจ 'tm' อย่างแน่นอน เอกสารไม่ชัดเจนเกี่ยวกับสิ่งเหล่านี้ทุกคนสามารถทำให้ฉันเข้าใจในแง่ง่ายหรือไม่?

9 r  text-mining 

โมเดลโลจิสติกหลายระดับต่อไปนี้ที่มีตัวแปรอธิบายหนึ่งตัวที่ระดับ 1 (ระดับบุคคล) และตัวแปรอธิบายหนึ่งตัวที่ระดับ 2 (ระดับกลุ่ม): logit(pij)=π0j+π1jxij…(1)logit(pij)=π0j+π1jxij…(1)\text{logit}(p_{ij})=\pi_{0j}+\pi_{1j}x_{ij}\ldots (1) π0j=γ00+γ01zj+u0j…(2)π0j=γ00+γ01zj+u0j…(2)\pi_{0j}=\gamma_{00}+\gamma_{01}z_j+u_{0j}\ldots (2) π1j=γ10+γ11zj+u1j…(3)π1j=γ10+γ11zj+u1j…(3)\pi_{1j}=\gamma_{10}+\gamma_{11}z_j+u_{1j}\ldots (3) โดยที่ค่าคงที่ระดับกลุ่มและถูกสันนิษฐานว่ามีการแจกแจงปกติหลายตัวแปรที่มีค่าความคาดหวังเป็นศูนย์ ความแปรปรวนของข้อผิดพลาดที่เหลือ ถูกระบุเป็นและความแปรปรวนของข้อผิดพลาดที่เหลือ ถูกระบุเป็น\u0ju0ju_{0j}u1ju1ju_{1j}u0ju0ju_{0j}σ20σ02\sigma^2_0u1ju1ju_{1j}σ21σ12\sigma^2_1 ฉันต้องการที่จะประเมินค่าพารามิเตอร์ของรูปแบบและฉันชอบที่จะใช้ คำสั่งRglmmPQL สมการแทน (2) และ (3) ในสมการ (1) ผลตอบแทน logit(pij)=γ00+γ10xij+γ01zj+γ11xijzj+u0j+u1jxij…(4)logit(pij)=γ00+γ10xij+γ01zj+γ11xijzj+u0j+u1jxij…(4)\text{logit}(p_{ij})=\gamma_{00}+\gamma_{10}x_{ij}+\gamma_{01}z_j+\gamma_{11}x_{ij}z_j+u_{0j}+u_{1j}x_{ij}\ldots (4) มี 30 กลุ่มและ 5 คนในแต่ละกลุ่ม(j=1,...,30)(j=1,...,30)(j=1,...,30) รหัส R: #Simulating data from multilevel logistic distribution library(mvtnorm) set.seed(1234) J <- 30 ## number of groups n_j …

9 r  logistic  generalized-linear-model  simulation  multilevel-analysis 

ฉันจะเข้าใจanovaผลลัพธ์ได้อย่างไรเมื่อเปรียบเทียบสองรุ่น ตัวอย่าง: Res.Df RSS Df Sum of Sq F Pr(>F) 1 9 54.032 2 7 4.632 2 49.4 37.329 0.0001844 *** สถานะ manpage: "คำนวณการวิเคราะห์ความแปรปรวน (หรือความเบี่ยงเบน) ตารางสำหรับวัตถุจำลองรุ่นหนึ่งหรือมากกว่านั้น" อย่างไรก็ตามศาสตราจารย์บอกว่ามันอาจจะใช้สำหรับการเปรียบเทียบแบบจำลอง - นั่นคือสิ่งที่ฉันตั้งใจจะทำ ดังนั้นฉันคิดว่าฉันสามารถใช้anova(model1, model2)และรับค่า p ซึ่งบอกฉันว่าฉันควรปฏิเสธสมมติฐานว่าง: "แบบจำลองเหมือนกัน" ฉันขอกล่าวว่าถ้าค่า p น้อยกว่า (สมมุติว่า) 0.05 แบบจำลองแตกต่างกันอย่างมีนัยสำคัญหรือไม่

9 r  regression  anova 

ฉันมีชุดข้อมูลที่มีตัวแปรต่อเนื่องและตัวแปรเป้าหมายไบนารี (0 และ 1) ฉันต้องจำแนกตัวแปรต่อเนื่อง (สำหรับการถดถอยโลจิสติก) ด้วยความเคารพต่อตัวแปรเป้าหมายและด้วยข้อ จำกัด ที่ความถี่ของการสังเกตในแต่ละช่วงเวลาควรมีความสมดุล ฉันลองใช้กลไกการเรียนรู้ของเครื่องอย่าง Chi Merge ต้นไม้ตัดสินใจ การรวมกันของชี่ทำให้ฉันมีช่วงเวลาที่มีจำนวนไม่สมดุลมากในแต่ละช่วงเวลา (ช่วงเวลาที่มีการสังเกต 3 ครั้งและอีกช่วงหนึ่งมี 1,000 ครั้ง) ต้นไม้ตัดสินใจยากที่จะตีความ ฉันได้ข้อสรุปว่าการแยกส่วนที่ดีที่สุดควรเพิ่มค่าสถิติระหว่างตัวแปรที่แยกส่วนกับตัวแปรเป้าหมายและควรมีช่วงเวลาที่มีจำนวนการสังเกตประมาณเท่ากันχ2χ2\chi^2 มีอัลกอริทึมสำหรับการแก้ปัญหานี้หรือไม่? นี่มันมีลักษณะอย่างไรใน R (def คือตัวแปรเป้าหมายและ x เป็นตัวแปรที่จะแยกส่วน) ฉันคำนวณของ Tschuprow เพื่อประเมิน "สหสัมพันธ์" ระหว่างการแปลงและตัวแปรเป้าหมายเนื่องจากสถิติมีแนวโน้มที่จะเพิ่มขึ้นตามจำนวนช่วงเวลา ฉันไม่แน่ใจว่านี่เป็นวิธีที่ถูกต้องหรือไม่TTTχ2χ2\chi^2 มีวิธีอื่นในการประเมินหรือไม่หาก discretization ของฉันนั้นดีที่สุดนอกเหนือจาก Tschuprow (เพิ่มขึ้นเมื่อจำนวนคลาสลดลง)?TTT chitest <- function(x){ interv <- cut(x, c(0, 1.6,1.9, 2.3, 2.9, max(x)), …

9 r  machine-learning  chi-squared  discrete-data  supervised-learning 

ฉันพยายามเข้าใจผลลัพธ์ของการวิเคราะห์องค์ประกอบหลักที่ดำเนินการดังนี้ > head(iris) Sepal.Length Sepal.Width Petal.Length Petal.Width Species 1 5.1 3.5 1.4 0.2 setosa 2 4.9 3.0 1.4 0.2 setosa 3 4.7 3.2 1.3 0.2 setosa 4 4.6 3.1 1.5 0.2 setosa 5 5.0 3.6 1.4 0.2 setosa 6 5.4 3.9 1.7 0.4 setosa > res = prcomp(iris[1:4], scale=T) > …

9 r  pca  interpretation 

ฉันใช้decomposeฟังก์ชั่นRและคิดส่วนประกอบ 3 อย่างของอนุกรมเวลารายเดือนของฉัน (แนวโน้มฤดูกาลและการสุ่ม) ถ้าฉันพล็อตแผนภูมิหรือดูที่ตารางฉันสามารถเห็นได้อย่างชัดเจนว่าอนุกรมเวลาได้รับผลกระทบตามฤดูกาล อย่างไรก็ตามเมื่อฉันถอยหลังอนุกรมเวลาลงในตัวแปรจำลองตามฤดูกาล 11 ค่าสัมประสิทธิ์ทั้งหมดไม่มีนัยสำคัญทางสถิติซึ่งบอกว่าไม่มีฤดูกาล ฉันไม่เข้าใจว่าทำไมฉันถึงได้ผลลัพธ์ที่แตกต่างกันสองอย่าง สิ่งนี้เกิดขึ้นกับใคร? ฉันกำลังทำอะไรผิดหรือเปล่า? ฉันจะเพิ่มรายละเอียดที่เป็นประโยชน์ที่นี่ นี่คืออนุกรมเวลาของฉันและการเปลี่ยนแปลงรายเดือนที่สอดคล้องกัน ในแผนภูมิทั้งสองคุณสามารถเห็นว่ามีฤดูกาล (หรือนี่คือสิ่งที่ฉันต้องการประเมิน) โดยเฉพาะในแผนภูมิที่สอง (ซึ่งเป็นการเปลี่ยนแปลงรายเดือนของซีรี่ส์) ฉันสามารถเห็นรูปแบบที่เกิดซ้ำ (คะแนนสูงและคะแนนต่ำในเดือนเดียวกันของปี) ด้านล่างเป็นผลลัพธ์ของdecomposeฟังก์ชั่น ฉันขอขอบคุณที่ @RichardHardy กล่าวว่าฟังก์ชั่นไม่ได้ทดสอบว่ามีฤดูกาลจริงหรือไม่ แต่การสลายตัวดูเหมือนจะยืนยันสิ่งที่ฉันคิด อย่างไรก็ตามเมื่อฉันถอยหลังอนุกรมเวลาของตัวแปรตัวประกอบตามฤดูกาล 11 ตัว (มกราคมถึงพฤศจิกายนไม่รวมธันวาคม) ฉันพบสิ่งต่อไปนี้: Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 5144454056 372840549 13.798 <2e-16 *** Jan -616669492 527276161 -1.170 0.248 Feb -586884419 527276161 …

9 r  regression  time-series