สถิติและข้อมูลขนาดใหญ่

ฉันกำลังศึกษาเรื่องการใช้ polydrug ฉันมีชุดข้อมูลของผู้ติดยา 400 คนซึ่งแต่ละคนระบุว่าพวกเขาเสพยา มีมากกว่า 10 ยาเสพติดและด้วยเหตุนี้จึงมีการรวมกันเป็นไปได้ที่มีขนาดใหญ่ ฉันคำนวณส่วนใหญ่ของยาเสพติดที่พวกเขาใช้เป็นตัวแปรไบนารี (เช่นเฮโรอีนคือ 1 หากผู้เสพติดเฮโรอีนเสพติด 0) ฉันต้องการค้นหาชุดยายอดนิยมหรือยาสามัญ 2 หรือ 3 ตัว มีวิธีการทางสถิติที่ฉันสามารถใช้ได้หรือไม่?

10 hypothesis-testing  clustering  combinatorics  association-measure  association-rules 

ฉันจะรับp,d and qค่าในARIMA(p,d,q)แบบจำลองโดยประมาณได้auto.arima(mytimeseries)อย่างไร arima_model <- auto.arima (mytimeseries, ic = 'bic') ถ้าเราดูผลลัพธ์ของ arima_model $ ARMA เราได้รับ, [1] 1 0 0 0 1 2 0 ความหมายของตัวเลขที่ปรากฏในลำดับข้างต้นคืออะไร?

10 r  arima 

พิสูจน์ / หักล้างE[1A|Ft]=0 or 1 a.s. ⇒E[1A|Fs]=E[1A|Ft] a.s.E[1A|Ft]=0 or 1 a.s. ⇒E[1A|Fs]=E[1A|Ft] a.s.E[1_A | \mathscr{F_t}] = 0 \ \text{or} \ 1 \ \text{a.s.} \ \Rightarrow E[1_A | \mathscr{F_{s}}] = E[1_A | \mathscr{F_t}] \ \text{a.s.} กำหนดพื้นที่น่าจะเป็นกรอง(Ω,F,{Fn}n∈N,P)(Ω,F,{Fn}n∈N,P)(\Omega, \mathscr{F}, \{\mathscr{F}_n\}_{n \in \mathbb{N}}, \mathbb{P})ให้{F}A∈FA∈FA \in \mathscr{F} สมมติว่ามันติดตามแล้วล่ะE [ 1 A | F s ] …

10 probability  conditional-probability  random-variable  filter 

ฉันพยายามที่จะเข้าใจการใช้การถดถอยโลจิสติกในตารางฉุกเฉิน 2x2 และ Ix2 ตัวอย่างเช่นการใช้สิ่งนี้เป็นตัวอย่าง ความแตกต่างระหว่างการใช้การทดสอบไคสแควร์และการใช้การถดถอยโลจิสติกคืออะไร? เกี่ยวกับตารางที่มีปัจจัยหลายอย่าง (ตาราง Ix2) ดังนี้: มีคำถามที่คล้ายกันที่นี่ - แต่คำตอบคือส่วนใหญ่ที่ไคสแควร์สามารถจัดการตาราง mxn แต่คำถามของฉันคือสิ่งที่เป็น specificalyl เมื่อมีผลไบนารีและปัจจัยเดียวที่ระบุ (เธรดที่เชื่อมโยงนั้นอ้างถึงเธรดนี้ด้วย แต่สิ่งนี้เกี่ยวข้องกับตัวแปร / ปัจจัยหลายตัว) หากเป็นเพียงปัจจัยเดียว (เช่นไม่จำเป็นต้องควบคุมตัวแปรอื่น ๆ ) ด้วยการตอบกลับแบบไบนารีจุดประสงค์ของการถดถอยแบบโลจิสติกคืออะไร

10 logistic  chi-squared  logit  contingency-tables 

ปัญหาการจัดหมวดหมู่ที่มีขอบเขตไม่เชิงเส้นไม่สามารถแก้ไขได้โดยง่ายตรอน รหัส R ต่อไปนี้มีวัตถุประสงค์เพื่อเป็นตัวอย่างและเป็นไปตามตัวอย่างนี้ใน Python): nonlin <- function(x, deriv = F) { if (deriv) x*(1-x) else 1/(1+exp(-x)) } X <- matrix(c(-3,1, -2,1, -1,1, 0,1, 1,1, 2,1, 3,1), ncol=2, byrow=T) y <- c(0,0,1,1,1,0,0) syn0 <- runif(2,-1,1) for (iter in 1:100000) { l1 <- nonlin(X %*% syn0) l1_error <- y - l1 …

10 r  neural-networks  svm  kernel-trick  perceptron 

ในบทความนี้ (ใช้ได้อย่างอิสระผ่าน PubMed กลาง) ผู้เขียนใช้การถดถอยแบบทวินามเชิงลบเพื่อทำแบบจำลองคะแนนในเครื่องมือคัดกรอง 10 ข้อที่มีคะแนน 0-40 ขั้นตอนนี้จะถือว่าข้อมูลมีการนับซึ่งเห็นได้ชัดว่าไม่ใช่ในกรณีนี้ ฉันต้องการความคิดเห็นของคุณว่าวิธีนี้เป็นที่ยอมรับหรือไม่เพราะบางครั้งฉันใช้เครื่องมือเดียวกันหรือวิธีที่คล้ายกันในการทำงานของฉัน ถ้าไม่ฉันต้องการทราบว่ามีทางเลือกที่ยอมรับได้หรือไม่ รายละเอียดเพิ่มเติมด้านล่าง: มาตราส่วนที่ใช้คือแบบทดสอบความผิดปกติในการใช้แอลกอฮอล์ (AUDIT) ซึ่งเป็นแบบสอบถาม 10 ข้อที่ออกแบบมาเป็นเครื่องมือคัดกรองสำหรับความผิดปกติในการใช้แอลกอฮอล์และการดื่มสุรา / เป็นอันตราย เครื่องมือนี้ทำคะแนนจาก 0 ถึง 40 และโดยทั่วไปแล้วผลลัพธ์จะเอียงไปทางซ้ายอย่างมาก เพื่อความเข้าใจของฉันการใช้ข้อมูลนับถือว่าค่าทั้งหมดที่ "นับ" เป็นอิสระจากกัน - ผู้ป่วยที่มาถึงแผนกฉุกเฉินในแต่ละวันจำนวนผู้เสียชีวิตในบางกลุ่มและอื่น ๆ ทั้งหมดเป็นอิสระจากกัน แม้ว่าจะขึ้นอยู่กับตัวแปรพื้นฐาน นอกจากนี้ฉันคิดว่าไม่สามารถนับจำนวนสูงสุดที่อนุญาตเมื่อใช้ข้อมูลนับได้ แต่ฉันคิดว่าสมมติฐานนี้สามารถผ่อนคลายได้เมื่อค่าสูงสุดทางทฤษฎีสูงมากเมื่อเปรียบเทียบกับค่าสูงสุดที่สังเกตได้ในข้อมูล? เมื่อใช้ระดับ AUDIT เราไม่ได้นับจริง เรามี 10 รายการที่มีคะแนนรวมสูงสุด 40 ถึงแม้ว่าคะแนนสูงสุดนั้นจะไม่ค่อยเห็นในทางปฏิบัติ คะแนนในรายการมีความสัมพันธ์กันตามธรรมชาติ สมมติฐานที่จำเป็นต้องใช้ข้อมูลนับจึงถูกละเมิด แต่นี่ยังเป็นวิธีที่ยอมรับได้หรือไม่? การละเมิดสมมติฐานมีความร้ายแรงเพียงใด? มีสถานการณ์บางอย่างที่วิธีนี้สามารถยอมรับได้มากกว่าหรือไม่? มีทางเลือกอื่นสำหรับวิธีการนี้ที่ไม่ได้เกี่ยวข้องกับการลดขนาดตัวแปรเป็นหมวดหมู่หรือไม่?

10 regression  negative-binomial  count-data 

ขณะนี้ฉันกำลังอ่านเทคนิคการสร้างภาพข้อมูล t-SNE และได้มีการกล่าวว่าหนึ่งในข้อเสียของการใช้การวิเคราะห์องค์ประกอบหลัก (PCA) สำหรับการแสดงข้อมูลมิติสูงคือการรักษาระยะห่างระหว่างจุดสองจุดขนาดใหญ่เท่านั้น จุดความหมายที่อยู่ห่างกันในพื้นที่มิติสูงก็จะปรากฏห่างกันในพื้นที่ย่อยต่ำ แต่นอกเหนือจากนั้นระยะทางคู่อื่น ๆ ทั้งหมดจะได้รับการเมาขึ้น ใครช่วยให้ฉันเข้าใจว่าทำไมมันถึงเป็นเช่นนั้นและมันหมายถึงอะไร?

10 machine-learning  data-visualization  pca  tsne 

เครือข่ายขนาดเล็กของโลกคือประเภทของกราฟทางคณิตศาสตร์ในการที่โหนดส่วนใหญ่จะไม่เพื่อนบ้านของอีกคนหนึ่ง แต่โหนดส่วนใหญ่สามารถเข้าถึงได้จากทุกอื่น ๆ โดยจำนวนเล็ก ๆ ของฮอปส์หรือขั้นตอน โดยเฉพาะเครือข่ายโลกขนาดเล็กถูกกำหนดให้เป็นเครือข่ายที่ระยะทางปกติ L ระหว่างสองโหนดสุ่มเลือก (จำนวนขั้นตอนที่จำเป็น) เติบโตตามสัดส่วนลอการิทึมของจำนวนโหนด N ในเครือข่ายนั่นคือ L≈log(N)L≈log⁡(N) L \approx \log(N) ความสัมพันธ์ระหว่าง L และ N นี้เป็น "กฎนิ้วหัวแม่มือ" ฉันกำลังมองหากราฟระดับโลกขนาดเล็กที่เป็นมืออาชีพมากขึ้นสำหรับการวิจัย ฉันจะทดสอบได้อย่างไรว่ากราฟของฉันเป็นกราฟขนาดเล็กหรือไม่ การทดลองในโลกใบเล็กประกอบด้วยการทดลองหลายอย่างที่ดำเนินการโดย Stanley Milgram และนักวิจัยอื่น ๆ ที่ตรวจสอบความยาวเส้นทางโดยเฉลี่ยสำหรับเครือข่ายสังคมออนไลน์ของผู้คนในสหรัฐอเมริกา การวิจัยครั้งนี้มีความก้าวล้ำในการแนะนำว่าสังคมมนุษย์เป็นเครือข่ายขนาดเล็กระดับโลกที่มีความยาวเส้นทางสั้น การทดลองมักเกี่ยวข้องกับวลี "การแยกหกองศา" แม้ว่า Milgram จะไม่ใช้คำนี้ด้วยตนเอง ขอบคุณล่วงหน้า.

10 hypothesis-testing  graph-theory  networks 

วันนี้อาจารย์ของเรากล่าวในชั้นเรียนว่า ฉันถือว่ามันผิดเนื่องจากแม้แต่ตัวแยกประเภทแบบเส้นตรงอาจมีความอ่อนไหวต่อค่าผิดปกติในชุดฝึกอบรม - ยกตัวอย่างเช่นเครื่องเวกเตอร์สนับสนุนยาก: ดาต้าพอยน์ที่มีเสียงดังเพียงตัวเดียวสามารถเปลี่ยนไฮเปอร์เพลนที่จะใช้แยกชุดข้อมูล หรือฉันผิด เห็นได้ชัดว่าการเรียงตัวเชิงเส้นอาจป้องกันได้มากกว่าการบรรจุเกินเนื่องจากความซับซ้อนของโมเดลที่ต่ำกว่า แต่ถึงกระนั้นฉันก็ไม่เห็นว่าทำไมการบรรจุเกินควรเป็นไปไม่ได้ อีกประเด็นหนึ่งคือเมื่อฉันพยายามคิดเกี่ยวกับปัญหานี้ฉันรู้ว่า "การ overfitting" ดูเหมือนจะไม่ได้ถูกกำหนดอย่างเป็นทางการ ทำไมถึงเป็นอย่างนั้น? การวัดระยะทางระหว่างการฝึกซ้อมและชุดทดสอบจะไม่อนุญาตให้ทำในรูปแบบดังกล่าวหรือไม่ ขอบคุณ

10 classification  overfitting 

ฉันมีคำถามเกี่ยวกับความถูกต้องของการใช้ RMSE (Root Mean Squared Error) เพื่อเปรียบเทียบโมเดลโลจิสติกที่แตกต่างกัน การตอบสนองเป็นอย่างใดอย่างหนึ่ง0หรือ1และการคาดการณ์ที่มีความน่าจะเป็นระหว่าง0- 1? วิธีที่ใช้ด้านล่างนี้ใช้ได้กับการตอบกลับแบบไบนารีหรือไม่ # Using glmnet require(glmnet) load(url("https://github.com/cran/glmnet/raw/master /data/BinomialExample.RData")) cvfit = cv.glmnet(x, y, family = "binomial", type.measure = "mse") A <- predict(cvfit, newx = x, s = "lambda.min", type = "response") RMSE1 <- mean((y - A)^2) # 0.05816881 # glm mydata <- read.csv("https://stats.idre.ucla.edu/stat/data/binary.csv") …

10 regression  logistic  generalized-linear-model  glmnet  rms 

หากมีให้ปรับเส้นให้พอดีกับ "การทดลอง" แยกหลายครั้งจากนั้นทำการหาค่าเฉลี่ยพอดีหรือเฉลี่ยข้อมูลจากการทดลองแยกต่างหากจากนั้นทำการปรับข้อมูลเฉลี่ยให้พอดี ให้ฉันทำอย่างละเอียด: ฉันทำการจำลองคอมพิวเตอร์ซึ่งสร้างเส้นโค้งดังที่แสดงด้านล่าง เราดึงปริมาณออกมาเรียกมันว่า "A" โดยการปรับพื้นที่เชิงเส้นของพล็อต (นาน ๆ ) ค่าเป็นความชันของภูมิภาคเชิงเส้น แน่นอนว่ามีข้อผิดพลาดที่เกี่ยวข้องกับการถดถอยเชิงเส้นนี้ โดยทั่วไปเราจะเรียกใช้การจำลองเหล่านี้ 100 ครั้งหรือมากกว่าด้วยเงื่อนไขเริ่มต้นที่แตกต่างกันเพื่อคำนวณค่าเฉลี่ยของ "A" ฉันได้รับการบอกว่าเป็นการดีกว่าที่จะเฉลี่ยข้อมูลดิบ (จากพล็อตด้านล่าง) เป็นกลุ่มที่พูด 10 แล้วเหมาะสำหรับ "A" และเฉลี่ย 10 "A" ด้วยกัน ฉันไม่มีสัญชาตญาณว่ามีข้อดีหรือไม่และดีกว่าการปรับค่า "A" ให้เหมาะสมกับบุคคล 100 คนและหาค่าเฉลี่ยเหล่านั้น

10 error  fitting  average 

สมมติว่าฉันกำลังพยายามสร้างความน่าจะเป็นซ้ำให้กับฟังก์ชันที่มีการแจกแจงแบบเอ็กซ์โปเนนเชียล หากฟังก์ชันความน่าจะเป็นดั้งเดิมของฉันคือ: p ( y∣ θ ) = θ e- θ yพี(Y|θ)=θอี-θY p(y \mid \theta) = \theta e^{-\theta y} และฉันต้องการอีกครั้ง parametrize โดยใช้เนื่องจากไม่ได้เป็นตัวแปรสุ่ม แต่พารามิเตอร์มันเพียงพอที่จะเสียบ?ϕ = 1θφ=1θ\phi = \frac{1}{\theta}θθ\theta สิ่งที่ฉันหมายถึงอย่างชัดเจนคือ: p ( y∣ ϕ = 1θ) = 1φอี- 1φYพี(Y|φ=1θ)=1φอี-1φY p\left(y \mid \phi = \frac{1}{\theta}\right) = \frac{1}{\phi} e^{-\frac{1}{\phi} y} ถ้าเป็นเช่นนั้นฉันไม่แน่ใจว่าทฤษฎีที่อยู่เบื้องหลังเรื่องนี้คืออะไร ความเข้าใจของฉันคือฟังก์ชั่นความน่าจะเป็นเป็นหน้าที่ของพารามิเตอร์ดังนั้นทำไมฉันไม่จำเป็นต้องใช้การเปลี่ยนแปลงของสูตรตัวแปรทำให้ฉันสับสน ความช่วยเหลือใด ๆ …

10 regression  bayesian  mathematical-statistics 

ฉันต้องการประเมินค่าเฉลี่ยของฟังก์ชัน f เช่น โดยที่และเป็นตัวแปรสุ่มอิสระ ฉันมีตัวอย่างของ f แต่ไม่ใช่ iid: มีตัวอย่าง iid สำหรับและสำหรับแต่ละมีตัวอย่างจาก :EX,Y[f(X,Y)]EX,Y[f(X,Y)]E_{X,Y}[f(X,Y)]XXXYYYY1,Y2,…YnY1,Y2,…YnY_1,Y_2,\dots Y_nYiYiY_ininin_iXXXXi,1,Xi,2,…,Xi,niXi,1,Xi,2,…,Xi,niX_{i,1},X_{i,2},\dots, X_{i,n_i} โดยรวมแล้วฉันมีตัวอย่างf(X1,1,Y1)…f(X1,n1,Y1)…f(Xi,j,Yi)…f(Xn,nn,Yn)f(X1,1,Y1)…f(X1,n1,Y1)…f(Xi,j,Yi)…f(Xn,nn,Yn)f(X_{1,1},Y_1) \dots f(X_{1,n_1},Y_1 ) \dots f(X_{i,j},Y_i) \dots f(X_{n,n_n},Y_n) ในการประมาณค่าเฉลี่ยฉันคำนวณ เห็นได้ชัดว่าดังนั้นคือตัวประมาณที่ไม่เอนเอียง ตอนนี้ฉันสงสัยว่าคือความแปรปรวนของตัวประมาณμ=∑i=1n1/n∗∑j=1nif(Xi,j,Yi)niμ=∑i=1n1/n∗∑j=1nif(Xi,j,Yi)ni\mu=\sum_{i=1}^n 1/n * \sum_{j=1}^{n_i}\frac{ f(X_{i,j},Y_i)}{n_i}EX,Y[μ]=EX,Y[f(X,Y)]EX,Y[μ]=EX,Y[f(X,Y)]E_{X,Y}[\mu]=E_{X,Y}[f(X,Y)]μμ\muVar(μ)Var(μ)Var(\mu) แก้ไข 2: นี่คือความแปรปรวนที่ถูกต้องหรือไม่? มัน ดูเหมือนว่าจะทำงานในขีด จำกัด คือถ้า n = 1 และความแปรปรวนเพียงกลายเป็นความแปรปรวนของค่าเฉลี่ย และถ้าสูตรจะกลายเป็นสูตรมาตรฐานสำหรับความแปรปรวนของตัวประมาณ ถูกต้องหรือไม่ ฉันจะพิสูจน์ได้ว่ามันคืออะไร? Var(μ)=VarY(μi)n+∑i=1nVarX(f(X,Yi)))ni∗n2Var(μ)=VarY(μi)n+∑i=1nVarX(f(X,Yi)))ni∗n2Var(\mu)=\frac{Var_Y(\mu_i)}{n}+\sum_{i=1}^n \frac{Var_X(f(X,Y_i)))}{n_i*n^2}ni=∞ni=∞n_i=\inftyni=1ni=1n_i=1 แก้ไข (ไม่สนใจสิ่งนี้): ดังนั้นฉันคิดว่าฉันมีความคืบหน้า: ให้เรากำหนดซึ่งเป็นตัวประมาณที่ไม่ลำเอียงY_i)]μi=∑nij=1f(Xi,j,Yi)niμi=∑j=1nif(Xi,j,Yi)ni\mu_i=\sum_{j=1}^{n_i}\frac{ f(X_{i,j},Y_i)}{n_i}EX[f(X,Yi)]EX[f(X,Yi)]E_X[f(X,Y_i)] …

10 variance  unbiased-estimator  estimators 

ผมมีข้อมูลบางอย่างที่มีอยู่บนกราฟ ) จุดยอดอยู่ในหนึ่งในสองคลาสy i ∈ { - 1 , 1 }และฉันสนใจที่จะฝึกอบรม SVM เพื่อแยกความแตกต่างระหว่างสองคลาส หนึ่งเคอร์เนลที่เหมาะสมสำหรับการนี้คือการแพร่กระจายเคอร์เนล , K = ประสบการณ์( - β L ) ,ที่Lเป็นLaplacianของGและβเป็นปรับพารามิเตอร์G=(V,E)G=(V,E)G=(V,E)yi∈{−1,1}yi∈{−1,1}y_i\in\{-1,1\}K=exp(−βL),K=exp⁡(−βL),K=\exp(-\beta L),LLLGGGββ\beta การปรับ SVM ต้องเลือกของ hyperparameters ดังนั้นฉันมีการปรับแต่งโดยทั่วไปเราใช้การตรวจสอบข้ามปัญหานี้ แต่ดูเหมือนจะไม่เหมาะสมที่นี่เนื่องจากการละเว้นจุดสุดยอดiจากGเปลี่ยนกราฟทั้งหมดอาจเพิ่มจำนวนของส่วนประกอบที่เชื่อมต่อ! หากจำนวนของส่วนประกอบที่เชื่อมต่อมีการเปลี่ยนแปลงจุดยอดบางอย่างจะไม่สามารถเข้าถึงได้จากจุดอื่นและเรากำลังเผชิญกับชุดข้อมูลที่แตกต่างจากที่เราเริ่มต้น นั่นคือไม่เพียง แต่เราจะหายไปจุดสุดยอดที่นำออกไปฉันแต่เรายังขาดข้อมูลเกี่ยวกับจุดอื่น ๆ ทั้งหมดที่ jθ=(β,C).θ=(β,C).\theta=(\beta, C).iiiGGGiiijjj ในกราฟที่อยู่ติดกับจุดสุดยอดนั้น แนวคิดพื้นฐานของการตรวจสอบข้ามคือเราต้องการประมาณว่าโมเดลจะทำงานอย่างไรเมื่อนำเสนอด้วยข้อมูลใหม่ ในปัญหามาตรฐานการละเว้นข้อมูลบางส่วนของคุณสำหรับการทดสอบจะไม่เปลี่ยนค่าของข้อมูลการฝึกอบรมที่เหลืออยู่ อย่างไรก็ตามในกรณีของข้อมูลกราฟมันไม่ชัดเจนว่ามันหมายถึงอะไรสำหรับรุ่นที่จะเห็นข้อมูล "ใหม่" ในการตั้งค่า CV การละเว้นจุดยอดหรือขอบมีแนวโน้มที่จะเปลี่ยนแปลงข้อมูลทั้งหมด ตัวอย่างเช่นลองนึกภาพกราฟซึ่งเป็นกราฟk- star ซึ่งหนึ่งจุดยอดมีk edge to …

10 svm  cross-validation  kernel-trick  graph-theory 

มีแพ็คเกจ R (หรือแม้แต่ฟังก์ชัน R พื้นฐาน) ที่ใช้วิธีของ Fisher's หรือ Stoufferเพื่อรวมค่า p หรือไม่? การเขียนโค้ดนี้ควรจะเป็นเรื่องเล็กน้อย แต่ฉันอยากจะใช้ (และอ้างอิง) แพ็คเกจ โค้ดตัวอย่างในคำถามนี้: วิธีฟิชเชอร์สำหรับการรวมค่า p - แล้วหางล่างเป็นอย่างไร?

10 r  combining-p-values