สถิติและข้อมูลขนาดใหญ่

ฉันกำลังใช้การลดค่าเอกพจน์เป็นเทคนิคการลดขนาด ให้Nเวกเตอร์ของมิติDความคิดคือการแสดงคุณสมบัติในพื้นที่แปลงของมิติ uncorrelated ซึ่งรวมส่วนใหญ่ของข้อมูลของข้อมูลใน eigenvector ของพื้นที่นี้ในลำดับความสำคัญลดลง ตอนนี้ฉันกำลังพยายามใช้ขั้นตอนนี้กับข้อมูลอนุกรมเวลา ปัญหาคือว่าบางส่วนไม่ได้มีความยาวเท่ากันดังนั้นฉันจึงไม่สามารถสร้างnum-by-dimเมทริกซ์และใช้ SVD ได้ ความคิดแรกของฉันคือการวางเมทริกซ์ด้วยเลขศูนย์ด้วยการสร้างnum-by-maxDimเมทริกซ์และเติมช่องว่างด้วยศูนย์ แต่ฉันไม่แน่ใจว่านั่นเป็นวิธีที่ถูกต้องหรือไม่ คำถามของฉันคือคุณจะใช้วิธี SVD ในการลดมิติข้อมูลเป็นอนุกรมเวลาที่มีความยาวต่างกันได้อย่างไร หรือมีวิธีการอื่นที่คล้ายคลึงกันของการเป็นตัวแทน eigenspace มักจะใช้กับอนุกรมเวลา? ด้านล่างเป็นส่วนหนึ่งของรหัส MATLAB เพื่อแสดงแนวคิด: X = randn(100,4); % data matrix of size N-by-dim X0 = bsxfun(@minus, X, mean(X)); % standarize [U S V] = svd(X0,0); % SVD variances = diag(S).^2 / (size(X,1)-1); % …

13 time-series  machine-learning  pca  data-transformation  multivariate-analysis 

ล็อคแล้ว คำถามและคำตอบของคำถามนี้ถูกล็อคเนื่องจากคำถามอยู่นอกหัวข้อ แต่มีความสำคัญทางประวัติศาสตร์ ขณะนี้ไม่ยอมรับคำตอบหรือการโต้ตอบใหม่ มีใครรู้บ้างเกี่ยวกับซอฟต์แวร์ลบข้อมูลระบุตัวตนที่ดี? หรืออาจเป็นแพ็คเกจสำหรับ R ที่ทำให้ข้อมูลไม่ระบุตัวตน เห็นได้ชัดว่าไม่คาดหวังว่าจะมีการปกปิดตัวตนที่ไม่สามารถติดตามได้ - เพียงต้องการทำให้ยาก

13 software 

ฉันเคยได้ยินมาว่าแบบจำลอง LME นั้นฟังดูดีกว่าในการวิเคราะห์ข้อมูลความถูกต้อง (เช่นในการทดลองทางจิตวิทยา) ซึ่งพวกเขาสามารถทำงานกับการแจกแจงทวินามและการแจกแจงแบบไม่ปกติอื่น ๆ ที่วิธีการแบบดั้งเดิม (เช่น ANOVA) อะไรคือพื้นฐานทางคณิตศาสตร์ของโมเดล LME ที่อนุญาตให้รวมการแจกแจงอื่น ๆ เหล่านี้และอะไรคือเอกสารทางเทคนิคที่ไม่อธิบายมากเกินไป?

13 mixed-model 

ฉันพยายามแยกค่าสองกลุ่มออกจากชุดข้อมูลเดียว ฉันสามารถสมมติว่าหนึ่งในประชากรมีการกระจายตามปกติและมีขนาดอย่างน้อยครึ่งหนึ่งของตัวอย่าง ค่าของอันที่สองนั้นต่ำกว่าหรือสูงกว่าค่าจากอันแรก (ไม่ทราบการกระจาย) สิ่งที่ฉันพยายามทำคือค้นหาขีด จำกัด บนและล่างที่จะล้อมรอบประชากรที่กระจายตัวตามปกติจากอีกอัน สมมติฐานของฉันให้ฉันด้วยจุดเริ่มต้น: จุดทั้งหมดที่อยู่ในช่วง interquartile ของตัวอย่างนั้นมาจากประชากรที่กระจายตัวตามปกติ ฉันพยายามที่จะทดสอบหาผู้ผิดกฎหมายที่นำพวกเขาออกจากส่วนที่เหลือของกลุ่มตัวอย่างจนกว่าพวกเขาจะไม่เข้ากับ 3 st.dev ของประชากรที่กระจายตัวตามปกติ ซึ่งไม่เหมาะ แต่ดูเหมือนจะให้ผลลัพธ์ที่สมเหตุสมผล การสันนิษฐานของฉันเป็นไปตามสถิติหรือไม่ อะไรจะเป็นวิธีที่ดีกว่าที่จะไปเกี่ยวกับเรื่องนี้? ป.ล. โปรดแก้ไขแท็กใครบางคน

13 dataset  outliers  expectation-maximization 

นี่เป็นคำถามที่ค่อนข้างสั่นคลอน แต่ฉันมีความสนใจอย่างจริงจังในคำตอบ ฉันทำงานในโรงพยาบาลจิตเวชและมีข้อมูลสามปีเก็บทุกวันทั่ววอร์ดเกี่ยวกับระดับความรุนแรงในวอร์ดนั้น เห็นได้ชัดว่ารูปแบบที่เหมาะกับข้อมูลเหล่านี้คือรูปแบบอนุกรมเวลา ฉันต้องทำคะแนนให้แตกต่างกันเพื่อให้เป็นปกติมากขึ้น ฉันพอดีกับโมเดล ARMA กับข้อมูลที่แตกต่างกันและแบบที่ดีที่สุดที่ฉันคิดว่าเป็นโมเดลที่มีความต่างระดับหนึ่งและลำดับอัตโนมัติสัมพันธ์แรกที่ล่าช้า 2 คำถามของฉันคืออะไรฉันสามารถใช้แบบจำลองนี้เพื่ออะไร อนุกรมเวลาดูเหมือนว่ามีประโยชน์เสมอในตำราเรียนเมื่อมันเกี่ยวกับประชากรกระต่ายและราคาน้ำมัน แต่ตอนนี้ฉันได้ทำของตัวเองผลลัพธ์ดูเหมือนเป็นนามธรรมจนทึบแสงอย่างสมบูรณ์ คะแนนที่แตกต่างนั้นมีความสัมพันธ์ซึ่งกันและกันที่ lag 2 แต่ฉันไม่สามารถแนะนำให้ทุกคนตื่นตัวได้ในสองวันหลังจากเกิดเหตุการณ์ร้ายแรงในทุกกรณี หรือฉัน

13 time-series  forecasting 

นี่เป็นคำถามที่ค่อนข้างทั่วไป: ฉันมักจะพบว่าการใช้แบบจำลองที่แตกต่างกันหลายแบบมีประสิทธิภาพสูงกว่าแบบจำลองเดียวเมื่อพยายามทำนายอนุกรมเวลาจากตัวอย่าง มีเอกสารที่ดีที่แสดงให้เห็นว่าการรวมกันของแบบจำลองจะดีกว่าแบบจำลองเดียวหรือไม่? มีวิธีปฏิบัติที่ดีที่สุดในการรวมหลายรุ่นหรือไม่ อ้างอิงบางส่วน: Hui Zoua, Yuhong Yang "การรวมตัวแบบอนุกรมเวลาสำหรับการพยากรณ์" International Journal of Forecasting 20 (2004) 69–84

13 time-series  modeling  model-comparison 

ฉันได้คุยกับสมาชิกแล็บหลายคนเกี่ยวกับอันนี้และเราได้ไปหลายแหล่ง แต่ก็ยังไม่มีคำตอบ: เมื่อเราบอกว่า GLM มีตระกูลปัวซองเรากำลังพูดถึงการกระจายตัวของเศษซากหรือตัวแปรการตอบสนองหรือไม่? จุดของการต่อสู้ อ่านหนังสือนี้บทความมันกล่าวว่าสมมติฐานของ GLM ที่มีความเป็นอิสระทางสถิติของการสังเกตเปคที่ถูกต้องของการเชื่อมโยงและความแปรปรวนของฟังก์ชั่น (ซึ่งทำให้ฉันคิดเกี่ยวกับสิ่งตกค้างที่ไม่ตัวแปรตอบสนอง) ขนาดที่ถูกต้องของการวัดตัวแปรการตอบสนอง และขาดอิทธิพลเกินควรจากจุดเดียว คำถามนี้มีสองคำตอบโดยมีสองคะแนนแต่ละข้อที่ปรากฏครั้งแรกพูดถึงเศษซากและคำตอบที่สองเกี่ยวกับตัวแปรการตอบสนองคืออะไร? ในบล็อกนี้เมื่อพูดถึงสมมติฐานพวกเขาระบุว่า " การกระจายตัวของสารตกค้างอาจเป็นอย่างอื่นเช่นทวินาม " ในตอนต้นของบทนี้พวกเขากล่าวว่าโครงสร้างของข้อผิดพลาดจะต้องเป็นปัวซอง แต่ส่วนที่เหลือจะมีค่าบวกและลบแน่นอนว่าปัวซองจะเป็นอย่างไร คำถามนี้ซึ่งมักถูกอ้างถึงในคำถามเช่นคำถามนี้เพื่อให้ซ้ำกันไม่มีคำตอบที่ยอมรับได้ คำถามนี้คำตอบพูดคุยเกี่ยวกับการตอบสนองและไม่เหลือ ในรายละเอียดหลักสูตรนี้จากมหาวิทยาลัยเพนซิลวาเนียพวกเขาพูดคุยเกี่ยวกับตัวแปรตอบสนองในสมมติฐานไม่ใช่ส่วนที่เหลือ

13 generalized-linear-model  residuals  assumptions 

ฉันเพิ่งเรียนรู้เกี่ยวกับกฎการให้คะแนนที่เหมาะสมสำหรับตัวแยกประเภทความน่าจะเป็น หลายหัวข้อในเว็บไซต์นี้ได้ชี้ให้เห็นว่าความแม่นยำเป็นกฎการให้คะแนนที่ไม่เหมาะสมและไม่ควรใช้ในการประเมินคุณภาพของการทำนายที่สร้างขึ้นโดยตัวแบบความน่าจะเป็นเช่นการถดถอยโลจิสติก อย่างไรก็ตามเอกสารทางวิชาการที่ฉันได้อ่านค่อนข้างน้อยได้ให้การสูญเสียการจำแนกประเภทเป็นตัวอย่างของกฎการให้คะแนนที่เหมาะสม (ไม่เข้มงวด) ในการจำแนกประเภทไบนารี คำอธิบายที่ชัดเจนที่สุดที่ฉันพบได้ในบทความนี้ที่ด้านล่างของหน้า 7 เพื่อความเข้าใจที่ดีที่สุดของฉันการลดการสูญเสียการจำแนกประเภทให้น้อยที่สุดนั้นเทียบเท่ากับการเพิ่มความแม่นยำสูงสุดและสมการในกระดาษทำให้รู้สึกอย่างสังหรณ์ใจ ตัวอย่างเช่น: ใช้สัญกรณ์ของกระดาษถ้าความน่าจะเป็นตามเงื่อนไขที่แท้จริง (จากคุณสมบัติของเวกเตอร์x ) ของระดับความสนใจคือη = 0.7 การคาดการณ์ใด ๆq > 0.5 จะมีการสูญเสียที่คาดหวังR (η | q ) = 0.7 (0) + 0.3 (1) = 0.3 และq 0.5 ใด ๆจะมีการสูญเสียที่คาดหวัง 0.7 ฟังก์ชั่นการสูญเสียจึงจะลดลงที่q = η = 0.7 และเหมาะสมดังนั้น การวางนัยทั่วไปไปยังช่วงทั้งหมดของความน่าจะเป็นตามเงื่อนไขที่แท้จริงและการคาดการณ์ดูเหมือนจะตรงไปตรงมาเพียงพอจากที่นั่น≤≤\leq สมมติว่าการคำนวณและข้อความข้างต้นนั้นถูกต้องข้อเสียของขั้นต่ำที่ไม่ซ้ำกันและการคาดการณ์ทั้งหมดที่สูงกว่า 0.5 การแบ่งปันการสูญเสียขั้นต่ำที่เหมือนกันจะชัดเจน ฉันยังคงเห็นว่าไม่มีเหตุผลที่จะใช้ความแม่นยำมากกว่าทางเลือกแบบดั้งเดิมเช่นคะแนนบันทึกคะแนน Brier ฯลฯ …

13 probability  accuracy  scoring-rules 

ฉันต้องการสร้างแบบจำลองการถดถอยซึ่งเป็นค่าเฉลี่ยของแบบจำลอง OLS หลายตัวโดยแต่ละแบบจะอิงตามส่วนย่อยของข้อมูลทั้งหมด แนวคิดเบื้องหลังนี้อ้างอิงจากบทความนี้ ฉันสร้าง k เท่าและสร้างแบบจำลอง k OLS แต่ละอันบนข้อมูลโดยไม่มีการพับหนึ่งครั้ง ฉันเฉลี่ยค่าสัมประสิทธิ์การถดถอยเพื่อให้ได้แบบจำลองขั้นสุดท้าย สิ่งนี้ทำให้ฉันรู้สึกคล้ายกับบางอย่างเช่นการถดถอยของป่าแบบสุ่มซึ่งต้นไม้การถดถอยจำนวนมากถูกสร้างและเฉลี่ย อย่างไรก็ตามประสิทธิภาพของแบบจำลอง OLS โดยเฉลี่ยดูเหมือนจะแย่กว่าการสร้างแบบจำลอง OLS เพียงตัวเดียวบนข้อมูลทั้งหมด คำถามของฉันคือ: มีเหตุผลทางทฤษฎีว่าทำไมค่าเฉลี่ยหลายรุ่น OLS ผิดหรือไม่พึงประสงค์? เราคาดหวังว่าค่าเฉลี่ยของ OLS หลายรุ่นเพื่อลดการ overfitting หรือไม่ ด้านล่างเป็นตัวอย่าง R #Load and prepare data library(MASS) data(Boston) trn <- Boston[1:400,] tst <- Boston[401:nrow(Boston),] #Create function to build k averaging OLS model lmave <- …

13 regression  least-squares  ensemble 

ทฤษฎีบท Halmos-โหดกล่าวว่าสำหรับแบบจำลองทางสถิติเด่นสถิติก็เพียงพอแล้วถ้า (และถ้ามี) สำหรับทุกมีรุ่น -measurable ของเรดอน Nikodym อนุพันธ์ที่เป็น ตัวชี้วัดที่มีสิทธิพิเศษดังกล่าวที่สำหรับและP(Ω,A,P)(Ω,A,P)(\Omega, \mathscr A, \mathscr P)T:(Ω,A,P)→(Ω′,A′)T:(Ω,A,P)→(Ω′,A′)T: (\Omega, \mathscr A, \mathscr P)\to(\Omega', \mathscr A'){P∈P}{P∈P}\{P \in \mathscr{P} \} TTTdPdP∗dPdP∗\frac{dP}{dP*}dP∗dP∗dP*P∗=∑∞i=1PiciP∗=∑i=1∞PiciP*=\sum_{i=1}^\infty P_i c_i ci>0,∑∞i=1ci=1ci>0,∑i=1∞ci=1c_i >0, \sum _{i=1}^\infty c_i =1Pi∈PPi∈PP_i \in \mathscr P ฉันพยายามเข้าใจอย่างถ่องแท้ว่าทำไมทฤษฎีบทถึงเป็นจริง แต่ฉันก็ไม่ประสบความสำเร็จดังนั้นคำถามของฉันคือว่ามีวิธีที่เข้าใจได้ง่ายหรือไม่

13 probability  mathematical-statistics  intuition  measure-theory 

สมมติว่าฉันคำนวณความสูง (หน่วยเป็นซม.) และตัวเลขต้องสูงกว่าศูนย์ นี่คือรายการตัวอย่าง: 0.77132064 0.02075195 0.63364823 0.74880388 0.49850701 0.22479665 0.19806286 0.76053071 0.16911084 0.08833981 Mean: 0.41138725956196015 Std: 0.2860541519582141 ในตัวอย่างนี้ตามการแจกแจงปกติ 99.7% ของค่าต้องอยู่ระหว่าง± 3 เท่าของค่าเบี่ยงเบนมาตรฐานจากค่าเฉลี่ย อย่างไรก็ตามค่าเบี่ยงเบนมาตรฐานจะเป็นลบสองเท่า -2 x std calculation = 0.41138725956196015 - 0.2860541519582141 x 2 = -0,160721044354468 อย่างไรก็ตามตัวเลขของฉันต้องเป็นค่าบวก ดังนั้นพวกเขาต้องอยู่เหนือ 0 ฉันสามารถเพิกเฉยกับจำนวนลบได้ แต่ฉันสงสัยว่านี่เป็นวิธีที่ถูกต้องในการคำนวณความน่าจะเป็นโดยใช้ค่าเบี่ยงเบนมาตรฐาน มีใครช่วยให้ฉันเข้าใจถ้าฉันใช้สิ่งนี้ในวิธีที่ถูกต้อง? หรือฉันต้องเลือกวิธีอื่น ความจริงแล้วคณิตศาสตร์เป็นคณิตศาสตร์ มันไม่สำคัญว่าจะเป็นการแจกแจงแบบปกติหรือไม่ หากทำงานกับตัวเลขที่ไม่ได้ลงชื่อก็ควรทำงานกับตัวเลขบวกเช่นกัน! ฉันผิดหรือเปล่า? EDIT1: เพิ่มฮิสโตแกรม เพื่อความชัดเจนยิ่งขึ้นฉันได้เพิ่มฮิสโตแกรมข้อมูลจริงของฉัน …

13 probability  mathematical-statistics  normal-distribution  standard-deviation 

ในขณะที่ลองแบบจำลองการผสมแบบเกาส์ที่นี่ฉันพบโควาเรียส 4 ประเภทนี้ 'full' (each component has its own general covariance matrix), 'tied' (all components share the same general covariance matrix), 'diag' (each component has its own diagonal covariance matrix), 'spherical' (each component has its own single variance). ฉันค้นหารายละเอียดเพิ่มเติมเกี่ยวกับแต่ละประเภทเหล่านี้มาก แต่พบคำอธิบายระดับสูงมาก (เช่นนี้ ) เท่านั้น ขอบคุณถ้ามีคนช่วยฉันเข้าใจสิ่งเหล่านี้หรืออย่างน้อยก็พาฉันไปที่ที่ฉันสามารถอ่านเกี่ยวกับสิ่งเหล่านี้ได้

13 covariance-matrix  gaussian-mixture 

ฉันมีความรู้พื้นฐานเกี่ยวกับการทำงานของ RNNs (และโดยเฉพาะอย่างยิ่งกับหน่วย LSTMs) ฉันมีภาพความคิดเกี่ยวกับสถาปัตยกรรมของหน่วย LSTM นั่นคือเซลล์และประตูสองสามบานซึ่งควบคุมการไหลของค่า อย่างไรก็ตามเห็นได้ชัดว่าฉันไม่ได้เข้าใจอย่างสมบูรณ์ว่า LSTM แก้ปัญหา "การหายตัวไปและการกระจายตัวของการไล่ระดับสี" ซึ่งเกิดขึ้นในขณะที่การฝึกอบรมโดยใช้การเผยแพร่กลับไปตามกาลเวลา RNN ทั่วไป ฉันไม่ได้มีโอกาสอ่านเอกสารเพื่อเข้าใจคณิตศาสตร์อย่างเต็มที่ คำตอบนี้ให้คำอธิบายโดยย่อเกี่ยวกับวิธีที่ RNNs กับหน่วย LSTM แก้ปัญหา "การไล่ระดับสีหายไป" ในทางคณิตศาสตร์เหตุผลที่ดูเหมือนจะไม่มีอยู่ของอนุพันธ์ที่ไม่หายไปคือไม่มีแนวโน้มที่จะเป็นศูนย์ ดังนั้นผู้เขียนกล่าวว่า "มีอย่างน้อยหนึ่งเส้นทางที่การไล่ระดับสีไม่หายไป" IMHO คำอธิบายนี้ค่อนข้างคลุมเครือ ในขณะเดียวกันฉันกำลังอ่านกระดาษลำดับการเรียนรู้ต่อเนื่องกับโครงข่ายประสาท (โดย Ilya Sutskever, Oriol Vinyals, Quoc V. Le) และในบทความนั้นส่วน "3.4 รายละเอียดการฝึกอบรม" มีการระบุไว้ แม้ว่า LSTMs มักจะไม่ประสบปัญหาการไล่ระดับสีที่หายไปพวกเขาสามารถระเบิดการไล่ระดับสี ฉันคิดเสมอว่า RNNs กับหน่วย LSTM แก้ปัญหา "หายไป" และ "ระเบิดการไล่ระดับสี" …

13 neural-networks  lstm  rnn  backpropagation 

ในRมีสามวิธีในการจัดรูปแบบข้อมูลอินพุตสำหรับการถดถอยโลจิสติกโดยใช้glmฟังก์ชัน: ข้อมูลสามารถอยู่ในรูปแบบ "ไบนารี" สำหรับการสังเกตแต่ละครั้ง (เช่น y = 0 หรือ 1 สำหรับการสังเกตแต่ละครั้ง); ข้อมูลสามารถอยู่ในรูปแบบ "Wilkinson-Rogers" (เช่นy = cbind(success, failure)) โดยแต่ละแถวแสดงถึงการรักษาหนึ่งครั้ง หรือ ข้อมูลสามารถอยู่ในรูปแบบถ่วงน้ำหนักสำหรับการสังเกตแต่ละครั้ง (เช่น y = 0.3, น้ำหนัก = 10) ทั้งสามวิธีมีการประมาณค่าสัมประสิทธิ์เท่ากัน แต่แตกต่างกันไปตามระดับของอิสรภาพและค่าเบี่ยงเบนและผลคะแนน AIC สองวิธีสุดท้ายมีการสังเกตน้อยกว่า (และดีกรีอิสระ) เพราะพวกเขาใช้การรักษาแต่ละครั้งสำหรับจำนวนการสังเกตในขณะที่วิธีแรกใช้การสังเกตแต่ละครั้งสำหรับจำนวนการสังเกต คำถามของฉัน:มีความได้เปรียบเชิงตัวเลขหรือเชิงสถิติในการใช้รูปแบบอินพุตหนึ่งมากกว่าอีกรูปแบบหนึ่งหรือไม่ ข้อได้เปรียบเดียวที่ฉันเห็นคือไม่ต้องฟอร์แมตข้อมูลRเพื่อใช้กับตัวแบบ ฉันได้ดูเอกสาร glmค้นหาบนเว็บและเว็บไซต์นี้และพบโพสต์ที่เกี่ยวข้องเป็นรูปธรรมแต่ไม่มีคำแนะนำในหัวข้อนี้ นี่คือตัวอย่างที่จำลองซึ่งแสดงให้เห็นถึงพฤติกรรมนี้: # Write function to help simulate data drc4 <- function(x, b =1.0, …

13 r  logistic  generalized-linear-model 

สมมติว่าชุดข้อมูลของเรามีตัวอย่าง 1 ล้านตัวอย่างเช่นและเราต้องการใช้การไล่ระดับสีแบบไล่ระดับเพื่อทำการโลจิสติกหรือการถดถอยเชิงเส้นบนชุดข้อมูลเหล่านี้x1,…,x106x1,…,x106x_1, \ldots, x_{10^6} อะไรคือวิธีการไล่ระดับสีที่ทำให้มันไม่มีประสิทธิภาพ? จำได้ว่าขั้นตอนการไล่ระดับสีในเวลามอบให้โดย:ttt wt+1=wt+ηt∇f(x)wt+1=wt+ηt∇f(x)w_{t+1} = w_{t} + \eta_t \nabla f(x) โดยที่คือฟังก์ชันการสูญเสียfff ฉันไม่เห็นอะไรผิดปกติกับขั้นตอนข้างต้นที่ทำให้อัลกอริทึมไม่มีประสิทธิภาพ มันเป็นการคำนวณของหรือไม่? การดำเนินการนี้ไม่สามารถคำนวณได้ล่วงหน้าเช่นคำนวณแล้วและประเมินได้ที่แต่ละจุดข้อมูล∂ f∇f(x)∇f(x)\nabla f(x) xฉัน?∂f∂x∂f∂x\frac{\partial f}{\partial x}xi?xi?x_i?

13 machine-learning  gradient-descent  large-data