สถิติและข้อมูลขนาดใหญ่

ฉันมีเวกเตอร์คุณลักษณะ (~ a ล้าน) มี (~ ล้าน) คุณสมบัติไบนารีในแต่ละเวกเตอร์เพียง แต่ (~ พัน) ของพวกเขาจะเป็น , ส่วนที่เหลือเป็น0ฉันกำลังหาคู่เวกเตอร์ที่มีคุณสมบัติอย่างน้อย (~ ร้อย) ที่เหมือนกัน (ทั้งคู่) จำนวนคู่ดังกล่าวมีขนาดใกล้เคียงกับ (~ a ล้าน)NNNMMMKKK111000LLL111NNN ฉันคิดว่าสิ่งนี้สามารถเข้าใกล้ได้เมื่อมองหาคู่ที่ใกล้ชิดในพื้นที่ที่มีมิติสูงมาก ฟังก์ชันระยะทางอาจเป็นไปได้ว่ามันขึ้นอยู่กับคุณสมบัติของเวกเตอร์สองตัวที่มีเหมือนกัน แต่มันอาจจะมีประโยชน์กับการวัดระยะทางแบบธรรมดามากขึ้น (เช่น Euclidean) เช่นกัน อัลกอริทึมที่รู้จักกันดีใดที่จะมีประโยชน์สำหรับการเข้าถึงปัญหานี้ อะไรก็ตามที่เป็นกำลังสองในหรือจะไม่สามารถใช้งานได้จริงNNNMMM ตัวอย่างการกำหนดปัญหาในโลกแห่งความจริงคือการพิจารณาว่าคนคนกำลังเคลื่อนที่ระหว่างสถานที่หลายแห่ง หากคนสองคนอยู่ในสถานที่เดียวกันในเวลาเดียวกันเราบอกว่าพวกเขาพบกัน (จำนวนชุดค่าผสมเวลาสถานที่ที่มีอย่างน้อย 1 คนคือ ) เรากำลังมองหาเพื่อน: คนที่พบกันอย่างน้อยครั้งNNNMMMLLL

9 algorithms  high-dimensional 

ในหนังสือเรียนเศรษฐมิติของฉัน (เศรษฐมิติเบื้องต้น) ครอบคลุม OLS ผู้เขียนเขียนว่า "SSR จะต้องล้มลงเมื่อมีการเพิ่มตัวแปรอธิบายอื่น" ทำไมล่ะ

9 regression  optimization  econometrics  intuition  sums-of-squares 

ฉันได้รับข้อมูลรายเดือนตั้งแต่ปี 1993 ถึงปี 2558 และต้องการคาดการณ์ข้อมูลเหล่านี้ ฉันใช้แพ็คเกจ tsoutliers เพื่อตรวจหาค่าผิดปกติ แต่ฉันไม่รู้ว่าฉันจะคาดการณ์ข้อมูลชุดของฉันได้อย่างไร นี่คือรหัสของฉัน: product.outlier<-tso(product,types=c("AO","LS","TC")) plot(product.outlier) นี่คือผลลัพธ์ของฉันจากแพ็คเกจ tsoutliers ARIMA(0,1,0)(0,0,1)[12] Coefficients: sma1 LS46 LS51 LS61 TC133 LS181 AO183 AO184 LS185 TC186 TC193 TC200 0.1700 0.4316 0.6166 0.5793 -0.5127 0.5422 0.5138 0.9264 3.0762 0.5688 -0.4775 -0.4386 s.e. 0.0768 0.1109 0.1105 0.1106 0.1021 0.1120 0.1119 0.1567 0.1918 …

9 r  time-series  forecasting  arima  outliers 

ฉันใช้ lmer ใน R เพื่อตรวจสอบผลกระทบของ condition ( cond) ต่อผลลัพธ์บางรายการ นี่คือบางส่วนทำข้อมูลที่อยู่ที่ระบุเรื่องและa, bและcเงื่อนไข library("tidyr") library("dplyr") set.seed(123) temp <- data.frame(s = paste0("S", 1:30), a = rnorm(30, -2, 1), b = rnorm(30, -3, 1), c = rnorm(30, -4, 1)) ฉันต้องการจะเปรียบเทียบ ระดับaของค่าเฉลี่ยของระดับbและcและ ระดับไปที่ระดับbc คำถามของฉันคือฉันจะตั้งค่าความแตกต่างได้อย่างไรในวิธีที่การสกัดกั้นสะท้อนค่าเฉลี่ยของสามเงื่อนไขและประมาณการที่คำนวณได้ทั้งสองสะท้อนถึงความแตกต่างโดยตรงตามที่กำหนดใน 1 และ 2? ฉันลองด้วย c1 <- cbind(c(-0.5, 0.25, 0.25), c(0, -0.5, …

9 r  lme4-nlme  contrasts 

ปัญหา ฉันต้องการอนุมานเกี่ยวกับระบบที่คล้ายคลึงกันเพื่อตายด้วยจำนวนด้านที่ไม่รู้จัก ตายถูกม้วนหลายครั้งหลังจากนั้นฉันต้องการอนุมานการกระจายความน่าจะเป็นเหนือพารามิเตอร์ที่สอดคล้องกับจำนวนด้านที่มีตายθ ปรีชา หากหลังจาก 40 ม้วนคุณสังเกตเห็น 10 สีแดง, 10 บลูส์, 10 กรีนและ 10 สีเหลืองดูเหมือนว่าθควรสูงสุดที่ 4 และอคติของการหมุนแต่ละด้านจะมีการจัดกึ่งกลางที่ 1/4 θมีขอบเขตล่างที่ไม่สำคัญเป็นจำนวนด้านต่าง ๆ ที่สังเกตได้ในข้อมูล ขอบเขตบนยังไม่ทราบ อาจมีด้านที่ห้าซึ่งอาจมีอคติต่ำ ยิ่งคุณสังเกตเห็นข้อมูลที่ขาดหมวดหมู่ที่ห้ายิ่งความน่าจะเป็นด้านหลังของ of = 4 ยิ่งสูงขึ้น เข้าใกล้ ฉันใช้ JAGS สำหรับปัญหาที่คล้ายกัน (ผ่าน R และ rjags) ซึ่งดูเหมือนเหมาะสมที่นี่ ด้วยความเคารพต่อข้อมูลให้พูดobs <- c(10, 10, 10, 10)สอดคล้องกับการสังเกตในตัวอย่างข้างต้น ผมคิดว่าข้อสังเกตที่ควรจะสร้างแบบจำลองที่มีการกระจายพหุนามobs ~ dmulti(p, n)ที่และp ~ ddirch(alpha)n <- …

9 r  probability  bayesian  jags 

สมมติว่าฉันมีการทดสอบด้วยสองปัจจัยขึ้นไป ANOVA โดยรวมถูกสร้างขึ้นจากนั้นเราติดตามด้วยชุดการทดสอบpost hocสองชุดขึ้นไปพูดเปรียบเทียบหลาย ๆ อย่าง คำถามของฉันเกี่ยวกับขนาดใหญ่และจำนวนครอบครัวที่ควรใช้เป็นพื้นฐานสำหรับการปรับหลายหลากของการทดสอบหลังการโพสต์นี้ ตัวอย่างคือชุดข้อมูล warp-break จากหนังสือของ Tukey บน EDA มีสองปัจจัย: wool(ที่สองระดับ) และtension(ที่สามระดับ) ตาราง ANOVA คือ: Source Df Sum Sq Mean Sq F value Pr(>F) wool 1 450.7 450.67 3.7653 0.0582130 tension 2 2034.3 1017.13 8.4980 0.0006926 wool:tension 2 1002.8 501.39 4.1891 0.0210442 Residuals 48 5745.1 119.69 …

9 multiple-comparisons  post-hoc 

ตำราเรียนของฉันแสดงรายการ idf เป็นโดยที่l o g( 1 +ยังไม่มีข้อความnเสื้อ)ล.โอก.(1+ยังไม่มีข้อความnเสื้อ)log(1+\frac{N}{n_t}) ยังไม่มีข้อความยังไม่มีข้อความN : จำนวนเอกสาร nเสื้อnเสื้อn_t : จำนวนเอกสารที่มีคำศัพท์เสื้อเสื้อt รายการวิกิพีเดียสูตรนี้เป็นรุ่นที่เรียบของจริง{n_t}) สิ่งหนึ่งที่ฉันเข้าใจ: มันมีตั้งแต่ถึงซึ่งดูเหมือนจะเข้าใจง่าย แต่จากเป็นซึ่งดูแปลกมาก ... ฉันรู้เรื่องการปรับให้เรียบจากการสร้างแบบจำลองภาษาเล็กน้อย แต่คุณจะเพิ่มบางอย่างในตัวเศษ เช่นเดียวกับในตัวหารเพราะคุณเป็นห่วงเกี่ยวกับมวลความน่าจะเป็น แต่การเพิ่มไม่สมเหตุสมผลสำหรับฉัน เราพยายามทำอะไรให้สำเร็จที่นี่?l o g(ยังไม่มีข้อความnเสื้อ)ล.โอก.(ยังไม่มีข้อความnเสื้อ)log(\frac{N}{n_t})l o g(ยังไม่มีข้อความยังไม่มีข้อความ) = 0ล.โอก.(ยังไม่มีข้อความยังไม่มีข้อความ)=0log(\frac{N}{N})=0∞∞\inftyl o g( 1 +ยังไม่มีข้อความnเสื้อ)ล.โอก.(1+ยังไม่มีข้อความnเสื้อ)log(1+\frac{N}{n_t})l o g( 1 + 1 )ล.โอก.(1+1)log(1+1)∞∞\infty111

9 text-mining  natural-language  smoothing 

ฉันสังเกตเห็นว่า Caffe (กรอบการเรียนรู้ลึก) ใช้Softmax Loss Layer SoftmaxWithLossเป็นเลเยอร์การส่งออกสำหรับตัวอย่างส่วนใหญ่ เท่าที่ผมรู้ว่าชั้น Softmax การสูญเสียคือการรวมกันของพหุโลจิสติกชั้นสูญเสียและSoftmax ชั้น จาก Caffe พวกเขาบอกว่า การคำนวณการไล่ระดับสี Softmax Loss Layer นั้นมีความเสถียรทางตัวเลข แต่คำอธิบายนี้ไม่ได้คำตอบที่ฉันต้องการคำอธิบายเป็นเพียงการเปรียบเทียบการรวมกันของพหุโลจิสติกชั้นสูญเสียและชั้นสูญเสีย Softmaxแทนชั้นโดยชั้น แต่ไม่เปรียบเทียบกับฟังก์ชันการสูญเสียชนิดอื่น อย่างไรก็ตามฉันต้องการทราบเพิ่มเติมว่าข้อแตกต่าง / ข้อดี / ข้อเสียของฟังก์ชันข้อผิดพลาด 3 ข้อคืออะไรคือMultinomial Logistic Loss , Cross Entropy (CE) และSquare Error (SE) ในมุมมองการเรียนรู้แบบมีผู้ดูแล? มีบทความสนับสนุนอะไรบ้าง?

9 multinomial  entropy  sums-of-squares  softmax 

ฉันไม่แน่ใจว่า VectorSource และ VCorpus อยู่ในแพ็คเกจ 'tm' อย่างแน่นอน เอกสารไม่ชัดเจนเกี่ยวกับสิ่งเหล่านี้ทุกคนสามารถทำให้ฉันเข้าใจในแง่ง่ายหรือไม่?

9 r  text-mining 

ฉันกำลังอ่านรายการ Wikipedia ที่เป็นประโยชน์เกี่ยวกับการเพิ่มการไล่ระดับสี ( https://en.wikipedia.org/wiki/Gradient_boosting ) และพยายามเข้าใจว่า / ทำไมเราสามารถประมาณส่วนที่เหลือโดยขั้นบันไดที่ลาดชัน (หรือที่เรียกว่าการไล่ระดับสีเทียม) ) ทุกคนสามารถให้สัญชาตญาณการเชื่อมโยงที่ลาดชัน / คล้ายกับของที่เหลือได้อย่างไร ช่วยชื่นชมมาก!

9 self-study  gradient-descent 

คำถาม: มีการใช้โมเดลเชิงเส้นที่ไม่เหมาะสมในทางปฏิบัติหรือมีความอยากรู้อยากเห็นบางครั้งอธิบายไว้ในวารสารวิทยาศาสตร์หรือไม่? ถ้าเป็นเช่นนั้นพวกเขาจะใช้ในด้านใด? มีตัวอย่างอื่น ๆ ของโมเดลดังกล่าวอีกไหม? ในที่สุดข้อผิดพลาดมาตรฐาน value,ฯลฯ ที่นำมาจาก OLS สำหรับรุ่นดังกล่าวจะถูกต้องหรือไม่หรือควรได้รับการแก้ไขอย่างใดpppR2R2R^2 ความเป็นมา:แบบจำลองเชิงเส้นที่ไม่เหมาะสมมีการอธิบายเป็นครั้งคราวในวรรณคดี โดยทั่วไปโมเดลดังกล่าวสามารถอธิบายได้ดังนี้ y=a+b∑iwixi+εy=a+b∑iwixi+ε y = a + b \sum_i w_i x_i + \varepsilon สิ่งที่ทำให้พวกเขาแตกต่างจากการถดถอยก็คือค่าสัมประสิทธิ์ของไม่ได้ประมาณไว้ในแบบจำลอง แต่เป็นน้ำหนักที่wjwjw_j เท่ากับตัวแปรแต่ละตัว ( การถดถอยแบบถ่วงน้ำหนักหน่วย )wi=1wi=1w_i = 1 ขึ้นอยู่กับสหสัมพันธ์ (Dana และ Dawes, 2004)wi=ρ(y,xi)wi=ρ(y,xi)w_i = \rho(y, x_i) เลือกแบบสุ่ม (Dawes, 1979) −1−1-1สำหรับตัวแปรที่เกี่ยวข้องกับ ,สำหรับตัวแปรที่เกี่ยวข้องกับ (Wainer, 1976)yyy111yyy นอกจากนี้มันเป็นเรื่องธรรมดาที่จะใช้ชนิดของการปรับคุณลักษณะบางอย่างเช่นการแปลงตัวแปรเข้า -scores ดังนั้นแบบจำลองชนิดนี้สามารถทำให้ง่ายขึ้นในการถดถอยเชิงเส้นแบบไม่รวมตัวแปรZZZ …

9 regression  references  linear-model  robust 

สมมติว่าฉันมีโกศที่มีลูกบอลหลากสี N สีและแต่ละสีที่ต่างกันสามารถปรากฏจำนวนครั้งที่แตกต่างกัน (ถ้ามีลูกบอลสีแดง 10 ลูกก็ไม่จำเป็นต้องเป็นลูกบอลสีฟ้า 10 อัน) ถ้าเรารู้เนื้อหาที่แน่นอนของโกศก่อนวาดเราสามารถสร้างการแจกแจงความน่าจะเป็นแบบแยกซึ่งบอกเราถึงความน่าจะเป็นในการวาดลูกบอลแต่ละสี สิ่งที่ฉันสงสัยคือการกระจายตัวเปลี่ยนหลังจากวาดลูก k โดยไม่เปลี่ยนจากโกศโดยเฉลี่ยแล้ว. ฉันเข้าใจว่าเมื่อเราดึงออกมาจากโกศเราสามารถอัปเดตการกระจายด้วยความรู้เกี่ยวกับสิ่งที่ถูกนำออกไป แต่สิ่งที่ฉันอยากรู้คือสิ่งที่เราคาดหวังว่ารูปร่างของการแจกแจงจะเป็นหลังจากที่เราเอาลูก k ออก การกระจายการเปลี่ยนแปลงโดยเฉลี่ยหรือมันยังคงเหมือนเดิมหรือไม่ ถ้ามันไม่เหมือนเดิมเราสามารถเขียนสูตรสำหรับสิ่งที่เราคาดหวังว่าการแจกแจงแบบใหม่จะดูเหมือนโดยเฉลี่ยหลังจากทำการวาด k

9 probability  discrete-data  distributions 

ในเขตข้อมูลของฉันวิธีปกติในการพล็อตข้อมูลที่จับคู่นั้นเป็นชุดของส่วนของเส้นที่ลาดเอียงบาง ๆ ซ้อนทับมันด้วยค่ามัธยฐานและ CI ของค่ามัธยฐานของทั้งสองกลุ่ม: อย่างไรก็ตามพล็อตประเภทนี้กลายเป็นเรื่องยากที่จะอ่านเนื่องจากจำนวนดาต้าพอยน์มีขนาดใหญ่มาก (ในกรณีของฉันฉันมีตามลำดับ 10,000 คู่): การลดอัลฟ่าช่วยได้บ้าง แต่ก็ยังไม่ดีนัก ในขณะที่ค้นหาวิธีแก้ปัญหาฉันพบบทความนี้และตัดสินใจลองใช้ 'เส้นคู่ขนานพล็อต' อีกครั้งมันทำงานได้ดีมากสำหรับดาต้าพอยน์จำนวนน้อย: แต่มันก็ยิ่งยากที่จะทำให้เรื่องแบบนี้ดูดีเมื่อมีขนาดใหญ่มาก:ยังไม่มีข้อความยังไม่มีข้อความN ฉันคิดว่าฉันสามารถแสดงการแจกแจงของทั้งสองกลุ่มแยกต่างหากเช่นกับบ็อกซ์พล็อตหรือไวโอลินและพล็อตบรรทัดที่มีแถบข้อผิดพลาดด้านบนแสดงสองค่ามัธยฐาน / CIs แต่ฉันไม่ชอบความคิดนั้น ลักษณะการจับคู่ของข้อมูล ฉันยังไม่กระตือรือร้นในความคิดของพล็อตกระจาย 2D: ฉันต้องการการเป็นตัวแทนที่กะทัดรัดกว่าและเป็นแนวคิดหนึ่งที่ค่าของทั้งสองกลุ่มถูกพล็อตตามแกนเดียวกัน เพื่อความสมบูรณ์นี่คือข้อมูลที่มีลักษณะเหมือนการกระจายแบบสองมิติ: ไม่มีใครรู้วิธีที่ดีกว่าในการแสดงข้อมูลที่จับคู่กับขนาดตัวอย่างที่มีขนาดใหญ่มาก? คุณสามารถเชื่อมโยงฉันกับตัวอย่างได้ไหม แก้ไข ขออภัยฉันชัดเจนว่าไม่ได้ทำงานได้ดีพอที่จะอธิบายสิ่งที่ฉันกำลังมองหา ใช่พล็อตกระจายแบบ 2D ทำงานได้และมีหลายวิธีที่สามารถปรับปรุงให้ดีขึ้นเพื่อถ่ายทอดความหนาแน่นของคะแนนได้ดีขึ้น - ฉันสามารถกำหนดรหัสจุดตามการประมาณความหนาแน่นของเคอร์เนลได้ฉันสามารถสร้างฮิสโตแกรม 2D ได้ ฉันสามารถพล็อตรูปทรงที่ด้านบนของจุดเป็นต้น ฯลฯ ... อย่างไรก็ตามฉันคิดว่านี่เกินความจริงสำหรับข้อความที่ฉันพยายามสื่อ ฉันไม่สนใจเกี่ยวกับการแสดงความหนาแน่นของคะแนน 2 มิติต่อ se - ทั้งหมดที่ฉันต้องทำคือการแสดงให้เห็นว่าค่าสำหรับ 'บาร์' โดยทั่วไปมีขนาดใหญ่กว่าที่สำหรับ 'จุด' ในวิธีที่ง่ายและชัดเจนที่สุดเท่าที่จะทำได้ และโดยไม่สูญเสียธรรมชาติของข้อมูลที่จับคู่ …

9 generalized-linear-model  data-visualization  modeling  interpretation  paired-data 

ฉันหวังว่าจะมีความเข้าใจที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับความเบ้สี่ประเภทจากชุมชนนี้ ประเภทที่ฉันอ้างถึงมีการกล่าวถึงในhttp://www.inside-r.org/packages/cran/e1071/docs/skewnessหน้าช่วยเหลือ วิธีการเก่าไม่ได้กล่าวถึงในหน้าช่วยเหลือ แต่ฉันรวมถึงมันอย่างไรก็ตาม require(moments) require(e1071) x=rnorm(100) n=length(x) hist(x) ###############type=1 e1071::skewness(x,type=1) sqrt(n) * sum((x-mean(x))^3)/(sum((x - mean(x))^2)^(3/2)) #from e1071::skewness source m_r=function(x,r) {n=length(x); sum((x - mean(x))^r/n);} ##from e1071::skewness help g_1=function(x) m_r(x,3)/m_r(x,2)^(3/2) g_1(x) ##from e1071::skewness help moments::skewness(x) ##from e1071::skewness help (sum((x - mean(x))^3)/n)/(sum((x - mean(x))^2)/n)^(3/2) ##from moments::skewness code, exactly as skewness help page …

9 skewness 

สำหรับค่าคงที่จำนวน (เช่น 4) เป็นไปได้หรือไม่ที่จะหาการแจกแจงความน่าจะเป็นสำหรับดังนั้นเราจึงมี ?rrrXXXVar(X)=rVar(X)=r\mathrm{Var}(X)=r

9 distributions  mathematical-statistics  variance