สถิติและข้อมูลขนาดใหญ่

ระบุว่าในวันนี้เป็นวันก้าวกระโดดไม่มีใครรู้ว่าน่าจะเป็นเกิดในวันก้าวกระโดด?

31 probability 

ฉันได้พูดคุยกับนักสถิติย้อนกลับไปเมื่อปี 2552 ซึ่งเขากล่าวว่าค่าที่แน่นอนของ p-value นั้นไม่เกี่ยวข้อง: สิ่งเดียวที่สำคัญคือไม่ว่ามันจะสำคัญหรือไม่ก็ตาม เช่นผลลัพธ์หนึ่งจะไม่สำคัญกว่าอีก ตัวอย่างของคุณอาจมาจากประชากรเดียวกันหรือไม่ก็ได้ ฉันมีคุณสมบัติบางอย่างกับสิ่งนี้ แต่บางทีฉันสามารถเข้าใจอุดมการณ์: ขีด จำกัด 5% นั้นเป็นกฎเกณฑ์นั่นคือ p = 0.051 นั้นไม่มีนัยสำคัญและ p = 0.049 คือไม่ควรเปลี่ยนข้อสรุปของการสังเกตหรือการทดสอบของคุณจริงๆแม้ว่าผลลัพธ์หนึ่งรายการจะสำคัญ เหตุผลที่ทำให้ตอนนี้ขึ้นมาก็คือตอนนี้ฉันกำลังศึกษาปริญญาโทด้านชีวสารสนเทศศาสตร์และหลังจากพูดคุยกับผู้คนในภาคสนามดูเหมือนว่าจะมีความมุ่งมั่นที่จะได้รับค่า p ที่แน่นอนสำหรับสถิติทุกชุดที่พวกเขาทำ ตัวอย่างเช่นหากพวกเขา 'บรรลุ' ค่า p ของ p <1.9 × 10 -12พวกเขาต้องการแสดงให้เห็นว่าผลลัพธ์ของพวกเขามีนัยสำคัญอย่างไรและผลลัพธ์นี้เป็นข้อมูลที่ยอดเยี่ยม ปัญหานี้เป็นตัวอย่างที่มีคำถามเช่น: เหตุใดฉันจึงไม่สามารถรับค่า p น้อยกว่า 2.2e-16 ได้ โดยที่พวกเขาต้องการบันทึกค่าที่บ่งชี้ว่าโดยบังเอิญเพียงอย่างเดียวนี่จะน้อยกว่า 1 ในล้านล้าน แต่ฉันเห็นความแตกต่างเล็กน้อยในการแสดงให้เห็นว่าผลลัพธ์นี้จะเกิดขึ้นน้อยกว่า 1 ในล้านล้านเมื่อเทียบกับ 1 ในพันล้าน ฉันรู้สึกซาบซึ้งที่ …

31 statistical-significance  p-value  bonferroni 

Johansson (2011) ใน " ทักทายสิ่งที่เป็นไปไม่ได้: ค่า p, หลักฐานและโอกาส " (ที่นี่ยังเชื่อมโยงไปยังวารสาร ) ระบุว่าค่าต่ำกว่ามักจะถือว่าเป็นหลักฐานที่แข็งแกร่งต่อโมฆะ Johansson หมายความว่าคนจะพิจารณาหลักฐานโมฆะจะแข็งแกร่งถ้าทดสอบทางสถิติของพวกเขาออกมาพี -value ของ0.01 , กว่าถ้าทดสอบทางสถิติของพวกเขาออกมาพี -value ของ0.45 Johansson แสดงเหตุผลสี่ประการที่ทำให้ไม่สามารถใช้ค่าpเป็นหลักฐานต่อโมฆะ:พีppพีpp0.010.010.01พีpp0.450.450.45พีpp ถูกกระจายอย่างสม่ำเสมอภายใต้สมมติฐานว่างดังนั้นจึงไม่สามารถระบุหลักฐานสำหรับโมฆะได้พีpp เป็นเงื่อนไขเพียงอย่างเดียวในสมมติฐานว่างและดังนั้นจึงไม่เหมาะสมที่จะหาหลักฐานเชิงปริมาณเพราะหลักฐานมักจะสัมพันธ์กันในความรู้สึกของการเป็นหลักฐานสำหรับหรือต่อต้านสมมติฐานที่เกี่ยวข้องกับสมมติฐานอื่นพีpp กำหนดความน่าจะเป็นในการได้มาซึ่งหลักฐาน (ให้เป็นโมฆะ) แทนที่จะเป็นความแข็งแกร่งของหลักฐานพีpp ขึ้นอยู่กับข้อมูลที่ไม่ได้ตรวจสอบและความตั้งใจส่วนตัวและดังนั้นจึงมีนัยถึงการตีความที่เป็นหลักฐานว่ากำลังของหลักฐานที่สังเกตได้นั้นขึ้นอยู่กับสิ่งที่ไม่ได้เกิดขึ้นและความตั้งใจส่วนตัวppp น่าเสียดายที่ฉันไม่สามารถเข้าใจได้อย่างง่ายจากบทความของ Johansson ให้ฉัน -value ของ0.01แสดงว่ามีโอกาสน้อย null เป็นจริงกว่าP -value ของ0.45 เหตุใดค่าpต่ำกว่าจึงไม่มีหลักฐานที่ดีกว่าต่อโมฆะ? ppp0.010.010.01ppp0.450.450.45ppp

31 hypothesis-testing  statistical-significance  p-value  philosophical 

ฉันกำลังอ่านบทความที่น่าสนใจโดยผู้ขายและ Shmueliเกี่ยวกับแบบจำลองการถดถอยสำหรับข้อมูลนับ ใกล้ถึงจุดเริ่มต้น (หน้า 944) พวกเขาอ้างถึงMcCullaugh และ Nelder (1989) ว่าการถดถอยเชิงลบแบบทวินามนั้นไม่เป็นที่นิยมและมีปัญหาการเชื่อมโยงที่เป็นที่ยอมรับ ฉันพบข้อความอ้างอิงแล้วและมันก็บอกว่า (หน้า 374 ของ M และ N) "ดูเหมือนว่าการใช้งานเล็กน้อยจะทำจากการแจกแจงลบทวินามในแอปพลิเคชันโดยเฉพาะการใช้ลิงก์แบบบัญญัติเป็นปัญหาเพราะมันทำให้ตัวทำนายเชิงเส้นเป็นฟังก์ชันของพารามิเตอร์ของฟังก์ชันความแปรปรวน" ในหน้าก่อนหน้าพวกเขาให้ฟังก์ชั่นการเชื่อมโยงเป็น η=log(α1+α)=log(μμ+k)η=log⁡(α1+α)=log⁡(μμ+k)\eta = \log\left(\frac{\alpha}{1 + \alpha} \right) = \log\left( \frac{\mu}{\mu + k}\right) และฟังก์ชันความแปรปรวน V=μ+μ2k.V=μ+μ2k.V = \mu + \frac{\mu^2}{k}. การกระจายจะได้รับเป็น Pr(Y=y;α,k)=(y+k−1)!y!(k−1)!αy(1+α)y=kPr(Y=y;α,k)=(y+k−1)!y!(k−1)!αy(1+α)y=kPr(Y = y; \alpha,k) = \frac{(y+k-1)!}{y!(k-1)!}\frac{\alpha^y}{(1+\alpha)^{y=k}} ฉันพบว่าการถดถอยของ NB มีการใช้กันอย่างแพร่หลาย (และแนะนำในหนังสือหลายเล่ม) การใช้และคำแนะนำทั้งหมดนี้มีข้อผิดพลาดหรือไม่? อะไรคือผลที่เกิดขึ้นจากลิงค์ที่เป็นปัญหานี้?

31 regression  modeling  negative-binomial 

มีการเขียนมากมายเกี่ยวกับตัวเลือกสีที่เป็นมิตรกับตาบอดสำหรับแผนที่รูปหลายเหลี่ยมและพื้นที่สีเทาโดยทั่วไป (ดูตัวอย่างhttp://colorbrewer2.org ) ฉันไม่สามารถค้นหาคำแนะนำสำหรับสีของเส้นและความหนาของเส้นที่แตกต่างกันสำหรับกราฟเส้น เป้าหมายคือ: แยกแยะเส้นได้อย่างง่ายดายแม้ในขณะที่พวกเขาพันกัน เส้นนั้นแยกได้ง่ายโดยบุคคลที่มีอาการตาบอดสีในรูปแบบที่พบได้บ่อยที่สุด บรรทัด (สำคัญน้อยกว่า) เป็นมิตรกับเครื่องพิมพ์ (ดู Color Brewer ด้านบน) ในบริบทของเส้นสเกลสีดำและสีเทาฉันพบว่ามันมีประสิทธิภาพมากที่จะมีเส้นสีดำบาง ๆ และเส้นสเกลสีเทาหนาขึ้น ฉันขอขอบคุณคำแนะนำเฉพาะที่รวมถึงสีที่ต่างกันระดับของสีเทาและความหนาของเส้น ฉันไม่ชอบประเภทบรรทัดที่แตกต่างกัน (ทึบ / ประ / ประ) แต่สามารถพูดออกมาจากความคิดเห็นนั้น มันจะดีกว่าที่จะมีคำแนะนำถึง 10 เส้นโค้งในกราฟ ยิ่งไปกว่านั้นจะต้องทำตามที่ Color Brewer ทำ: อนุญาตให้คำแนะนำสำหรับ m line เป็นส่วนย่อยของคำแนะนำสำหรับ n บรรทัดที่ n> m และแตกต่าง m จาก 1 ถึง 10 โปรดทราบ : ฉันขอขอบคุณคำแนะนำที่เน้นเฉพาะส่วนของการระบายสีเส้นของคำถาม ผู้ปฏิบัติงานบางคนเพิ่มสัญลักษณ์ให้กับเส้นทุกสองสามเซนติเมตรเพื่อแยกความแตกต่างของชั้นเรียนที่ดีกว่า …

31 r  data-visualization 

"การเรียนรู้ลึก" เป็นอีกคำหนึ่งสำหรับการสร้างแบบจำลองหลายระดับ / ลำดับชั้นหรือไม่? ฉันคุ้นเคยกับหลังมากกว่าเดิม แต่จากสิ่งที่ฉันสามารถบอกได้ความแตกต่างหลักไม่ได้อยู่ในคำจำกัดความของพวกเขา แต่วิธีที่พวกเขาใช้และประเมินผลภายในโดเมนแอปพลิเคชันของพวกเขา ดูเหมือนว่าจำนวนโหนดในแอปพลิเคชั่น "การเรียนรู้ลึก" โดยทั่วไปมีขนาดใหญ่กว่าและใช้รูปแบบลำดับชั้นทั่วไปในขณะที่การประยุกต์ใช้การสร้างแบบจำลองหลายระดับมักใช้ความสัมพันธ์แบบลำดับชั้นที่เลียนแบบกระบวนการกำเนิดแบบจำลอง การใช้ลำดับชั้นทั่วไปในโดเมนสถิติประยุกต์ (การสร้างแบบจำลองลำดับชั้น) จะถือเป็นแบบจำลอง "ไม่ถูกต้อง" ของปรากฏการณ์ในขณะที่การสร้างแบบจำลองลำดับชั้นของโดเมนเฉพาะอาจถือได้ว่าเป็นการทำลายวัตถุประสงค์ในการสร้างเครื่องเรียนรู้ทั่วไป สองสิ่งนี้เป็นเครื่องจักรชนิดเดียวกันจริงๆหรือไม่ภายใต้ชื่อที่ต่างกันสองชื่อ

31 machine-learning  multilevel-analysis  hierarchical-bayesian  deep-learning 

แนวทางที่มีประโยชน์สำหรับการทดสอบพารามิเตอร์ (เช่นความลึกของการโต้ตอบ, minchild, อัตราตัวอย่าง ฯลฯ ) โดยใช้ GBM คืออะไร? สมมติว่าฉันมีคุณสมบัติ 70-100 ประชากร 200,000 และฉันต้องการทดสอบความลึกของการโต้ตอบที่ 3 และ 4 ชัดเจนว่าฉันต้องทำการทดสอบบางอย่างเพื่อดูว่าการรวมกันของพารามิเตอร์ใดถือตัวอย่างที่ดีที่สุด ข้อเสนอแนะเกี่ยวกับวิธีการออกแบบการทดสอบนี้?

31 r  hypothesis-testing  cart  boosting 

/ แก้ไข: ติดตามเพิ่มเติมตอนนี้คุณสามารถใช้irlba :: prcomp_irlba / แก้ไข: ติดตามโพสต์ของฉันเอง irlbaขณะนี้มีอาร์กิวเมนต์ "กลาง" และ "สเกล" ซึ่งให้คุณใช้ในการคำนวณส่วนประกอบหลักเช่น: pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M), right_only=TRUE)$v ฉันมีMatrixคุณสมบัติเบาบางขนาดใหญ่ที่ฉันต้องการใช้ในอัลกอริทึมการเรียนรู้ของเครื่อง: library(Matrix) set.seed(42) rows <- 500000 cols <- 10000 i <- unlist(lapply(1:rows, function(i) rep(i, sample(1:5,1)))) j <- sample(1:cols, length(i), replace=TRUE) M <- sparseMatrix(i, j) เนื่องจากเมทริกซ์นี้มีหลายคอลัมน์ฉันต้องการลดขนาดของมันเป็นสิ่งที่จัดการได้มากกว่า ฉันสามารถใช้แพ็คเกจ irlba ที่ยอดเยี่ยมเพื่อทำ …

31 r  pca  dimensionality-reduction  svd  matrix-decomposition 

ในชุดข้อมูลของประชากรสองกลุ่มที่ไม่ทับซ้อนกัน (ผู้ป่วย & สุขภาพดี, รวม ) ฉันต้องการค้นหา (จากตัวแปรอิสระ) ตัวทำนายที่สำคัญสำหรับตัวแปรที่ขึ้นต่อเนื่อง มีความสัมพันธ์ระหว่างตัวทำนาย ฉันสนใจที่จะทราบว่าตัวทำนายใด ๆ ที่เกี่ยวข้องกับตัวแปรตาม "ในความเป็นจริง" (แทนที่จะทำนายตัวแปรตามให้มากที่สุด) ในขณะที่ฉันมีวิธีการมากมายที่เป็นไปได้ฉันอยากจะถามว่าวิธีไหนที่แนะนำมากที่สุดn = 60n=60n=60300300300 จากความเข้าใจของฉันไม่แนะนำให้รวมหรือแยกตัวทำนายแบบเป็นขั้นตอน เช่นใช้การถดถอยเชิงเส้นแยกกันสำหรับตัวทำนายทุกตัวและแก้ไขค่า p สำหรับการเปรียบเทียบหลาย ๆ ครั้งโดยใช้ FDR (อาจจะอนุรักษ์นิยมมาก?) การถดถอยส่วนประกอบหลัก: ยากที่จะตีความเพราะฉันจะไม่สามารถบอกเกี่ยวกับพลังการทำนายของตัวทำนายส่วนบุคคล แต่เกี่ยวกับส่วนประกอบเท่านั้น ข้อเสนอแนะอื่น ๆ ?

31 regression  pca  feature-selection  stepwise-regression  underdetermined 

ในบทความนี้นักวิจัยที่มีความสามารถคอสมาชาลิซีีระบุว่าจะยอมรับอย่างเต็มที่มุมมองคชกรรมอัตนัยหนึ่งยังต้องยอมรับผล unphysical ที่ลูกศรของเวลา (ที่ได้รับจากการไหลของเอนโทรปี) จริงควรไปข้างหลัง นี้เป็นส่วนใหญ่ความพยายามที่จะเถียงกับเอนโทรปีสูงสุด / อัตนัยอย่างเต็มที่มุมมองแบบเบย์นำไปข้างหน้าและความนิยมโดยET เจย์นส์ มากกว่าที่LessWrongผู้ให้หลายคนมีความสนใจมากในทฤษฎีความน่าจะเป็นแบบเบย์และยังอยู่ในวิธีการแบบเบย์อัตนัยเป็นพื้นฐานสำหรับทฤษฎีการตัดสินใจอย่างเป็นทางการและหินก้าวต่อที่แข็งแกร่ง AI เอลีเซอร์ยัดคาสกีเป็นผู้สนับสนุนร่วมกันมีและฉันเพิ่งอ่านโพสต์นี้เมื่อฉัน พบกับความคิดเห็นนี้ (ความคิดเห็นที่ดีอื่น ๆ อีกไม่นานหลังจากนั้นในหน้าโพสต์ต้นฉบับ) ทุกคนสามารถให้ความเห็นเกี่ยวกับความถูกต้องของการโต้แย้งของ Shalizi ของ Yudkowsky โดยสังเขปเหตุผลของ Yudkowsky คือกลไกทางกายภาพซึ่งตัวแทนการให้เหตุผลปรับปรุงความเชื่อของตนจำเป็นต้องมีการทำงานดังนั้นจึงมีค่าใช้จ่ายทางอุณหพลศาสตร์ที่ Shalizi กวาดใต้พรม ในความคิดเห็นอื่น Yudkowsky ปกป้องสิ่งนี้พูดว่า: "ถ้าคุณใช้มุมมองของผู้สังเกตการณ์ที่สมบูรณ์แบบที่มีเหตุผลรอบนอกระบบความคิดของ" เอนโทรปี "นั้นค่อนข้างไร้ความหมายเช่นเดียวกับ" ความน่าจะเป็น "- คุณไม่จำเป็นต้องใช้อุณหพลศาสตร์เชิงสถิติในการสร้างแบบจำลองอะไรเลย สมการคลื่น " probabilists หรือ statistcal ใด ๆ สามารถแสดงความคิดเห็นเกี่ยวกับเรื่องนี้ได้หรือไม่? ฉันไม่สนใจข้อโต้แย้งจากผู้มีอำนาจเกี่ยวกับสถานะของ Shalizi หรือ Yudkowsky แต่ฉันอยากจะเห็นบทสรุปของวิธีการที่ Yudkowsky ทั้งสามประเด็นเสนอวิจารณ์ของบทความของ Shalizi …

31 bayesian  entropy  maximum-entropy  philosophical 

ขั้นตอนการเลือกตัวแปรตามข้อมูลทั่วไป (ตัวอย่างเช่นไปข้างหน้าย้อนหลังตามลำดับส่วนย่อยทั้งหมด) มีแนวโน้มที่จะให้แบบจำลองที่มีคุณสมบัติที่ไม่พึงประสงค์รวมถึง: สัมประสิทธิ์เอนเอียงห่างจากศูนย์ ข้อผิดพลาดมาตรฐานที่เล็กเกินไปและเป็นช่วงความมั่นใจที่แคบเกินไป ทดสอบสถิติและค่า p ที่ไม่มีความหมายที่โฆษณา การประเมินแบบจำลองที่เหมาะสมในแง่ดีเกินไป คำที่รวมอยู่ซึ่งอาจไม่มีความหมาย (เช่นการยกเว้นคำสั่งที่ต่ำกว่า) กระนั้นขั้นตอนการเลือกตัวแปรยังคงมีอยู่ ได้รับปัญหาเกี่ยวกับการเลือกตัวแปรทำไมขั้นตอนเหล่านี้จึงจำเป็น? แรงจูงใจในการใช้งานของพวกเขาคืออะไร? ข้อเสนอบางอย่างเพื่อเริ่มการสนทนา .... ความปรารถนาสำหรับค่าสัมประสิทธิ์การถดถอยที่ตีความได้? (เข้าใจผิดในรูปแบบที่มี IV จำนวนมาก?) กำจัดความแปรปรวนที่แนะนำโดยตัวแปรที่ไม่เกี่ยวข้อง? กำจัดความแปรปรวนร่วม / ความซ้ำซ้อนที่ไม่จำเป็นในหมู่ตัวแปรอิสระหรือไม่? ลดจำนวนการประมาณการพารามิเตอร์ (ปัญหาเรื่องพลังงานขนาดตัวอย่าง) มีคนอื่นไหม? ปัญหาที่ได้รับการแก้ไขโดยเทคนิคการเลือกตัวแปรมีความสำคัญมากกว่าหรือน้อยกว่ากระบวนการเลือกตัวแปรที่เป็นปัญหา ควรใช้เมื่อใด เมื่อใดที่ไม่ควรใช้

31 modeling  feature-selection 

Wikipediaอธิบาย: สำหรับชุดข้อมูลค่าเฉลี่ยคือผลรวมของค่าหารด้วยจำนวนของค่า คำจำกัดความนี้สอดคล้องกับสิ่งที่ฉันเรียกว่า "เฉลี่ย" (อย่างน้อยนั่นคือสิ่งที่ฉันจำได้ว่าเรียนรู้) วิกิพีเดียยังมีคำพูดอีกครั้ง: มีมาตรการทางสถิติอื่น ๆ ที่ใช้ตัวอย่างที่บางคนสับสนกับค่าเฉลี่ย ได้แก่ 'มัธยฐาน' และ 'โหมด' ตอนนี้มันสับสน "ค่าเฉลี่ย" และ "เฉลี่ย" แตกต่างจากกันหรือไม่? ถ้าเป็นเช่นนั้นได้อย่างไร

31 mean  interpretation  average 

ฉันต้องการสร้างพล็อตที่อธิบายไว้ในหนังสือ ElemStatLearn "องค์ประกอบของการเรียนรู้ทางสถิติ: การทำเหมืองข้อมูลการอนุมานและการทำนายรุ่นที่สอง" โดย Trevor Hastie & Robert Tibshirani & Jerome Friedman เนื้อเรื่องคือ: ฉันสงสัยว่าฉันสามารถสร้างกราฟที่แน่นอนนี้ได้Rอย่างไรโดยเฉพาะบันทึกกราฟกริดและการคำนวณเพื่อแสดงขอบเขต

31 r  data-visualization  k-nearest-neighbour 

คำถามนี้ถามโดยเพื่อนของฉันที่ไม่เข้าใจอินเทอร์เน็ต ฉันไม่มีภูมิหลังด้านสถิติและฉันได้ทำการค้นหาข้อมูลในอินเทอร์เน็ตจากคำถามนี้ คำถามคือเป็นไปได้ไหมที่จะแทนที่ค่าผิดปกติด้วยค่าเฉลี่ย? ถ้าเป็นไปได้มีหนังสืออ้างอิง / วารสารเพื่อสำรองข้อความนี้หรือไม่?

31 mean  outliers  robust  winsorizing 

แม้ว่าคำถามนี้ค่อนข้างอัตนัยผมหวังว่ามันจะมีคุณสมบัติเป็นคำถามอัตนัยที่ดีตามแนวทางคำถามที่พบบ่อย มันขึ้นอยู่กับคำถามที่ Olle Häggströmถามฉันเมื่อหนึ่งปีก่อนและแม้ว่าฉันจะมีความคิดบางอย่างเกี่ยวกับเรื่องนี้ฉันไม่มีคำตอบที่ชัดเจนและฉันขอขอบคุณความช่วยเหลือจากผู้อื่น พื้นหลัง: กระดาษชื่อ "ลำดับตัวอักษรที่เท่ากันในหนังสือปฐมกาล" โดย D. Witztum, E. Rips และ Y. Rosenberg ได้กล่าวอ้างพิเศษว่าข้อความภาษาฮีบรูของพระธรรมปฐมกาลเข้ารหัสเหตุการณ์ที่ไม่ได้เกิดขึ้นจนกระทั่งนับพันปีหลังจากข้อความ เขียน. กระดาษถูกตีพิมพ์โดย "สถิติวิทยาศาสตร์" ในปี 1994 (ฉบับที่ 9 429-438) และได้รับการเสนอเป็น "ปริศนาที่ท้าทาย" ซึ่งการแก้ปัญหาอาจนำไปสู่สาขาสถิติ ในการตอบกลับบทความอื่นที่มีชื่อว่า "การไขปริศนารหัสพระคัมภีร์" โดย B. McKay, D. Bar-Natan, M. Bar-Hillel และ G. Kalai ปรากฏในวิทยาศาสตร์ทางสถิติในปี 1999 (ฉบับที่ 14 (1999) 150-173) . กระดาษใหม่ระบุว่ากรณีของ Witztum, Rips และ …

31 hypothesis-testing  data-mining