สถิติและข้อมูลขนาดใหญ่

มีหลายวิธีในการวัดความคล้ายคลึงกันของการแจกแจงความน่าจะเป็นสองแบบ ในบรรดาวิธีการที่ได้รับความนิยม (ในแวดวงที่แตกต่างกัน) คือ: ระยะ Kolmogorov: ระยะทางระหว่างฟังก์ชันการกระจาย; ระยะทาง Kantorovich-Rubinstein: ความแตกต่างสูงสุดระหว่างความคาดหวังของ wrt ทั้งสองของการแจกแจงฟังก์ชันกับค่าคงที่ Lipschitz 111ซึ่งกลายเป็นระยะทางL1L1L^1ระหว่างฟังก์ชันการแจกแจง ล้อมรอบ-Lipschitz ระยะทาง: เช่นระยะ KR แต่ฟังก์ชั่นนอกจากนี้ยังจะต้องมีค่าสัมบูรณ์ที่มากที่สุด1111 สิ่งเหล่านี้มีข้อดีและข้อเสียต่างกัน การบรรจบกันในความหมายของ 3. จริง ๆ แล้วสอดคล้องกับการบรรจบกันในการกระจาย; การบรรจบกันในความหมายของ 1 หรือ 2 นั้นโดยทั่วไปแข็งแกร่งขึ้นเล็กน้อย (โดยเฉพาะถ้าXn=1nXn=1nX_n=\frac{1}{n}มีความน่าจะเป็น111จากนั้นXnXnX_nจะแปลงเป็น000ในการแจกแจง แต่ไม่ใช่ในระยะ Kolmogorov อย่างไรก็ตามหากการกระจายขีด จำกัด นั้นต่อเนื่องดังนั้นพยาธิวิทยานี้จะไม่เกิดขึ้น) จากมุมมองของความน่าจะเป็นเบื้องต้นหรือทฤษฎีการวัด 1. มีความเป็นธรรมชาติมากเพราะมันเปรียบเทียบความน่าจะเป็นของการอยู่ในบางชุด ในทางกลับกันมุมมองความน่าจะเป็นที่ซับซ้อนมากขึ้นมีแนวโน้มที่จะมุ่งเน้นไปที่ความคาดหวังมากกว่าความน่าจะเป็น นอกจากนี้จากมุมมองของการวิเคราะห์การทำงานระยะทางเช่น 2 หรือ 3 ขึ้นอยู่กับความเป็นคู่กับพื้นที่ฟังก์ชั่นบางอย่างน่าสนใจมากเพราะมีเครื่องมือทางคณิตศาสตร์จำนวนมากสำหรับการทำงานกับสิ่งต่าง ๆ อย่างไรก็ตามความประทับใจของฉัน (แก้ไขฉันถ้าฉันผิด!) คือในสถิติระยะทาง Kolmogorov …

45 distributions  probability  hypothesis-testing  mathematical-statistics 

คำถามนี้รบกวนจิตใจฉันมานานกว่าหนึ่งเดือนแล้ว ฉบับเดือนกุมภาพันธ์ 2558 ของAmstat Newsมีบทความโดย Berkeley ศาสตราจารย์ Mark van der Laan ที่ดุคนที่ใช้โมเดลที่ไม่แน่นอน เขากล่าวว่าการใช้แบบจำลองสถิติเป็นศิลปะมากกว่าวิทยาศาสตร์ ตามที่เขาพูดเราสามารถใช้ "แบบจำลองที่แน่นอน" และความล้มเหลวของเราในการทำเช่นนั้นมีส่วนทำให้ "ขาดความเข้มงวด ... ฉันกลัวว่าการเป็นตัวแทนของเราในด้านวิทยาศาสตร์ข้อมูลกำลังกลายเป็นคนชายขอบ" ผมยอมรับว่าเราอยู่ในอันตรายจากการกลายเป็นชายขอบ แต่ภัยคุกคามมักจะมาจากผู้ที่เรียกร้อง (มีเสียงมากเช่นศาสตราจารย์แวนเดอร์ Laan ดูเหมือนว่า) ว่าพวกเขาจะไม่ได้ใช้วิธีการตัวอย่างบางส่วน แต่มีวิธีการในความเป็นจริงไกลน้อยเข้มงวดกว่าแบบจำลองทางสถิติที่มีการใช้อย่างระมัดระวัง - แม้เป็นสิ่งที่ผิด ฉันคิดว่ามันยุติธรรมที่จะบอกว่าศาสตราจารย์แวนเดอร์ลันค่อนข้างดูถูกคนที่พูดซ้ำคำพูดที่ใช้บ่อยของ Box "ทุกรุ่นผิด แต่มีประโยชน์" โดยพื้นฐานแล้วเมื่อฉันอ่านมันเขาบอกว่าแบบจำลองทั้งหมดผิดและไร้ประโยชน์ทั้งหมด ตอนนี้ฉันจะไม่เห็นด้วยกับอาจารย์ของ Berkeley บ้าง ในทางกลับกันเขาเป็นใครที่มองข้ามมุมมองของยักษ์ตัวจริงในสนามของเรา ในการอธิบายอย่างละเอียดดร. แวนเดอร์แลนกล่าวว่า "มันไร้สาระสมบูรณ์เมื่อต้องระบุว่าแบบจำลองทั้งหมดผิด ... ตัวอย่างเช่นแบบจำลองทางสถิติที่ไม่ทำให้สมมติฐานเป็นจริงเสมอไป" เขายังคง: "แต่บ่อยครั้งที่เราสามารถทำได้ดีกว่าที่เราจะได้รู้ว่าข้อมูลที่เป็นผลของทดลองเหมือนอิสระ." ฉันไม่เห็นว่าจะมีใครรู้ว่ายกเว้นในการสุ่มตัวอย่างแบบสุ่มหรือการตั้งค่าการทดลองที่แคบมาก ผู้เขียนชี้ให้เห็นถึงการทำงานของเขาในการเรียนรู้โอกาสสูงสุดและการเรียนรู้ด้วยการสูญเสียขั้นต่ำที่กำหนดเป้าหมายซึ่ง "รวมเอาสถานะของศิลปะในการประเมินการเรียนรู้ของเครื่องจักร / การปรับตัวด้วยข้อมูล ทฤษฎีกระบวนการในขณะที่ยังคงให้การอนุมานทางสถิติอย่างเป็นทางการ …

45 machine-learning  maximum-likelihood  modeling  nonparametric  parametric 

ฉันถูกถามคำถามหลายต่อหลายครั้ง: Big-Data คืออะไร ทั้งนักเรียนและญาติของฉันที่เก็บเรื่องปากต่อปากเกี่ยวกับสถิติและ ML ฉันพบโพสต์ CVนี้ และฉันรู้สึกว่าฉันเห็นด้วยกับคำตอบเดียวที่นั่น หน้าวิกิพีเดียยังมีความคิดเห็นบางอย่างกับมัน แต่ผมไม่แน่ใจว่าผมเห็นด้วยจริงๆกับทุกอย่างที่มี แก้ไข: (ผมรู้สึกว่าหน้าวิกิพีเดียขาดในการอธิบายวิธีการที่จะแก้ไขปัญหานี้และกระบวนทัศน์ที่ผมพูดถึงด้านล่าง) ฉันเพิ่งเข้าร่วมการบรรยายโดยEmmanuel Candèsซึ่งเขาได้แนะนำกระบวนทัศน์ Big-Data เป็น รวบรวมข้อมูลก่อนถามคำถามในภายหลัง⇒⇒\Rightarrow นี่คือความแตกต่างที่สำคัญจากการวิจัยที่ขับเคลื่อนด้วยสมมติฐานซึ่งคุณกำหนดสมมติฐานขึ้นมาก่อนแล้วจึงรวบรวมข้อมูลเพื่อพูดอะไรบางอย่างเกี่ยวกับมัน เขาเข้าไปมีส่วนร่วมในประเด็นการหาปริมาณความน่าเชื่อถือของสมมติฐานที่เกิดจากการสอดแนมข้อมูล สิ่งสำคัญที่ฉันนำออกมาจากการบรรยายของเขาคือเราต้องเริ่มควบคุมFDR จริง ๆและเขานำเสนอวิธีการน็อคออฟให้ทำเช่นนั้น ฉันคิดว่า CV ควรมีคำถามว่า Big-Data คืออะไรและคำจำกัดความของคุณคืออะไร ฉันรู้สึกว่ามี"คำจำกัดความ" ที่แตกต่างกันมากมายซึ่งเป็นการยากที่จะเข้าใจว่ามันคืออะไรหรืออธิบายให้ผู้อื่นทราบหากไม่มีมติทั่วไปเกี่ยวกับสิ่งที่มันประกอบด้วย ฉันรู้สึกว่า"คำนิยาม / กระบวนทัศน์ / คำอธิบาย" ที่จัดทำโดยCandèsเป็นสิ่งที่ใกล้เคียงที่สุดที่ฉันเห็นด้วยความคิดของคุณคืออะไร? แก้ไข 2:ฉันรู้สึกว่าคำตอบควรให้อะไรมากกว่าคำอธิบายของข้อมูลเอง มันควรเป็นการรวมกันของข้อมูล / วิธีการ / กระบวนทัศน์ แก้ไข 3:ฉันรู้สึกว่าการสัมภาษณ์กับ Michael Jordan นี้สามารถเพิ่มบางสิ่งลงในตารางได้เช่นกัน EDIT4:ฉันตัดสินใจเลือกคำตอบที่ได้รับการโหวตสูงสุดว่าเป็นคำตอบที่ถูกต้อง แม้ว่าฉันคิดว่าคำตอบทั้งหมดเพิ่มบางสิ่งบางอย่างในการสนทนาและฉันเองรู้สึกว่านี่เป็นคำถามของกระบวนทัศน์ของวิธีการที่เราสร้างสมมติฐานและทำงานกับข้อมูล ฉันหวังว่าคำถามนี้จะทำหน้าที่เป็นแหล่งอ้างอิงสำหรับผู้ที่กำลังมองหาข้อมูลขนาดใหญ่ …

44 large-data 

ฉันสงสัยว่าการแลกเปลี่ยน P (X = 1) หมายถึงอะไรเป็นพิเศษหรือไม่?

44 probability 

ฉันคุ้นเคยกับอัลกอริธึมการไล่ระดับสีพื้นฐานสำหรับการฝึกอบรมโครงข่ายประสาท ฉันได้อ่านกระดาษเสนออดัม: ADAM: เป็นวิธีการในการเพิ่มประสิทธิภาพ ในขณะที่ฉันมีความเข้าใจอย่างแน่นอน(อย่างน้อย) กระดาษดูเหมือนจะอยู่ในระดับสูงเกินไปสำหรับฉันโดยรวม ตัวอย่างเช่นฟังก์ชั่นต้นทุนมักจะเป็นผลรวมของฟังก์ชั่นที่แตกต่างกันจำนวนมากดังนั้นจึงต้องทำการคำนวณจำนวนมากเพื่อปรับค่าให้เหมาะสม การไล่ระดับสีแบบสุ่มสุ่ม - เท่าที่ฉันเข้าใจหัวข้อ - คำนวณการเพิ่มประสิทธิภาพสำหรับเซตย่อยของฟังก์ชันเหล่านี้เท่านั้น สำหรับผมแล้วมันก็ไม่มีความชัดเจนว่าอดัมไม่นี้และทำไมผลในลดลงข้อผิดพลาดการฝึกอบรมสำหรับทั้งของJ ( θ )J( θ )J(θ)J(\theta)J(θ)J(θ)J(\theta) ฉันคิดว่าอดัมอัปเดตการไล่ระดับสีโดยคำนึงถึงการไล่ระดับสีก่อนหน้า พวกเขาเรียกมันว่าการใช้โมเมนตัม โมเมนตัมนี้คืออะไร? ตามอัลกอริทึมในหน้าสองในกระดาษมันเป็นค่าเฉลี่ยเคลื่อนที่บางอย่างเช่นค่าประมาณของช่วงเวลาที่หนึ่งและสองของการไล่ระดับสี "ปกติ" หรือไม่? ในทางปฏิบัติฉันจะสงสัยว่าอดัมสามารถใช้ขนาดขั้นตอนที่มีประสิทธิภาพมากขึ้นในการลดการไล่ระดับสีดังนั้นข้อผิดพลาดในการฝึกอบรมเมื่อใช้ร่วมกับการประมาณแบบสุ่ม ดังนั้นเวกเตอร์การอัพเดทที่ได้ผลลัพธ์ควร "กระโดด" รอบ ๆ ในมิติเชิงพื้นที่มากกว่าที่จะอธิบายถึงเส้นโค้งบางอย่างเช่นอัลกอริธึมการไล่ระดับสีปกติ บางคนสามารถแยกแยะว่าอดัมทำงานอย่างไร? โดยเฉพาะอย่างยิ่งวิธีการที่มันมาบรรจบกันโดยเฉพาะว่าทำไมวิธีการของอดัมทำงานและสิ่งที่เป็นประโยชน์คืออะไร?

44 neural-networks  optimization  gradient-descent  adam 

นี่คือรายการโปรดของฉัน ตัวอย่างนี้อยู่ในเส้นเลือดที่มีอารมณ์ขัน (ให้เครดิตกับอดีตศาสตราจารย์ของฉัน Steven Gortmaker) แต่ฉันก็สนใจในกราฟที่คุณรู้สึกว่าจับได้อย่างสวยงามและสื่อสารข้อมูลเชิงลึกหรือวิธีการทางสถิติพร้อมกับความคิดของคุณในเรื่องเดียวกัน หนึ่งรายการต่อคำตอบ แน่นอนคำถามนี้อยู่ในแนวเดียวกันกับการ์ตูน "การวิเคราะห์ข้อมูล" ที่คุณโปรดปราน กรุณาให้เครดิต / การอ้างอิงที่เหมาะสมพร้อมรูปภาพใด ๆ ที่คุณให้ไว้

44 data-visualization 

การทดสอบทางสถิติแบบดั้งเดิมเช่นการทดสอบตัวอย่างสองตัวอย่างให้ความสำคัญกับการพยายามกำจัดสมมติฐานที่ไม่มีความแตกต่างระหว่างฟังก์ชั่นของสองตัวอย่างอิสระ จากนั้นเราเลือกระดับความเชื่อมั่นและบอกว่าหากความแตกต่างของค่าเฉลี่ยอยู่เกินระดับ 95% เราสามารถปฏิเสธสมมติฐานว่างได้ ถ้าไม่ใช่เรา "ไม่สามารถปฏิเสธสมมติฐานว่างได้" นี่ดูเหมือนจะบอกเป็นนัยว่าเราไม่สามารถยอมรับได้เช่นกัน หมายความว่าเราไม่แน่ใจว่าสมมุติฐานว่างเป็นจริงหรือไม่? ตอนนี้ฉันต้องการออกแบบการทดสอบโดยที่สมมติฐานของฉันคือหน้าที่ของสองตัวอย่างนั้นเหมือนกัน (ซึ่งตรงกันข้ามกับการทดสอบสถิติแบบดั้งเดิมโดยที่สมมติฐานนั้นคือทั้งสองตัวอย่างนั้นแตกต่างกัน) สมมุติฐานว่างของฉันกลายเป็นว่าทั้งสองตัวอย่างต่างกัน ฉันจะออกแบบการทดสอบได้อย่างไร? มันจะง่ายเหมือนการบอกว่าถ้า p-value น้อยกว่า 5% เราสามารถยอมรับสมมติฐานที่ว่าไม่มีความแตกต่างอย่างมีนัยสำคัญ?

44 hypothesis-testing  statistical-significance  confidence-interval  equivalence  tost 

ฉันอ่านบทความวิชาการเชิงวิวัฒนาการ / นิเวศวิทยาเป็นจำนวนมากบางครั้งโดยมีจุดประสงค์เฉพาะในการดูว่ามีการใช้สถิติ 'ในโลกแห่งความจริง' นอกตำราเรียนอย่างไร ปกติฉันจะนำสถิติลงในเอกสารเป็นพระกิตติคุณและใช้เอกสารเพื่อช่วยในการเรียนรู้ทางสถิติของฉัน ท้ายที่สุดถ้าบทความใช้เวลาหลายปีในการเขียนและผ่านการตรวจสอบจากเพื่อนอย่างเข้มงวดแล้วสถิติจะเป็นไปอย่างมั่นคงหรือไม่ แต่ในช่วงไม่กี่วันที่ผ่านมาฉันได้ถามสมมติฐานของฉันและสงสัยว่าการวิเคราะห์ทางสถิติที่ตีพิมพ์ในเอกสารวิชาการเป็นสิ่งที่สงสัย? โดยเฉพาะอย่างยิ่งอาจเป็นที่คาดหวังว่าผู้ที่อยู่ในสาขาต่าง ๆ เช่นนิเวศวิทยาและวิวัฒนาการใช้เวลาในการเรียนรู้สถิติน้อยลงและใช้เวลาเรียนสาขาของตนมากขึ้น ผู้คนพบสถิติที่น่าสงสัยในเอกสารวิชาการบ่อยแค่ไหน?

44 publication-bias  academia 

ฉันพยายามที่จะทำความเข้าใจกับส่วนต่าง ๆ ของโครงข่ายประสาทเทียม ดูรูปต่อไปนี้: ฉันไม่มีปัญหาในการทำความเข้าใจกับชั้นแรกของการบิดที่เรามีเมล็ดที่แตกต่างกัน 4 ขนาด (ขนาด ) ซึ่งเราได้ทำการเชื่อมต่อกับภาพอินพุตเพื่อรับแผนที่คุณลักษณะ 4 แบบk × kk×kk \times k สิ่งที่ฉันไม่เข้าใจคือเลเยอร์ convolution ถัดไปซึ่งเราไปจาก 4 ฟีเจอร์แมปถึง 6 ฟีเจอร์แมป ฉันคิดว่าเรามี 6 เมล็ดในเลเยอร์นี้ (ดังนั้นให้แผนที่คุณลักษณะเอาต์พุต 6 รายการ) แต่เมล็ดเหล่านี้ทำงานบนแผนที่คุณลักษณะ 4 รายการที่แสดงใน C1 ได้อย่างไร เมล็ดเป็นแบบสามมิติหรือเป็นแบบสองมิติและทำซ้ำในแผนที่คุณลักษณะอินพุต 4 ตัวหรือไม่

44 machine-learning  neural-networks  deep-learning  conv-neural-network 

เรารู้คำตอบสำหรับตัวแปรอิสระสองตัว: Var(XY)=E(X2Y2)−(E(XY))2=Var(X)Var(Y)+Var(X)(E(Y))2+Var(Y)(E(X))2Var(XY)=E(X2Y2)−(E(XY))2=Var(X)Var(Y)+Var(X)(E(Y))2+Var(Y)(E(X))2 {\rm Var}(XY) = E(X^2Y^2) − (E(XY))^2={\rm Var}(X){\rm Var}(Y)+{\rm Var}(X)(E(Y))^2+{\rm Var}(Y)(E(X))^2 อย่างไรก็ตามหากเราใช้ผลิตภัณฑ์มากกว่าสองตัวแปรคำตอบจะเป็นอะไรในแง่ของความแปรปรวนและค่าที่คาดหวังของตัวแปรแต่ละตัวVar(X1X2⋯Xn)Var(X1X2⋯Xn){\rm Var}(X_1X_2 \cdots X_n)

44 variance  random-variable  independence 

ฉันเพิ่งเรียนรู้เกี่ยวกับวิธีการของฟิชเชอร์ในการรวมค่า p นี่คือความจริงที่ว่าตามตัวอักษรตามตัวอักษร - ตามตัวอักษร p- ตามตัวอักษรกระจายและ ซึ่งฉันคิดว่าเป็นอัจฉริยะ แต่คำถามของฉันคือทำไมไปทางที่ซับซ้อนนี้ และทำไมไม่ (มีอะไรผิดปกติ) เพียงแค่ใช้ค่าเฉลี่ยของค่า p และใช้ทฤษฎีบทขีด จำกัด กลาง? หรือค่ามัธยฐาน? ฉันพยายามที่จะเข้าใจความเป็นอัจฉริยะของ RA Fisher หลังโครงการอันยิ่งใหญ่นี้−2∑i=1nlogXi∼χ2(2n), given X∼Unif(0,1)−2∑i=1nlog⁡Xi∼χ2(2n), given X∼Unif(0,1)-2\sum_{i=1}^n{\log X_i} \sim \chi^2(2n), \text{ given } X \sim \text{Unif}(0,1)

44 hypothesis-testing  p-value  multiple-comparisons  central-limit-theorem  combining-p-values 

สถิติKappa ( κκ\kappa ) ได้รับการแนะนำในปี 1960 โดย Cohen [1] เพื่อวัดข้อตกลงระหว่างผู้ประเมินสองคน อย่างไรก็ตามความแปรปรวนของมันเป็นสาเหตุของความขัดแย้งมาระยะหนึ่งแล้ว คำถามของฉันเกี่ยวกับการคำนวณผลต่างที่ดีที่สุดที่จะใช้กับกลุ่มตัวอย่างขนาดใหญ่ ฉันมีแนวโน้มที่จะเชื่อว่าคนที่ผ่านการทดสอบและตรวจสอบโดย Fleiss [2] จะเป็นตัวเลือกที่ถูกต้อง แต่สิ่งนี้ดูเหมือนจะไม่ใช่คนเดียวที่ได้รับการตีพิมพ์ซึ่งดูเหมือนว่าจะถูกต้อง ตอนนี้ฉันมีสองวิธีที่เป็นรูปธรรมในการคำนวณความแปรปรวนตัวอย่างขนาดใหญ่ของซีมโทติค: วิธีการแก้ไขที่เผยแพร่โดย Fleiss, Cohen and Everitt [2]; วิธีการเดลต้าที่สามารถพบได้ในหนังสือโดย Colgaton, 2009 [4] (หน้า 106) เพื่อแสดงให้เห็นถึงความสับสนบางอย่างนี่คือคำพูดของ Fleiss, Cohen และ Everitt [2] โดยเน้นที่เหมือง: ความพยายามของมนุษย์หลายคนถูกสาปด้วยความล้มเหลวซ้ำแล้วซ้ำอีกก่อนที่จะประสบความสำเร็จขั้นสุดท้าย มาตราส่วนของ Mount Everest เป็นตัวอย่างหนึ่ง การค้นพบของ Northwest Passage เป็นครั้งที่สอง ความเป็นมาของข้อผิดพลาดมาตรฐานที่ถูกต้องสำหรับคัปปาเป็นหนึ่งในสาม ดังนั้นนี่คือบทสรุปเล็ก ๆ ของสิ่งที่เกิดขึ้น: …

44 estimation  variance  reliability  cohens-kappa 

หากความสนใจเป็นเพียงการประมาณค่าพารามิเตอร์ของแบบจำลอง (การประมาณค่าแบบจุดและ / หรือช่วงเวลา) และข้อมูลก่อนหน้านี้ไม่น่าเชื่อถืออ่อนแอ (ฉันรู้ว่านี่เป็นบิตที่คลุมเครือ แต่ฉันพยายามสร้างสถานการณ์ที่เลือก ก่อนหน้านี้เป็นเรื่องยาก) ... ทำไมบางคนเลือกที่จะใช้วิธีการแบบเบย์กับนักบวชที่ไม่เหมาะสมแทนที่จะเป็นแบบดั้งเดิม

44 bayesian  inference  prior  likelihood  information 

การคัดค้านการใช้วิธีการทางสถิติแบบเบย์ในบริบทใดบ้าง ไม่ฉันไม่ได้หมายถึงความห่วงใยในการเลือกก่อนหน้า ฉันยินดีหากไม่ได้รับคำตอบ

44 bayesian 

ฉันได้สังเกตเห็นว่ามีการใช้งานไม่กี่ของป่าสุ่มเช่น ALGLIB, วาฟเฟิลและบางส่วนแพคเกจ R randomForestเช่น ใครช่วยบอกฉันได้ไหมว่าห้องสมุดเหล่านี้ได้รับการปรับให้เหมาะสมที่สุดหรือไม่? โดยพื้นฐานแล้วพวกเขาเทียบเท่ากับป่าสุ่มตามรายละเอียดในองค์ประกอบของการเรียนรู้ทางสถิติหรือมีเทคนิคพิเศษมากมายหรือไม่? ฉันหวังว่าคำถามนี้เฉพาะเจาะจงเพียงพอ เป็นตัวอย่างของประเภทของคำตอบที่ฉันกำลังมองหาถ้ามีคนถามฉันว่าแพคเกจพีชคณิตเชิงเส้น BLAS ได้รับการปรับให้เหมาะสมที่สุดฉันจะบอกว่ามันได้รับการปรับปรุงอย่างมากและส่วนใหญ่ไม่คุ้มค่าที่จะพยายามปรับปรุง

44 random-forest  algorithms  model-evaluation