สถิติและข้อมูลขนาดใหญ่

สำหรับการทดสอบบางอย่างในการRมีวงเงินที่ต่ำกว่าในp-valueคำนวณของ16} ฉันไม่แน่ใจว่าทำไมมันเป็นจำนวนนี้ถ้ามีเหตุผลที่ดีสำหรับมันหรือถ้ามันเป็นเพียงโดยพลการ แพ็คเกจสถิติอื่น ๆ มากมายให้ไปดังนั้นนี่คือระดับความแม่นยำที่สูงขึ้นมาก แต่ผมยังไม่ได้เห็นเอกสารจำนวนมากเกินไปรายงานหรือ16}2.22⋅10−162.22⋅10−162.22 \cdot 10^{-16}0.0001p&lt;2.22⋅10−16p&lt;2.22⋅10−16p < 2.22\cdot 10^{-16}p=2.22⋅10−16p=2.22⋅10−16p = 2.22\cdot 10^{-16} เป็นเรื่องปกติ / วิธีปฏิบัติที่ดีที่สุดในการรายงานค่าที่คำนวณนี้หรือเป็นเรื่องปกติมากกว่าที่จะรายงานสิ่งอื่น (เช่นp &lt; 0.000000000000001)

62 r  p-value  reporting  precision 

มันคือ (เสมอ) จริงหรือไม่ที่ Var(∑i=1mXi)=∑i=1mVar(Xi)?Var(∑i=1mXi)=∑i=1mVar(Xi)?\mathrm{Var}\left(\sum\limits_{i=1}^m{X_i}\right) = \sum\limits_{i=1}^m{\mathrm{Var}(X_i)} \>?

62 variance 

ฉันเข้าใจว่า Jeffreys ก่อนหน้านั้นคงที่ภายใต้การปรับพารามิเตอร์อีกครั้ง อย่างไรก็ตามสิ่งที่ฉันไม่เข้าใจคือเหตุผลที่ต้องการคุณสมบัตินี้ ทำไมคุณไม่ต้องการการเปลี่ยนแปลงก่อนหน้านี้ภายใต้การเปลี่ยนแปลงของตัวแปร?

61 bayesian  prior 

ฉันกำลังจะแนะนำตารางมาตรฐานมาตรฐานในชั้นเรียนสถิติเบื้องต้นของฉันและนั่นทำให้ฉันสงสัยว่า: ใครเป็นผู้สร้างตารางมาตรฐานมาตรฐานแรก พวกเขาทำมันอย่างไรก่อนที่คอมพิวเตอร์จะเข้ามา? ฉันตัวสั่นที่คิดว่าใครบางคนกำลังบังคับให้คำนวณผลรวมของ Riemann หนึ่งพันด้วยมือ

61 normal-distribution  algorithms  history  tables 

ชื่อของความคิดเห็นในนักวิทยาศาสตร์ธรรมชาติลุกขึ้นต่อต้านความสำคัญทางสถิติเริ่มต้นด้วย: Valentin Amrhein, Sander Greenland, Blake McShane และผู้ลงนามมากกว่า 800 คนเรียกร้องให้ยุติการเรียกร้องค่าสินไหมทดแทนและการยกเลิกผลกระทบที่สำคัญ และหลังจากนั้นมีข้อความเช่น: อีกครั้งเราจะไม่สนับสนุนการห้ามค่า P ช่วงเวลาความเชื่อมั่นหรือมาตรการทางสถิติอื่น ๆ - เฉพาะที่เราไม่ควรปฏิบัติต่อพวกเขาอย่างเด็ดขาด ซึ่งรวมถึงการแบ่งแยกขั้วที่มีนัยสำคัญทางสถิติหรือไม่รวมถึงการจัดหมวดหมู่ตามมาตรการทางสถิติอื่น ๆ เช่นปัจจัย Bayes ฉันคิดว่าฉันสามารถเข้าใจได้ว่าภาพด้านล่างไม่ได้บอกว่าการศึกษาทั้งสองไม่เห็นด้วยเพราะ "กฎ" ไม่มีผลในขณะที่อีกคนไม่ทำ แต่บทความดูเหมือนจะลึกลงไปมากกว่าที่ฉันเข้าใจได้ ในตอนท้ายดูเหมือนว่าจะมีการสรุปในสี่จุด เป็นไปได้หรือไม่ที่จะสรุปสิ่งเหล่านี้ด้วยคำศัพท์ที่ง่ายขึ้นสำหรับพวกเราที่อ่านสถิติแทนที่จะเขียนมัน? เมื่อพูดถึงช่วงเวลาที่ใช้งานร่วมกันได้โปรดคำนึงถึงสี่สิ่ง ก่อนอื่นเพียงเพราะช่วงเวลาให้ค่าที่เข้ากันได้กับข้อมูลมากที่สุดเนื่องจากข้อสมมติฐานมันไม่ได้หมายความว่าค่าภายนอกนั้นไม่เข้ากัน พวกมันเข้ากันได้น้อยกว่า ... ประการที่สองค่าทั้งหมดภายในไม่สามารถใช้งานร่วมกันกับข้อมูลได้อย่างเท่าเทียมกันเนื่องจากข้อสมมติฐาน ... ประการที่สามเช่นเดียวกับขีด จำกัด 0.05 ที่มาถึงค่าเริ่มต้น 95% ที่ใช้ในการคำนวณช่วงเวลานั้นเป็นข้อตกลงโดยพลการ ... สุดท้ายและที่สำคัญที่สุดคือจงอ่อนน้อม: การประเมินความเข้ากันได้นั้นขึ้นอยู่กับความถูกต้องของสมมติฐานทางสถิติที่ใช้ในการคำนวณช่วงเวลา ...

61 statistical-significance  p-value  bias 

เมื่อคุณพยายามที่จะจัดให้โมเดลเข้ากับชุดข้อมูลขนาดใหญ่คำแนะนำทั่วไปคือการแบ่งพาร์ติชันข้อมูลออกเป็นสามส่วน ได้แก่ การฝึกอบรมการตรวจสอบความถูกต้องและชุดข้อมูลการทดสอบ นี่เป็นเพราะโมเดลมักจะมี "ระดับ" ของพารามิเตอร์สามตัว: "พารามิเตอร์" ตัวแรกคือคลาสโมเดล (เช่น SVM, โครงข่ายประสาทเทียม, ฟอเรสต์แบบสุ่ม) ชุดพารามิเตอร์ที่สองคือพารามิเตอร์ "การทำให้เป็นมาตรฐาน" หรือ " เช่นค่าสัมประสิทธิ์การลงโทษบ่วงบาศเลือกเคอร์เนลโครงข่ายโครงข่ายประสาทเทียม) และเซตที่สามคือสิ่งที่มักจะพิจารณาว่า "พารามิเตอร์" (เช่นค่าสัมประสิทธิ์สำหรับ covariates) เมื่อกำหนดคลาสของโมเดลและตัวเลือกพารามิเตอร์หลายตัวพารามิเตอร์หนึ่งจะเลือกโดยการเลือกพารามิเตอร์ที่ช่วยลดข้อผิดพลาดในชุดฝึกอบรม เมื่อกำหนดคลาสของโมเดลหนึ่งจะทำไฮเปอร์พารามิเตอร์โดยย่อข้อผิดพลาดให้น้อยที่สุดในชุดการตรวจสอบความถูกต้อง มีการเลือกคลาสรุ่นตามประสิทธิภาพในชุดทดสอบ แต่ทำไมไม่แบ่งพาร์ติชันเพิ่มเติม? บ่อยครั้งที่ใครคนหนึ่งสามารถแบ่งพารามิเตอร์หลายตัวเป็นสองกลุ่มและใช้ "การตรวจสอบ 1" เพื่อให้พอดีกับที่หนึ่งและ "การตรวจสอบที่ 2" เพื่อให้พอดีกับที่สอง หรืออย่างใดอย่างหนึ่งก็สามารถรักษาขนาดของข้อมูลการฝึกอบรม / ข้อมูลการตรวจสอบแยกเป็นพารามิเตอร์ที่จะปรับ นี่เป็นวิธีปฏิบัติทั่วไปในบางแอปพลิเคชันหรือไม่ มีทฤษฎีใดบ้างเกี่ยวกับการแบ่งพาร์ติชั่นข้อมูลที่ดีที่สุด?

61 machine-learning  model-selection  data-mining 

ฉันค่อนข้างเป็นผู้เผยแพร่ศาสนาที่เกี่ยวกับการใช้อัตราส่วนโอกาสในการเป็นตัวแทนหลักฐานวัตถุประสงค์สำหรับ / ต่อปรากฏการณ์ที่กำหนด อย่างไรก็ตามเมื่อเร็ว ๆ นี้ฉันได้เรียนรู้ว่าปัจจัย Bayes ทำหน้าที่คล้ายกันในบริบทของวิธีการแบบเบย์ (เช่นอัตนัยก่อนหน้านี้รวมกับปัจจัย Bayes เป้าหมายเพื่อให้ได้สถานะความเชื่อทางอัตวิสัยที่อัปเดตอย่างเป็นกลาง) ตอนนี้ฉันพยายามที่จะเข้าใจความแตกต่างของการคำนวณและปรัชญาระหว่างอัตราส่วนความน่าจะเป็นและปัจจัยของเบย์ ในระดับการคำนวณฉันเข้าใจว่าในขณะที่อัตราส่วนความน่าจะเป็นมักจะคำนวณโดยใช้ความน่าจะเป็นที่เป็นไปได้สูงสุดสำหรับแต่ละพารามิเตอร์ของแต่ละรุ่น (เช่นการประเมินโดยการตรวจสอบความถูกต้อง ความน่าจะเป็นที่แสดงถึงความน่าจะเป็นของแต่ละรุ่นที่รวมอยู่ในนั้นคือพื้นที่พารามิเตอร์ทั้งหมด (กล่าวคือไม่ใช่ที่ MLE) โดยทั่วไปแล้วการบูรณาการนี้ประสบความสำเร็จได้อย่างไร? มีใครลองทำการคำนวณความน่าจะเป็นที่แต่ละตัวอย่างสุ่มจากหลายพัน (ล้าน?) จากพื้นที่พารามิเตอร์หรือมีวิธีการวิเคราะห์เพื่อรวมความน่าจะเป็นในพื้นที่พารามิเตอร์หรือไม่? นอกจากนี้เมื่อคำนวณปัจจัย Bayes นอกจากนี้อะไรคือความแตกต่างทางปรัชญาระหว่างอัตราส่วนความน่าจะเป็นและปัจจัย Bayes (หมายเหตุ: ฉันไม่ได้ถามเกี่ยวกับความแตกต่างทางปรัชญาระหว่างอัตราส่วนความน่าจะเป็นและวิธีการแบบเบย์โดยทั่วไป แต่ปัจจัย Bayes เป็นตัวแทนของ เราจะอธิบายลักษณะของความหมายของปัจจัย Bayes ได้อย่างไรเมื่อเทียบกับอัตราส่วนความน่าจะเป็น

61 likelihood-ratio  bayes-factors 

ในวรรณคดีเกี่ยวกับตัวแบบลำดับชั้น / หลายระดับฉันมักจะอ่านเกี่ยวกับ "แบบจำลองซ้อน" และ "แบบจำลองที่ไม่ซ้อนกัน" แต่สิ่งนี้หมายความว่าอย่างไร ใครบ้างที่อาจให้ฉันตัวอย่างหรือบอกฉันเกี่ยวกับความหมายทางคณิตศาสตร์ของคำนี้

61 hypothesis-testing  terminology  nested-models  nested-data 

เทศกาลวันหยุดที่มีให้ฉันมีโอกาสที่จะขดตัวถัดไปในกองไฟที่มีองค์ประกอบของการเรียนรู้ทางสถิติ มาจากมุมมองเศรษฐมิติ (บ่อยครั้ง) ฉันมีปัญหาในการเข้าใจการใช้งานของวิธีการหดตัวเช่นการถดถอยสันสัน, เชือกและการถดถอยมุมน้อย (LAR) โดยทั่วไปฉันสนใจในการประมาณค่าพารามิเตอร์ของตัวเองและในการบรรลุความเป็นกลางหรืออย่างน้อยที่สุด วิธีการหดตัวไม่ได้ทำอย่างนั้น สำหรับฉันแล้วดูเหมือนว่าวิธีการเหล่านี้จะใช้เมื่อนักสถิติกังวลว่าฟังก์ชั่นการถดถอยจะตอบสนองต่อตัวทำนายมากเกินไปซึ่งจะถือว่าตัวทำนายนั้นสำคัญกว่า (วัดจากขนาดของสัมประสิทธิ์) มากกว่าที่เป็นจริง กล่าวอีกนัยหนึ่งคือ overfitting แต่โดยทั่วไปแล้ว OLS จะให้การประมาณที่ไม่เอนเอียงและสอดคล้องกัน (เชิงอรรถ) ฉันมักจะดูปัญหาของการไม่ให้ข้อมูลมากไปกว่าการประเมินที่ใหญ่เกินไป ESL กล่าวถึงจุดหลังนี้) การประมาณค่าสัมประสิทธิ์ที่ไม่เอนเอียง / สม่ำเสมอนำไปสู่การทำนายผลลัพธ์ที่ไม่เอนเอียง / สม่ำเสมอ วิธีการหดตัวผลักดันการคาดการณ์ให้ใกล้เคียงกับผลลัพธ์เฉลี่ยมากกว่า OLS ซึ่งดูเหมือนว่าจะทิ้งข้อมูลไว้ในตาราง เพื่อย้ำอีกครั้งฉันไม่เห็นว่าปัญหาวิธีหดตัวกำลังพยายามแก้ไข ฉันพลาดอะไรไปรึเปล่า? เชิงอรรถ: เราต้องการเงื่อนไขการจัดอันดับคอลัมน์แบบเต็มเพื่อระบุค่าสัมประสิทธิ์ สมมติฐานค่าเฉลี่ยเชิงเงื่อนไข / ศูนย์สำหรับข้อผิดพลาดและข้อคาดหวังตามเงื่อนไขเชิงเส้นกำหนดการตีความที่เราสามารถให้กับค่าสัมประสิทธิ์

61 lasso  ridge-regression  shrinkage  lars 

ฉันเห็นว่าอัลกอริทึมการเรียนรู้ของเครื่องจำนวนมากทำงานได้ดีขึ้นด้วยการยกเลิกค่าเฉลี่ยและการทำให้เท่ากันความแปรปรวนร่วม ตัวอย่างเช่นโครงข่ายประสาทมีแนวโน้มที่จะมาบรรจบกันเร็วขึ้นและโดยทั่วไป K-Means จะให้การจัดกลุ่มที่ดีขึ้นด้วยคุณสมบัติที่ประมวลผลล่วงหน้า ฉันไม่เห็นปรีชาที่อยู่เบื้องหลังขั้นตอนการประมวลผลล่วงหน้าเหล่านี้นำไปสู่การปรับปรุงประสิทธิภาพ มีคนอธิบายเรื่องนี้กับฉันได้ไหม

61 machine-learning  neural-networks  covariance  normalization 

เป็นไปได้ไหมที่จะมีสมการการถดถอยแบบหลายค่าที่มีตัวแปรตามสองตัวหรือมากกว่า แน่นอนว่าคุณสามารถรันสมการถดถอยสองแบบแยกกันได้หนึ่งตัวสำหรับแต่ละ DV แต่นั่นไม่เหมือนว่าจะจับความสัมพันธ์ระหว่าง DV ทั้งสองได้หรือไม่

61 regression 

การจัดกลุ่มตามลำดับชั้นสามารถแสดงโดย dendrogram การตัด dendrogram ในระดับหนึ่งจะทำให้เกิดกลุ่มของกลุ่ม การตัดในระดับอื่นจะทำให้เกิดกลุ่มอีกกลุ่มหนึ่ง คุณจะเลือกที่จะตัด dendrogram ได้อย่างไร มีบางอย่างที่เราสามารถพิจารณาจุดที่เหมาะสมหรือไม่? หากฉันมองไปที่เอนโดรแกรมข้ามเวลาที่มีการเปลี่ยนแปลงฉันควรตัดที่จุดเดียวกัน

61 clustering  dendrogram 

ใครสามารถอธิบายให้ฉันฟังได้ว่าทำไมทุกคนจะเลือกพาราเมทริกสำหรับวิธีการทดสอบสมมติฐานหรือการวิเคราะห์การถดถอย ในใจของฉันมันเหมือนกับการไปล่องแพและเลือกนาฬิกาที่ไม่กันน้ำเพราะคุณอาจไม่เปียก ทำไมไม่ใช้เครื่องมือที่ใช้ได้กับทุกโอกาส?

60 regression  hypothesis-testing  mathematical-statistics  estimation  nonparametric 

ฉันพยายามใช้โมเดล LASSO เพื่อการคาดการณ์และฉันต้องประเมินข้อผิดพลาดมาตรฐาน มีคนเขียนแพคเกจเพื่อทำสิ่งนี้แล้ว แต่เท่าที่ฉันเห็นไม่มีแพ็คเกจใน CRAN ที่ทำการทำนายโดยใช้ LASSO จะส่งกลับข้อผิดพลาดมาตรฐานสำหรับการคาดการณ์เหล่านั้น ดังนั้นคำถามของฉันคือ: มีแพ็คเกจหรือรหัส R บางอย่างที่สามารถคำนวณข้อผิดพลาดมาตรฐานสำหรับการทำนาย LASSO ได้หรือไม่?

60 r  standard-error  prediction  lasso 

ฉันสงสัยว่าทำไมการรวบรวมข้อมูลจนกว่าจะได้ผลลัพธ์ที่สำคัญ (เช่น ) ได้รับ (เช่นการแฮ็ค p) เพิ่มอัตราความผิดพลาด Type I หรือไม่p &lt; .05p&lt;.05p \lt .05 ฉันขอชื่นชมการRสาธิตปรากฏการณ์นี้อย่างมาก

60 r  hypothesis-testing  p-value  simulation  type-i-and-ii-errors