สถิติและข้อมูลขนาดใหญ่

ฉันพยายามนึกภาพพล็อตที่เหมาะสมสำหรับการสังเกตในตารางวิธีการนี้และค่าเบี่ยงเบนมาตรฐานของคะแนนการเรียกคืน: จำควบคุมMean37SD8การทดลองMean21SD6ควบคุมการทดลองMeanSDMeanSDจำ378216\begin{array} {c|c c|c c|} & \text{Control} & & \text{Experimental} & \\ & \text{Mean} & \text{SD} &\text{Mean} &\text{SD} \\ \hline \text{Recall} & 37 & 8 & 21 & 6 \\ \hline \end{array} อะไรคือวิธีที่ดีที่สุดในการทำเช่นนั้น? แผนภูมิแท่งเป็นวิธีที่ดีหรือไม่ ฉันจะอธิบายค่าเบี่ยงเบนมาตรฐานในกรณีนั้นได้อย่างไร

11 data-visualization  standard-deviation  mean  descriptive-statistics  barplot 

หากมีการทดลอง Bernoulli อิสระ 20 ครั้งโดยแต่ละคนมีความน่าจะเป็นที่จะประสบความสำเร็จแตกต่างกันและล้มเหลว ความน่าจะเป็นที่การทดลองใช้ n จาก 20 ครั้งนั้นประสบความสำเร็จอย่างไร มีวิธีที่ดีกว่าในการคำนวณความน่าจะเป็นเหล่านี้แทนที่จะรวมเข้าด้วยกันเป็นการรวมกันของความสำเร็จและความล้มเหลวที่เป็นไปได้หรือไม่?

11 probability  distributions  bernoulli-distribution  poisson-binomial 

ฉันกำลังพยายามสร้างหลักฐานสำหรับปัญหาที่ฉันกำลังทำอยู่และหนึ่งในข้อสมมติที่ฉันทำคือชุดของจุดที่ฉันสุ่มตัวอย่างจากนั้นหนาแน่นทั่วทั้งพื้นที่ ในทางปฏิบัติฉันใช้การสุ่มตัวอย่าง hypercube แบบละตินเพื่อให้ได้คะแนนจากพื้นที่ตัวอย่างทั้งหมด สิ่งที่ฉันอยากรู้คือถ้าตัวอย่าง hypercube ละตินมีความหนาแน่นมากกว่าพื้นที่ทั้งหมดถ้าคุณปล่อยให้ขนาดตัวอย่างของคุณมีแนวโน้มที่จะ ? ถ้าเป็นเช่นนั้นการอ้างอิงสำหรับความจริงนี้จะได้รับการชื่นชมอย่างมาก∞∞\infty

11 sampling  asymptotics  latin-square  latin-hypercube 

ไม่เหมือนกับการวิเคราะห์องค์ประกอบหลักโซลูชันสำหรับการวิเคราะห์ปัจจัยไม่จำเป็นต้องซ้อนกัน นั่นคือการโหลด (ตัวอย่าง) สำหรับปัจจัยแรกไม่จำเป็นต้องเหมือนกันเมื่อมีการแยกเฉพาะปัจจัยแรกเทียบกับเมื่อสองปัจจัยแรกเป็น เมื่อคำนึงถึงสิ่งนั้นแล้วให้พิจารณากรณีที่คุณมีชุดของตัวแปรที่มีความสัมพันธ์อย่างมากและ (โดยความรู้เชิงทฤษฎีเกี่ยวกับเนื้อหา) ควรได้รับแรงผลักดันจากปัจจัยเดียว ลองนึกภาพว่าการวิเคราะห์ปัจจัยเชิงสำรวจ (ตามที่คุณต้องการตัวชี้วัด: การวิเคราะห์แบบขนาน, พล็อตหินกรวด, ค่าไอเกน> 1 ฯลฯ ) ขอแนะนำอย่างยิ่งว่ามีปัจจัย: ปัจจัยหลักที่มีขนาดใหญ่และปัจจัยรองขนาดเล็ก คุณมีความสนใจในการใช้ตัวแปรรายการและการแก้ปัญหาปัจจัยเพื่อประเมิน (เช่นรับคะแนนปัจจัย) ค่าของผู้เข้าร่วมสำหรับปัจจัยแรก ในสถานการณ์นี้มันจะดีกว่าหรือไม่:222 เหมาะสมกับรูปแบบปัจจัยที่จะดึงเพียงปัจจัยและได้รับคะแนนปัจจัย ( ฯลฯ ) หรือ111 พอดีกับแบบจำลองปัจจัยเพื่อแยกปัจจัยทั้งสองรับคะแนนปัจจัยสำหรับปัจจัยต่าง ๆ แต่ละทิ้ง / ละเว้นคะแนนสำหรับปัจจัยที่สอง? อะไรคือแนวปฏิบัติที่ดีกว่าทำไม? มีการวิจัยเกี่ยวกับปัญหานี้หรือไม่?

11 references  factor-analysis  psychometrics 

ฉันมีสถานการณ์ที่ฉันสามารถประมาณค่าช่วงเวลาแรกของชุดข้อมูลและต้องการใช้เพื่อสร้างการประมาณของฟังก์ชันความหนาแน่นkkk ฉันได้พบกับการกระจายของเพียร์สันแล้ว แต่ฉันรู้ว่ามันขึ้นอยู่กับช่วงเวลา 4 ช่วงแรกเท่านั้น ฉันยังเข้าใจว่าช่วงเวลาที่ จำกัด ใด ๆ นั้นไม่เพียงพอที่จะ "ตรึง" การแจกแจงเฉพาะเมื่อไม่ใช้สมมติฐานเพิ่มเติม อย่างไรก็ตามฉันยังต้องการการแจกแจงระดับทั่วไปเพิ่มเติม (นอกเหนือจากการแจกแจงแบบครอบครัวของเพียร์สัน) มองไปที่คำถามอื่น ๆ ที่ฉันไม่สามารถหาเช่นการกระจาย (ดู: ที่นี่ , ที่นี่ , ที่นี่ , ที่นี่ , ที่นี่และที่นี่ ) มีการกระจายทั่วไป ("ง่าย") ครอบครัวที่สามารถกำหนดสำหรับช่วงเวลาใด ๆ ? (อาจเป็นชุดของการแปลงที่สามารถทำการแจกแจงแบบปกติมาตรฐานและแปลงมันจนกว่ามันจะยืนยันกับทุกช่วงเวลา )kkkkkk (ฉันไม่สนใจมากถ้าเราถือว่าช่วงเวลาอื่นเป็น 0 หรือไม่)k + 1 … ∞k+1...∞k+1\ldots\infty ขอบคุณ PS: ฉันจะมีความสุขสำหรับตัวอย่างเพิ่มเติม ควรมีตัวอย่างรหัส R เป็นพิเศษ

11 pdf  kernel-smoothing  moments 

ฉันอ่านหนังสือของ Larry Wasserman สถิติทั้งหมดและในปัจจุบันเกี่ยวกับค่า p (หน้า 187) ให้ฉันแนะนำคำจำกัดความก่อน (ฉันพูด) คำจำกัดความ 1ฟังก์ชั่นพลังงานของการทดสอบที่มีพื้นที่การปฏิเสธถูกกำหนดโดย ขนาดของการทดสอบถูกกำหนดให้เป็น การทดสอบจะกล่าวว่ามีระดับ\ alphaถ้าขนาดของมันคือน้อยกว่าหรือเท่ากับ\ alphaRRRβ(θ)=Pθ(X∈R)β(θ)=Pθ(X∈R)\beta(\theta)=P_{\theta}(X\in R)α=supθ∈Θ0β(θ)α=supθ∈Θ0β(θ)\alpha = \sup_{\theta\in\Theta_0}\beta(\theta)αα\alphaαα\alpha โดยพื้นฐานแล้วบอกว่าαα\alphaขนาดคือความน่าจะเป็น "ใหญ่ที่สุด" ของข้อผิดพลาดประเภท I ค่าpppจะถูกกำหนดผ่านทาง (I quote) ความหมายที่ 2สมมติว่าทุกα∈(0,1)α∈(0,1)\alpha\in(0,1)เรามีขนาดαα\alphaทดสอบกับภูมิภาคปฏิเสธR_RαRαR_\alphaจากนั้น p-value=inf{α:T(Xn)∈Rα}p-value=inf{α:T(Xn)∈Rα}p\text{-value}=\inf\{\alpha:T(X^n)\in R_\alpha\} ที่Xn=(X1,…,Xn)Xn=(X1,…,Xn)X^n=(X_1,\dots,X_n)X_n) สำหรับฉันนี่หมายถึง: รับเฉพาะαα\alphaมีพื้นที่ทดสอบและปฏิเสธRαRαR_\alphaดังนั้นα=supθ∈Θ0(α)Pθ(T(Xn)∈Rα)α=supθ∈Θ0(α)Pθ(T(Xn)∈Rα)\alpha=\sup_{\theta\in\Theta_{0}(\alpha)}P_\theta(T(X^n)\in R_\alpha)alpha) สำหรับppp -value ผมก็ใช้เวลาแล้วที่เล็กที่สุดของทั้งหมดเหล่านี้\αα\alpha คำถามที่ 1ในกรณีนี้จะเป็นกรณีที่แล้วผมได้อย่างชัดเจนสามารถเลือกα=ϵα=ϵ\alpha = \epsilonสำหรับธุรกิจขนาดเล็กโดยพล\ϵϵ\epsilonการตีความคำจำกัดความที่ 2 ของฉันคืออะไรหมายถึงอะไร ตอนนี้ Wasserman ต่อเนื่องและแจ้งให้ทฤษฎีบทมีคำนิยาม "เทียบเท่า" ของpppซึ่งฉันคุ้นเคย (ฉันพูด): ทฤษฎีบทสมมติว่าการทดสอบขนาดเป็นรูปแบบ จากนั้น …

11 hypothesis-testing  mathematical-statistics  p-value 

บริบท มันค่อนข้างคล้ายกับคำถามนี้แต่ฉันไม่คิดว่ามันจะซ้ำกันแน่นอน เมื่อคุณมองหาคำแนะนำเกี่ยวกับวิธีการทดสอบสมมติฐานบู๊ตสแตรปมันมักจะกล่าวว่ามันเป็นเรื่องปกติที่จะใช้การแจกแจงเชิงประจักษ์สำหรับช่วงความเชื่อมั่น แต่คุณต้องบูตสแตรปจากการกระจายภายใต้สมมติฐานว่างเพื่อให้ได้ ราคา. เป็นตัวอย่างดูคำตอบที่ยอมรับสำหรับคำถามนี้ การค้นหาทั่วไปบนอินเทอร์เน็ตส่วนใหญ่ดูเหมือนจะเป็นคำตอบที่คล้ายกัน เหตุผลที่ไม่ใช้ค่า p ตามการกระจายเชิงประจักษ์คือส่วนใหญ่เราไม่มีค่าคงที่การแปล ตัวอย่าง ขอยกตัวอย่างสั้น ๆ เรามีเหรียญและเราต้องการทดสอบด้านเดียวเพื่อดูว่าความถี่ของหัวใหญ่กว่า 0.5 หรือไม่ เราทำการทดลองและรับหัว จริง p-value สำหรับการทดสอบนี้จะเป็น0.058n = 20n=20n = 20k = 14k=14k = 14p = 0.058พี=0.058p = 0.058 ในทางกลับกันถ้าเราบูต 14 จาก 20 หัวของเราเราได้อย่างมีประสิทธิภาพตัวอย่างจากการกระจายทวินามกับและ\ การเลื่อนการกระจายตัวนี้โดยการลบ 0.2 เราจะได้ผลลัพธ์ที่มีนัยสำคัญแทบเมื่อทดสอบค่าที่สังเกตได้ของเราที่ 0.7 กับการกระจายเชิงประจักษ์ที่ได้รับn = 20n=20n = 20p = 1420= 0.7พี=1420=0.7p = …

11 confidence-interval  p-value  bootstrap 

ฉันพยายามฝังวลีประมาณ60 ล้านวลีลงในช่องว่างเวกเตอร์จากนั้นคำนวณความคล้ายคลึงโคไซน์ระหว่างพวกเขา ฉันใช้ sklearn CountVectorizerพร้อมกับฟังก์ชั่น tokenizer ที่สร้างขึ้นเองที่สร้าง unigrams และ bigrams ปรากฎว่าการได้รับการรับรองที่มีความหมายฉันต้องยอมให้มีคอลัมน์จำนวนมหาศาลเป็นเส้นตรงในจำนวนแถว สิ่งนี้นำไปสู่เมทริกซ์กระจัดกระจายอย่างไม่น่าเชื่อและกำลังฆ่าประสิทธิภาพ มันจะไม่เลวร้ายนักหากมีคอลัมน์ประมาณ 10,000 คอลัมน์เท่านั้นซึ่งฉันคิดว่าค่อนข้างสมเหตุสมผลสำหรับการจัดเรียงคำ ฉันกำลังคิดจะลองใช้งาน Google word2vecเพราะฉันค่อนข้างแน่ใจว่ามันจะสร้างมิติที่ต่ำกว่าและมีงานแต่งงานที่หนาแน่นมากขึ้น แต่ก่อนหน้านั้นมีงานแต่งงานอื่น ๆ ที่อาจรับประกันดูครั้งแรกหรือไม่? ข้อกำหนดที่สำคัญจะสามารถปรับขนาดได้ประมาณ 60 ล้านวลี (แถว) ฉันค่อนข้างใหม่ในด้านการใช้คำศัพท์เพื่อช่วยให้คำแนะนำใด ๆ ฉันควรเพิ่มว่าฉันใช้การสลายตัวของค่าเอกพจน์เพื่อปรับปรุงประสิทธิภาพแล้ว

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

ฉันเรียนรู้เกี่ยวกับการเลือกคุณสมบัติ ฉันเห็นได้ว่าทำไมมันถึงมีความสำคัญและมีประโยชน์สำหรับการสร้างแบบจำลอง แต่เรามาเน้นที่งานการเรียนรู้แบบแบ่งหมวดหมู่ เหตุใดการเลือกคุณสมบัติจึงสำคัญสำหรับงานจัดประเภท ฉันเห็นวรรณกรรมจำนวนมากที่เขียนเกี่ยวกับการเลือกคุณสมบัติและการใช้เพื่อการเรียนรู้แบบมีผู้ควบคุม แต่สิ่งนี้ทำให้ฉันสับสน การเลือกคุณสมบัติเป็นเรื่องเกี่ยวกับการระบุคุณสมบัติที่จะทิ้ง โดยสังเขปการทิ้งคุณสมบัติบางอย่างดูเหมือนว่าจะเอาชนะตนเองได้: กำลังทิ้งข้อมูล ดูเหมือนว่าการโยนข้อมูลไม่ควรช่วย และแม้ว่าการลบคุณลักษณะบางอย่างจะช่วยได้ถ้าเราทิ้งคุณสมบัติบางอย่างแล้วป้อนส่วนที่เหลือลงในอัลกอริทึมการเรียนรู้ภายใต้การดูแลทำไมเราต้องทำเช่นนั้นด้วยตัวเองแทนที่จะปล่อยให้อัลกอริทึมการเรียนรู้ภายใต้การดูแลจัดการ หากคุณลักษณะบางอย่างไม่เป็นประโยชน์ควรอัลกอริทึมการเรียนรู้แบบมีผู้สอนที่เหมาะสมไม่ควรค้นพบและเรียนรู้รูปแบบที่ไม่ใช้คุณลักษณะนั้น ดังนั้นโดยสังเขปฉันคาดหวังว่าการเลือกคุณสมบัติจะเป็นการออกกำลังกายที่ไม่มีจุดหมายที่ไม่เคยช่วยและบางครั้งก็เจ็บปวด แต่ความจริงที่ว่ามันถูกใช้อย่างกว้างขวางและเขียนเกี่ยวกับทำให้ฉันสงสัยว่าสัญชาตญาณของฉันเป็นความผิดพลาด ทุกคนสามารถให้สัญชาตญาณว่าทำไมการเลือกคุณสมบัตินั้นมีประโยชน์และสำคัญเมื่อทำการเรียนรู้แบบมีผู้สอน ทำไมมันถึงปรับปรุงประสิทธิภาพของการเรียนรู้ของเครื่อง? มันขึ้นอยู่กับลักษณนามที่ฉันใช้หรือไม่?

11 feature-selection  accuracy  regression-strategies 

ฉันต้องการตรวจสอบว่า collinearity เป็นปัญหาในการถดถอย OLS ของฉันหรือไม่ ฉันเข้าใจว่าปัจจัยเงินเฟ้อที่แปรปรวนและดัชนีเงื่อนไขเป็นมาตรการที่ใช้กันทั่วไปสองอย่าง แต่ฉันพบว่ามันยากที่จะหาสิ่งที่ชัดเจนเกี่ยวกับข้อดีของแต่ละวิธีหรือคะแนนที่ควรจะเป็น แหล่งข้อมูลที่โดดเด่นซึ่งระบุว่าวิธีการทำและ / หรือคะแนนใดที่เหมาะสมจะมีประโยชน์มาก คำถามที่คล้ายกันถูกถามที่"มีเหตุผลที่ต้องการวัดความหลากหลายของหลายระดับ?" แต่ฉันนึกคิดหลังจากการอ้างอิงที่ฉันสามารถอ้างอิง

11 multiple-regression  references  least-squares  multicollinearity  vif 

ฉันต้องคำนวณการประมาณความหนาแน่นเคอร์เนล 2d (kde) จากรายการพิกัดละติจูดและลองจิจูด แต่ละติจูดหนึ่งองศานั้นไม่ได้อยู่ในระยะเดียวกันกับลองจิจูดหนึ่งองศาซึ่งหมายความว่าเมล็ดของแต่ละบุคคลจะเป็นรูปวงรีโดยเฉพาะยิ่งไปกว่านั้นจุดนั้นมาจากเส้นศูนย์สูตร ในกรณีของฉันคะแนนทั้งหมดอยู่ใกล้กันพอที่จะเปลี่ยนเป็นโลกเรียบไม่ควรทำให้เกิดปัญหามากมาย อย่างไรก็ตามฉันยังสงสัยว่าควรจัดการอย่างเหมาะสมอย่างไรในกรณีที่ไม่เป็นจริง

11 spatial  kernel-smoothing  geostatistics  geography 

สมมติว่าฉันต้องการเรียนรู้ลักษณนามที่ใช้เวกเตอร์ของตัวเลขเป็นอินพุตและให้เลเบลของคลาสเป็นเอาต์พุต ข้อมูลการฝึกอบรมของฉันประกอบด้วยคู่ของอินพุตและเอาท์พุตจำนวนมาก อย่างไรก็ตามเมื่อฉันมาทดสอบข้อมูลใหม่บางอย่างข้อมูลนี้จะสมบูรณ์เพียงบางส่วนเท่านั้น ตัวอย่างเช่นถ้าเวกเตอร์การป้อนข้อมูลมีความยาว 100 อาจมีเพียง 30 องค์ประกอบเท่านั้นที่จะได้รับค่า เป็นตัวอย่างของสิ่งนี้พิจารณาการรู้จำภาพเมื่อเป็นที่ทราบกันว่าส่วนหนึ่งของภาพนั้นถูกบดบัง หรือพิจารณาการจัดประเภทในแง่ทั่วไปที่ทราบว่าส่วนหนึ่งของข้อมูลเสียหาย ในทุกกรณีฉันรู้ว่าองค์ประกอบใดในเวกเตอร์ข้อมูลคือส่วนที่ไม่รู้จัก ฉันสงสัยว่าฉันจะเรียนรู้ลักษณนามที่จะทำงานกับข้อมูลประเภทนี้ได้อย่างไร ฉันสามารถตั้งค่าองค์ประกอบที่ "ไม่รู้จัก" เป็นตัวเลขสุ่ม แต่เนื่องจากมีองค์ประกอบที่ไม่รู้จักมากกว่าที่รู้จักบ่อยครั้งสิ่งนี้ไม่ได้ดูเหมือนโซลูชันที่ดี หรือฉันสามารถเปลี่ยนองค์ประกอบในข้อมูลการฝึกอบรมเป็น "ไม่ทราบ" และฝึกอบรมกับสิ่งเหล่านี้แทนที่จะเป็นข้อมูลที่สมบูรณ์ แต่อาจต้องมีการสุ่มตัวอย่างแบบละเอียดขององค์ประกอบที่รู้จักและไม่รู้จักทั้งหมด โดยเฉพาะอย่างยิ่งฉันกำลังคิดเกี่ยวกับโครงข่ายประสาท ความคิดใด ๆ ขอบคุณ!

11 machine-learning  classification  neural-networks  deep-learning 

ฉันกำลังอ่านบทความที่มีวิธีการทดสอบอย่างเต็มรูปแบบตามอัตราส่วนความน่าจะเป็น ผู้เขียนกล่าวว่าการทดสอบ LR กับทางเลือกด้านเดียวคือ UMP เขาดำเนินการโดยอ้างว่า "... ถึงแม้จะไม่สามารถแสดงให้เห็นว่ามีประสิทธิภาพมากที่สุด แต่การทดสอบ LR มักจะมีคุณสมบัติทางสถิติที่น่าพอใจ ฉันสงสัยว่าคุณสมบัติทางสถิติมีความหมายที่นี่ เนื่องจากผู้เขียนอ้างถึงคนที่ผ่านไปฉันถือว่าพวกเขาเป็นความรู้ทั่วไปในหมู่นักสถิติ คุณสมบัติที่พึงประสงค์เพียงอย่างเดียวที่ฉันสามารถหาได้คือการกระจายแบบไคม์สแควร์ asymptotic ของ (ภายใต้เงื่อนไขปกติ) โดยที่เป็นอัตราส่วน LR−2logλ−2log⁡λ-2 \log \lambdaλλ\lambda ฉันจะขอบคุณสำหรับการอ้างอิงถึงข้อความคลาสสิกที่หนึ่งสามารถอ่านเกี่ยวกับคุณสมบัติที่ต้องการ

11 hypothesis-testing  power-analysis  power  likelihood-ratio  neyman-pearson-lemma 

เมื่อกำหนดสูตรสำหรับการประมาณค่าพารามิเตอร์ของ MAP เหตุใดจึงต้องใช้วิธีการ MCMC (หรือคล้ายกัน) ฉันไม่สามารถใช้อนุพันธ์ตั้งค่าเป็นศูนย์แล้วแก้หาพารามิเตอร์ได้หรือไม่

11 bayesian  estimation  mcmc 

ฉันใช้กระบวนการ Gaussian (GP) สำหรับการถดถอย ในปัญหาของฉันมันเป็นเรื่องธรรมดาสำหรับจุดข้อมูลสองจุดหรือมากกว่าx⃗ ( 1 ), x⃗ ( 2 ), ...x→(1),x→(2),...\vec{x}^{(1)},\vec{x}^{(2)},\ldotsเพื่อให้ใกล้ชิดกันมากกว่าความยาวของปัญหา นอกจากนี้การสังเกตอาจมีเสียงดังมาก เพื่อเพิ่มความเร็วในการคำนวณและปรับปรุงความแม่นยำในการวัดดูเหมือนว่าเป็นธรรมชาติที่จะรวม / รวมกลุ่มของจุดที่อยู่ใกล้กันตราบใดที่ฉันสนใจการคาดการณ์ในระดับความยาวที่มากขึ้น ฉันสงสัยว่าอะไรคือวิธีที่รวดเร็ว แต่มีหลักการครึ่งหนึ่งในการทำสิ่งนี้ ถ้าสองจุดข้อมูลที่ดีที่สุดที่ทับซ้อนกันและเสียงการสังเกต (เช่นความน่าจะเป็น) เป็น Gaussian อาจ heteroskedastic แต่ที่รู้จักกัน , วิธีธรรมชาติของการดำเนินการต่อดูเหมือนจะรวมไว้ในจุดข้อมูลเดียวด้วย:x⃗ ( 1 )= x⃗ ( 2 )x→(1)=x→(2)\vec{x}^{(1)} = \vec{x}^{(2)} x¯⃗ ≡ x⃗ ( k )x¯→≡x→(k)\vec{\bar{x}} \equiv \vec{x}^{(k)}สำหรับkk = 1 , 2k=1,2k=1,2 ค่าที่สังเกตซึ่งเป็นค่าเฉลี่ยของค่าที่สังเกตได้ถ่วงน้ำหนักด้วยความแม่นยำสัมพัทธ์:{(2)} …

11 regression  machine-learning  gaussian-process