สถิติและข้อมูลขนาดใหญ่

ฉันมีปัญหาในการทำความเข้าใจโมเดลอัลกอริทึมของ Word2Vec ในกระเป๋าของคำอย่างต่อเนื่องเป็นเรื่องง่ายที่จะเห็นว่าคำบริบทสามารถ "พอดี" ในเครือข่ายประสาทเนื่องจากคุณโดยเฉลี่ยพวกเขาหลังจากที่คูณการเป็นตัวแทนการเข้ารหัสหนึ่งร้อนด้วยเมทริกซ์อินพุต W. อย่างไรก็ตามในกรณีของ skip-gram คุณจะได้รับเวกเตอร์คำอินพุตโดยการคูณการเข้ารหัสแบบร้อนกับเมทริกซ์อินพุตและจากนั้นคุณควรจะได้เวกเตอร์ C (= ขนาดหน้าต่าง) สำหรับคำบริบทโดยการคูณ การแทนค่าเวกเตอร์อินพุทด้วยเมทริกซ์เอาต์พุต W ' สิ่งที่ฉันหมายถึงคือการมีคำศัพท์ขนาดและการเข้ารหัสขนาด ,อินพุตเมทริกซ์และเป็นเมทริกซ์เอาต์พุต ให้คำว่าด้วยการเข้ารหัสหนึ่งร้อนด้วยคำบริบทและ (กับ reps หนึ่งร้อนและ ) ถ้าคุณคูณด้วยเมทริกซ์อินพุตคุณจะได้รับตอนนี้คุณจะสร้างเวกเตอร์คะแนนจากสิ่งนี้ได้อย่างไรN W ∈ R V × N W ' ∈ R N × V W ฉันx ฉันW J W H x J x H x ฉัน W …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

เมื่อพูดถึงต้นไม้ตัดสินใจค่าที่ทำนายได้จะอยู่นอกขอบเขตของข้อมูลการฝึกอบรมหรือไม่? ตัวอย่างเช่นหากช่วงชุดข้อมูลการฝึกอบรมของตัวแปรเป้าหมายคือ 0-100 เมื่อฉันสร้างแบบจำลองของฉันและนำไปใช้กับสิ่งอื่นค่าของฉันจะเป็น -5 หรือไม่ หรือ 150 เนื่องจากความเข้าใจของฉันเกี่ยวกับการตัดสินใจต้นไม้ถดถอยก็ยังคงเป็นกฎพื้นฐาน - ความก้าวหน้าทางซ้าย / ขวาและที่ด้านล่างของต้นไม้ในชุดฝึกอบรมไม่สามารถมองเห็นคุณค่านอกช่วงที่กำหนดได้มันจะไม่สามารถทำได้ ทำนายมันได้หรือ

11 regression  predictive-models  random-forest  cart 

จะถือว่าเป็นกรณีที่เหมาะที่โครงสร้างความน่าจะเป็นพื้นฐานที่เป็นที่รู้จักกันอย่างสมบูรณ์แบบหมวดหมู่ เหตุใดจึงใช้ตัวจําแนกเบส์เพื่อให้ได้ประสิทธิภาพที่ดีที่สุดที่สามารถทำได้ หลักฐาน / คำอธิบายอย่างเป็นทางการสำหรับสิ่งนี้คืออะไร? เนื่องจากเราใช้ตัวจําแนกเบส์เป็นเกณฑ์มาตรฐานเพื่อเปรียบเทียบประสิทธิภาพของตัวจําแนกอื่น ๆ ทั้งหมด

11 probability  classification  bayesian  bayes 

ฉันกำลังพยายามสร้างตัวตรวจจับวัตถุที่เกิดขึ้นน้อยมาก (ในภาพ) วางแผนที่จะใช้ตัวแยกประเภทไบนารี CNN ที่ใช้ในหน้าต่างแบบเลื่อน / ปรับขนาด ฉันได้สร้างชุดการฝึกอบรมและการทดสอบเชิงลบ 1: 1 ที่สมดุล (เป็นสิ่งที่ถูกต้องหรือไม่ที่จะทำในกรณีเช่นนี้ btw?) และตัวจําแนกทำดีในชุดทดสอบในแง่ของความถูกต้อง ตอนนี้ฉันต้องการควบคุมการจำ / ความแม่นยำของตัวจําแนกของฉันดังนั้นตัวอย่างเช่นมันจะไม่ติดฉลากผิดที่เกิดขึ้นในชั้นเรียนส่วนใหญ่มากเกินไป วิธีแก้ปัญหาที่ชัดเจน (สำหรับฉัน) คือการใช้การสูญเสียแบบโลจิสติกส์เดียวกันซึ่งตอนนี้ใช้ แต่ข้อผิดพลาดน้ำหนักประเภท I และ Type II แตกต่างกันโดยการคูณการสูญเสียในหนึ่งในสองกรณีในค่าคงที่บางอย่างซึ่งสามารถปรับได้ ถูกต้องหรือไม่ ป.ล. ในความคิดที่สองนี่เทียบเท่ากับการยกน้ำหนักตัวอย่างการฝึกอบรมมากกว่าตัวอย่างอื่น เพียงแค่เพิ่มคลาสที่มากกว่าหนึ่งชั้นจะทำให้ฉันคิดว่าเหมือนกัน

11 logistic  classification  unbalanced-classes  loss-functions 

ฉันต้องการอัลกอริทึมเพื่อทำการค้นหาแบบไบนารีเมื่อการทดสอบในแต่ละขั้นตอนอาจให้ผลที่ผิด พื้นหลัง: ฉันต้องการให้นักเรียนอยู่ในระดับที่ยากที่สุด 12 ระดับ วิธีการในปัจจุบันเป็นสัตว์เดรัจฉานและถามคำถามแบบเลือกตอบ 60 ข้อที่มี 4 ข้อเพื่อเพิ่มความยากหยุดหลังจากผิดสามข้อและทำให้นักเรียนอยู่ในระดับ: floor((score - 1) / 5) + 1อย่างน้อย 1 เรากังวลว่าลูกค้าจะปิดเมื่อพวกเขาเผชิญกับการทดสอบคำถามถึง 60 คำถามก่อนที่พวกเขาจะสามารถใช้โปรแกรมได้จริงดังนั้นเราจึงต้องการลดจำนวนคำถามที่ถามในการทดสอบ นอกจากนี้เรายังเป็นห่วงว่าลูกค้าจะข้ามการทดสอบวัดระดับ (เพราะมันใช้เวลานาน) แล้วละทิ้งโปรแกรมไปเพราะมันดูเหมือนง่ายเกินไป ค่าเฉลี่ยของการจัดตำแหน่งนั้นอยู่ที่ระดับ 2 ดังนั้นคะแนนนักเรียน + 50 +% <11 (เช่นคำตอบ <14 คำถาม) โดยทั่วไปอาจเป็นเพราะพวกเขารู้สึกเบื่อและหยุดคำถามอย่างจริงจัง (เป็นเด็ก) โซลูชันที่เสนอ: ใช้การทดสอบเป็นการค้นหาแบบไบนารี่มากกว่าสิบสองรายการเริ่มต้นด้วยคำถามที่ระดับความยากลำบาก 6/7 และดำเนินการตามว่าพวกเขาได้รับคำถามถูกหรือผิด ในทางทฤษฎีสิ่งนี้สามารถค้นหาระดับความยากที่เหมาะสมสำหรับคำถาม 3-4 ข้อ ปัญหา: ในขณะที่คุณอาจเดาได้จากการทดสอบที่มีอยู่สิ้นสุดเพียงหลังจากสามคำตอบที่ผิดและใช้ 60 คำถามเพื่อเลือกระหว่าง 12 ระดับเราต้องการให้ค่าเผื่อสำหรับนักเรียน fluking …

11 algorithms 

พื้นหลังของการศึกษาของฉัน : ในการสุ่มตัวอย่างกิ๊บส์เมื่อเราสุ่มตัวอย่าง (ตัวแปรที่สนใจ) และจากและตามลำดับโดยที่และเป็นเวกเตอร์สุ่มมิติ เรารู้ว่ากระบวนการนั้นมักจะแบ่งออกเป็นสองขั้นตอน:XXXYYYP(X|Y)P(X|Y)P(X|Y)P(Y|X)P(Y|X)P(Y|X)XXXYYYkkk ระยะเวลาการเผาไหม้ที่เราทิ้งตัวอย่างทั้งหมด แสดงว่ากลุ่มตัวอย่างเป็นและY_tX1∼XtX1∼XtX_1\sim X_tY1∼YtY1∼YtY_1\sim Y_t "After-Burn-in" ประจำเดือนซึ่งเราทำการหาค่าเฉลี่ยตัวอย่างเป็นผลลัพธ์สุดท้ายที่เราต้องการX¯=1k∑ki=1Xt+iX¯=1k∑i=1kXt+i\bar{X} = \frac{1}{k}\sum_{i=1}^k X_{t+i} อย่างไรก็ตามตัวอย่างในลำดับ "after-burn-in"ไม่ได้ถูกแจกจ่ายอย่างอิสระ ดังนั้นหากฉันต้องการตรวจสอบความแปรปรวนของผลลัพธ์สุดท้ายมันก็จะกลายเป็นXt+1∼Xt+kXt+1∼Xt+kX_{t+1}\sim X_{t+k} Var[X¯]=Var[∑i=1kXt+i]=1k2(∑i=1kVar[Xt+i]+∑i=1k−1∑j=i+1kCov[Xt+i,Xt+j])Var⁡[X¯]=Var⁡[∑i=1kXt+i]=1k2(∑i=1kVar⁡[Xt+i]+∑i=1k−1∑j=i+1kCov⁡[Xt+i,Xt+j])\operatorname{Var}[\bar{X}] = \operatorname{Var}\left[\sum_{i=1}^k X_{t+i}\right] = \frac{1}{k^2}\left(\sum_{i=1}^k\operatorname{Var}[X_{t+i}] + \sum_{i=1}^{k-1} \sum_{j=i+1}^k \operatorname{Cov}[X_{t+i},X_{t+j}]\right) ที่นี่มีคำCov[ Xt + i, Xt + j]Cov⁡[Xt+i,Xt+j]\operatorname{Cov}[X_{t+i},X_{t+j}]เป็นk × kk×kk\times kข้ามแปรปรวนเมทริกซ์ใช้กับใด ๆ( i , j )(i,j)(i,j)กับฉัน&lt; ji&lt;ji<j&lt;J ตัวอย่างเช่นฉันมี Xt + 1= ( …

11 hypothesis-testing  covariance  covariance-matrix  gibbs 

คำถาม:การกระจายตัวแบบทวินามแบบไบวาเรียมีลักษณะอย่างไรในอวกาศ 3 มิติ ด้านล่างเป็นฟังก์ชั่นเฉพาะที่ฉันต้องการเห็นภาพสำหรับค่าต่างๆของพารามิเตอร์ คือ , หน้า1และหน้า 2nnnp1p1p_{1}p2p2p_{2} f(x1,x2)=n!x1!x2!px11px22,x1+x2=n,p1+p2=1.f(x1,x2)=n!x1!x2!p1x1p2x2,x1+x2=n,p1+p2=1.f(x_{1},x_{2}) = \frac{n!}{x_{1}!x_{2}!}p_{1}^{x_{1}}p_{2}^{x_{2}}, \qquad x_{1}+x_{2}=n, \quad p_{1}+p_{2}=1. สังเกตว่ามีข้อ จำกัด สองประการ และP 1 + P 2 = 1 นอกจากนี้nเป็นจำนวนเต็มบวกพูด, 5x1+x2=nx1+x2=nx_{1}+x_{2}=np1+p2=1p1+p2=1p_{1}+p_{2}=1nnn555 มีความพยายามสองครั้งในการพล็อตฟังก์ชันโดยใช้ LaTeX (TikZ / PGFPLOTS) ในการทำเช่นนี้ฉันจะได้รับกราฟด้านล่างสำหรับค่าต่อไปนี้: , p 1 = 0.1และp 2 = 0.9และ, n = 5 , p 1 = 0.4และp 2 …

11 probability  data-visualization  binomial  discrete-data  distributions 

ฉันมีแอพที่ได้รับการปกป้องด้วยรหัสสี่หลักและผู้ใช้มีห้าครั้งในการเข้าสู่ระบบก่อนที่บัญชีจะถูกล็อค ตอนนี้ลูกค้ารายหนึ่งของฉันต้องการ "เสริมสร้าง" ความปลอดภัยและสนับสนุนวิธีแก้ไขปัญหาอื่น: หกหลัก PIN ไม่ "ตัวเลขเดียวกันถัดจากกันและกัน": เช่น: 11 3945 หรือ 39 55 94 ไม่ "หมายเลขที่ทำงานสาม": เช่น: 123 654 หรือ 53 789 3 ตอนนี้สำหรับคำถาม: โซลูชันใดแข็งแกร่งที่สุด ฉันสามารถคำนวณตัวเลขสี่หลักได้ง่าย แต่ฉันจะคำนวณอีกหลักได้อย่างไร ขอบคุณ! ปรับปรุง คุณได้สิ่งที่คุณขอโดยเฉพาะอย่างยิ่งเมื่อทำงานกับคณิตศาสตร์ :) สิ่งที่ฉันขอคือจำนวนชุดค่าผสมสำหรับลำดับเลขทั้งสอง การอ่านคำตอบและความคิดเห็นมันชัดเจนสำหรับฉันว่ามันไม่สำคัญ หากคุณมีการเดา 5 ครั้งมันไม่สำคัญว่าคุณจะมี 10.000 หรือ ~ 800.000 ให้เลือก สำคัญกว่านั้นคือการพิจารณา 1234 และวันเกิด ในสถานการณ์ของฉันฉันมีวันเกิดจริงของผู้ใช้ดังนั้นฉันจึงมีบางสิ่งที่ต้องตรวจสอบ ขอบคุณสำหรับการสนทนาที่ยอดเยี่ยม!

11 combinatorics 

ไฮเปอร์เพลนที่ดีที่สุดใน SVM ถูกกำหนดเป็น: w⋅x+b=0,w⋅x+b=0,\mathbf w \cdot \mathbf x+b=0, โดยที่หมายถึงขีด จำกัด หากเรามีการแมปซึ่งแมปพื้นที่อินพุตกับบางพื้นที่เราสามารถกำหนด SVM ในช่องว่างโดยที่ hiperplane ที่ดีที่สุดจะเป็น:ϕ Z Zbbbϕϕ\mathbf \phiZZZZZZ w⋅ϕ(x)+b=0.w⋅ϕ(x)+b=0.\mathbf w \cdot \mathbf \phi(\mathbf x)+b=0. อย่างไรก็ตามเราสามารถกำหนดการแมปเพื่อให้ ,แล้ว hiperplane ที่ดีที่สุดจะถูกกำหนดเป็น ϕ 0 ( x ) = 1 ∀ x w ⋅ ϕ ( x ) = 0ϕϕ\phiϕ0(x)=1ϕ0(x)=1\phi_0(\mathbf x)=1∀x∀x\forall \mathbf xw⋅ϕ(x)=0.w⋅ϕ(x)=0.\mathbf w \cdot …

11 svm  threshold 

ดังนั้นเราจึงมี Secret Santa ในที่ทำงาน เรา 8 คน เราแต่ละคนผลัดกันดึงกระดาษชิ้นเล็ก ๆ จากชามที่มีชื่ออยู่ กฎข้อเดียว: ถ้าคุณดึงชื่อของคุณคุณต้องใส่กระดาษกลับเข้าไปในชามแล้วลองอีกครั้ง ลองเรียกคน A, B, C, D, E, F, G, H ซึ่งเป็นลำดับที่พวกเขาหยิบกระดาษ เมื่อคืนเราแลกเปลี่ยนของขวัญกัน ซานต้าเป็นความลับของเอฟ B คือซานต้าที่เป็นความลับของ E C เป็นซานต้าที่เป็นความลับ D คือซานต้าที่เป็นความลับของซี E เป็นซานต้าที่เป็นความลับของ B F เป็นซานต้าที่เป็นความลับของ A ซานต้าเป็นความลับของเอช H คือซานต้าลับของ G ดูว่าเกิดอะไรขึ้น เราสร้างคู่รัก A และ F เป็นซานต้าที่เป็นความลับของกันและกัน B และ E …

11 combinatorics  odds 

ฉันมักจะอ่านคำว่าปฏิสัมพันธ์ในบริบทของการถดถอย เราควรพิจารณาปฏิสัมพันธ์กับรุ่นอื่นเช่น knn หรือ svm หรือไม่ หากมีฟีเจอร์ , 100หรือมากกว่าและปล่อยให้การสังเกต1,000ครั้งเป็นวิธีปกติในการค้นหาการโต้ตอบที่มีประโยชน์ ลองชุดค่าผสมทั้งหมดหรือไม่ หรือใช้เฉพาะชุดค่าผสมที่เหมาะสม505050100100100100010001000

11 machine-learning  interaction  terminology 

ฉันตั้งใจอ่านบทความ (ทางเศรษฐศาสตร์) ซึ่งมีการประมาณต่อไปนี้:เข้าสู่ระบบ( E( X) )เข้าสู่ระบบ⁡(E(X))\log(E(X)) เข้าสู่ระบบ( E( X) ) ≈ E( บันทึก( X) ) + 0.5 v a r ( บันทึก( X) )เข้าสู่ระบบ⁡(E(X))≈E(เข้าสู่ระบบ⁡(X))+0.5โวลต์aR(เข้าสู่ระบบ⁡(X))\log(E(X)) \approx E(\log(X))+0.5 \mathrm{var}(\log(X)) , ซึ่งผู้เขียนบอกว่าแน่นอนถ้า X เป็นบันทึกปกติ (ซึ่งฉันรู้) สิ่งที่ฉันไม่รู้คือวิธีการประมาณนี้ ฉันพยายามคำนวณลำดับที่สองโดยประมาณของ Taylor และสิ่งที่ฉันคิดไว้คือนิพจน์นี้: เข้าสู่ระบบ( E( X) ) ≈ E( บันทึก( X) ) + 0.5 v a r …

11 lognormal  approximation  taylor-series 

ต่อไปนี้เป็นข้อความที่ตัดตอนมาจาก Bolstad ของรู้เบื้องต้นเกี่ยวกับคชกรรมสถิติ สำหรับสิ่งที่คุณผู้เชี่ยวชาญออกมีนี้อาจจะมีเล็ก ๆ น้อย ๆ แต่ผมไม่เข้าใจว่าผู้เขียนสรุปว่าเราไม่ต้องทำใด ๆ รวมในการคำนวณความน่าจะเป็นหลังมูลค่าของบาง\ผมเข้าใจการแสดงออกที่สองซึ่งเป็นสัดส่วนและสถานที่ที่เงื่อนไขทั้งหมดมาจาก ( โอกาส x ก่อน) นอกจากนี้ฉันเข้าใจว่าเราไม่ต้องกังวลเกี่ยวกับตัวส่วนเนื่องจากตัวเศษมีสัดส่วนโดยตรง แต่ย้ายไปยังสมการที่สามเราไม่ลืมเกี่ยวกับตัวส่วนของกฎเบย์ มันไปไหน และค่าที่คำนวณโดยฟังก์ชันแกมม่านั้นไม่ใช่ค่าคงที่ใช่หรือไม่ ค่าคงที่ไม่ได้ยกเลิกในทฤษฎีบทเบย์หรือไม่ππ\pi

11 distributions  bayesian  beta-distribution  conjugate-prior 

ดูเหมือนว่าจะมีบางอย่างในความเข้าใจของมนุษย์ของเราที่สร้างความยากลำบากในการเข้าใจความแปรปรวน ในความหมายที่แคบคำตอบคือทันที: การยกกำลังสองทำให้เราหลุดพ้นจากความเข้าใจที่สะท้อนกลับของเรา แต่มันเป็นเพียงความแปรปรวนที่นำเสนอปัญหาหรือเป็นความคิดทั้งหมดของการแพร่กระจายในข้อมูลหรือไม่ เราขอความคุ้มครองในช่วงหรือเพียงแค่ระบุค่าต่ำสุดและค่าสูงสุด แต่เราเพียงแค่หลีกเลี่ยงความยากลำบากจริงหรือ ในความหมาย (โหมดหรือค่ามัธยฐาน) เราพบศูนย์กลางการสรุป ... การทำให้เข้าใจง่าย ความแปรปรวนกระจายไปรอบ ๆ และทำให้พวกเขาอึดอัด มนุษย์ดึกดำบรรพ์จะใช้ประโยชน์จากค่าเฉลี่ยในการล่าสัตว์โดยการใช้รูปสามเหลี่ยมกับการสวดอ้อนวอน แต่ฉันคิดว่ามันช้ากว่ามากที่เรารู้สึกถึงความจำเป็นในการหาปริมาณการแพร่กระจายของสิ่งต่าง ๆ ในความเป็นจริงคำแปรปรวนเป็นครั้งแรกโดย Ronald Fisher เมื่อเร็ว ๆ นี้ในปี 1918ในกระดาษ "ความสัมพันธ์ระหว่างญาติในการสนับสนุนของการถ่ายทอดทางพันธุกรรม Mendelian" คนส่วนใหญ่ที่ติดตามข่าวจะได้ยินเรื่องราวของคำพูดที่โชคร้ายของLarry Summers เกี่ยวกับความถนัดทางคณิตศาสตร์ตามเพศซึ่งอาจเกี่ยวข้องกับการจากไปของเขาจากฮาร์วาร์ด โดยสรุปแล้วเขาเสนอความแปรปรวนที่กว้างขึ้นในการกระจายความสามารถทางคณิตศาสตร์ในเพศชายเมื่อเทียบกับเพศหญิงแม้ว่าเพศทั้งสองจะมีค่าเฉลี่ยเท่ากัน โดยไม่คำนึงถึงความเหมาะสมหรือผลกระทบทางการเมืองนี้ดูเหมือนว่าจะได้รับการพิสูจน์ในทางวิทยาศาสตร์ ที่สำคัญกว่านั้นบางทีความเข้าใจในประเด็นต่าง ๆ เช่นการเปลี่ยนแปลงสภาพภูมิอากาศ - โปรดยกโทษให้ฉันเมื่อนำหัวข้อที่อาจนำไปสู่การอภิปรายที่ไม่มีเหตุผลสำหรับการอภิปรายโดยประชาชนทั่วไปอาจได้รับความช่วยเหลือจากความคุ้นเคยที่ดีขึ้นกับแนวคิดเรื่องความแปรปรวน ปัญหาที่ได้รับการประกอบเมื่อเราพยายามที่จะเข้าใจความแปรปรวนดังแสดงในโพสต์นี้เนื้อเรื่องที่ดีและคำตอบที่มีสีสันโดย @whuber ที่นี่ มันอาจจะดึงดูดการยกเลิกคำถามนี้ทั่วไปเกินไป แต่ก็เป็นที่ชัดเจนว่าเราจะคุยทางอ้อมเช่นเดียวกับในโพสต์นี้ที่คณิตศาสตร์เล็กน้อย แต่แนวคิดช่วยในการเป็นที่เข้าใจยาก belying การยอมรับสะดวกสบายมากขึ้นของช่วงเป็น ตรงข้ามกับความแปรปรวนของแนวคิดที่เหมาะสมยิ่งขึ้น ในจดหมายจากฟิชเชอร์ถึง EBFordซึ่งอ้างถึงการโต้เถียงเกี่ยวกับความสงสัยของเขาเกี่ยวกับการทดลองของ Mendelian เราอ่านว่า: "ตอนนี้เมื่อข้อมูลมีการแกล้งฉันรู้ดีว่าคนทั่วไปประเมินความถี่ของการเบี่ยงเบนโอกาสน้อยเกินไป …

11 variance  dispersion 

ฉันกำลังมองหาแหล่งข้อมูล (หนังสือบันทึกการบรรยายและอื่น ๆ ) เกี่ยวกับเทคนิคที่สามารถจัดการข้อมูลที่มีเป้าหมายหลายอย่าง (เช่นตัวแปรตามสามตัว: 2 แยกและ 1 ต่อเนื่อง) ใครบ้างมีทรัพยากร / ความรู้เกี่ยวกับเรื่องนี้? ฉันรู้ว่ามันเป็นไปได้ที่จะใช้โครงข่ายประสาทเทียมสำหรับสิ่งนี้

11 regression  machine-learning  predictive-models  references