สถิติและข้อมูลขนาดใหญ่

ฉันพยายามที่จะเข้าใจว่ามาร์คอฟโซ่มอนติคาร์โล (MCMC) มาจากหน้าวิกิพีเดียภาษาฝรั่งเศส พวกเขาบอกว่า"วิธีการมาร์คอฟโซ่มอนติคาร์โลประกอบด้วยการสร้างเวกเตอร์xixix_ {i}จากข้อมูลเวกเตอร์xi−1xi−1x_ {i-1}เท่านั้นจึงเป็นกระบวนการ" ไม่มีหน่วยความจำ "" Les Méthodesเดอมอนติคาร์โล chaines ที่ตราไว้หุ้นเดมาร์คอฟที่สอดคล้องgénérerยกเลิก vecteur xixix_{i} uniquement à partir de la Donnee du vecteur xi−1xi−1x_{{i-1}} ; c'est donc un processus « sans mémoire», ผมไม่เข้าใจว่าทำไมพวกเขากล่าวว่า MCMC เป็น"โดยไม่มีความทรงจำ"เท่าที่เราจะใช้ข้อมูลจากข้อมูลเวกเตอร์xi−1xi−1x_ {i-1}เพื่อสร้างxixix_iฉัน

18 mcmc 

ฉันอยู่เกรด 10 และฉันต้องการจำลองข้อมูลสำหรับโครงงานวิทยาศาสตร์การเรียนรู้ของเครื่อง ตัวแบบสุดท้ายจะใช้กับข้อมูลผู้ป่วยและจะทำนายความสัมพันธ์ระหว่างช่วงเวลาของสัปดาห์และผลกระทบที่มีต่อการรับประทานยาอย่างสม่ำเสมอภายในข้อมูลของผู้ป่วยรายเดียว ค่าการยึดมั่นจะเป็นเลขฐานสอง (0 หมายถึงพวกเขาไม่ได้ทานยา 1 หมายถึงพวกเขา) ฉันกำลังมองหาที่จะสร้างรูปแบบการเรียนรู้ของเครื่องซึ่งสามารถเรียนรู้จากความสัมพันธ์ระหว่างเวลาของสัปดาห์และแยกสัปดาห์ออกเป็นช่วงเวลา 21 ช่วงเวลาสามสัปดาห์ในแต่ละวัน (1 คือเช้าวันจันทร์ 2 วันจันทร์เป็นวันจันทร์ ฯลฯ ) ฉันต้องการจำลองข้อมูลผู้ป่วย 1,000 ราย ผู้ป่วยแต่ละรายจะมีข้อมูล 30 สัปดาห์ ฉันต้องการแทรกแนวโน้มบางอย่างที่เกี่ยวข้องกับช่วงเวลาหนึ่งสัปดาห์และยึดมั่น ตัวอย่างเช่น, ในชุดข้อมูลเดียวฉันอาจพูดได้ว่าช่วงเวลา 7 ของสัปดาห์มีความสัมพันธ์อย่างมีนัยสำคัญทางสถิติกับการยึดมั่น เพื่อให้ฉันตัดสินใจได้ว่าความสัมพันธ์นั้นมีนัยสำคัญทางสถิติหรือไม่ฉันต้องทำการทดสอบสองตัวอย่าง t-test เปรียบเทียบหนึ่งช่วงเวลากับแต่ละช่วงเวลาอื่น ๆ และให้แน่ใจว่าค่านัยสำคัญน้อยกว่า 0.05 อย่างไรก็ตามแทนที่จะเลียนแบบข้อมูลของฉันเองและตรวจสอบว่าแนวโน้มที่ฉันแทรกมีความสำคัญหรือไม่ฉันจะทำงานไปข้างหลังและอาจใช้โปรแกรมที่ฉันสามารถขอให้กำหนดช่วงเวลาหนึ่งให้กับแนวโน้มที่สำคัญด้วยการยึดมั่นและจะกลับมา ข้อมูลเลขฐานสองที่บรรจุอยู่ในแนวโน้มที่ฉันขอและยังเป็นข้อมูลไบนารีสำหรับช่วงเวลาอื่น ๆ ที่มีเสียงดังบ้าง แต่ไม่ได้สร้างแนวโน้มที่มีนัยสำคัญทางสถิติ มีโปรแกรมใดบ้างที่สามารถช่วยให้ฉันประสบความสำเร็จเช่นนี้ หรือบางทีโมดูลหลาม? ความช่วยเหลือใด ๆ (แม้ความคิดเห็นทั่วไปในโครงการของฉัน) จะได้รับการชื่นชมอย่างมาก !!

18 machine-learning  statistical-significance  t-test  python  simulation 

การกระจายตัวแบบปกติมาบรรจบกับการแจกแจงบางอย่างหรือไม่หากการเบี่ยงเบนมาตรฐานเติบโตโดยไม่มีขอบเขต? มันจะปรากฏขึ้นกับผมว่าไฟล์ PDF เริ่มต้นมองเช่นการกระจายชุดที่มีขอบเขตที่กำหนดโดยซิก] มันเป็นเรื่องจริงเหรอ?[−2σ,2σ][−2σ,2σ][-2 \sigma, 2 \sigma]

18 normal-distribution  convergence 

ในสูตรของเบย์: P(x|a)=P(a|x)P(x)P(a)P(x|a)=P(a|x)P(x)P(a)P(x|a) = \frac{P(a|x) P(x)}{P(a)} ความน่าจะเป็นหลังที่P(x|a)P(x|a)P(x|a)เกิน 1 ได้หรือไม่? ฉันคิดว่ามันเป็นไปได้ถ้ายกตัวอย่างเช่นสมมติว่า0&lt;P(a)&lt;10&lt;P(a)&lt;10 < P(a) < 1และP(a)&lt;P(x)&lt;1P(a)&lt;P(x)&lt;1P(a) < P(x) < 1และP(a)/P(x)&lt;P(a|x)&lt;1P(a)/P(x)&lt;P(a|x)&lt;1P(a)/P(x) < P(a|x) < 1 1 แต่ฉันไม่แน่ใจเกี่ยวกับเรื่องนี้เพราะความน่าจะเป็นที่จะมีค่ามากกว่าหนึ่งหมายความว่าอย่างไร

18 probability  bayesian  conditional-probability 

ฉันมีตัวแปรผลลัพธ์ไบนารี {0,1} และตัวแปรตัวทำนาย {0,1} ความคิดของฉันคือว่ามันไม่สมเหตุสมผลที่จะทำเรื่องโลจิสติกส์ยกเว้นว่าฉันรวมตัวแปรอื่น ๆ และคำนวณอัตราต่อรอง ด้วยตัวทำนายไบนารีหนึ่งจะไม่คำนวณอัตราส่วนความน่าจะเป็นที่พอเพียงเทียบกับอัตราต่อรองหรือไม่

18 r  regression  probability  logistic  odds-ratio 

เมื่อถูกคำว่า "อคติ" ประกาศเกียรติคุณหมายถึง ?E [ θ^- θ ]E[θ^-θ]\mathbb{E}[\hat{\theta}-\theta] เหตุผลที่ฉันกำลังคิดเกี่ยวกับเรื่องนี้ในตอนนี้ก็เพราะฉันดูเหมือนจะจำ Jaynes ในข้อความทฤษฎีความน่าจะเป็นของเขาวิจารณ์การใช้คำว่า "อคติ" ที่ใช้ในการอธิบายสูตรนี้และแนะนำทางเลือกอื่น จากทฤษฎีความน่าจะเป็นของเจย์เนส, ส่วนที่ 17.2 "เครื่องมือประมาณค่าที่เป็นกลาง:" เหตุใดออร์โธดอกซ์จึงให้ความสำคัญกับความลำเอียงที่พูดเกินจริงเช่นนั้น เราสงสัยว่าเหตุผลหลักคือพวกเขาติดกับดักทางจิตของการสร้างของพวกเขาเอง เมื่อเราเรียกปริมาณ 'bias' ซึ่งทำให้ดูเหมือนสิ่งเลวทรามต่ำช้าซึ่งเราต้องกำจัดค่าใช้จ่ายทั้งหมด ถ้ามันถูกเรียกแทน 'องค์ประกอบของความผิดพลาด orthogonal กับความแปรปรวน' ตามที่แนะนำโดยรูปแบบของพีทาโกรัส (17.2) มันจะชัดเจนว่าการมีส่วนร่วมของทั้งสองข้อผิดพลาดนั้นอยู่ในระดับที่เท่าเทียมกัน มันเป็นความเขลาที่จะลดค่าใช้จ่ายในการเพิ่มอีกอันหนึ่ง นี่เป็นเพียงราคาเดียวที่จ่ายสำหรับการเลือกคำศัพท์ทางเทคนิคที่มีภาระทางอารมณ์ ออร์ทอดอกซ์ตกอยู่ในข้อผิดพลาดทางยุทธวิธีนี้อย่างต่อเนื่อง( ⟨ บีตา⟩ - α )(⟨β⟩-α)(\langle\beta\rangle-\alpha)

18 terminology  bias  history 

ฉันกำลังทำงานในโครงการการเรียนรู้ของเครื่องด้วยข้อมูลที่มีอคติอยู่แล้ว (มาก) โดยการเลือกข้อมูล สมมติว่าคุณมีกฎฮาร์ดโค้ด คุณจะสร้างรูปแบบการเรียนรู้ของเครื่องเพื่อแทนที่ได้อย่างไรเมื่อข้อมูลทั้งหมดที่สามารถใช้ได้คือข้อมูลที่ถูกกรองโดยกฎเหล่านั้นแล้วหรือไม่ เพื่อให้สิ่งต่าง ๆ ชัดเจนฉันเดาว่าตัวอย่างที่ดีที่สุดคือการประเมินความเสี่ยงสินเชื่อ : งานคือการกรองลูกค้าทั้งหมดที่มีแนวโน้มที่จะล้มเหลวในการชำระเงิน ทีนี้ข้อมูลเดียว (ที่มีป้ายกำกับ) ที่คุณมีมาจากไคลเอนต์ที่ได้รับการยอมรับโดยชุดของกฎเพราะหลังจากยอมรับคุณจะเห็นว่ามีคนจ่ายหรือไม่ (เห็นได้ชัด) คุณไม่รู้ว่าชุดของกฎนั้นดีแค่ไหนและจะมีผลต่อการกระจายจ่ายที่จ่ายไปยังไม่จ่าย นอกจากนี้คุณมีข้อมูลที่ไม่มีป้ายกำกับจากลูกค้าที่ถูกปฏิเสธอีกครั้งเนื่องจากชุดของกฎ ดังนั้นคุณจึงไม่ทราบว่าจะเกิดอะไรขึ้นกับลูกค้าเหล่านั้นหากได้รับการยอมรับ เช่นหนึ่งในกฎอาจเป็น: "ถ้าอายุของลูกค้า &lt;18 ปีแล้วไม่ยอมรับ" ตัวจําแนกไม่มีวิธีเรียนรู้วิธีจัดการกับไคลเอ็นต์ที่ถูกกรองโดยกฎเหล่านี้ ลักษณนามควรจะเรียนรู้รูปแบบที่นี่ได้อย่างไร การเพิกเฉยปัญหานี้จะนำไปสู่รูปแบบการเปิดเผยข้อมูลที่ไม่เคยพบมาก่อน โดยพื้นฐานแล้วฉันต้องการประมาณค่าของ f (x) เมื่อ x อยู่นอก [a, b] ที่นี่

18 machine-learning  classification  data-mining  bias  extrapolation 

มีคำภาษาอังกฤษคำเดียวที่แสดงถึง "จำนวนคอลัมน์" ของเมทริกซ์หรือไม่? ยกตัวอย่างเช่น "มิติ" ของเมทริกซ์3 ฉันต้องการคำศัพท์คำสำหรับตัวอย่างนี้ ฉันสามารถพูดได้เสมอว่า "จำนวนคอลัมน์" แต่ฉันจะมีคำเดียวได้ไหม?2×32×32\times 32×32×32\times 3333

18 terminology  matrix 

เครือข่ายประสาทเทียมทั่วไปส่วนใหญ่มีชั้นการรวมกำไรเพื่อลดขนาดของคุณสมบัติเอาท์พุท ทำไมฉันถึงทำสิ่งเดียวกันไม่ได้โดยเพิ่มความก้าวหน้าของเลเยอร์ convolutional? อะไรทำให้เลเยอร์รวมกำไรจำเป็น?

18 deep-learning  conv-neural-network  pooling 

ฉันพยายามที่จะเข้าใจในระดับที่ลึกกว่าความแพร่หลายของความน่าจะเป็นในการบันทึก (และความน่าจะเป็นโดยทั่วไปของการบันทึก) ในสถิติและทฤษฎีความน่าจะเป็น ความน่าจะเป็นบันทึกปรากฏขึ้นทั่วทุกสถานที่: เรามักจะทำงานร่วมกับบันทึกความน่าจะเป็นสำหรับการวิเคราะห์ (เช่นสำหรับการขยายให้ใหญ่สุด) ข้อมูลฟิชเชอร์ถูกกำหนดในแง่ของอนุพันธ์อันดับสองของบันทึกความน่าจะเป็น , Kullback-Liebler divergence เกี่ยวข้องกับความน่าจะเป็นของล็อก, การคาดหวังของนักทำนายนั้นเป็นโอกาสในการบันทึกที่คาดหวัง, เป็นต้น ตอนนี้ฉันขอขอบคุณเหตุผลที่เป็นประโยชน์และสะดวกสบายมากมาย ไฟล์ PDF ทั่วไปและมีประโยชน์มากมายนั้นมาจากตระกูลเอ็กซ์โปเนนเชียล ผลรวมจะทำงานได้ง่ายกว่าผลิตภัณฑ์ (โดยเฉพาะสำหรับการแยกแยะ) Log-probs มีข้อได้เปรียบจากการใช้โพรบ การแปลงรูปแบบไฟล์ PDF มักจะแปลงฟังก์ชั่นที่ไม่ใช่เว้าให้เป็นฟังก์ชั่นเว้า แต่เหตุผลทางเหตุผล / เหตุผล / แรงจูงใจสำหรับ log-probs คืออะไร? เป็นตัวอย่างของความฉงนสนเท่ห์ของฉันพิจารณาข้อมูลของชาวประมง (FI) คำอธิบายตามปกติสำหรับสัญชาตญาณของ FI คืออนุพันธ์อันดับสองของบันทึกความน่าจะเป็นบอกเราว่า "ยอดแหลม" บันทึกความเป็นเหมือนกันคืออะไร: บันทึกความน่าจะเป็นยอดแหลมสูงหมายถึง MLE ระบุไว้อย่างดีและเราค่อนข้างมั่นใจในคุณค่า ในขณะที่ความใกล้ชิดบันทึก (ความโค้งต่ำ) หมายถึงค่าพารามิเตอร์ที่แตกต่างกันหลายอย่างเกือบจะดี (ในแง่ของความน่าจะเป็นบันทึก) เช่นเดียวกับ MLE ดังนั้น MLE ของเราจึงมีความไม่แน่นอนมากขึ้น …

18 probability  bayesian  likelihood  log-likelihood 

อาจารย์ฟิสิกส์ของฉันในโรงเรียนระดับประถมศึกษาเช่นเดียวกับผู้ได้รับพระราชทานรางวัลไฟน์แมนมักจะนำเสนอสิ่งที่พวกเขาเรียกว่าแบบจำลองของเล่นเพื่อแสดงแนวคิดและวิธีการขั้นพื้นฐานในวิชาฟิสิกส์เช่นออสซิลเลเตอร์ออสซิลเลเตอร์, ลูกตุ้ม โมเดลของเล่นใดที่ใช้เพื่อแสดงแนวคิดพื้นฐานและวิธีการพื้นฐานที่ประยุกต์ใช้กับโครงข่ายประสาทเทียม (โปรดอ้างอิง) ด้วยแบบจำลองของเล่นฉันหมายถึงเครือข่ายที่เรียบง่ายและมีขนาดเล็กที่สุดที่ใช้กับปัญหาที่มีข้อ จำกัด สูงซึ่งวิธีการขั้นพื้นฐานสามารถนำเสนอและความเข้าใจของผู้ทดสอบและปรับปรุงผ่านการใช้งานจริงเช่นการสร้างรหัสพื้นฐาน การตรวจสอบคณิตศาสตร์พื้นฐานด้วยมือหรือได้รับความช่วยเหลือจากแอปคณิตศาสตร์สัญลักษณ์

18 machine-learning  neural-networks  deep-learning 

ฉันมีข้อมูลไวน์จากที่นี่ซึ่งประกอบด้วยตัวแปรอิสระ 11 ตัวเลขที่มีการจัดอันดับที่สัมพันธ์กับแต่ละรายการที่มีค่าระหว่าง 0 ถึง 10 ทำให้ชุดข้อมูลที่ยอดเยี่ยมในการใช้แบบจำลองการถดถอยเพื่อตรวจสอบความสัมพันธ์ระหว่างตัวแปรและที่เกี่ยวข้อง อันดับ อย่างไรก็ตามการถดถอยเชิงเส้นจะเหมาะสมหรือดีกว่าที่จะใช้การถดถอยโลจิสติกแบบหลายชื่อ / สั่ง การถดถอยแบบลอจิสติกดูเหมือนจะดีกว่าในหมวดหมู่ที่เฉพาะเจาะจงนั่นคือไม่ใช่ตัวแปรที่ขึ้นอยู่กับแบบต่อเนื่อง แต่ (1) มี 11 หมวดหมู่ (มากไปหน่อย?) และ (2) เมื่อตรวจสอบมีข้อมูลเพียง 6-7 ประเภทเท่านั้น 5-4 หมวดหมู่ไม่มีตัวอย่างในชุดข้อมูล ในทางกลับกันการถดถอยเชิงเส้นควรประเมินเชิงเส้นตรงระหว่างระดับ 0-10 ซึ่งดูใกล้เคียงกับสิ่งที่ฉันกำลังพยายามหา แต่ตัวแปรที่ขึ้นต่อกันไม่ได้ต่อเนื่องในชุดข้อมูล วิธีใดดีกว่ากัน หมายเหตุ: ฉันกำลังใช้ R สำหรับการวิเคราะห์ แก้ไขโดยพูดถึงประเด็นที่กล่าวถึงในคำตอบ: ไม่มีเป้าหมายทางธุรกิจเนื่องจากเป็นหลักสูตรของมหาวิทยาลัย ภารกิจคือการวิเคราะห์ชุดข้อมูลที่เลือกได้ตามที่ฉันเห็นว่าเหมาะสม การแจกแจงเรตติ้งนั้นดูปกติ (ฮิสโตแกรม / qq-plot) ค่าจริงในชุดข้อมูลอยู่ระหว่าง 3-8 (แม้ว่าทางเทคนิคจะมีค่า 0-10)

18 r  regression  logistic  ordered-logit 

เป็นอะไรที่ง่ายที่สุดวิธีที่จะเห็นว่าคำสั่งดังต่อไปนี้เป็นจริงหรือไม่? สมมติว่า(1) แสดง1)Y 1 , … , Y n iid ∼ Exp ( 1 ) Y1,…,Yn∼iidExp(1)Y_1, \dots, Y_n \overset{\text{iid}}{\sim} \text{Exp}(1)∑ n i = 1 ( Y i - Y ( 1 ) ) ∼ Gamma ( n - 1 , 1 )∑ni=1(Yi−Y(1))∼Gamma(n−1,1)\sum_{i=1}^{n}(Y_i - Y_{(1)}) \sim \text{Gamma}(n-1, 1) โปรดทราบว่าn}Y ( 1 …

18 self-study  distributions  exponential  order-statistics  jacobian 

ในบทความของ DeepMind เกี่ยวกับ Deep Q-Learning สำหรับวิดีโอเกมอาตาริ ( ที่นี่ ) พวกเขาใช้วิธีการ epsilon-โลภสำหรับการสำรวจในระหว่างการฝึกอบรม ซึ่งหมายความว่าเมื่อมีการเลือกการดำเนินการในการฝึกอบรมจะมีการเลือกว่าเป็นการกระทำที่มีค่า q สูงสุดหรือการกระทำแบบสุ่ม การเลือกระหว่างสองสิ่งนี้คือการสุ่มและขึ้นอยู่กับมูลค่าของ epsilon และ epsilon จะถูกทำให้อ่อนลงในระหว่างการฝึกอบรมซึ่งในขั้นต้นจะมีการดำเนินการแบบสุ่มจำนวนมาก (การสำรวจ) แต่ในขณะที่การฝึกอบรมดำเนินไป (การแสวงหาผลประโยชน์) จากนั้นในระหว่างการทดสอบพวกเขายังใช้วิธี epsilon-greedy แต่ด้วย epsilon ที่ค่าต่ำมากเช่นนั้นมีอคติที่แข็งแกร่งต่อการแสวงหาผลประโยชน์มากกว่าการสำรวจโดยนิยมเลือกการกระทำที่มีค่า q สูงกว่าการกระทำแบบสุ่ม อย่างไรก็ตามการกระทำแบบสุ่มบางครั้งยังคงถูกเลือก (5% ของเวลา) คำถามของฉันคือ: ทำไมการสำรวจใด ๆ ที่จำเป็นในตอนนี้เนื่องจากการฝึกอบรมได้ทำไปแล้ว? หากระบบได้เรียนรู้นโยบายที่ดีที่สุดแล้วเหตุใดจึงไม่สามารถเลือกการกระทำเป็นรายการที่มีค่า q สูงสุดได้เสมอ ไม่ควรทำการสำรวจเท่านั้นในการฝึกอบรมและเมื่อเรียนรู้นโยบายที่เหมาะสมแล้วตัวแทนก็สามารถเลือกการกระทำที่เหมาะสมที่สุดซ้ำ ๆ ได้? ขอบคุณ!

18 machine-learning  reinforcement-learning  q-learning  deep-rl 

ในบทความ Wikipedia เกี่ยวกับANOVAมันบอกว่า ในรูปแบบที่ง่ายที่สุด ANOVA จัดให้มีการทดสอบทางสถิติว่าค่าเฉลี่ยของหลาย ๆ กลุ่มมีค่าเท่ากันหรือไม่และดังนั้นจึงทำให้การทดสอบ t-test เป็นมากกว่าสองกลุ่ม ความเข้าใจของฉันเกี่ยวกับเรื่องนี้คือ ANOVA นั้นเหมือนกับ t-test เมื่อเปรียบเทียบกับกลุ่มสองกลุ่ม อย่างไรก็ตามในตัวอย่างง่าย ๆ ของฉันด้านล่าง (ใน R) การวิเคราะห์ความแปรปรวนและการทดสอบ t ให้ค่า p ที่เหมือนกัน แต่แตกต่างกันเล็กน้อย มีใครอธิบายได้บ้างไหม x1=rnorm(100,mean=0,sd=1) x2=rnorm(100,mean=0.5,sd=1) y1=rnorm(100,mean=0,sd=10) y2=rnorm(100,mean=0.5,sd=10) t.test(x1,x2)$p.value # 0.0002695961 t.test(y1,y2)$p.value # 0.8190363 df1=as.data.frame(rbind(cbind(x=x1,type=1), cbind(x2,type=2))) df2=as.data.frame(rbind(cbind(x=y1,type=1), cbind(y2,type=2))) anova(lm(x~type,df1))$`Pr(&gt;F)`[1] # 0.0002695578 anova(lm(x~type,df2))$`Pr(&gt;F)`[1] # 0.8190279

18 r  hypothesis-testing  anova  t-test