ฉันควรจะสอนแบบเบย์หรือสถิติผู้ใช้บ่อยก่อน


32

ฉันกำลังช่วยลูก ๆ ของฉันอยู่ในโรงเรียนมัธยมเข้าใจสถิติและฉันกำลังพิจารณาเริ่มต้นด้วยตัวอย่างง่ายๆโดยไม่มองข้ามทฤษฎี

เป้าหมายของฉันคือการทำให้พวกเขามีวิธีการที่ใช้งานง่ายและสร้างสรรค์ที่สุดเพื่อเรียนรู้สถิติตั้งแต่เริ่มต้นเพื่อกระตุ้นความสนใจในการติดตามสถิติและการเรียนรู้เชิงปริมาณเพิ่มเติม

ก่อนที่จะเริ่มต้นฉันมีคำถามเฉพาะที่มีนัยโดยทั่วไป:

เราควรเริ่มสอนสถิติโดยใช้ Bayesian หรือกรอบบ่อยๆหรือไม่?

การค้นคว้ารอบตัวฉันได้เห็นแล้วว่าวิธีการทั่วไปนั้นเริ่มต้นด้วยการแนะนำสั้น ๆ เกี่ยวกับสถิติผู้ใช้บ่อยตามด้วยการอภิปรายเชิงลึกของสถิติแบบเบย์ (เช่นStangl )


5
คำถามของคุณยากที่จะตอบโดยไม่มีบริบทเพิ่มเติม คุณต้องการทำอะไรให้สำเร็จ
Glen_b -Reinstate Monica

4
การอบรมเลี้ยงดูเด็ก ๆ เป็นสิ่งที่ไม่ดีในการสอนสถิติแบบเบย์เด็ก ๆ เช่นเดียวกับการเทวอดก้าหรือการจุดประกายซิการ์ โปรดทราบว่าทั้งวอดก้าและซิการ์นั้นใช้ได้ผลดีสำหรับผู้ใหญ่ตราบใดที่พวกเขาค้นพบมันด้วยตัวเอง
อักษะกัล

2
@Aksakal จริง ๆ แล้วฉันวางแผนที่จะสอนให้พวกเขา Bayes ทฤษฎีบทในขณะที่จิบวอดก้าและ puffing havanas ... ;-)
Joe_74

2
นั่นเป็นวิธีที่ดีที่จะป้องกันเด็กจากสถิติแบบเบย์ไม่กี่ปี คุณบอกพวกเขาว่าเป็นเพียงการประยุกต์ใช้ทฤษฎีบทของเบย์ ทฤษฎีบททำงานได้ดีในสถิติบ่อยครั้ง
Aksakal

5
หนังสือของ Nate Silver "The Signal and the Noise" ทำให้เป็นกรณีสำหรับการสอนคนหนุ่มสาวสถิติแบบเบย์
Lloyd Christmas

คำตอบ:


25

ทั้งสถิติแบบเบย์และสถิติผู้ใช้บ่อยขึ้นอยู่กับทฤษฎีความน่าจะเป็น แต่ฉันบอกว่าอดีตนั้นอาศัยทฤษฎีมากขึ้นตั้งแต่เริ่มต้น ในอีกด้านหนึ่งแน่นอนว่าแนวคิดของช่วงเวลาที่น่าเชื่อถือนั้นง่ายกว่าช่วงความมั่นใจเมื่อนักเรียนมีความเข้าใจแนวคิดเรื่องความน่าจะเป็นที่ดี ดังนั้นสิ่งที่คุณเลือกฉันสนับสนุนแรกของการเสริมสร้างความเข้าใจความน่าจะเป็นของพวกเขาด้วยตัวอย่างเหล่านั้นขึ้นอยู่กับลูกเต๋า, บัตร, รูเล็ต, Monty Hall บุคคลที่ผิดธรรมดา ฯลฯ

ฉันจะเลือกวิธีหนึ่งหรือวิธีอื่นโดยใช้วิธีการที่เป็นประโยชน์อย่างหมดจด: พวกเขามีแนวโน้มที่จะศึกษาสถิติประจำหรือสถิติแบบเบย์ที่โรงเรียนมากขึ้นหรือไม่ ในประเทศของฉันพวกเขาจะเรียนรู้กรอบการทำงานบ่อยครั้งแรก (และสุดท้าย: ไม่เคยได้ยินนักเรียนมัธยมปลายที่สอนสถิติแบบเบย์โอกาสเดียวคือที่มหาวิทยาลัยหรือหลังจากนั้นโดยการศึกษาด้วยตนเอง) บางทีในของคุณมันแตกต่างกัน โปรดทราบว่าหากพวกเขาจำเป็นต้องจัดการกับ NHST (การทดสอบความหมายเชิง Null Hypothesis Significance) นั่นเป็นเรื่องที่เกิดขึ้นตามธรรมชาติในบริบทของสถิติบ่อยครั้ง IMO แน่นอนว่าคุณสามารถทดสอบสมมติฐานได้ในกรอบของ Bayesian แต่มีนักสถิติ Bayesian ชั้นนำหลายคนที่ไม่สนับสนุนการใช้ NHST ไม่ว่าจะอยู่ภายใต้กรอบประจำหรือ Bayesian (ตัวอย่างเช่น Andrew Gelman จาก Columbia University)

ในที่สุดฉันไม่รู้เกี่ยวกับระดับของนักเรียนมัธยมปลายในประเทศของคุณ แต่ในความเป็นจริงมันยากสำหรับนักเรียนที่จะซึมซับทฤษฎีความน่าจะเป็นและแคลคูลัสรวมในเวลาเดียวกัน ดังนั้นถ้าคุณตัดสินใจที่จะไปกับสถิติแบบเบย์ฉันจะหลีกเลี่ยงกรณีตัวแปรสุ่มแบบต่อเนื่องและติดกับตัวแปรสุ่มแบบแยก


2
ฉันรู้สึกประทับใจ (จากการอ่านบล็อกของเขา) ที่ Andrew Gelman จะสนับสนุนต่อต้าน NSHT ที่ใช้งานบ่อยเท่ากับ Bayesian
psarka

2
@psarka ใช่แน่นอน - ฉันไม่เคยพูดตรงกันข้าม
DeltaIV

3
"ในประเทศของฉันพวกเขาจะได้เรียนรู้กรอบการทำงานบ่อยครั้งแรก" - นี่ (หรือละเว้นการอภิปรายของ Bayesianism ทั้งหมด) เป็นแนวทางดั้งเดิมทั่วโลก
ประสาทวิทยา

1
@Kodiologist ฉันสงสัยมาก อย่างน้อยก็อาจมีระบบการศึกษาบางอย่างซึ่งหลังจากกรอบการทำงานของผู้ใช้บ่อยๆระบบ Bayesian ก็ถูกนำมาใช้ในโรงเรียนมัธยมด้วย แต่นี่ไม่ใช่กรณีของที่นี่
DeltaIV

22

แบบเบย์และผู้ถามบ่อยถามคำถามที่แตกต่างกัน Bayesian ถามค่าพารามิเตอร์ที่น่าเชื่อถือได้จากข้อมูลที่สังเกตได้ ผู้ถามบ่อยถามถึงความน่าจะเป็นของข้อมูลจำลองในจินตนาการหากค่าพารามิเตอร์สมมุติฐานบางค่าเป็นจริง การตัดสินใจแบบประจำมีแรงจูงใจจากการควบคุมข้อผิดพลาดการตัดสินใจแบบเบย์มีแรงจูงใจจากความไม่แน่นอนในคำอธิบายแบบจำลอง

แล้วคุณควรสอนอะไรเป็นอันดับแรก ถ้าอย่างใดอย่างหนึ่งหรือคำถามอื่น ๆ เหล่านั้นเป็นสิ่งที่คุณต้องการถามก่อนนั่นคือคำตอบของคุณ แต่ในแง่ของการเข้าถึงและการเรียนการสอนฉันคิดว่า Bayesian นั้นง่ายต่อการเข้าใจและใช้งานง่ายกว่ามาก แนวคิดพื้นฐานของการวิเคราะห์แบบเบย์คือการจัดสรรความน่าเชื่อถือในความเป็นไปได้เช่นเดียวกับ Sherlock Holmes ที่มีชื่อเสียงกล่าวและผู้อ่านหลายล้านคนเข้าใจอย่างหยั่งรู้ แต่แนวคิดพื้นฐานของการวิเคราะห์เป็นประจำนั้นเป็นเรื่องที่ท้าทายมาก: พื้นที่ของชุดข้อมูลที่เป็นไปได้ทั้งหมดที่อาจเกิดขึ้นได้หากสมมติฐานหนึ่งเป็นจริงและสัดส่วนของชุดข้อมูลจินตนาการที่มีสถิติสรุปหรือรุนแรงกว่าสรุป สถิติที่สังเกตได้จริง

บทเบื้องต้นฟรีเกี่ยวกับความคิดแบบเบย์เป็นที่นี่ บทความที่ชุด frequentist คชกรรมและด้านแนวคิดโดยด้านข้างเป็นที่นี่ บทความอธิบายวิธีการทดสอบสมมติฐานบ่อยครั้งและแบบเบย์เพื่อประเมินและ (และอื่น ๆ อีกมากมาย) กรอบของบทความอาจเป็นประโยชน์อย่างยิ่งสำหรับผู้เริ่มต้นที่พยายามรับทิวทัศน์


รวมถึงชื่อของบทและบทความอาจเป็นประโยชน์ในกรณีที่ลิงก์ไปตายในอนาคต
Richard Hardy

8

คำถามนี้มีความเสี่ยงที่จะเป็นไปตามความคิดเห็นดังนั้นฉันจะพยายามสรุปความคิดเห็นของฉันจริงๆแล้วให้คำแนะนำหนังสือกับคุณ บางครั้งมันก็คุ้มค่าที่จะใช้วิธีการเฉพาะเพราะมันเป็นวิธีที่หนังสือดีโดยเฉพาะ

ฉันจะยอมรับว่าสถิติแบบเบย์นั้นง่ายกว่า ช่วงความเชื่อมั่นเมื่อเทียบกับความแตกต่างช่วงที่น่าเชื่อถือค่อนข้างมากสรุป: คนโดยธรรมชาติคิดในแง่ของ "สิ่งที่เป็นโอกาสที่ ... " มากกว่าวิธีการช่วงความเชื่อมั่น วิธี Confidence Interval ฟังดูคล้ายกับว่าพูดเหมือนกับ Credible Interval ยกเว้นโดยทั่วไปคุณไม่สามารถทำขั้นตอนสุดท้ายจาก "95% ของเวลา" เป็น "โอกาส 95%" ซึ่งดูเหมือนว่าบ่อยครั้งมาก แต่คุณ ทำไม่ได้ มันไม่สอดคล้องกันเพียงไม่ง่าย

การสร้างความสมดุลนั้นเป็นความจริงที่ว่าหลักสูตรวิทยาลัยส่วนใหญ่ที่พวกเขาจะใช้จะใช้วิธีการที่ใช้งานง่ายน้อยลง

ที่กล่าวว่าฉันชอบหนังสือทบทวนสถิติ: หลักสูตร Bayesian พร้อมตัวอย่างใน R และ Stanโดย Richard McElreath มันไม่ถูกดังนั้นโปรดอ่านเกี่ยวกับเรื่องนี้และเข้าไปดูใน Amazon ก่อนซื้อ ฉันพบว่าเป็นวิธีการที่ใช้งานง่ายโดยเฉพาะอย่างยิ่งที่ใช้ประโยชน์จากวิธีการแบบเบย์และเป็นสิ่งที่ปฏิบัติได้จริง (และเนื่องจาก R และ Stan เป็นเครื่องมือที่ยอดเยี่ยมสำหรับสถิติแบบเบย์และพวกมันฟรีมันจึงเป็นการเรียนรู้ที่ใช้ได้จริง)

แก้ไข: คู่ของความคิดเห็นได้กล่าวว่าหนังสือเล่มนี้อาจจะเกิน Schooler สูงแม้จะมีครูสอนพิเศษที่มีประสบการณ์ ดังนั้นฉันจะต้องวาง caveat ที่ยิ่งใหญ่กว่า: มันมีวิธีการง่าย ๆ ในตอนแรก แต่ทางลาดขึ้นอย่างรวดเร็ว มันเป็นหนังสือที่น่าทึ่ง แต่จริงๆแล้วคุณต้องกระตุ้นผ่านทาง Amazon เพื่อให้เข้าใจถึงสมมติฐานเบื้องต้นและความรวดเร็วของมัน การเปรียบเทียบที่สวยงามการทำงานที่ยอดเยี่ยมใน R การไหลอย่างไม่น่าเชื่อและการจัดระเบียบ แต่อาจไม่มีประโยชน์กับคุณ

มันถือว่าความรู้พื้นฐานของการเขียนโปรแกรมและ R (แพคเกจสถิติฟรี) และการสัมผัสกับพื้นฐานของความน่าจะเป็นและสถิติ มันไม่ได้เข้าถึงแบบสุ่มและแต่ละบทจะสร้างจากบทก่อนหน้า มันเริ่มต้นง่ายมากแม้ว่าความยากลำบากจะเพิ่มขึ้นกลาง - มันจบลงด้วยการถดถอยหลายระดับ ดังนั้นคุณอาจต้องการดูตัวอย่างบางส่วนที่ Amazon และตัดสินใจว่าคุณสามารถครอบคลุมพื้นฐานได้อย่างง่ายดายหรือถ้ามันกระโดดข้ามถนนไปหน่อย

แก้ไข 2: บรรทัดล่างสุดของการมีส่วนร่วมของฉันที่นี่และพยายามที่จะทำให้มันออกมาจากความเห็นที่บริสุทธิ์คือตำราเรียนที่ดีอาจเป็นตัวกำหนดว่าคุณจะเข้าใกล้แบบไหน ฉันชอบแนวทางแบบเบย์และหนังสือเล่มนี้ทำได้ดี แต่บางทีอาจเร็วเกินไป


2
หนังสือของ McElreath นั้นยอดเยี่ยม แต่ฉันจะแปลกใจจริง ๆ ถ้านักเรียนมัธยมสามารถปฏิบัติตามระดับการรักษานั้นได้แม้ว่าจะมีติวเตอร์ที่มีความสามารถก็ตาม
DeltaIV

2
@DeltaIV: ข้อเสนอแนะที่ดีฉันจะแก้ไขคำตอบของฉัน ฉันถูกหลอกหลายครั้งว่าการอ่านและการเปรียบเทียบเป็นอย่างไรในตอนแรก มันเข้าสู่ช่วงการเรียนรู้ที่สูงชันประมาณครึ่งทางและอาจเร็วกว่านั้นมาก
Wayne

1
หมายเหตุอีกข้อหนึ่ง: ฉันคิดว่ามีช่องว่างที่กว้างกว่าระหว่างปัจจัยพื้นฐาน (เช่นทฤษฎีความน่าจะเป็น) และการใช้งานในวิธีการแบบประจำที่ใช้วิธีเบส์ นั่นคือฉันมีปัญหาในการจินตนาการถึงใครบางคนที่เข้าใจทฤษฎี MLE จริง ๆ พิสูจน์ CLT ฯลฯ โดยไม่มีการศึกษาระดับบัณฑิตศึกษาซึ่งจำเป็นสำหรับแม้แต่ขั้นตอนพื้นฐานที่สุดของขั้นตอนการเป็นประจำ เมื่อคุณทราบว่าความน่าจะเป็นแบบมีเงื่อนไขคุณจะเข้าใจว่าการอนุมานแบบเบย์ทำงานอย่างไร ทฤษฎี MCMC เป็นบิตหากิน แต่อย่างสุจริตมากง่ายกว่าทฤษฎี MLE ความเข้าใจอย่างแท้จริง ...
คลิฟ AB

... และเนื่องจากเป็นการง่ายที่จะลดช่องว่างระหว่างความน่าจะเป็นและการประยุกต์ใช้สถิติในกรอบ Bayesian อย่างน้อยที่สุดฉันจึงคิดว่าสิ่งที่ทำให้จิตใจพึงพอใจมากขึ้นเร็วขึ้น ฉันเกลียดการเรียนวิชาที่เราต้องพูดว่า "และเชื่อเราทฤษฎี MLE ทำงานกับกลุ่มตัวอย่างขนาดใหญ่" เนื่องจากฉันรู้สึกว่าต้องฆ่าความอยากรู้ทางวิทยาศาสตร์ของใครบางคนหรือต้องการความมุ่งมั่นทางจิตที่มากขึ้น
หน้าผา AB

... แต่สัญชาตญาณเบื้องหลัง mle นั้นเป็นธรรมชาติมากพอ ... stats.stackexchange.com/questions/112451/
kjetil b halvorsen

5

ฉันได้รับการสอนวิธีการบ่อยครั้งแรกจากนั้นเบย์หนึ่ง ฉันไม่ใช่นักสถิติมืออาชีพ

ฉันต้องยอมรับว่าฉันไม่พบความรู้ก่อนหน้านี้เกี่ยวกับวิธีการของผู้ใช้เป็นประจำเพื่อเป็นประโยชน์อย่างเด็ดขาดในการทำความเข้าใจวิธีการแบบเบย์

ฉันกล้าที่จะบอกว่ามันขึ้นอยู่กับแอปพลิเคชันที่เป็นรูปธรรมที่คุณจะแสดงให้นักเรียนเห็นต่อไปและเวลาและความพยายามที่คุณจะใช้จ่ายกับมัน

ต้องบอกว่านี้ฉันจะเริ่มต้นด้วยเบย์


3

กรอบการทำงานแบบเบย์นั้นเชื่อมโยงกับทักษะการคิดวิจารณญาณทั่วไปอย่างแน่นหนา มันเป็นสิ่งที่คุณต้องการในสถานการณ์ต่อไปนี้:

  1. คุณคิดถึงการสมัครงานที่แข่งขัน โอกาสในการเข้ามามีอะไรบ้าง? คุณคาดหวังผลตอบแทนอะไรจากการสมัคร?
  2. พาดหัวบอกคุณโทรศัพท์มือถือทำให้เกิดมะเร็งในมนุษย์ในระยะยาว พวกเขามีหลักฐานเท่าไหร่สำหรับเรื่องนี้?
  3. องค์กรการกุศลใดที่คุณควรบริจาคเงินหากคุณต้องการให้ผลกระทบที่ยิ่งใหญ่ที่สุด?
  4. มีคนเสนอให้พลิกเหรียญด้วยการเดิมพัน$ 0.90 จากคุณและ$ 1.10 จากพวกเขา คุณจะให้เงินพวกเขาหรือไม่ ทำไมทำไมไม่
  5. คุณทำกุญแจของคุณหาย (หรือระเบิดปรมาณู) คุณเริ่มมองหาที่ไหน

นอกจากนี้สิ่งนี้น่าสนใจยิ่งกว่าการจดจำสูตรสำหรับการทดสอบตัวอย่างสองตัวอย่าง: p ซึ่งจะเป็นการเพิ่มโอกาสที่นักเรียนจะสนใจอยู่นานพอที่จะใส่ใจกับวัสดุทางเทคนิคมากขึ้น


3

ไม่มีใครพูดถึงความน่าจะเป็นซึ่งเป็นพื้นฐานของสถิติแบบเบย์ ข้อโต้แย้งในความโปรดปรานของการสอน Bayes อันดับแรกคือการไหลจากความน่าจะเป็นไปสู่ความน่าจะเป็นสู่ Bayes นั้นราบรื่น Bayes สามารถสร้างแรงจูงใจจากความน่าจะเป็นโดยสังเกตว่า (i) ฟังก์ชันความน่าจะเป็น (และการกระทำ) เหมือนฟังก์ชันการแจกแจงความน่าจะเป็น แต่ไม่ใช่เพราะพื้นที่ใต้เส้นโค้งไม่ใช่ 1.0 และ (ii) น้ำมันดิบที่ใช้กันทั่วไป Wald ช่วงเวลาสมมติว่าฟังก์ชันความน่าจะเป็นซึ่งเป็นสัดส่วนกับการแจกแจงแบบปกติ แต่วิธีการแบบเบย์สามารถเอาชนะข้อ จำกัด นี้ได้อย่างง่ายดาย

อีกข้อโต้แย้งที่นิยม Bayes อันดับแรกคือ P (A | B) กับ P (B | A) ความกังวลเกี่ยวกับค่า p สามารถอธิบายได้ง่ายขึ้นดังที่คนอื่น ๆ พูดถึง

อีกข้อโต้แย้งที่นิยม "Bayes แรก" คือมันบังคับให้นักเรียนคิดอย่างรอบคอบมากขึ้นเกี่ยวกับแบบจำลองความน่าจะเป็นแบบมีเงื่อนไขซึ่งมีประโยชน์ในที่อื่นเช่นในการวิเคราะห์การถดถอย

ขออภัยสำหรับการโปรโมตตนเอง แต่เนื่องจากเป็นหัวข้อทั้งหมดฉันไม่รังเกียจที่จะระบุว่านี่เป็นวิธีการที่ Keven Henning และฉันใช้ในหนังสือของเรา "การทำความเข้าใจวิธีการทางสถิติขั้นสูง" ( https: // peterwestfall wixsite.com/book-1 ) ซึ่งผู้ชมเป้าหมายไม่ใช่นักสถิติ


2

คุณกำลังสอนเพื่อความสนุกสนานและความเข้าใจอย่างลึกซึ้งหรือเพื่อการใช้งานจริง? ถ้ามันเกี่ยวกับการสอนและความเข้าใจฉันจะไปเบย์ ถ้าเป็นไปได้จริงฉันต้องไปเป็นประจำ

ในหลายสาขา - และฉันคิดว่าสาขาส่วนใหญ่ - ของวิทยาศาสตร์ธรรมชาติผู้คนเคยชินกับการตีพิมพ์เอกสารด้วยค่า p "เด็กชาย" ของคุณจะต้องอ่านเอกสารของคนอื่นก่อนที่จะเขียนเอง หากต้องการอ่านเอกสารของคนอื่นอย่างน้อยในสาขาของฉันพวกเขาจำเป็นต้องเข้าใจสมมติฐานว่างเป็นค่า p ไม่ว่าพวกเขาจะโง่เพียงใดหลังจากการศึกษาแบบเบย์ และแม้ว่าพวกเขาจะพร้อมที่จะตีพิมพ์บทความแรกพวกเขาอาจจะมีนักวิทยาศาสตร์อาวุโสบางคนที่เป็นผู้นำทีมและมีโอกาสที่พวกเขาจะชอบเล่นบ่อย ๆ

ที่ถูกกล่าวว่าฉันต้องการที่จะเห็นด้วยกับ @Wayne ในการคิดใหม่ทางสถิติแสดงให้เห็นวิธีที่ชัดเจนมากต่อสถิติ Bayesian เป็นวิธีแรกและไม่ได้อยู่บนพื้นฐานความรู้ที่มีอยู่เกี่ยวกับการใช้บ่อย มันยอดเยี่ยมมากที่หนังสือเล่มนี้ไม่พยายามโน้มน้าวให้คุณต่อสู้กับสถิติที่ดีขึ้นหรือแย่ลง ข้อโต้แย้งที่ระบุไว้ของผู้แต่งสำหรับ Bayes คือ (IIRC) ที่เขาสอนทั้งสองชนิดและ Bayes สอนง่ายกว่า


2

ฉันจะอยู่ห่างจาก Bayesian ตามยักษ์ใหญ่

โซเวียตมีหนังสือชุดที่ยอดเยี่ยมสำหรับนักเรียนระดับมัธยมศึกษาซึ่งแปลเป็นภาษาอังกฤษอย่างคร่าว ๆ ว่า "ห้องสมุดขนาดเล็ก 'Quant' Kolmogorov บริจาคหนังสือกับผู้เขียนร่วมเรื่อง "รู้เบื้องต้นเกี่ยวกับทฤษฎีความน่าจะเป็น" ฉันไม่แน่ใจว่ามันได้รับการแปลเป็นภาษาอังกฤษ แต่นี่คือลิงค์ไปยังต้นฉบับภาษารัสเซียของมัน

พวกเขาเข้าใกล้เพื่ออธิบายความน่าจะเป็นผ่าน combinatorics ซึ่งฉันคิดว่าเป็นวิธีที่ดีในการเริ่มต้น หนังสือเล่มนี้เข้าถึงได้มากสำหรับนักเรียนมัธยมปลายที่มีคณิตศาสตร์ดี โปรดทราบว่าโซเวียตสอนคณิตศาสตร์ค่อนข้างครอบคลุมดังนั้นนักเรียนมัธยมปลายตะวันตกโดยเฉลี่ยอาจไม่พร้อมเช่นกัน แต่ด้วยความสนใจและพลังที่เพียงพอจะยังสามารถจัดการเนื้อหาได้ในความคิดของฉัน

เนื้อหาน่าสนใจมากสำหรับนักเรียนมีการเดินสุ่ม จำกัด การแจกจ่ายกระบวนการเอาชีวิตรอดกฎหมายจำนวนมาก ฯลฯ หากคุณรวมวิธีการนี้เข้ากับการจำลองด้วยคอมพิวเตอร์มันจะยิ่งสนุกมากขึ้น

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.