สองวัฒนธรรม: สถิติกับการเรียนรู้ของเครื่อง?

ปีที่แล้วฉันอ่านโพสต์บล็อกจากเบรนแดนโอคอนเนอร์เรื่อง"สถิติกับการเรียนรู้ของเครื่องจักรการต่อสู้!" ที่กล่าวถึงความแตกต่างระหว่างสองฟิลด์ Andrew Gelman ตอบกลับอย่างดีในเรื่องนี้ :

Simon Blomberg:

จากแพคเกจโชคชะตาของ R: เพื่อถอดความยั่วโมโห 'การเรียนรู้ของเครื่องคือสถิติลบการตรวจสอบรูปแบบและสมมติฐาน' - Brian D. Ripley (เกี่ยวกับความแตกต่างระหว่างการเรียนรู้ของเครื่องและสถิติ) useR! ปี 2004 เวียนนา (พฤษภาคม 2547) :-) คำทักทายประจำฤดูกาล!

Andrew Gelman:

ในกรณีนั้นเราควรกำจัดการตรวจสอบตัวแบบและสมมติฐานบ่อยขึ้น ถ้าอย่างนั้นเราอาจจะสามารถแก้ปัญหาบางอย่างที่เครื่องเรียนรู้ที่ผู้คนสามารถแก้ไขได้ แต่เราทำไม่ได้!

นอกจากนี้ยังมี"การสร้างแบบจำลองทางสถิติสองวัฒนธรรม"กระดาษโดยลีโอเบรแมนในปี 2001 ซึ่งเป็นที่ถกเถียงกันว่าสถิติพึ่งพาอาศัยเกินไปในการสร้างแบบจำลองข้อมูลและเทคนิคการเรียนรู้ที่เครื่องจะทำให้ความคืบหน้าโดยแทนที่จะอาศัยความถูกต้องของการคาดการณ์ของแบบจำลอง

เขตข้อมูลสถิติมีการเปลี่ยนแปลงในช่วงทศวรรษที่ผ่านมาเพื่อตอบสนองต่อคำวิจารณ์เหล่านี้หรือไม่? อย่าสองวัฒนธรรมที่ยังคงอยู่หรือสถิติการเติบโตที่จะโอบกอดเทคนิคการเรียนรู้ของเครื่องเช่นเครือข่ายประสาทและเครื่องเวกเตอร์สนับสนุน?

ฉันคิดว่าคำตอบสำหรับคำถามแรกของคุณเป็นเพียงการยืนยัน ใช้วิทยาศาสตร์สถิติ JASA พงศาวดารสถิติในช่วง 10 ปีที่ผ่านมาและคุณจะพบเอกสารเกี่ยวกับการส่งเสริม SVM และเครือข่ายประสาทแม้ว่าพื้นที่นี้จะมีการใช้งานน้อยลง นักสถิติได้จัดสรรงานของ Valiant และ Vapnik แต่ในทางกลับกันนักวิทยาศาสตร์คอมพิวเตอร์ได้ซึมซับงานของ Donoho และ Talagrand ฉันไม่คิดว่าจะมีขอบเขตและวิธีการต่างกันอีกมาก ฉันไม่เคยซื้อ Breiman เลยว่าคน CS มีความสนใจเพียงแค่ลดการสูญเสียโดยใช้งานอะไรก็ตาม มุมมองนั้นได้รับอิทธิพลอย่างมากจากการเข้าร่วมในการประชุมโครงข่ายประสาทและงานที่ปรึกษาของเขา แต่ PAC, SVM, การส่งเสริมมีรากฐานที่มั่นคงทั้งหมด และวันนี้ไม่เหมือนปี 2544 สถิติเกี่ยวข้องกับคุณสมบัติตัวอย่าง จำกัด มากขึ้น

แต่ฉันคิดว่ายังมีความแตกต่างที่สำคัญสามประการที่จะไม่หายไปในไม่ช้า

1. เอกสารสถิติระเบียบวิธียังคงเป็นทางการและเป็นทางการอย่างท่วมท้นในขณะที่นักวิจัยการเรียนรู้ด้วยเครื่องจักรนั้นมีความอดทนต่อวิธีการใหม่ ๆ แม้ว่าพวกเขาจะไม่ได้มาพร้อมหลักฐานก็ตาม
2. ชุมชน ML ส่วนใหญ่แบ่งปันผลลัพธ์และสิ่งพิมพ์ใหม่ในการประชุมและการดำเนินการที่เกี่ยวข้องในขณะที่นักสถิติใช้เอกสารวารสาร สิ่งนี้ทำให้ความคืบหน้าช้าลงในสถิติและการระบุตัวตนของนักวิจัยดาว John Langford มีโพสต์ที่ดีในเรื่องจากในขณะที่กลับมา;
3. สถิติยังคงครอบคลุมพื้นที่ที่เป็นของ ML ที่มีความกังวลเล็กน้อยเช่นการออกแบบการสำรวจการสุ่มตัวอย่างสถิติอุตสาหกรรมเป็นต้น

ความแตกต่างที่ใหญ่ที่สุดที่ฉันเห็นระหว่างชุมชนคือสถิติเน้นการอนุมานขณะที่การเรียนรู้ด้วยเครื่องเน้นการทำนาย เมื่อคุณทำสถิติคุณต้องการสรุปขั้นตอนการสร้างข้อมูลของคุณ เมื่อคุณทำการเรียนรู้ของเครื่องคุณต้องการทราบว่าคุณสามารถทำนายได้อย่างไรว่าข้อมูลในอนาคตจะมีลักษณะเป็นอย่างไร

แน่นอนว่าทั้งสองทับซ้อนกัน การรู้ว่าข้อมูลถูกสร้างขึ้นมาอย่างไรจะทำให้คุณมีคำแนะนำบางอย่างเกี่ยวกับสิ่งที่ตัวทำนายที่ดีจะเป็นเช่นนั้น อย่างไรก็ตามตัวอย่างหนึ่งของความแตกต่างคือการเรียนรู้ของเครื่องได้จัดการกับปัญหา p >> n (คุณลักษณะ / ตัวแปรมากกว่าตัวอย่างการฝึกอบรม) ตั้งแต่ยังไม่บรรลุนิติภาวะในขณะที่สถิติเพิ่งเริ่มจริงจังกับปัญหานี้ ทำไม? เพราะคุณยังสามารถคาดการณ์ได้ดีเมื่อ p >> n แต่คุณไม่สามารถอนุมานได้ดีมากเกี่ยวกับตัวแปรที่สำคัญจริง ๆ และทำไม

Bayesian: "สวัสดีผู้เรียนเครื่องจักร!"

ผู้เรียนบ่อย: "สวัสดีผู้เรียนรู้จากเครื่อง!"

การเรียนรู้ของเครื่อง: "ฉันได้ยินว่าพวกคุณเก่งในเรื่องของข้อมูลนี่คือข้อมูลบางส่วน"

F: "ใช่ลองเขียนแบบจำลองแล้วคำนวณ MLE"

B: "เฮ้, F นั่นไม่ใช่สิ่งที่คุณบอกฉันเมื่อวานนี้! ฉันมีข้อมูลที่ไม่เปลี่ยนแปลงและฉันต้องการประเมินความแปรปรวนและฉันคำนวณ MLE จากนั้นคุณพุ่งฉันและบอกให้ฉันหารด้วยแทน โดย$n-1$$n$ . "

F: "อ๋อใช่ขอบคุณที่เตือนฉันฉันมักจะคิดว่าฉันควรใช้ MLE สำหรับทุกสิ่ง แต่ฉันสนใจในตัวประมาณค่าที่เป็นกลางและอื่น ๆ "

ML: "เอ๊ะสิ่งที่เป็นปรัชญานี้คืออะไรมันจะช่วยฉันได้ไหม"

F: "โอเคตัวประมาณค่าเป็นกล่องดำคุณใส่ข้อมูลลงไปและให้ตัวเลขออกมาเรามักจะไม่สนใจว่ากล่องถูกสร้างขึ้นมาอย่างไรเกี่ยวกับหลักการที่ใช้ในการออกแบบมันตัวอย่างเช่นฉัน ไม่ทราบวิธีรับกฎ "$\div(n-1)$

ML: "งั้นคุณสนใจอะไร?

F: "การประเมินผล"

ML: "ฉันชอบเสียงของสิ่งนั้น"

F: "กล่องดำเป็นกล่องดำถ้าใครบางคนอ้างว่าตัวประมาณหนึ่งตัวนั้นเป็นตัวประมาณค่าที่ไม่ลำเอียงสำหรับจากนั้นเราลองใช้ค่าหลาย ๆ ตัวในการสร้างตัวอย่างจำนวนมากจากแต่ละแบบจำลองที่สมมติขึ้นมา ตัวประมาณและหาค่าประมาณโดยประมาณถ้าเราสามารถพิสูจน์ได้ว่าค่าที่คาดหวังนั้นเท่ากับค่าจริงสำหรับทุกค่าเราก็จะบอกว่ามันไม่เอนเอียงเลย "θ θ$\theta$$\theta$$\theta$

ML: "ฟังดูดี! มันฟังดูเหมือนว่าผู้เล่นบ่อย ๆ เป็นคนที่จริงจังคุณจะตัดสินผลจากกล่องดำแต่ละกล่องการประเมินเป็นกุญแจสำคัญ"

F: "แน่นอน! ฉันเข้าใจว่าพวกคุณใช้วิธีการที่คล้ายกันการตรวจสอบข้ามหรือบางสิ่งบางอย่าง แต่นั่นฟังดูยุ่งเหยิงสำหรับฉัน"

ML: "ยุ่งเหรอ?"

F: "ความคิดในการทดสอบตัวประมาณของคุณเกี่ยวกับข้อมูลจริงนั้นเป็นอันตรายสำหรับฉันข้อมูลเชิงประจักษ์ที่คุณใช้อาจมีปัญหาทุกประเภทและอาจไม่ทำงานตามแบบที่เราตกลงกันไว้สำหรับการประเมินผล"

ML: "สิ่งที่ฉันคิดว่าคุณบอกว่าคุณต้องการพิสูจน์ผลบางอย่างที่ประมาณการของคุณมักจะเป็นที่เป็นกลางสำหรับทุก? ."$\theta$

F: "ใช่ในขณะที่วิธีการของคุณอาจทำงานบนหนึ่งชุดข้อมูล (ชุดข้อมูลที่มีข้อมูลรถไฟและการทดสอบ) ที่คุณใช้ในการประเมินผลของฉันฉันสามารถพิสูจน์ได้ว่าเหมืองของฉันจะทำงานได้ตลอดเวลา"

ML: "สำหรับชุดข้อมูลทั้งหมดหรือไม่"

F: "ไม่"

ML: "ดังนั้นวิธีการของฉันได้รับการตรวจสอบข้ามในหนึ่งชุดข้อมูลคุณยังไม่ได้ทดสอบของคุณในชุดข้อมูลจริง ๆ ?"

F: "ถูกต้อง"

ML: "นั่นทำให้ฉันเป็นผู้นำ! วิธีการของฉันดีกว่าของคุณมันทำนายว่ามะเร็ง 90% ของเวลา 'การพิสูจน์' ของคุณจะใช้ได้เฉพาะถ้าชุดข้อมูลทั้งหมดทำงานตามรูปแบบที่คุณคิดไว้"

F: "เอ็มม์ใช่ฉันคิดว่า"

ML: "และช่วงเวลานั้นครอบคลุม 95% แต่ฉันไม่ควรแปลกใจถ้ามันมีค่าที่ถูกต้องคือ 20% ของเวลา?"$\theta$

F: "ถูกต้องยกเว้นว่าข้อมูลนั้นเป็น iid จริง (หรืออะไรก็ตาม) หลักฐานของฉันก็ไร้ประโยชน์"

ML: "ดังนั้นการประเมินของฉันจึงน่าเชื่อถือและครอบคลุมมากกว่านี้ใช้ได้กับชุดข้อมูลที่ฉันได้ลองมาแล้ว แต่อย่างน้อยพวกเขาก็เป็นชุดข้อมูลจริงหูดและอื่น ๆ ทั้งหมดคุณอยู่ที่นั่นพยายามเรียกร้องให้คุณอนุรักษ์นิยมมากกว่า 'และ' ละเอียด 'และคุณสนใจในการตรวจสอบแบบจำลองและสิ่งของต่างๆ "

B: (คำอุทาน) "เฮ้พวกขอโทษที่จะขัดจังหวะฉันชอบที่จะก้าวเข้ามาและสร้างความสมดุลให้กับสิ่งต่าง ๆ บางทีอาจจะแสดงให้เห็นถึงปัญหาอื่น ๆ แต่ฉันชอบดูเพื่อนร่วมงานของฉันบ่อย ๆ

F: "ว้าว!"

ML: "โอเคเด็ก ๆ ทุกอย่างเกี่ยวกับการประเมินผู้ประเมินเป็นกล่องดำข้อมูลเข้ามาข้อมูลออกมาเราอนุมัติหรือไม่อนุมัติผู้ประเมินตามวิธีการดำเนินการภายใต้การประเมินเราไม่สนใจ เกี่ยวกับ 'สูตร' หรือ 'หลักการออกแบบ' ที่ใช้

F: "ใช่ แต่เรามีแนวคิดที่แตกต่างกันมากเกี่ยวกับการประเมินที่สำคัญ ML จะทำการฝึกอบรมและทดสอบข้อมูลจริงในขณะที่ฉันจะทำการประเมินที่กว้างกว่า (เพราะเกี่ยวข้องกับการพิสูจน์ที่ใช้กันอย่างกว้างขวาง) และ ยังมีข้อ จำกัด มากขึ้น (เพราะฉันไม่รู้ว่าชุดข้อมูลของคุณมาจากสมมติฐานการสร้างแบบจำลองที่ฉันใช้ขณะออกแบบการประเมินผลของฉันหรือไม่) "

ML: "คุณใช้การประเมินแบบใด B"

F: (คำอุทาน) "เฮ้อย่าทำให้ฉันหัวเราะเขาไม่ได้ประเมินอะไรเลยเขาแค่ใช้ความเชื่อส่วนตัวและวิ่งไปกับมันหรืออะไรทำนองนั้น"

B: "นั่นคือการตีความทั่วไป แต่ก็เป็นไปได้ที่จะนิยาม Bayesianism โดยการประเมินที่ต้องการจากนั้นเราสามารถใช้ความคิดที่ว่าไม่มีใครสนใจว่ามีอะไรอยู่ในกล่องดำเราใส่ใจเฉพาะวิธีการประเมินที่แตกต่างกัน"

B ดำเนินการต่อ: "ตัวอย่างคลาสสิก: การทดสอบทางการแพทย์ผลลัพธ์ของการตรวจเลือดนั้นเป็นทั้งบวกหรือลบผู้ที่สนใจบ่อย ๆ จะเป็นคนที่สุขภาพดีสัดส่วนที่ได้รับผลลบและในทำนองเดียวกันสัดส่วนของผู้ป่วยที่จะป่วย ได้ผลเป็นบวกผู้ที่ใช้บ่อยจะคำนวณสิ่งเหล่านี้สำหรับวิธีการตรวจเลือดแต่ละครั้งที่อยู่ระหว่างการพิจารณาและจากนั้นแนะนำให้เราใช้การทดสอบที่ได้คะแนนที่ดีที่สุด "

F: "แน่นอนคุณต้องการอะไรอีก

B: "แล้วคนเหล่านั้นที่ได้ผลการทดสอบเป็นบวกพวกเขาจะต้องการรู้ว่า 'คนที่ได้รับผลบวกจะต้องป่วยกี่คน? และ 'ผู้ที่ได้ผลลัพธ์เป็นลบมีสุขภาพกี่คน' "

ML: "อ่าใช่นั่นเป็นคำถามที่ดีกว่าที่จะถาม"

F: "HERESY!"

B: "เราจะไปที่นี่อีกครั้งเขาไม่ชอบสิ่งที่กำลังจะเกิดขึ้น"

ML: "นี่มันเกี่ยวกับ 'นักบวช' ใช่ไหม?"

F: "ชั่วร้าย"

B: "อย่างไรก็ตามใช่คุณคิดถูก ML เพื่อคำนวณสัดส่วนของคนที่มีผลบวกที่ป่วยคุณต้องทำหนึ่งในสองสิ่งหนึ่งทางเลือกคือทำการทดสอบกับผู้คนจำนวนมากและเพียงสังเกต สัดส่วนที่เกี่ยวข้องตัวอย่างเช่นมีกี่คนที่เสียชีวิตด้วยโรคนี้ "

ML: "ฟังดูเหมือนฉันใช้รถไฟและการทดสอบ"

B: "แต่คุณสามารถคำนวณตัวเลขเหล่านี้ล่วงหน้าหากคุณยินดีที่จะทำการสันนิษฐานเกี่ยวกับอัตราการเจ็บป่วยในประชากรผู้ใช้บ่อยก็ทำให้การคำนวณของเขาล่วงหน้า แต่ไม่ต้องใช้อัตราการเจ็บป่วยระดับประชากรนี้"

F: "ข้อสมมติฐานที่ได้รับการสนับสนุนเพิ่มเติม"

B: "โอ้หุบปากก่อนหน้านี้คุณถูกค้นพบ ML ค้นพบว่าคุณชื่นชอบสมมติฐานที่ไม่มีมูลความจริงเช่นเดียวกับใครความน่าจะเป็นของความคุ้มครองที่ 'พิสูจน์แล้ว' ของคุณจะไม่ซ้อนกันในโลกแห่งความเป็นจริง ทำไมข้อสันนิษฐานก่อนหน้าของฉันจึงแตกต่างอย่างมากคุณเรียกฉันว่าบ้า แต่คุณแสร้งว่าข้อสันนิษฐานของคุณนั้นเป็นผลงานของการวิเคราะห์แบบอนุรักษ์นิยมที่มั่นคงไม่มีสมมติฐาน "

B (ต่อ): "อย่างไรก็ตาม ML อย่างที่ฉันพูด Bayesians ชอบการประเมินผลแบบต่าง ๆ เรามีความสนใจในการ จำกัด ข้อมูลที่สังเกตได้และการคำนวณความแม่นยำของตัวประมาณของเราเราไม่สามารถทำการประเมินนี้โดยไม่ใช้ ก่อนหน้านี้ แต่สิ่งที่น่าสนใจคือเมื่อเราตัดสินใจเกี่ยวกับการประเมินรูปแบบนี้และเมื่อเราเลือกก่อนหน้านี้เราจะมี 'สูตร' อัตโนมัติเพื่อสร้างตัวประมาณที่เหมาะสมผู้ใช้บ่อยไม่มีสูตรดังกล่าวหากเขาต้องการ ตัวประมาณแบบเอนเอียงสำหรับโมเดลที่ซับซ้อนเขาไม่มีวิธีอัตโนมัติในการสร้างตัวประมาณที่เหมาะสม "

ML: "แล้วคุณจะทำอย่างไรคุณสามารถสร้างเครื่องมือประมาณค่าอัตโนมัติ"

B: "ใช่ฉันไม่มีวิธีอัตโนมัติในการสร้างตัวประมาณที่ไม่เอนเอียงเพราะฉันคิดว่าอคติเป็นวิธีที่ไม่ดีในการประเมินตัวประมาณ แต่ให้การประมาณตามข้อมูลที่ฉันชอบและก่อนหน้านี้ฉัน สามารถเชื่อมต่อก่อนและโอกาสที่จะให้ฉันประมาณ "

ML: "งั้นเรามาสรุปกันเราทุกคนมีวิธีต่าง ๆ ในการประเมินวิธีการของเราและเราอาจไม่เคยเห็นด้วยว่าวิธีใดดีที่สุด"

B: "นั่นไม่ยุติธรรมเราสามารถผสมและจับคู่พวกเขาถ้าเรามีข้อมูลการฝึกอบรมที่มีป้ายกำกับที่ดีเราควรทดสอบกับมันและโดยทั่วไปแล้วเราทุกคนควรทดสอบสมมติฐานให้มากที่สุดเท่าที่จะทำได้ 'การพิสูจน์อาจสนุกเช่นกันการทำนายประสิทธิภาพภายใต้แบบจำลองบางประการของการสร้างข้อมูล "

F: "ใช่แล้วเราจะเน้นการประเมินและที่จริงฉันจะหยุดยั้งคุณสมบัติตัวอย่างที่ไม่มีที่สิ้นสุดฉันขอให้นักวิทยาศาสตร์ให้ตัวอย่างที่ไม่มีที่สิ้นสุดแก่พวกเขา แต่พวกเขาก็ยังไม่ได้ทำ ถึงเวลาที่ฉันจะโฟกัสอีกครั้งบนตัวอย่าง จำกัด "

ML: "งั้นเรามีคำถามสุดท้ายคำถามหนึ่งเราโต้เถียงกันมากเกี่ยวกับวิธีประเมินวิธีของเรา แต่เราจะสร้างวิธีการของเราได้อย่างไร"

B: "Ah. เมื่อก่อนหน้านี้เรา Bayesians มีวิธีการทั่วไปที่ทรงพลังกว่านี้มันอาจซับซ้อน แต่เราสามารถเขียนอัลกอริทึมบางอย่างได้เสมอ (อาจเป็น MCMC ที่ไร้เดียงสา) ที่จะสุ่มตัวอย่างจากคนหลังของเรา "

F (คำอุทาน): "แต่มันอาจมีอคติ"

B: "วิธีการของคุณอาจต้องการฉันขอเตือนคุณว่า MLE มักจะลำเอียง? บางครั้งคุณมีความยากลำบากอย่างมากในการหาตัวประมาณค่าที่เป็นกลางและแม้กระทั่งเมื่อคุณมีตัวประมาณโง่ (สำหรับแบบจำลองที่ซับซ้อนจริงๆ) ที่จะบอกว่า ความแปรปรวนเป็นลบและคุณเรียกมันว่าเป็นกลางไม่เอนเอียงใช่ แต่มีประโยชน์ไม่มี! "

ML: "โอเคพวกคุณคุยโวอีกครั้งฉันขอถามคุณเอฟคุณเคยเปรียบเทียบความลำเอียงของวิธีการของคุณกับความเอนเอียงของวิธีการของ B เมื่อคุณทำงานด้วยปัญหาเดียวกันหรือไม่?"

F: "ใช่จริง ๆ แล้วฉันเกลียดที่จะยอมรับ แต่บางครั้งแนวทางของ B มีอคติและMSEต่ำกว่าตัวประมาณของฉัน!"

ML: "บทเรียนที่นี่คือในขณะที่เราไม่เห็นด้วยเล็กน้อยในการประเมินผลเราไม่มีใครผูกขาดวิธีการสร้างเครื่องมือประเมินที่มีคุณสมบัติที่เราต้องการ"

B: "ใช่เราควรอ่านงานของกันและกันให้มากขึ้นเราสามารถให้แรงบันดาลใจให้กับนักประมาณค่าได้เราอาจพบว่าตัวประมาณของคนอื่นนั้นทำงานได้ดีมากนอกกรอบปัญหาของเราเอง"

F: "และฉันควรหยุดยั้งเรื่องอคติตัวประมาณที่ไม่เอนเอียงอาจมีความแปรปรวนที่ไร้สาระฉันคิดว่าพวกเราทุกคนต้อง 'รับผิดชอบ' สำหรับตัวเลือกที่เราทำในการประเมินและคุณสมบัติที่เราต้องการเห็นในตัวประมาณของเรา เราไม่สามารถอยู่เบื้องหลังปรัชญาได้ลองใช้การประเมินทั้งหมดที่คุณทำได้และฉันจะคอยดูวรรณกรรม Bayesian เพื่อรับแนวคิดใหม่สำหรับการประมาณค่า! "

B: "อันที่จริงผู้คนจำนวนมากไม่รู้จริง ๆ ว่าปรัชญาของพวกเขาคืออะไรฉันไม่แน่ใจด้วยซ้ำว่าตัวเองถ้าฉันใช้สูตรแบบเบย์แล้วพิสูจน์ผลลัพธ์ทางทฤษฎีที่ดีนั่นไม่ได้หมายความว่าฉัน เป็นบ่อยครั้งหรือไม่นักประพันธ์สนใจเกี่ยวกับบทพิสูจน์ข้างต้นเกี่ยวกับประสิทธิภาพเขาไม่สนใจสูตรอาหารและถ้าฉันทำแบบทดสอบและทดสอบแทน (หรือเช่นกัน) นั่นหมายความว่าฉันเป็นเครื่องเรียนรู้หรือไม่? "

ML: "ดูเหมือนว่าพวกเราทุกคนค่อนข้างคล้ายกันแล้ว"

ในการอภิปรายฉันมักจะจำคำพูดของ Ken Thompson ที่มีชื่อเสียง

หากมีข้อสงสัยให้ใช้กำลังดุร้าย

ในกรณีนี้การเรียนรู้ของเครื่องเป็นความรอดเมื่อสมมติฐานยากต่อการจับ หรืออย่างน้อยก็เป็นการดีกว่าการเดาผิด

สิ่งที่บังคับให้แยกกันมากกว่าที่ควรจะเป็นคือศัพท์ของแต่ละคน

มีหลายกรณีที่ ML ใช้คำหนึ่งคำและสถิติใช้คำที่แตกต่างกัน - แต่ทั้งคู่อ้างถึงสิ่งเดียวกัน - ดีคุณจะคาดหวังและไม่ทำให้เกิดความสับสนถาวร (เช่นคุณสมบัติ / คุณสมบัติเมื่อเทียบกับความคาดหวัง) ตัวแปรหรือโครงข่ายประสาทเทียม / MLP เทียบกับการติดตามการฉายภาพ)

สิ่งที่เป็นปัญหามากกว่าคือสาขาวิชาทั้งสองใช้คำเดียวกันเพื่ออ้างถึงแนวคิดที่แตกต่างอย่างสิ้นเชิง

ตัวอย่างบางส่วน:

ฟังก์ชั่นเคอร์เนล

ใน ML ฟังก์ชั่นเคอร์เนลจะใช้ในตัวแยกประเภท (เช่น SVM) และแน่นอนในเครื่องเคอร์เนล คำนี้หมายถึงฟังก์ชั่นที่เรียบง่าย ( โคไซน์, sigmoidal, rbf, พหุนาม ) เพื่อทำแผนที่แบบแยกไม่เชิงเส้นกับพื้นที่อินพุตใหม่เพื่อให้ข้อมูลสามารถแยกเชิงเส้นในพื้นที่อินพุตใหม่นี้ (กับการใช้โมเดลที่ไม่ใช่เชิงเส้นเพื่อเริ่มต้นด้วย)

ในสถิติฟังก์ชันเคอร์เนลคือฟังก์ชันถ่วงน้ำหนักที่ใช้ในการประมาณค่าความหนาแน่นเพื่อทำให้เส้นโค้งความหนาแน่นราบเรียบ

การถอยหลัง

ใน ML ขั้นตอนวิธีการทำนายหรือการใช้งานของอัลกอริทึมที่กลับป้ายคลาส "ลักษณนาม" คือ (บางครั้ง) เรียกว่าเครื่อง --eg, การสนับสนุนเครื่องเวกเตอร์ , เครื่องเคอร์เนล คู่กับเครื่องมีregressorsซึ่งกลับมาเป็นคะแนน (ตัวแปรต่อเนื่อง) - เช่นการถดถอยสนับสนุนเวกเตอร์

อัลกอริธึมไม่ค่อยมีชื่อแตกต่างกันไปตามโหมด - เช่น MLP เป็นคำที่ใช้ไม่ว่าจะส่งคืนคลาสเลเบลหรือตัวแปรต่อเนื่อง

ในสถิติการถดถอยถ้าคุณกำลังพยายามสร้างแบบจำลองโดยยึดตามข้อมูลเชิงประจักษ์เพื่อทำนายตัวแปรการตอบสนองบางอย่างตามตัวแปรอธิบายอย่างน้อยหนึ่งตัวหรือมากกว่านั้นคุณกำลังทำการวิเคราะห์การถดถอย มันไม่สำคัญว่าผลลัพธ์จะเป็นตัวแปรต่อเนื่องหรือคลาสเลเบล (เช่นการถดถอยโลจิสติก) ตัวอย่างเช่นการถดถอยกำลังสองน้อยที่สุดหมายถึงโมเดลที่ส่งคืนค่าต่อเนื่อง การถดถอยแบบโลจิสติกส์จะส่งกลับค่าประมาณความน่าจะเป็นซึ่งจะถูกแยกออกเป็นคลาสเลเบล

อคติ

ใน ML คำว่าอคติในอัลกอริทึมนั้นมีแนวคิดเหมือนกับคำสกัดกั้นที่ใช้โดยนักสถิติในการสร้างแบบจำลองการถดถอย

ในสถิติอคตินั้นเป็นข้อผิดพลาดที่ไม่ได้สุ่มนั่นคือปรากฏการณ์บางอย่างมีผลต่อชุดข้อมูลทั้งหมดในทิศทางเดียวกันซึ่งหมายความว่าข้อผิดพลาดประเภทนี้ไม่สามารถลบออกได้โดยการสุ่มใหม่หรือเพิ่มขนาดตัวอย่าง

การเรียนรู้ของเครื่องดูเหมือนจะมีพื้นฐานในทางปฏิบัติ - การสังเกตการปฏิบัติหรือการจำลองของความเป็นจริง แม้ในสถิติการ "ตรวจสอบแบบจำลองและข้อสันนิษฐาน" ที่ไม่สนใจสามารถนำไปสู่วิธีการทิ้งที่มีประโยชน์

ตัวอย่างเช่นปีที่ผ่านมาโมเดลการล้มละลายที่มีวางจำหน่ายครั้งแรก (และการทำงาน) ที่ดำเนินการโดยเครดิตบูโรถูกสร้างขึ้นผ่านโมเดลการถดถอยเชิงเส้นแบบเก่าแบบดั้งเดิมที่กำหนดเป้าหมายผลลัพธ์ 0-1 ในทางเทคนิคแล้วมันเป็นวิธีการที่ไม่ดี แต่ใช้งานได้จริง

ความแตกต่างที่ใหญ่ที่สุดที่ฉันสังเกตเห็นในปีที่ผ่านมาคือ:

• ผู้เชี่ยวชาญด้านการเรียนรู้ของเครื่องไม่ได้ใช้เวลากับพื้นฐานอย่างเพียงพอและหลายคนไม่เข้าใจการตัดสินใจที่ดีที่สุดและกฎการให้คะแนนความแม่นยำที่เหมาะสม พวกเขาไม่เข้าใจว่าวิธีการทำนายที่ไม่มีสมมติฐานต้องใช้ขนาดตัวอย่างที่ใหญ่กว่าวิธีการทำนาย
• นักสถิติเราใช้เวลาน้อยเกินไปในการเรียนรู้การฝึกฝนการเขียนโปรแกรมที่ดีและภาษาคอมพิวเตอร์ใหม่ ๆ เราช้าเกินกว่าที่จะเปลี่ยนแปลงเมื่อพูดถึงการคำนวณและการใช้วิธีการใหม่ ๆ จากวรรณกรรมทางสถิติ

ฉันไม่เห็นด้วยกับคำถามนี้เพราะมันแสดงให้เห็นว่าการเรียนรู้ด้วยเครื่องและสถิตินั้นแตกต่างกันหรือเป็นวิทยาศาสตร์ที่ขัดแย้งกัน .... เมื่อสิ่งที่ตรงกันข้ามเป็นจริง!

การเรียนรู้ของเครื่องทำให้การใช้งานสถิติอย่างกว้างขวาง ... การสำรวจอย่างรวดเร็วของชุดการเรียนรู้ของเครื่องหรือการทำเหมืองข้อมูลจะเปิดเผยเทคนิคการจัดกลุ่มเช่น k-mean ที่พบในสถิติ ... จะแสดงเทคนิคการลดขนาดเช่นการวิเคราะห์องค์ประกอบหลัก ยังเป็นเทคนิคทางสถิติ ... แม้แต่การถดถอยโลจิสติกอีกอย่าง

ในมุมมองของฉันความแตกต่างที่สำคัญคือสถิติแบบดั้งเดิมถูกนำมาใช้เพื่อสร้างทฤษฎีที่มีมาก่อนและโดยปกติแล้วการวิเคราะห์จะออกแบบรอบ ๆ ทฤษฎีหลักนั้น การเรียนรู้การทำเหมืองข้อมูลหรือเครื่องจักรด้วยวิธีการตรงข้ามมักจะเป็นบรรทัดฐานที่เรามีผลลัพธ์เราแค่ต้องการหาวิธีทำนายมันแทนที่จะถามคำถามหรือแบบฟอร์มทฤษฎีก็คือผลลัพธ์นี้!

ฉันได้พูดเกี่ยวกับเรื่องนี้ที่ฟอรัมอื่นของ ASA Statistics Consulting eGroup การตอบสนองของฉันนั้นเฉพาะเจาะจงกับการขุดข้อมูล แต่ทั้งสองไปจับมือกัน เรานักสถิติได้ปฏิเสธจมูกของเราที่คนขุดข้อมูลนักวิทยาศาสตร์คอมพิวเตอร์และวิศวกร มันผิด. ฉันคิดว่าส่วนหนึ่งของสาเหตุที่เกิดขึ้นก็เพราะเราเห็นบางคนในสาขาเหล่านั้นโดยไม่สนใจธรรมชาติที่เป็นปัญหาของพวกเขา นักสถิติบางคนเรียกข้อมูลการขุดข้อมูลการสอดแนมหรือการตกปลาข้อมูล บางคนใช้วิธีการที่ไม่เหมาะสมในทางที่ผิด แต่นักสถิติได้ตกหลุมในการขุดข้อมูลและการเรียนรู้ของเครื่องเพราะเราวาดภาพเหล่านั้นด้วยแปรงกว้าง ๆ ผลลัพธ์ทางสถิติขนาดใหญ่บางส่วนมาจากนอกเขตข้อมูลสถิติ การส่งเสริมเป็นตัวอย่างที่สำคัญอย่างหนึ่ง แต่นักสถิติอย่าง Brieman, Friedman, Hastie, Tibshirani, Efron Gelman และคนอื่น ๆ ได้รับมันและความเป็นผู้นำของพวกเขาได้นำนักสถิติมาวิเคราะห์ microarrays และปัญหาการอนุมานขนาดใหญ่อื่น ๆ ดังนั้นในขณะที่วัฒนธรรมอาจไม่เชื่อมโยงกันขณะนี้มีความร่วมมือและความร่วมมือระหว่างนักวิทยาศาสตร์คอมพิวเตอร์วิศวกรและนักสถิติ

ปัญหาที่แท้จริงคือคำถามนี้เข้าใจผิด ไม่ใช่การเรียนรู้ของเครื่องเทียบกับสถิติ แต่เป็นการเรียนรู้ของเครื่องกับความก้าวหน้าทางวิทยาศาสตร์ที่แท้จริง หากอุปกรณ์การเรียนรู้ของเครื่องให้การคาดการณ์ที่ถูกต้อง 90% ของเวลา แต่ฉันไม่เข้าใจ "ทำไม" สิ่งที่มีประโยชน์มากในการเรียนรู้ของเครื่องกับวิทยาศาสตร์ในวงกว้างคืออะไร? ลองนึกภาพถ้าใช้เทคนิคการเรียนรู้ด้วยเครื่องจักรเพื่อทำนายตำแหน่งของดาวเคราะห์: จะมีคนที่พอใจในตัวเองจำนวนมากคิดว่าพวกเขาสามารถทำนายสิ่งต่างๆด้วย SVM ได้อย่างแม่นยำ แต่สิ่งที่พวกเขาจะรู้จริง ๆ เกี่ยวกับปัญหาที่พวกเขามีอยู่ในมือ ? เห็นได้ชัดว่าวิทยาศาสตร์ไม่ได้ก้าวหน้าไปกว่าการคาดการณ์เชิงตัวเลข แต่มันก้าวหน้าโดยวิธีการของแบบจำลอง (จิตคณิตศาสตร์) ที่ทำให้เราเห็นมากกว่าตัวเลข

การเรียนรู้ทางสถิติ (AKA Machine Learning) มีต้นกำเนิดในการแสวงหาเพื่อสร้างซอฟต์แวร์โดย "การเรียนรู้จากตัวอย่าง" มีงานหลายอย่างที่เราต้องการให้คอมพิวเตอร์ทำ (เช่นการมองเห็นด้วยคอมพิวเตอร์, การรู้จำเสียง, การควบคุมหุ่นยนต์) ที่ยากต่อการเขียนโปรแกรม แต่เป็นเรื่องง่ายที่จะให้ตัวอย่างการฝึกอบรม ชุมชนการเรียนรู้ด้วยเครื่อง / การเรียนรู้ทางสถิติได้พัฒนาอัลกอริทึมเพื่อเรียนรู้การทำงานจากตัวอย่างเหล่านี้ ฟังก์ชั่นการสูญเสียมักเกี่ยวข้องกับงานด้านประสิทธิภาพ (การมองเห็นการรู้จำเสียง) และแน่นอนว่าเราไม่มีเหตุผลที่จะเชื่อว่ามี "แบบจำลอง" ที่เรียบง่ายที่แฝงอยู่ในงานเหล่านี้ ดังนั้นความคิดทั้งหมดของการอนุมานเชิงสถิติจึงไม่สมเหตุสมผล เป้าหมายคือความแม่นยำในการทำนายและไม่มีอะไรอื่น

เมื่อเวลาผ่านไปกองกำลังต่าง ๆ เริ่มผลักดันการเรียนรู้ของผู้คนเพื่อเรียนรู้เพิ่มเติมเกี่ยวกับสถิติ หนึ่งคือความต้องการที่จะรวมความรู้พื้นฐานและข้อ จำกัด อื่น ๆ ในกระบวนการเรียนรู้ สิ่งนี้ทำให้ผู้คนพิจารณาแบบจำลองความน่าจะเป็นแบบกำเนิดเพราะสิ่งเหล่านี้ทำให้ง่ายต่อการรวบรวมความรู้ก่อนผ่านโครงสร้างของแบบจำลองและตัวพิมพ์ใหญ่บนพารามิเตอร์และโครงสร้างแบบจำลอง สิ่งนี้นำไปสู่การค้นพบวรรณกรรมทางสถิติที่หลากหลายในพื้นที่นี้ แรงอีกประการหนึ่งคือการค้นพบปรากฏการณ์ของการบรรจุมากเกินไป สิ่งนี้นำไปสู่ชุมชน ML เพื่อเรียนรู้เกี่ยวกับการตรวจสอบข้ามความถูกต้องและการทำให้เป็นมาตรฐานและอีกครั้งที่เราค้นพบวรรณกรรมทางสถิติที่เข้มข้นในเรื่องนี้

อย่างไรก็ตามจุดเน้นของงานการเรียนรู้ของเครื่องจักรส่วนใหญ่คือการสร้างระบบที่แสดงประสิทธิภาพบางอย่างแทนที่จะใช้การอนุมานเกี่ยวกับกระบวนการที่ไม่รู้จัก นี่คือความแตกต่างพื้นฐานระหว่าง ML และสถิติ

ในอุดมคติแล้วควรมีความรู้อย่างละเอียดเกี่ยวกับสถิติและการเรียนรู้ของเครื่องก่อนที่จะพยายามตอบคำถามของเขา ฉันเป็น Neophyte ถึง ML มากดังนั้นโปรดยกโทษให้ฉันถ้าฉันพูดได้ว่าไร้เดียงสา

ฉันมีประสบการณ์ จำกัด เกี่ยวกับ SVM และต้นไม้การถดถอย สิ่งที่ทำให้ฉันขาด ML จากมุมมองสถิติเป็นแนวคิดที่พัฒนาขึ้นอย่างดีในการอนุมาน

การอนุมานใน ML ดูเหมือนจะทำให้ความแม่นยำในการทำนายนั้นเกือบจะลดลงตามที่วัดโดย (ตัวอย่าง) หมายถึงข้อผิดพลาดการจำแนกประเภท (MCE) หรืออัตราข้อผิดพลาดสมดุล (BER) หรือที่คล้ายกัน ML อยู่ในนิสัยที่ดีมากในการแบ่งข้อมูลแบบสุ่ม (ปกติ 2: 1) เป็นชุดฝึกอบรมและชุดทดสอบ แบบจำลองมีความเหมาะสมโดยใช้ชุดฝึกอบรมและประสิทธิภาพ (MCE, BER และอื่น ๆ ) ได้รับการประเมินโดยใช้ชุดทดสอบ นี่คือการฝึกฝนที่ยอดเยี่ยมและค่อยๆเข้ามาสู่สถิติกระแสหลัก

ML ใช้วิธีการสุ่มตัวอย่างอย่างหนักอีกครั้ง (โดยเฉพาะการตรวจสอบความถูกต้องข้าม) ซึ่งมีต้นกำเนิดอยู่ในสถิติ

อย่างไรก็ตาม ML ดูเหมือนว่าจะไม่มีแนวคิดการอนุมานที่พัฒนาเต็มที่เกินความแม่นยำที่คาดการณ์ได้ มีสองผลลัพธ์

1) ดูเหมือนว่าจะไม่เห็นคุณค่าที่การคาดการณ์ใด ๆ (การประมาณค่าพารามิเตอร์ ฯลฯ ) อาจมีข้อผิดพลาดแบบสุ่มและอาจเกิดจากข้อผิดพลาดของระบบ (อคติ) นักสถิติจะยอมรับว่านี่เป็นส่วนที่หลีกเลี่ยงไม่ได้ของการทำนายและจะพยายามและประเมินข้อผิดพลาด เทคนิคทางสถิติจะพยายามค้นหาประมาณการที่มีอคติขั้นต่ำและข้อผิดพลาดแบบสุ่ม เทคนิคของพวกเขามักจะถูกขับเคลื่อนด้วยแบบจำลองของกระบวนการข้อมูล แต่ไม่เสมอไป (เช่น Bootstrap)

2) ดูเหมือนว่าจะไม่มีความเข้าใจอย่างลึกซึ้งใน ML ของข้อ จำกัด ของการใช้แบบจำลองกับข้อมูลใหม่กับตัวอย่างใหม่จากประชากรเดียวกัน (แม้จะมีสิ่งที่ฉันพูดก่อนหน้านี้เกี่ยวกับแนวทางชุดข้อมูลการทดสอบการฝึกอบรม) เทคนิคทางสถิติต่าง ๆ ในหมู่พวกเขาข้ามการตรวจสอบและเงื่อนไขการลงโทษที่ใช้กับวิธีการตามโอกาส, สถิติแนะนำในการแลกเปลี่ยนระหว่างความแตกต่างและความซับซ้อนของรูปแบบ แนวทางดังกล่าวใน ML ดูเหมือนจะเป็นกิจวัตรมากกว่า

ฉันเคยเห็นเอกสารหลายฉบับใน ML ที่ใช้การตรวจสอบความถูกต้องไขว้กันเพื่อปรับความเหมาะสมของโมเดลจำนวนมากบนชุดข้อมูลการฝึกอบรม - การสร้างดีขึ้นและดีขึ้นเมื่อความซับซ้อนของแบบจำลองเพิ่มขึ้น ดูเหมือนว่ามีความกตัญญูเล็กน้อยที่การได้รับความแม่นยำเพียงเล็กน้อยนั้นไม่คุ้มกับความซับซ้อนเป็นพิเศษและสิ่งนี้นำไปสู่ จากนั้นแบบจำลองที่ได้รับการปรับปรุงทั้งหมดเหล่านี้จะถูกนำไปใช้กับชุดทดสอบเพื่อตรวจสอบประสิทธิภาพการทำนายและเพื่อป้องกันไม่ให้เกิดการโอเวอร์โหลด ลืมสองสิ่ง (ด้านบน) ประสิทธิภาพการคาดการณ์จะมีองค์ประกอบสุ่ม การทดสอบหลายครั้งที่สองกับชุดทดสอบจะส่งผลอีกครั้งในการกระชับ แบบจำลอง "ดีที่สุด" จะได้รับการคัดเลือกจากผู้ประกอบการ ML โดยไม่ซาบซึ้งอย่างเต็มที่เขา / เธอได้เลือกสรรเชอร์รี่จากการตระหนักถึงผลที่เป็นไปได้หลายอย่างจากการทดลองนี้

2 เซ็นต์ของฉันมีค่า เรามีอะไรมากมายให้เรียนรู้จากกันและกัน

คำถามนี้ยังสามารถขยายไปถึงวัฒนธรรมซุปเปอร์ของวิทยาศาสตร์ข้อมูลในปี 2015 David Donoho กระดาษ50 ปีของวิทยาศาสตร์ข้อมูลซึ่งเขาเผชิญหน้ากับมุมมองที่แตกต่างจากสถิติและวิทยาการคอมพิวเตอร์ (รวมถึงการเรียนรู้ของเครื่อง) เช่นจุดยืนโดยตรง (จากบุคคลต่าง ๆ ) เช่นว่า:

• เหตุใดเราจึงต้องการวิทยาศาสตร์ข้อมูลเมื่อเรามีสถิติเป็นเวลาหลายศตวรรษ
• วิทยาศาสตร์ข้อมูลเป็นสถิติ
• วิทยาศาสตร์ข้อมูลที่ไม่มีสถิติเป็นไปได้แม้เป็นที่ต้องการ
• สถิติเป็นส่วนสำคัญที่สุดของวิทยาศาสตร์ข้อมูล

และสารพันกับการพิจารณาประวัติศาสตร์ปรัชญาเช่น:

เป็นเรื่องที่น่าสังเกตว่าเมื่อฉันทบทวนงานนำเสนอเกี่ยวกับศาสตร์ข้อมูลในปัจจุบันซึ่งสถิติได้รับการเบี่ยงเบนสั้น ๆ อย่างสุดขีดฉันไม่สามารถหลีกเลี่ยงการสังเกตได้ว่าเครื่องมือพื้นฐานตัวอย่างและแนวคิดที่ถูกสอนเป็นวิทยาศาสตร์ข้อมูลล้วนแล้วแต่ คิดค้นอย่างแท้จริงโดยคนที่ผ่านการอบรมในปริญญาเอก สถิติและในหลาย ๆ กรณีซอฟต์แวร์ที่ใช้จริงได้รับการพัฒนาโดยคนที่มี MA หรือปริญญาเอก ในสถิติ สถิติที่สะสมตลอดหลายศตวรรษที่ผ่านมานั้นมีจำนวนมากเกินกว่าที่จะบันทึกได้อย่างสมบูรณ์และไม่สามารถซ่อนอยู่ในการสอนการวิจัยและการออกกำลังกายของ Data Science

บทความนี้ได้สร้างการตอบสนองและมีส่วนร่วมในการอภิปรายมากมาย

ฉันไม่รู้จริง ๆ ว่าความแตกต่างทางความคิด / ประวัติศาสตร์ระหว่างการเรียนรู้ของเครื่องและสถิติคืออะไร แต่ฉันแน่ใจว่ามันไม่ชัดเจนนัก ... และฉันไม่สนใจที่จะรู้ว่าฉันเป็นผู้เรียนรู้ด้วยตนเองหรือนักสถิติฉันคิดว่า 10 ปีหลังจากกระดาษของ Breiman ผู้คนมากมายต่างก็มี ...

อย่างไรก็ตามฉันพบ คำถามเกี่ยวกับความแม่นยำในการทำนายของโมเดลที่น่าสนใจ เราต้องจำไว้ว่ามันเป็นไปไม่ได้เสมอที่จะวัดความแม่นยำของแบบจำลองและแม่นยำยิ่งกว่าที่เรามักทำแบบจำลองโดยปริยายเมื่อทำการวัดข้อผิดพลาด

ตัวอย่างเช่นค่าเฉลี่ยข้อผิดพลาดสัมบูรณ์ในการคาดการณ์อนุกรมเวลาเป็นค่าเฉลี่ยเมื่อเวลาผ่านไปและจะวัดประสิทธิภาพของกระบวนการเพื่อคาดคะเนค่ามัธยฐานด้วยการสันนิษฐานว่าประสิทธิภาพนั้นในแง่หนึ่งคงที่และแสดงคุณสมบัติตามหลักสรีรศาสตร์บางประการ หาก (ด้วยเหตุผลบางอย่าง) คุณต้องพยากรณ์อุณหภูมิเฉลี่ยของโลกในอีก 50 ปีข้างหน้าและหากแบบจำลองของคุณทำงานได้ดีในช่วง 50 ปีที่ผ่านมา ... ไม่ได้หมายความว่า ...

โดยทั่วไป (ถ้าจำได้จะเรียกว่าไม่มีอาหารกลางวันฟรี) คุณไม่สามารถทำอะไรได้หากไม่ทำโมเดล ... นอกจากนี้ฉันคิดว่าสถิติกำลังพยายามหาคำตอบสำหรับคำถาม: "เป็นสิ่งที่สำคัญหรือไม่", นี่เป็นคำถามที่สำคัญมากทางวิทยาศาสตร์และไม่สามารถตอบได้ผ่านกระบวนการเรียนรู้ หากต้องการระบุ John Tukey (เขาเป็นนักสถิติหรือไม่):

การรวมกันของข้อมูลบางอย่างและความปรารถนาที่น่าปวดหัวสำหรับคำตอบนั้นไม่สามารถมั่นใจได้ว่าสามารถดึงคำตอบที่สมเหตุสมผลออกจากส่วนของข้อมูล

หวังว่านี่จะช่วยได้!

เห็นได้ชัดว่าทั้งสองสาขาเผชิญปัญหาที่คล้ายกัน แต่แตกต่างกันอย่างชัดเจน แต่ไม่เหมือนกันกับแนวคิดแบบอะนาล็อก แต่ไม่เหมือนกันและทำงานในแผนกต่าง ๆ วารสารและการประชุม

เมื่อฉันอ่าน Cressie และ Read's Power Divergence Statistics ข้อมูล ทั้งหมดได้ถูกนำมาใช้แทนฉัน สูตรของพวกเขาวางสถิติการทดสอบที่ใช้กันทั่วไปในรูปแบบที่แตกต่างกันไปตามแลมด้าหนึ่งเลขชี้กำลัง มีสองกรณีพิเศษคือแลมบ์ดา = 0 และแลมบ์ดา = 1

วิทยาศาสตร์คอมพิวเตอร์และสถิติสอดคล้องกับความต่อเนื่อง (ซึ่งอาจรวมถึงประเด็นอื่น ๆ ) แลมบ์ดาคุณจะได้รับสถิติที่อ้างถึงโดยทั่วไปในแวดวงสถิติและอีกอันหนึ่งคุณจะได้รับสถิติที่อ้างถึงโดยทั่วไปในแวดวง Comp Sci

สถิติ

• แลมบ์ดา = 1
• ผลรวมของช่องสี่เหลี่ยมปรากฏขึ้นมากมาย
• ความแปรปรวนเป็นการวัดความแปรปรวน
• ความแปรปรวนร่วมเป็นตัวชี้วัดความสัมพันธ์
• สถิติ Chi-squared เป็นการวัดแบบจำลอง

วิทยาศาสตร์คอมพิวเตอร์:

• แลมบ์ดา = 0
• จำนวนบันทึกปรากฏมาก
• เอนโทรปีเป็นการวัดความแปรปรวน
• ข้อมูลร่วมกันเป็นตัวชี้วัดความสัมพันธ์
• สถิติ G-squared เป็นการวัดแบบจำลอง

คุณใช้อัลกอริธึมของคอมพิวเตอร์แฟนซีเพียงครั้งเดียวและคุณจะได้รับการนำเสนอ / สถิติการประชุม CS (ว้าวนี่ช่างเป็นการบรรจบกันอย่างรวดเร็ว!) คุณทำการค้าและเรียกใช้มัน 1 ล้านครั้ง - และคุณก็พัง (อุ๊ยทำไมฉันถึงได้ผลที่ไร้ประโยชน์และไม่สามารถผลิตได้ตลอดเวลา ???) เว้นแต่คุณจะรู้วิธีใช้ความน่าจะเป็นและสถิติเพื่อสรุปคุณสมบัติของอัลกอริทึม

มีพื้นที่ของการใช้สถิติที่มุ่งเน้นไปที่รูปแบบการสร้างข้อมูลทำให้รู้สึกมาก ในการทดลองออกแบบเช่นการศึกษาสัตว์การทดลองทางคลินิก DOEs อุตสาหกรรมนักสถิติสามารถมีมือในการสร้างแบบจำลองข้อมูล ML มักจะไม่ใช้เวลากับปัญหาที่สำคัญนี้เนื่องจาก ML มักมุ่งเน้นไปที่ปัญหาที่สำคัญอื่น ๆ ของการทำนายโดยใช้ข้อมูลจากการสังเกตแบบ“ ใหญ่” ไม่ได้บอกว่า ML ไม่สามารถนำไปใช้กับการทดลองที่ออกแบบมา "ใหญ่" ได้ แต่เป็นสิ่งสำคัญที่ต้องยอมรับว่าสถิติมีความเชี่ยวชาญเป็นพิเศษเกี่ยวกับปัญหาข้อมูล "เล็ก" ที่เกิดจากการทดลองที่ จำกัด ทรัพยากร

ในตอนท้ายของวันฉันคิดว่าเราทุกคนสามารถตกลงที่จะใช้สิ่งที่ดีที่สุดในการแก้ปัญหาในมือ เช่นเราอาจมีการทดลองออกแบบที่สร้างข้อมูลที่กว้างมากโดยมีเป้าหมายในการทำนาย หลักการออกแบบเชิงสถิติมีประโยชน์มากที่นี่และวิธีการ ML อาจเป็นประโยชน์ในการสร้างตัวทำนาย

ฉันคิดว่าการเรียนรู้ด้วยเครื่องจำเป็นต้องเป็นสาขาย่อยภายใต้สถิติเช่นเดียวกับในมุมมองของฉันเคมีต้องเป็นสาขาย่อยภายใต้ฟิสิกส์

ฉันคิดว่ามุมมองที่ได้รับแรงบันดาลใจจากวิชาฟิสิกส์เกี่ยวกับวิชาเคมีนั้นค่อนข้างแข็งแกร่ง (ฉันเดา) ฉันไม่คิดว่าจะมีปฏิกิริยาทางเคมีใด ๆ ที่เทียบเท่าไม่เป็นที่รู้จักในแง่ทางกายภาพ ฉันคิดว่าฟิสิกส์ทำได้ดีมากโดยอธิบายทุกอย่างที่เราเห็นในระดับเคมี ทีนี้ความท้าทายของนักฟิสิกส์ดูเหมือนจะอธิบายถึงความลึกลับเล็ก ๆ ในระดับควอนตัมภายใต้สภาวะสุดขั้วที่ไม่สามารถสังเกตได้

ตอนนี้กลับไปที่การเรียนรู้ของเครื่อง ฉันคิดว่ามันมากเกินไปควรจะเป็นสาขาย่อยภายใต้สถิติ (เพียงวิธีการทางเคมีเป็นสาขาย่อยของฟิสิกส์)

แต่สำหรับฉันแล้วดูเหมือนว่าไม่ว่าสถานะการเรียนรู้ของเครื่องจักรหรือสถิติในปัจจุบันจะยังไม่โตพอที่จะเข้าใจสิ่งนี้ได้อย่างสมบูรณ์ แต่ในระยะยาวฉันคิดว่าจะต้องกลายเป็นสาขาย่อยของอื่น ๆ ฉันคิดว่ามันเป็น ML ที่จะได้รับภายใต้สถิติ

โดยส่วนตัวฉันคิดว่า "การเรียนรู้" และ "การวิเคราะห์ตัวอย่าง" เพื่อประมาณ / สรุปฟังก์ชั่นหรือการคาดการณ์ล้วนเป็นคำถามของสถิติ

จากหลักสูตร Coursera "วิทยาศาสตร์ข้อมูลในชีวิตจริง" โดย Brian Caffo

การเรียนรู้ของเครื่อง

• เน้นการคาดการณ์
• ประเมินผลลัพธ์ผ่านการทำนาย
• กังวลกับการบรรจุมากเกินไป แต่ไม่ใช่ความซับซ้อนของแบบจำลองต่อ se
• เน้นประสิทธิภาพ
• ความสามารถในการได้รับทั่วไปผ่านประสิทธิภาพของชุดข้อมูลใหม่
• โดยปกติจะไม่มีการระบุโมเดลยอดนิยม
• กังวลเรื่องประสิทธิภาพและความแข็งแกร่ง

การวิเคราะห์ทางสถิติแบบดั้งเดิม

• เน้นการอนุมานที่มีประชากรมาก
• มุ่งเน้นไปที่สมมติฐานเบื้องต้น
• แบบจำลองที่ง่ายกว่าเป็นที่ต้องการมากกว่าแบบจำลองที่ซับซ้อน (parsimony) แม้ว่ารุ่นที่ซับซ้อนกว่าจะทำงานได้ดีกว่าเล็กน้อย
• เน้นการตีความพารามิเตอร์
• การสร้างแบบจำลองทางสถิติหรือสมมติฐานการสุ่มตัวอย่างเชื่อมต่อข้อมูลกับประชากรที่น่าสนใจ
• ข้อกังวลเกี่ยวกับสมมติฐานและความแข็งแกร่ง

ในฐานะนักวิทยาศาสตร์คอมพิวเตอร์ฉันรู้สึกทึ่งเสมอเมื่อมองหาวิธีการทางสถิติ สำหรับฉันหลายครั้งดูเหมือนว่าแบบจำลองทางสถิติที่ใช้ในการวิเคราะห์ทางสถิตินั้นซับซ้อนเกินไปสำหรับข้อมูลในหลาย ๆ สถานการณ์!

ตัวอย่างเช่นมีการเชื่อมโยงที่แข็งแกร่งระหว่างการบีบอัดข้อมูลและสถิติ โดยทั่วไปจำเป็นต้องใช้แบบจำลองทางสถิติที่ดีซึ่งสามารถทำนายข้อมูลได้ดีและสิ่งนี้นำมาซึ่งการบีบอัดข้อมูลที่ดีมาก ในด้านวิทยาศาสตร์คอมพิวเตอร์เมื่อทำการบีบอัดข้อมูลความซับซ้อนของแบบจำลองทางสถิติและความแม่นยำของการทำนายนั้นสำคัญมาก ไม่มีใครอยากได้ไฟล์ข้อมูล (ที่มีข้อมูลเสียงหรือข้อมูลภาพหรือข้อมูลวิดีโอ) ยิ่งใหญ่ขึ้นหลังจากการบีบอัดข้อมูล!

ผมพบว่ามีสิ่งที่มากขึ้นแบบไดนามิกในวิทยาการคอมพิวเตอร์เกี่ยวกับสถิติอย่างเช่นคำอธิบายความยาวขั้นต่ำและสูงสุดโอกาสปกติ