การอนุมานกับการประมาณค่า?

อะไรคือความแตกต่างระหว่าง "การอนุมาน" และ "การประมาณค่า" ภายใต้บริบทของการเรียนรู้ของเครื่อง ?

ในฐานะมือใหม่ฉันรู้สึกว่าเราอนุมานตัวแปรแบบสุ่มและประเมินพารามิเตอร์โมเดล ความเข้าใจนี้ถูกต้องหรือไม่

ถ้าไม่สิ่งที่แตกต่างกันคืออะไรและเมื่อใดที่ฉันควรใช้

นอกจากนี้คำพ้องความหมายของคำว่า "เรียนรู้" คืออะไร?

การอนุมานเชิงสถิติทำขึ้นจากการรวบรวมทั้งหมดของข้อสรุปที่สามารถดึงออกมาจากชุดข้อมูลที่กำหนดและตัวแบบสมมุติที่เกี่ยวข้องรวมถึงความพอดีของแบบจำลองดังกล่าว การอ้างอิงจากวิกิพีเดีย ,

การอนุมานเป็นการกระทำหรือกระบวนการของการหาข้อสรุปเชิงตรรกะจากสถานที่ที่รู้จักหรือสันนิษฐานว่าเป็นจริง

และ,

การอนุมานทางสถิติใช้คณิตศาสตร์ในการหาข้อสรุปเมื่อมีความไม่แน่นอน

การประมาณนั้นเป็นเพียงแง่มุมหนึ่งของการอนุมานโดยที่หนึ่งพารามิเตอร์ที่ไม่รู้จักแทน (เกี่ยวข้องกับตัวแบบสมมุติที่สร้างข้อมูล) ด้วยโซลูชันที่ดีที่สุดตามข้อมูล (และอาจเป็นข้อมูลก่อนหน้าเกี่ยวกับพารามิเตอร์เหล่านั้น) ควรเชื่อมโยงกับการประเมินความไม่แน่นอนของการประมาณการที่รายงานการประเมินที่เป็นส่วนหนึ่งของการอนุมาน

โอกาสสูงสุดคือตัวอย่างหนึ่งของการประมาณค่า แต่ไม่ครอบคลุมถึงการอนุมานทั้งหมด ตรงกันข้ามการวิเคราะห์แบบเบย์นำเสนอเครื่องอนุมานที่สมบูรณ์

ในขณะที่การประเมินต่อ se มีวัตถุประสงค์ที่จะเกิดขึ้นกับค่าของพารามิเตอร์ที่ไม่รู้จัก (เช่นค่าสัมประสิทธิ์ในการถดถอยโลจิสติกหรือในการแยกไฮเปอร์เพลนในเครื่องเวกเตอร์สนับสนุน), การอนุมานทางสถิติพยายามที่จะแนบการวัดความไม่แน่นอน ค่าของพารามิเตอร์ (ข้อผิดพลาดมาตรฐานและช่วงความมั่นใจ) หากแบบจำลองที่นักสถิติคาดว่ามีความถูกต้องโดยประมาณหากข้อมูลที่เข้ามาใหม่ยังคงเป็นไปตามแบบจำลองนั้นข้อความความไม่แน่นอนอาจมีความจริงบางประการในตัวพวกเขาและเป็นตัวชี้วัดว่าคุณจะทำผิดพลาดบ่อยแค่ไหน รูปแบบการตัดสินใจของคุณ

$\mu$$\sigma^2$$\mu$$\sigma^2/n$

การเรียนรู้ของเครื่องที่ใกล้เคียงที่สุดคือการตรวจสอบข้ามเมื่อตัวอย่างถูกแบ่งออกเป็นส่วนฝึกอบรมและส่วนตรวจสอบความถูกต้องโดยภายหลังจะพูดได้อย่างมีประสิทธิภาพว่า "หากข้อมูลใหม่ดูเหมือนข้อมูลเก่า แต่ไม่เกี่ยวข้องกับข้อมูลทั้งหมด ถูกใช้ในการตั้งค่าแบบจำลองของฉันจากนั้นการวัดความผิดพลาดที่เกิดขึ้นจริงก็เป็นเช่นนั้น " มันได้มาจากสังเกตุอย่างสมบูรณ์โดยการรันโมเดลเดียวกันกับข้อมูลแทนที่จะพยายามอนุมานคุณสมบัติของโมเดลโดยการตั้งสมมติฐานทางสถิติและเกี่ยวข้องกับผลลัพธ์ทางคณิตศาสตร์ใด ๆ เช่น CLT ด้านบน เนื้อหานี้มีความซื่อสัตย์มากกว่า แต่เนื่องจากใช้ข้อมูลน้อยลงและด้วยเหตุนี้จึงต้องมีขนาดตัวอย่างที่ใหญ่กว่า นอกจากนี้ยังถือว่าโดยปริยายว่ากระบวนการไม่เปลี่ยนแปลง

ในขณะที่วลี "อนุมานหลัง" อาจทำให้รู้สึก (ฉันไม่ใช่ Bayesian ฉันไม่สามารถบอกได้ว่าคำศัพท์ที่ยอมรับคืออะไร) ฉันไม่คิดว่ามีส่วนเกี่ยวข้องมากในการตั้งสมมติฐานใด ๆ ในขั้นตอนที่อนุมาน สมมติฐานของ Bayesian ทั้งหมดคือ (1) ในรูปก่อนหน้าและ (2) ในแบบจำลองที่สมมติขึ้นและเมื่อมีการตั้งค่าไว้ด้านหลังจะติดตามโดยอัตโนมัติ (อย่างน้อยในทางทฤษฎีผ่านทฤษฎีบท Bayes ขั้นตอนที่ใช้งานจริง การพนันของ Sipps ... ขอโทษนะการสุ่มตัวอย่างของกิ๊บส์อาจจะเป็นองค์ประกอบที่ค่อนข้างง่ายในการเข้าสู่ยุคหลังนั้น) หาก "การอนุมานผู้หลัง" หมายถึง (1) + (2) แสดงว่าฉันได้รับการอนุมานทางสถิติแล้ว หาก (1) และ (2) ระบุไว้แยกต่างหากจากนั้น "อนุมานผู้หลัง" เป็นอย่างอื่นฉันก็ไม่ต้อง '

สมมติว่าคุณมีตัวอย่างตัวแทนของประชากร

การอนุมานคือเมื่อคุณใช้ตัวอย่างนั้นเพื่อประเมินแบบจำลองและระบุว่าผลลัพธ์สามารถขยายไปสู่ประชากรทั้งหมดได้อย่างแม่นยำ การอนุมานคือการตั้งสมมติฐานประชากรโดยใช้ตัวอย่างตัวอย่างเท่านั้น

การประมาณคือเมื่อคุณเลือกแบบจำลองเพื่อให้พอดีกับตัวอย่างข้อมูลของคุณและคำนวณด้วยความแม่นยำที่แน่นอนของพารามิเตอร์ของแบบจำลอง มันถูกเรียกว่าการประมาณค่าเพราะคุณจะไม่สามารถคำนวณค่าที่แท้จริงของพารามิเตอร์ได้เนื่องจากคุณมีตัวอย่างข้อมูลไม่ใช่ประชากรทั้งหมด

นี่คือความพยายามที่จะให้คำตอบสำหรับทุกคนที่ไม่มีพื้นฐานในสถิติ สำหรับผู้ที่สนใจรายละเอียดเพิ่มเติมมีการอ้างอิงที่เป็นประโยชน์มากมาย ( เช่นตัวอย่างนี้ ) ในเรื่อง

คำตอบสั้น ๆ :

$->$

$->$

คำตอบยาว:

คำว่า "การประมาณค่า" มักใช้เพื่ออธิบายกระบวนการค้นหาค่าประมาณที่ไม่ทราบค่าในขณะที่ "การอนุมาน" มักหมายถึงการอนุมานเชิงสถิติกระบวนการค้นพบการแจกแจง (หรือคุณสมบัติ) ของตัวแปรสุ่มและใช้เพื่อสรุปข้อสรุป

ลองคิดถึงการตอบคำถาม: คนทั่วไปในประเทศของฉันสูงเท่าไหร่

หากคุณตัดสินใจที่จะหาค่าประมาณคุณสามารถเดินไปรอบ ๆ สองสามวันและวัดคนแปลกหน้าที่คุณพบบนถนน (สร้างตัวอย่าง) จากนั้นคำนวณค่าประมาณของคุณเป็นค่าเฉลี่ยตัวอย่าง คุณได้ประมาณไว้แล้ว!

ในอีกทางหนึ่งคุณอาจต้องการหามากกว่าประมาณการบางอย่างซึ่งคุณรู้ว่าเป็นตัวเลขเดียวและถูกผูกไว้ว่าผิด คุณสามารถตั้งเป้าหมายที่จะตอบคำถามด้วยความมั่นใจเช่น: ฉันมั่นใจว่า 99% ที่ความสูงเฉลี่ยของบุคคลในประเทศของฉันอยู่ระหว่าง 1.60m และ 1.90m

ในการเรียกร้องดังกล่าวคุณจะต้องประเมินการกระจายความสูงของคนที่คุณพบและทำการสรุปตามความรู้นี้ - ซึ่งเป็นพื้นฐานของการอนุมานทางสถิติ

สิ่งสำคัญที่ต้องจำไว้ (ตามที่ระบุไว้ในคำตอบของซีอาน) คือการหาตัวประมาณเป็นส่วนหนึ่งของการอนุมานทางสถิติ

ทุกวันนี้มีคนจากสาขาวิชาต่าง ๆ ที่ทำงานในสาขา ML และมีแนวโน้มว่าพวกเขาจะพูดภาษาที่แตกต่างกันเล็กน้อย

อย่างไรก็ตามคำศัพท์ใดก็ตามที่พวกเขาอาจใช้แนวคิดที่อยู่เบื้องหลังนั้นแตกต่างกัน ดังนั้นสิ่งสำคัญคือการทำให้แนวคิดเหล่านี้ชัดเจนแล้วแปลภาษาเหล่านั้นในแบบที่คุณต้องการ

เช่น.

ใน PRML โดย Bishop

$p(C_k|x)$

ดังนั้นดูเหมือนว่าที่นี่Inference= Learning=Estimation

แต่ในวัสดุอื่น ๆ อนุมานอาจแตกต่างจากประมาณการที่inferenceหมายถึงpredictionในขณะที่estimationวิธีการขั้นตอนการเรียนรู้ของพารามิเตอร์

ในบริบทของการเรียนรู้ของเครื่องการอนุมานหมายถึงการกระทำของการค้นพบการตั้งค่าของตัวแปรแฝง (ซ่อน) ที่ให้การสังเกตของคุณ นอกจากนี้ยังรวมถึงการกำหนดการกระจายหลังของตัวแปรแฝงของคุณ การประมาณค่าดูเหมือนจะเกี่ยวข้องกับ "การประมาณค่าจุด" ซึ่งใช้ในการกำหนดพารามิเตอร์โมเดลของคุณ ตัวอย่างรวมถึงการประมาณค่าความน่าจะเป็นสูงสุด ในการคาดหวังสูงสุด (EM) ในขั้นตอน E คุณอนุมาน ในขั้นตอน M คุณทำการประมาณค่าพารามิเตอร์

ฉันคิดว่าฉันได้ยินคนพูดว่า "สรุปการกระจายหลัง" มากกว่า "ประเมินการกระจายหลัง" อันหลังไม่ได้ใช้ในการอนุมานที่แน่นอนตามปกติ มันถูกนำมาใช้เช่นในการขยายพันธุ์ความคาดหวังหรือ Bayes แปรปรวนที่อนุมานหลังหลังที่แน่นอนจะดื้อดึงและสมมติฐานเพิ่มเติมเกี่ยวกับหลังจะต้องมีการทำ ในกรณีนี้ผู้สรุปด้านหลังเป็นค่าประมาณ ผู้คนอาจพูดว่า "โดยประมาณคนหลัง" หรือ "ประเมินคนหลัง"

ทั้งหมดนี้เป็นเพียงความเห็นของฉัน มันไม่ได้เป็นกฎ

ฉันต้องการเพิ่มคำตอบของผู้อื่นโดยขยายในส่วน "การอนุมาน" ในบริบทของการเรียนรู้ของเครื่องสิ่งที่น่าสนใจของการอนุมานคือการประเมินความไม่แน่นอน โดยทั่วไปแล้วจะซับซ้อนด้วยอัลกอริธึม ML: คุณจะทำให้ส่วนเบี่ยงเบนมาตรฐานบนฉลากการจำแนกประเภทเป็นโครงข่ายประสาทหรือต้นไม้การตัดสินใจแตกออกได้อย่างไร ในสถิติดั้งเดิมสมมติฐานการกระจายช่วยให้เราสามารถทำคณิตศาสตร์และหาวิธีการประเมินความไม่แน่นอนในพารามิเตอร์ ใน ML อาจไม่มีพารามิเตอร์ไม่มีสมมติฐานการกระจายหรือไม่มี

มีความคืบหน้าบางอย่างเกี่ยวกับเสื้อผ้าเหล่านี้บางส่วนก็เพิ่งจะมาเร็ว (เร็วกว่าคำตอบปัจจุบัน) ตัวเลือกหนึ่งคือตามที่คนอื่น ๆ ได้กล่าวถึงการวิเคราะห์แบบเบย์ที่ด้านหลังของคุณให้การประมาณการที่ไม่แน่นอน วิธีประเภท Bootstrap เป็นสิ่งที่ดี สเตฟานเดิมพันและซูซาน Athey, ที่ Stanford มีการทำงานบางอย่างจากสองสามปีที่ผ่านมาได้รับการอนุมานป่าสุ่ม อย่างน่าประหลาดใจBARTเป็นวิธีการรวมกลุ่มของต้นไม้แบบเบย์ที่ให้ผลหลังซึ่งสามารถอนุมานได้