การยืมข้อมูลหมายความว่าอย่างไร

ฉันมักจะพูดคุยเกี่ยวกับการยืมข้อมูลหรือการแบ่งปันข้อมูลในแบบจำลองลำดับชั้นแบบเบย์ ฉันดูเหมือนจะไม่ได้รับคำตอบที่ตรงเกี่ยวกับความหมายของสิ่งนี้จริง ๆ และถ้ามันเป็นเอกลักษณ์ของแบบจำลองลำดับชั้นแบบเบย์ ฉันได้รับแนวคิด: บางระดับในลำดับชั้นของคุณใช้พารามิเตอร์ร่วมกัน ฉันไม่รู้ว่านี่แปลว่า "การยืมข้อมูล" อย่างไร

1. "การขอยืมข้อมูล" / "การแบ่งปันข้อมูล" เป็นคำที่ผู้คนอยากจะทิ้ง

2. มีตัวอย่างของ posteriors แบบปิดที่แสดงปรากฏการณ์การแชร์นี้หรือไม่

3. การวิเคราะห์แบบเบย์นี้มีลักษณะเฉพาะหรือไม่? โดยทั่วไปเมื่อฉันเห็นตัวอย่างของ "การยืมข้อมูล" พวกเขาเป็นเพียงโมเดลผสม บางทีฉันอาจเรียนรู้โมเดลนี้ในแบบที่ล้าสมัย แต่ฉันไม่เห็นการแบ่งปันใด ๆ

ฉันไม่สนใจที่จะเริ่มต้นการอภิปรายเชิงปรัชญาเกี่ยวกับวิธีการ ฉันแค่อยากรู้เกี่ยวกับการใช้คำนี้

นี่เป็นคำที่มาจากการทดลองแบบเบส์ (EB) ในความเป็นจริงแนวคิดที่อ้างถึงไม่มีอยู่ในการอนุมานแบบเบย์ที่แท้จริง คำเดิมคือ "กำลังยืม" ซึ่งประกาศเกียรติคุณโดย John Tukey ย้อนกลับไปในทศวรรษที่ 1960 และเป็นที่นิยมมากขึ้นโดย Bradley Efron และ Carl Morris ในบทความสถิติเกี่ยวกับความขัดแย้งของสไตน์และพาราเมทริก EB ในปี 1970 และ 1980 ตอนนี้หลายคนใช้ "การยืมข้อมูล" หรือ "การแบ่งปันข้อมูล" เป็นคำเหมือนสำหรับแนวคิดเดียวกัน เหตุผลที่คุณอาจได้ยินในบริบทของโมเดลผสมคือการวิเคราะห์ที่พบบ่อยที่สุดสำหรับโมเดลผสมมีการตีความ EB

EB มีแอปพลิเคชั่นมากมายและใช้กับแบบจำลองทางสถิติจำนวนมาก แต่บริบทเสมอคือคุณมีจำนวนกรณี (อาจเป็นอิสระ) จำนวนมากและคุณพยายามประเมินพารามิเตอร์เฉพาะ (เช่นค่าเฉลี่ยหรือความแปรปรวน) ในแต่ละกรณี ในการอนุมานแบบเบย์คุณทำการอนุมานหลังเกี่ยวกับพารามิเตอร์โดยยึดตามข้อมูลที่สังเกตได้สำหรับแต่ละกรณีและการแจกแจงก่อนหน้าสำหรับพารามิเตอร์นั้น ในการอนุมาน EB การแจกแจงก่อนหน้าสำหรับพารามิเตอร์นั้นประเมินจากการเก็บรวบรวมกรณีข้อมูลทั้งหมดหลังจากที่การอนุมานดำเนินการสำหรับการอนุมานแบบเบย์ ดังนั้นเมื่อคุณประเมินพารามิเตอร์สำหรับกรณีเฉพาะคุณจะใช้ทั้งข้อมูลสำหรับกรณีนั้นและการกระจายก่อนหน้าโดยประมาณและหลังแสดงถึง "ข้อมูล" หรือ "ความแข็งแกร่ง"

ตอนนี้คุณสามารถเห็นได้ว่าทำไม EB จึงมี "การกู้ยืม" แต่ Bayes ที่แท้จริงไม่ได้ ใน Bayes จริงการกระจายก่อนหน้านี้มีอยู่แล้วดังนั้นจึงไม่จำเป็นต้องขอร้องหรือยืม ใน EB การกระจายก่อนหน้านี้ได้สร้างจากข้อมูลที่สังเกต เมื่อเราทำการอนุมานเกี่ยวกับกรณีใดกรณีหนึ่งเราจะใช้ข้อมูลที่สังเกตได้ทั้งหมดจากกรณีดังกล่าวและข้อมูลเล็กน้อยจากแต่ละกรณี เราบอกว่ามันเป็น "ยืม" เพียงเพราะข้อมูลจะได้รับกลับเมื่อเราไปเพื่อให้ข้อสรุปเกี่ยวกับกรณีต่อไป

แนวคิดของ EB และ "data ยืม" ถูกนำมาใช้อย่างมากในฟังก์ชั่นทางสถิติเมื่อแต่ละ "กรณี" มักจะเป็นยีนหรือคุณลักษณะจีโนม (Smyth, 2004; Phipson et al, 2016)

อ้างอิง

Efron, Bradley และ Carl Morris สถิติของสไตน์ขัดแย้ง นักวิทยาศาสตร์ชาวอเมริกัน 236 คน 5 (1977): 119-127 http://statweb.stanford.edu/~ckirby/brad/other/Article1977.pdf

Smyth, GK (2004) แบบจำลองเชิงเส้นและวิธีการเชิงประจักษ์ Bayes สำหรับการประเมินการแสดงออกที่แตกต่างในการทดลอง microarray การใช้งานทางสถิติในพันธุศาสตร์และชีววิทยาระดับโมเลกุลเล่ม 3 ฉบับที่ 1 ข้อ 3 http://www.statsci.org/smyth/pubs/ebayes.pdf

Phipson, B, Lee, S, Majewski, IJ, Alexander, WS, และ Smyth, GK (2016) การประมาณค่าพารามิเตอร์ที่มีความทนทานสูงช่วยป้องกันยีนที่มี hypervariable และปรับปรุงพลังในการตรวจจับการแสดงออกที่แตกต่างกัน พงศาวดารของสถิติประยุกต์ 10, 946-963 http://dx.doi.org/10.1214/16-AOAS920

ลองพิจารณาปัญหาง่ายๆเช่นการประมาณค่าของหลาย ๆ กลุ่ม หากโมเดลของคุณปฏิบัติต่อพวกเขาอย่างสมบูรณ์แล้วข้อมูลเดียวที่คุณมีเกี่ยวกับค่าเฉลี่ยแต่ละค่าคือข้อมูลภายในกลุ่มนั้น หากแบบจำลองของคุณใช้วิธีการของพวกเขาค่อนข้างเกี่ยวข้อง (เช่นในแบบผสมเอฟเฟกต์บางชนิด) การประมาณจะแม่นยำมากขึ้นเนื่องจากข้อมูลจากกลุ่มอื่นแจ้ง นั่นคือตัวอย่างของ 'ข้อมูลการยืม'

ความคิดที่เกิดขึ้นในงานคณิตศาสตร์ประกันภัยที่เกี่ยวข้องกับความน่าเชื่อถือ (ไม่จำเป็นต้องมีเฉพาะคำว่า 'ยืม' แม้ว่าการยืมในแง่นั้นชัดเจนในสูตร); สิ่งนี้ย้อนกลับไปอีกนานอย่างน้อยหนึ่งศตวรรษที่แล้วโดยมีผู้นำที่ชัดเจนจะกลับไปสู่ศตวรรษที่สิบเก้ากลาง ตัวอย่างเช่นดู Longley-Cook, LH (1962) บทนำสู่ทฤษฎีความน่าเชื่อถือ PCAS, 49, 194-221

นี่คือ Whitney, 1918 (Theory of Experience Rating, PCAS, 4, 274-292):

นี่คือความเสี่ยงที่ชัดเจนว่าจัดเป็นร้านขายเครื่องจักร หากไม่มีข้อมูลอื่น ๆ จึงควรปลอมแปลงอัตราร้านขายเครื่องนั่นคืออัตราเฉลี่ยสำหรับความเสี่ยงทั้งหมดของชั้นนี้ ในทางกลับกันความเสี่ยงมีประสบการณ์ของตัวเอง หากความเสี่ยงมีขนาดใหญ่นี่อาจเป็นแนวทางที่ดีกว่าสำหรับอันตรายจากประสบการณ์ในชั้นเรียน ไม่ว่าในกรณีใด ๆ ความเสี่ยงนั้นมีขนาดใหญ่หรือเล็กองค์ประกอบทั้งสองนี้มีค่าเป็นหลักฐานและจะต้องนำมาพิจารณาด้วย ความยากลำบากเกิดขึ้นจากข้อเท็จจริงที่ว่าโดยทั่วไปหลักฐานนั้นขัดแย้งกัน ดังนั้นปัญหาคือการค้นหาและใช้เกณฑ์ซึ่งจะให้น้ำหนักที่เหมาะสมในแต่ละ

ในขณะที่การยืมคำไม่ได้อยู่ที่นี่แนวคิดของการใช้ข้อมูลระดับกลุ่มเพื่อแจ้งให้เราทราบเกี่ยวกับร้านขายเครื่องจักรนี้ชัดเจนอยู่ที่นั่น [ความคิดยังคงไม่เปลี่ยนแปลงเมื่อ "กำลังยืม" และ "ข้อมูลยืม" เริ่มใช้กับสถานการณ์นี้]

รูปแบบที่รู้จักกันมากที่สุดที่ "ยืมข้อมูล" เป็นรูปแบบเอฟเฟ็กต์ผสม สิ่งนี้สามารถวิเคราะห์ได้ทั้งในแบบประจำหรือแบบเบย์ วิธีการของผู้ใช้บ่อยมีการตีความเบย์ Empirical จริง ๆ ; ก่อนหน้านี้มีเอฟเฟกต์ผสมซึ่งอิงจากความแปรปรวนของเอฟเฟกต์แบบสุ่ม แทนที่จะตั้งค่าตามข้อมูลก่อนหน้าเราประเมินจากข้อมูลของเรา$\sigma_R^2$

ในทางกลับกันจากมุมมองของเบย์เราไม่ได้ใส่ก่อนหน้านี้เกี่ยวกับเอฟเฟกต์ผสม แต่มันเป็นพารามิเตอร์ระดับกลาง นั่นคือเราใส่ก่อนหน้าในซึ่งทำหน้าที่เหมือนเป็นพารามิเตอร์ไฮเปอร์สำหรับเอฟเฟกต์แบบสุ่ม แต่มันแตกต่างจากรุ่นก่อนหน้าในการกระจายแบบสุ่มโดยไม่ได้อิงจากก่อนหน้าอย่างสิ้นเชิงข้อมูล แต่เป็นการผสมผสานของข้อมูลก่อนหน้า (เช่นก่อนหน้า ) และข้อมูล$\sigma_R^2$ σ 2 R$\sigma_R^2$

ฉันคิดว่ามันชัดเจนว่า "การยืมข้อมูล" ไม่ใช่สิ่งที่ Bayesian หมดจด มีโมเดลเอฟเฟ็กต์แบบผสมที่ไม่ใช่แบบเบย์และข้อมูลยืมเหล่านี้ อย่างไรก็ตามจากประสบการณ์ของฉันในการเล่นกับโมเดลเอฟเฟ็กต์แบบผสมฉันคิดว่าวิธีการแบบเบย์กับรูปแบบดังกล่าวมีความสำคัญมากกว่าที่บางคนตระหนัก โดยเฉพาะอย่างยิ่งในโมเดลเอฟเฟกต์แบบผสมเราควรคิดว่าเราประมาณด้วยอย่างดีที่สุดจำนวนของแต่ละวิชาที่เรามี ดังนั้นถ้าเรามี 10 วิชาที่วัดได้ 100 ครั้งเรายังคงประมาณจากเพียง 10 วิชา ไม่เพียงแค่นั้น แต่เราไม่ได้สังเกตถึงผลกระทบแบบสุ่มโดยตรง แต่เรามีการประมาณค่าของผลที่ได้จากข้อมูลและ$\sigma_R^2$ σ 2 R σ R σ 2 R$\sigma_R^2$$\sigma_R$ตัวเอง ดังนั้นจึงสามารถเป็นเรื่องง่ายที่จะลืมเพียงวิธีการที่ข้อมูลเล็ก ๆ น้อย ๆ อยู่บนพื้นฐานของข้อมูลที่เราจริงต้องประมาณการ 2 ข้อมูลน้อยลงในข้อมูลที่สำคัญกว่าข้อมูลก่อนจะกลายเป็น หากคุณยังไม่ได้ทำฉันแนะนำให้ลองจำลองแบบผสมเอฟเฟกต์กับวัตถุเพียงไม่กี่ตัว คุณอาจประหลาดใจที่วิธีการประมาณค่าไม่แน่นอนจากวิธีการของผู้ใช้เป็นประจำโดยเฉพาะอย่างยิ่งเมื่อคุณเพิ่มค่าผิดปกติเพียงหนึ่งหรือสองครั้ง ... และบ่อยเพียงใดที่เห็นชุดข้อมูลจริงที่ไม่มีค่าผิดปกติ ฉันเชื่อว่าปัญหานี้อยู่ในการวิเคราะห์ข้อมูลแบบเบย์โดย Gelman et al แต่น่าเศร้าที่ฉันไม่คิดว่ามันจะเปิดเผยต่อสาธารณะดังนั้นจึงไม่มีไฮเปอร์ลิงก์$\sigma_R^2$

ในที่สุดการสร้างแบบจำลองหลายระดับไม่ได้เป็นเพียงเอฟเฟกต์แบบผสมแม้ว่ามันจะเป็นเรื่องธรรมดาที่สุด แบบจำลองใด ๆ ที่พารามิเตอร์ได้รับอิทธิพลไม่เพียง แต่โดยนักบวชและข้อมูล แต่ยังรวมถึงพารามิเตอร์ที่ไม่รู้จักอื่น ๆ สามารถเรียกได้ว่าเป็นแบบหลายระดับ แน่นอนว่านี่เป็นรุ่นที่มีความยืดหยุ่นสูง แต่สามารถเขียนได้ตั้งแต่เริ่มต้นและเหมาะสมกับงานจำนวนน้อยที่สุดโดยใช้เครื่องมือเช่น Stan, NIMBLE, JAGS และอื่น ๆ ในระดับนี้ฉันไม่แน่ใจว่าฉันจะพูดหลายระดับ การสร้างแบบจำลองคือ "hype"; โดยพื้นฐานแล้วคุณสามารถเขียนแบบจำลองใด ๆ ที่สามารถแทนด้วยกราฟ Directed Acyclicและพอดีกับมันทันที (สมมติว่ามันมีเวลารันที่เหมาะสมนั่นคือ) สิ่งนี้ให้พลังและความคิดสร้างสรรค์ที่อาจเกิดขึ้นได้มากกว่าตัวเลือกแบบดั้งเดิม (เช่นแพ็คเกจตัวแบบการถดถอย) แต่ไม่จำเป็นต้องสร้างแพ็คเกจ R ทั้งหมดตั้งแต่เริ่มต้นเพื่อให้พอดีกับแบบจำลองชนิดใหม่

ฉันสมมติว่าเนื่องจากคุณติดแท็กการเรียนรู้ของเครื่องจักรว่าคุณสนใจที่จะคาดการณ์แทนที่จะอนุมาน (ฉันเชื่อว่าฉันสอดคล้องกับคำตอบของ @Glen_b แต่เพียงแปลบริบท / คำศัพท์นี้)

ฉันจะเรียกร้องในกรณีนี้มันเป็นคำศัพท์ โมเดลเชิงเส้นปกติที่มีตัวแปรกลุ่มจะยืมข้อมูล: การทำนายในระดับบุคคลจะเป็นการรวมกันของค่าเฉลี่ยของกลุ่มและผลส่วนบุคคล วิธีหนึ่งที่จะคิดถึงการทำให้เป็นมาตรฐาน l1 / l2 คือการกำหนดค่าสัมประสิทธิ์ค่าต่อการลดข้อผิดพลาดทั้งหมดเนื่องจากตัวแปรกลุ่มส่งผลกระทบต่อตัวอย่างมากกว่าตัวแปรแต่ละตัวจะมีแรงกดดันในการประมาณผลกระทบของกลุ่ม กลุ่มผลกระทบต่อแต่ละตัวแปร

สำหรับแต่ละจุดที่มีข้อมูลเพียงพอผลของแต่ละบุคคลจะ 'แข็งแกร่ง' สำหรับผู้ที่มีข้อมูลน้อยผลจะอ่อน

ฉันคิดว่าวิธีที่ง่ายที่สุดในการดูสิ่งนี้คือการพิจารณาการทำให้เป็นมาตรฐาน L1 และบุคคล 3 คนในกลุ่มเดียวกันที่มีผลเหมือนกัน ไม่สม่ำเสมอปัญหามีจำนวนโซลูชั่นที่ไม่มีที่สิ้นสุดในขณะที่ normalization ให้โซลูชั่นที่ไม่ซ้ำกัน

การกำหนดเอฟเฟกต์ทั้งหมดให้กับค่าสัมประสิทธิ์กลุ่มมีค่ามาตรฐาน l1 ต่ำที่สุดเนื่องจากเราต้องการเพียง 1 ค่าเพื่อครอบคลุม 3 บุคคล ในทางกลับกันการกำหนดเอฟเฟกต์ทั้งหมดให้กับสัมประสิทธิ์บุคคลนั้นแย่ที่สุดคือ 3 เท่าของค่าเฉลี่ย l1 ของการกำหนดเอฟเฟกต์ให้กับสัมประสิทธิ์กลุ่ม

โปรดทราบว่าเราสามารถมีลำดับชั้นได้มากเท่าที่เราต้องการและการโต้ตอบจะได้รับผลกระทบในทำนองเดียวกัน: การทำให้เป็นปกติจะส่งผลกระทบต่อตัวแปรหลักมากกว่าการโต้ตอบที่หายาก

บล็อก tjmahr.com/plotting-partial-pooling-in-mixed-effects-models - เชื่อมโยงโดย @IsabellaGhement ให้ราคาสำหรับความแข็งแกร่งในการยืม

"เอฟเฟกต์นี้บางครั้งเรียกว่าการหดตัวเนื่องจากค่าการหดตัวที่รุนแรงมากขึ้นจะถูกดึงเข้าหาค่าเฉลี่ยที่สมเหตุสมผลมากขึ้นในหนังสือ lme4 , Douglas Bates ให้ทางเลือกในการหดตัว [ชื่อ]"

คำว่า "การหดตัว" อาจมีความหมายเชิงลบ John Tukey ต้องการที่จะอ้างถึงกระบวนการเป็นประมาณการสำหรับแต่ละวิชา“ ความแข็งแกร่งในการยืม” จากกันและกัน นี่คือความแตกต่างพื้นฐานในโมเดลที่มีโมเดลเอฟเฟ็กต์ผสมกับโมเดลที่มีเอฟเฟกต์ถาวร ในโมเดลผสมเอฟเฟ็กต์เราสันนิษฐานว่าระดับของปัจจัยการจัดกลุ่มเป็นการเลือกจากประชากรและคาดว่าจะสามารถแบ่งปันคุณลักษณะในระดับหนึ่งได้ ดังนั้นการทำนายจากตัวแบบผลกระทบแบบผสมจะถูกลดทอนเมื่อเทียบกับแบบจำลองผลกระทบคงที่อย่างเคร่งครัด

แหล่งที่ผมอยากจะแนะนำอีกในหัวข้อนี้ที่ฉันพบโดยเฉพาะอย่างยิ่งคำแนะนำเป็นบทนำเดวิดโรบินสันการเชิงประจักษ์เบส์

ตัวอย่างการวิ่งของเขาคือผู้เล่นเบสบอลจะสามารถตีลูกบอลลูกถัดไปที่เขาหรือไม่ ความคิดหลักคือถ้าผู้เล่นมานานหลายปีคนหนึ่งมีภาพที่ชัดเจนว่าเขามีความสามารถอย่างไรโดยเฉพาะอย่างยิ่งผู้เล่นสามารถใช้การตีบอลโดยเฉลี่ยที่สังเกตได้ว่าเป็นโอกาสที่จะประสบความสำเร็จในระดับถัดไป

ในทางกลับกันผู้เล่นที่เพิ่งเริ่มเล่นในลีกยังไม่ได้เปิดเผยความสามารถที่แท้จริงของเขามากนัก ดังนั้นจึงเป็นทางเลือกที่ชาญฉลาดที่จะปรับการประมาณความน่าจะเป็นที่จะประสบความสำเร็จของเขาต่อค่าเฉลี่ยโดยรวมถ้าเขาประสบความสำเร็จเป็นพิเศษหรือไม่ประสบความสำเร็จในเกมแรก ๆ ของเขาสองสามเกม .

ในฐานะที่เป็นจุดย่อยคำว่า "การยืม" แน่นอนไม่ได้ถูกนำมาใช้ในแง่ที่ว่าบางสิ่งที่ได้รับการยืมจะต้องถูกส่งคืนในบางจุด ;-)