วิธีแก้ปัญหาความขัดแย้งของซิมป์สัน


35

ความขัดแย้งของ Simpson เป็นปริศนาคลาสสิกที่กล่าวถึงในหลักสูตรสถิติเบื้องต้นทั่วโลก อย่างไรก็ตามหลักสูตรของฉันคือเนื้อหาที่จะต้องทราบว่ามีปัญหาเกิดขึ้นและไม่ได้ให้การแก้ปัญหา ฉันต้องการทราบวิธีแก้ไขข้อขัดแย้ง นั่นคือเมื่อเผชิญหน้ากับความขัดแย้งของ Simpson ที่สองตัวเลือกที่แตกต่างกันดูเหมือนจะแข่งขันกันเพื่อให้เป็นทางเลือกที่ดีที่สุดขึ้นอยู่กับวิธีการแบ่งพาร์ติชันข้อมูลตัวเลือกใดควรเลือก?

เพื่อให้คอนกรีตปัญหาให้พิจารณาตัวอย่างแรกที่ให้ไว้ในบทความวิกิพีเดียที่เกี่ยวข้อง มันขึ้นอยู่กับการศึกษาจริงเกี่ยวกับการรักษานิ่วในไต

ป้อนคำอธิบายรูปภาพที่นี่

สมมติว่าฉันเป็นหมอและการทดสอบพบว่าผู้ป่วยมีนิ่วในไต ใช้เฉพาะข้อมูลที่ให้ไว้ในตารางฉันต้องการตรวจสอบว่าฉันควรนำการรักษา A หรือการรักษา B มาใช้หรือไม่ดูเหมือนว่าถ้าฉันรู้ขนาดของหินแล้วเราควรเลือกการรักษา A แต่ถ้าเราไม่ทำ เราควรเลือกการรักษาแบบ B

แต่ให้คิดวิธีอื่นที่น่าเชื่อถือเพื่อให้ได้คำตอบ ถ้าหินมีขนาดใหญ่เราควรเลือก A และถ้ามันเล็กเราควรเลือก A อีกครั้งดังนั้นแม้ว่าเราจะไม่ทราบขนาดของหินโดยวิธีการของคดีเราเห็นว่าเราน่าจะชอบ A. สิ่งนี้ขัดแย้งกับเหตุผลก่อนหน้าของเรา

ดังนั้น: ผู้ป่วยเดินเข้าไปในสำนักงานของฉัน การทดสอบพบว่าพวกเขามีนิ่วในไต แต่ไม่ได้ให้ข้อมูลเกี่ยวกับขนาดของพวกเขา การรักษาแบบไหนที่ฉันแนะนำ มีวิธีแก้ไขปัญหานี้ที่ยอมรับได้หรือไม่?

Wikipedia ให้คำแนะนำอย่างละเอียดโดยใช้ "เครือข่าย Bayesian ที่เป็นสาเหตุ" และการทดสอบ "back-door" แต่ฉันไม่รู้ว่าสิ่งเหล่านี้คืออะไร


2
Paradox พื้นฐานซิมป์สันเชื่อมโยงดังกล่าวข้างต้นเป็นตัวอย่างของข้อมูลเชิง เราไม่สามารถตัดสินใจระหว่างโรงพยาบาลได้อย่างไม่น่าสงสัยเพราะผู้ป่วยอาจไม่ได้รับการสุ่มให้โรงพยาบาลและคำถามที่ถูกโพสต์ไม่ได้ทำให้เรารู้ว่าตัวอย่างเช่นโรงพยาบาลแห่งหนึ่งมีแนวโน้มที่จะได้รับผู้ป่วยที่มีความเสี่ยงสูง การแบ่งผลลัพธ์ออกเป็นการดำเนินการ AE ไม่ได้แก้ไขปัญหานั้น
Emil Friedman

@ EmilFriedman ฉันยอมรับว่ามันเป็นความจริงที่ว่าเราสามารถตัดสินใจระหว่างโรงพยาบาลได้อย่างไม่น่าสงสัย แต่ข้อมูลสนับสนุนอย่างแน่นอน (ไม่เป็นความจริงที่ข้อมูลไม่ได้สอนอะไรเราเกี่ยวกับคุณภาพของโรงพยาบาล)
Potato

คำตอบ:


14

ในคำถามของคุณคุณระบุว่าคุณไม่ทราบว่า "เครือข่าย Bayesian สาเหตุ" และ "การทดสอบประตูหลัง" คืออะไร

สมมติว่าคุณมีเครือข่ายแบบเบย์สาเหตุ นั่นคือกราฟอะคิลิกกำกับที่มีโหนดแสดงถึงข้อเสนอและขอบชี้นำเป็นตัวแทนของความสัมพันธ์เชิงสาเหตุที่เป็นไปได้ คุณอาจมีเครือข่ายมากมายสำหรับสมมติฐานแต่ละข้อของคุณ มีสามวิธีในการสร้างข้อโต้แย้งที่น่าสนใจเกี่ยวกับความแข็งแกร่งหรือการมีอยู่ของขอบ BA?B

วิธีที่ง่ายที่สุดคือการแทรกแซง นี่คือสิ่งที่คำตอบอื่น ๆ จะแนะนำเมื่อพวกเขาบอกว่า "การสุ่มที่เหมาะสม" จะแก้ไขปัญหาได้ คุณสุ่มบังคับจะมีค่าแตกต่างกันและคุณวัดB หากคุณสามารถทำสิ่งนั้นได้แสดงว่าคุณทำเสร็จแล้ว แต่คุณไม่สามารถทำเช่นนั้นได้ตลอดเวลา ในตัวอย่างของคุณอาจเป็นการผิดจรรยาบรรณที่จะให้การรักษาคนที่ไม่มีประสิทธิผลกับโรคร้ายแรงหรืออาจมีบางคนกล่าวว่าในการรักษาของพวกเขาเช่นพวกเขาอาจเลือกที่ไม่รุนแรง (การรักษา B) เมื่อนิ่วในไตมีขนาดเล็กและเจ็บปวดน้อยลงAB

วิธีที่สองคือวิธีประตูหน้า คุณต้องการที่จะแสดงให้เห็นว่าทำหน้าที่เกี่ยวกับBผ่านCคือC B หากคุณคิดว่าCอาจเป็นสาเหตุมาจากแต่ไม่มีสาเหตุอื่น ๆ และคุณสามารถวัดที่Cมีความสัมพันธ์กับและBมีความสัมพันธ์กับCแล้วคุณสามารถสรุปหลักฐานจะต้องไหลผ่านC ตัวอย่างดั้งเดิม: Aคือการสูบบุหรี่Bเป็นมะเร็งCABCACBCACABCCABCคือการสะสม tar ทาร์สามารถมาจากการสูบบุหรี่เท่านั้นและมันสัมพันธ์กับการสูบบุหรี่และโรคมะเร็ง ดังนั้นการสูบบุหรี่ทำให้เกิดมะเร็งผ่านทางน้ำมันดิน (แม้ว่าอาจมีสาเหตุอื่น ๆ ที่ช่วยลดผลกระทบนี้)

วิธีที่สามคือวิธีประตูหลัง คุณต้องการที่จะแสดงให้เห็นว่าและBจะไม่ได้มีความสัมพันธ์เพราะ "ประตูหลัง" เช่นสาเหตุที่พบบ่อยคือD B เนื่องจากคุณได้สันนิษฐานโมเดลเชิงสาเหตุที่คุณเพียงต้องการที่จะปิดกั้นทุกเส้นทาง (โดยการสังเกตตัวแปรและเครื่องในพวกเขา) ว่าหลักฐานสามารถไหลขึ้นมาจากและลงเพื่อB เป็นการยากที่จะบล็อกเส้นทางเหล่านี้ แต่ Pearl ให้อัลกอริทึมที่ชัดเจนซึ่งช่วยให้คุณทราบว่าตัวแปรใดที่คุณต้องสังเกตเพื่อปิดกั้นเส้นทางเหล่านี้ABADBAB

gung พูดถูกว่าด้วยการสุ่มอย่างดีคนที่ยอมแพ้จะไม่สำคัญ เนื่องจากเราสมมติว่าไม่อนุญาตให้มีการแทรกแซงสาเหตุสมมุติ (การรักษา) สาเหตุทั่วไประหว่างสาเหตุสมมุติ (การรักษา) และผลกระทบ (การอยู่รอด) เช่นอายุหรือขนาดก้อนนิ่วในไตจะเป็นสิ่งที่สับสน ทางออกคือการวัดที่เหมาะสมเพื่อป้องกันประตูด้านหลังทั้งหมด สำหรับการอ่านเพิ่มเติมดู:

ไข่มุกจูเดีย "แผนภาพเชิงสาเหตุสำหรับการวิจัยเชิงประจักษ์" Biometrika 82.4 (1995): 669-688


หากต้องการใช้สิ่งนี้กับปัญหาของคุณให้เราวาดกราฟสาเหตุ (การรักษาก่อนหน้านี้) ขนาดนิ่วในไตและประเภทการรักษาYเป็นสาเหตุของความสำเร็จทั้งZ Xอาจเป็นสาเหตุของYหากแพทย์คนอื่นกำหนด tratment ตามขนาดของนิ่วในไต เห็นได้ชัดว่าไม่มีความสัมพันธ์เชิงสาเหตุอื่น ๆ ระหว่างX , YและZ YมาหลังจากXดังนั้นมันจึงไม่สามารถเป็นสาเหตุได้ ในทำนองเดียวกันZมาหลังจากXและYXYZXYXYZYXZXY

เนื่องจากเป็นสาเหตุที่พบบ่อยจึงควรวัด มันขึ้นอยู่กับการทดลองเพื่อตรวจสอบจักรวาลของตัวแปรและความสัมพันธ์เชิงสาเหตุที่มีศักยภาพ สำหรับการทดลองทุกครั้งผู้ทดลองจะวัด "ตัวแปรประตูหลัง" ที่จำเป็นจากนั้นคำนวณการกระจายความน่าจะเป็นส่วนเพิ่มของความสำเร็จในการรักษาสำหรับการกำหนดค่าตัวแปรแต่ละตัว สำหรับผู้ป่วยรายใหม่คุณวัดค่าตัวแปรและทำตามการรักษาที่ระบุโดยการกระจายตัวเล็กน้อย หากคุณไม่สามารถวัดทุกอย่างหรือคุณไม่มีข้อมูลจำนวนมาก แต่รู้อะไรบางอย่างเกี่ยวกับสถาปัตยกรรมของความสัมพันธ์คุณสามารถทำ "การเผยแพร่ความเชื่อ" (การอนุมานแบบเบย์) บนเครือข่ายX


2
คำตอบที่ดีมาก คุณสามารถพูดสั้น ๆ ว่าจะใช้กรอบงานนี้กับตัวอย่างที่ฉันให้ไว้ในคำถามได้อย่างไร มันให้คำตอบที่คาดหวัง (A) หรือไม่?
มันฝรั่ง

ขอบคุณ! คุณรู้จักการแนะนำสั้น ๆ ที่ดีเกี่ยวกับ "การเผยแผ่ความเชื่อ" หรือไม่? ฉันสนใจที่จะเรียนรู้เพิ่มเติม
Potato

@Potato: ฉันเรียนรู้จากหนังสือของเขา "การใช้เหตุผลเชิงความน่าจะเป็นในระบบอัจฉริยะ" มีบทเรียนออนไลน์มากมาย แต่ก็ยากที่จะหาบทเรียนที่สร้างสัญชาตญาณมากกว่าการนำเสนออัลกอริทึม
Neil G

22

ผมมีคำตอบก่อนที่กล่าวถึงความขัดแย้งซิมป์สันที่นี่: ความขัดแย้งพื้นฐานซิมป์สัน อาจช่วยให้คุณอ่านเพื่อทำความเข้าใจปรากฏการณ์นี้ให้ดีขึ้น

ในระยะสั้นความขัดแย้งของซิมป์สันเกิดขึ้นเพราะรบกวน ในตัวอย่างของคุณการรักษาจะสับสน* ชนิดของนิ่วในไตที่ผู้ป่วยแต่ละรายมี เรารู้จากตารางเต็มของผลลัพธ์ที่แสดงว่าการรักษา A นั้นดีกว่าเสมอ ดังนั้นแพทย์ควรเลือกการรักษา A เหตุผลเดียวที่ทำให้การรักษา B ดูดีกว่าคือการให้ผู้ป่วยที่มีอาการรุนแรงน้อยลงในขณะที่การรักษา A ให้ผู้ป่วยที่มีอาการรุนแรงมากขึ้น อย่างไรก็ตามการรักษา A ทำได้ดีขึ้นกับทั้งสองเงื่อนไข ในฐานะแพทย์คุณไม่สนใจเกี่ยวกับความจริงที่ว่าในอดีตการรักษาที่แย่กว่านั้นให้กับผู้ป่วยที่มีอาการน้อยกว่าคุณจะดูแลเกี่ยวกับผู้ป่วยก่อนคุณเท่านั้นและหากคุณต้องการให้ผู้ป่วยรายนั้นดีขึ้น พวกเขาด้วยการรักษาที่ดีที่สุดที่มีอยู่

* โปรดทราบว่าจุดที่ทำการทดลองและการรักษาแบบสุ่มคือการสร้างสถานการณ์ที่การรักษาไม่ได้ทำให้สับสน หากการศึกษาในคำถามเป็นการทดลองฉันจะบอกว่ากระบวนการสุ่มตัวอย่างล้มเหลวในการสร้างกลุ่มที่เท่าเทียมแม้ว่ามันอาจเป็นการศึกษาเชิงสังเกตการณ์ แต่ฉันไม่รู้


คุณเลือกใช้แนวทางการทำให้เป็นมาตรฐานโดยคำตอบอื่น ๆ ฉันพบปัญหานี้ มีความเป็นไปได้ที่จะแสดงพาร์ติชันสองชุดของชุดข้อมูลเดียวกันที่ให้ข้อสรุปที่แตกต่างกันเมื่อทำให้เป็นมาตรฐาน ดูลิงก์ของฉันและเสนอราคาเพื่อตอบคำตอบอื่น ๆ
Potato

2
ฉันยังไม่ได้อ่านบทความของ Stanford อย่างไรก็ตามฉันไม่พบเหตุผลในการเสนอราคาที่น่าสนใจ อาจเป็นไปได้ว่าในประชากรบางคนการรักษา B นั้นดีกว่าการรักษา A สิ่งนี้ไม่สำคัญ ถ้านั่นเป็นความจริงของประชากรบางคนนั่นก็เป็นเพียงเพราะลักษณะของประชากรสับสน คุณกำลังเผชิญกับผู้ป่วย (ไม่ใช่ประชากร) และผู้ป่วยรายนั้นมีแนวโน้มที่จะดีขึ้นภายใต้การรักษา A ไม่คำนึงว่าผู้ป่วยนั้นมีนิ่วในไตขนาดใหญ่หรือเล็ก คุณควรเลือกการรักษา A.
gung - Reinstate Monica

2
พาร์ทิชันเล็ก / เก่าสับสนหรือไม่? ถ้าไม่เช่นนั้นจะไม่มีปัญหา ถ้าเป็นเช่นนั้นเราจะใช้ข้อมูลทั้งหมดเพื่อการตัดสินใจที่ดีที่สุด จากสิ่งที่เรารู้ในปัจจุบัน 'การรักษา B ดูดีที่สุดในการรวม' เป็นปลาเฮอริ่งแดง มันดูเหมือนจะเป็นกรณีที่เกิดจากการรบกวน แต่มันเป็นภาพลวงตา (สถิติ)
gung - Reinstate Monica

2
คุณจะมีตารางที่ซับซ้อนมากขึ้นซึ่งพิจารณาขนาดของไตนิ่วและอายุ คุณสามารถดูตัวอย่างกรณีอคติทางเพศของ Berkeley ได้ในหน้า Wikipedia
gung - Reinstate Monica

1
เกลียดการแสดงความคิดเห็นที่ยืดยาวนี้ แต่ ... ฉันไม่อยากบอกว่าความขัดแย้งมักจะเกิดจากการสับสนอยู่เสมอ เป็นเพราะความสัมพันธ์ระหว่างตัวแปรที่ตัวแปรรบกวนจะมี แต่ฉันจะไม่เรียกตัวแปรทั้งหมดที่นำไปสู่การขัดแย้งของซิมป์สัน (เช่นน้ำหนัก 30 ปีและ 90 ปีจำนวนมันฝรั่งทอดที่บริโภคต่อหนึ่ง - เนื่องจากเด็กอายุ 90 ปีเบากว่ามากที่จะเริ่มต้นด้วยเอฟเฟกต์หลักของชิปอาจเป็นลบโดยไม่ต้องมีการโต้ตอบฉันไม่เรียกอายุว่าสับสน (ดูรูปแรกในหน้า Wikipedia)
John

7

บทความที่ดีโดยจูเดียเพิร์ลที่ตีพิมพ์ในปี 2556 เกี่ยวข้องกับปัญหาของตัวเลือกที่จะเลือกเมื่อเผชิญหน้ากับความขัดแย้งของซิมป์สัน:

ทำความเข้าใจกับความขัดแย้งของซิมป์สัน (PDF)


4

คุณต้องการวิธีแก้ปัญหาสำหรับตัวอย่างหรือความขัดแย้งโดยทั่วไปหรือไม่? ไม่มีผู้ใดเป็นหลังเพราะความขัดแย้งสามารถเกิดขึ้นได้มากกว่าหนึ่งเหตุผลและจำเป็นต้องได้รับการประเมินเป็นกรณี ๆ ไป

ความขัดแย้งเป็นปัญหาหลักเมื่อรายงานข้อมูลสรุปและมีความสำคัญในการฝึกอบรมบุคคลวิธีการวิเคราะห์และรายงานข้อมูล เราไม่ต้องการให้นักวิจัยรายงานสถิติสรุปที่ซ่อนหรือทำให้รูปแบบยุ่งเหยิงในข้อมูลหรือนักวิเคราะห์ข้อมูลที่ไม่สามารถจดจำรูปแบบที่แท้จริงของข้อมูลได้ ไม่มีวิธีการแก้ปัญหาเนื่องจากไม่มีวิธีแก้ปัญหาเดียว

ในกรณีนี้แพทย์ที่มีโต๊ะจะเลือก A และเพิกเฉยต่อบทสรุปอย่างชัดเจน มันทำให้ไม่แตกต่างกันถ้าพวกเขารู้ขนาดของหินหรือไม่ หากมีคนวิเคราะห์ข้อมูลเพียงรายงานสรุปบรรทัดที่นำเสนอสำหรับ A และ B ก็จะมีปัญหาเพราะข้อมูลที่แพทย์ได้รับจะไม่สะท้อนความเป็นจริง ในกรณีนี้พวกเขาอาจจะต้องออกจากบรรทัดสุดท้ายของตารางเนื่องจากมันถูกต้องภายใต้การตีความเพียงครั้งเดียวของสิ่งที่สถิติสรุปควรจะ (มีสองที่เป็นไปได้) การปล่อยให้ผู้อ่านตีความแต่ละเซลล์โดยทั่วไปแล้วจะให้ผลลัพธ์ที่ถูกต้อง

(ความคิดเห็นมากมายของคุณดูเหมือนจะแนะนำว่าคุณเป็นห่วงปัญหา N ที่ไม่เท่ากันและ Simpson นั้นกว้างกว่านั้นดังนั้นฉันลังเลที่จะอยู่กับปัญหา N ที่ไม่เท่ากันต่อไปบางทีถามคำถามที่ตรงเป้าหมายยิ่งกว่านั้นคุณคิดว่าฉัน กำลังสนับสนุนข้อสรุปของการทำให้เป็นมาตรฐานฉันไม่ฉันกำลังเถียงว่าคุณจำเป็นต้องพิจารณาว่าสถิติสรุปนั้นได้รับการคัดเลือกโดยพลการและการเลือกโดยนักวิเคราะห์บางคนทำให้เกิดความขัดแย้งขึ้นฉันเถียงว่าคุณมองเซลล์ของคุณ มี.)


คุณอ้างว่าเราควรละเว้นบรรทัดสรุป ทำไม "ชัดเจน" นี้
มันฝรั่ง

ชัดเจนเพราะการรักษา A นั้นดีกว่าด้วยหินก้อนใหญ่หรือก้อนเล็กและ B ออกมาเพราะความไม่สมดุลของ N เท่านั้น นอกจากนี้บรรทัดสุดท้ายคือการตีความไม่ใช่พระกิตติคุณ มีอย่างน้อยสองวิธีในการคำนวณบรรทัดนั้น คุณจะคำนวณแบบนั้นก็ต่อเมื่อคุณต้องการพูดบางอย่างเกี่ยวกับตัวอย่างเฉพาะ
John

ฉันขอโทษฉันไม่เข้าใจว่าทำไมบรรทัดสรุปเป็นรายงานที่ไม่ถูกต้อง ฉันคิดว่าฉันพลาดจุดศูนย์กลางของคุณ คุณช่วยอธิบายได้มั้ย
Potato

1
คุณสามารถทำให้ปกติและค่าเฉลี่ยซึ่งให้ผลลัพธ์ "ถูกต้อง" (A) แต่เรื่องนี้ผิดกฎหมาย ข้อความต่อไปนี้มาจากบทความที่เกี่ยวข้องในสารานุกรมปรัชญาสแตนฟอร์ดที่นี่: plato.stanford.edu/entries/paradox-simpson
Potato

2
การกลับรายการของซิมป์สันแสดงให้เห็นว่ามีหลายวิธีในการแบ่งประชากรที่สอดคล้องกับความสัมพันธ์ในประชากรทั้งหมดพาร์ติชันตามเพศอาจบ่งบอกว่าทั้งชายและหญิงอาการแย่ลงเมื่อทำการรักษาใหม่ในขณะที่พาร์ติชันของประชากรเดียวกัน ตามอายุชี้ให้เห็นว่าผู้ป่วยอายุต่ำกว่าห้าสิบและผู้ป่วยห้าสิบขึ้นไปทั้งคู่มีอาการดีขึ้นเมื่อได้รับการรักษาใหม่การปรับข้อมูลจากวิธีการแบ่งส่วนประชากรที่หลากหลายให้เป็นมาตรฐานเดียวกันจะทำให้ข้อสรุปที่ขัดแย้งกันเกี่ยวกับความสัมพันธ์ที่มีอยู่ในประชากรทั้งหมด "
Potato

4

สิ่งสำคัญอย่างหนึ่ง "นำออกไป" คือหากการกำหนดการรักษานั้นไม่ได้สัดส่วนระหว่างกลุ่มย่อยหนึ่งจะต้องนำกลุ่มย่อยมาพิจารณาเมื่อวิเคราะห์ข้อมูล

สิ่งที่สองที่สำคัญ "นำออกไป" คือการศึกษาเชิงสังเกตการณ์มีแนวโน้มที่จะให้คำตอบที่ผิดเนื่องจากมีความขัดแย้งของซิมป์สัน นั่นเป็นเพราะเราไม่สามารถแก้ไขสำหรับความจริงที่ว่าการรักษามีแนวโน้มที่จะได้รับในกรณีที่ยากขึ้นถ้าเราไม่ทราบว่ามันเป็น

ในการศึกษาแบบสุ่มอย่างถูกต้องเราสามารถ (1) จัดสรรการรักษาแบบสุ่มเพื่อให้ "ข้อได้เปรียบที่ไม่เป็นธรรม" ต่อการรักษาหนึ่งมีโอกาสสูงมากและจะได้รับการดูแลโดยอัตโนมัติในการวิเคราะห์ข้อมูลหรือ (2) หากมีเหตุผลสำคัญ เมื่อต้องการทำเช่นนั้นจัดสรรการรักษาแบบสุ่ม แต่ไม่สมส่วนตามปัญหาที่ทราบแล้วนำประเด็นนั้นมาพิจารณาในระหว่างการวิเคราะห์


+1 อย่างไรก็ตาม "ได้รับการดูแลโดยอัตโนมัติ" ไม่เป็นความจริง (อย่างน้อยในสถานการณ์ทันทีซึ่งเป็นสิ่งที่คุณสนใจเป็นหลัก) มันเป็นความจริงในระยะยาว แต่คุณยังคงมีข้อผิดพลาดประเภท I & type II ได้มากเนื่องจากข้อผิดพลาดในการสุ่มตัวอย่าง (เช่นผู้ป่วยใน 1 การรักษามีแนวโน้มที่จะมีโรคที่รุนแรงมากขึ้นโดยลำพัง)
gung - Reinstate Monica

แต่ผลของข้อผิดพลาดของการสุ่มตัวอย่างจะถูกนำมาพิจารณาเมื่อเราวิเคราะห์ตารางฉุกเฉินและคำนวณและตีความค่า p อย่างเหมาะสม
Emil Friedman
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.