อะไรคือความหมายของ“ แบบจำลองทั้งหมดผิด แต่บางรุ่นมีประโยชน์”


76

"โดยพื้นฐานแล้วทุกรุ่นผิด แต่บางรุ่นก็มีประโยชน์"

--- กล่องจอร์จสอี; นอร์แมนอาร์เดรเปอร์ (1987) การสร้างแบบจำลองและการตอบโต้พื้นผิวหน้า 424 ไวลีย์ ไอ 0471810339

ความหมายของวลีข้างต้นคืออะไร?


13
ในหนังสือเล่มเดียวกันได้มีการกล่าวถึงก่อนหน้านี้: Remember that all models are wrong; the practical question is how wrong do they have to be to not be useful.อาจเป็นประโยชน์มากกว่านี้
usεr11852

คำตอบ:


101

ฉันคิดว่าความหมายของมันถูกวิเคราะห์อย่างดีที่สุดโดยดูจากสองส่วน:

"ทุกรุ่นผิด" นั่นคือทุกรุ่นผิดเพราะเป็นการทำให้เข้าใจง่ายขึ้น บางรุ่นโดยเฉพาะอย่างยิ่งในวิทยาศาสตร์ "ยาก" มีเพียงผิดเล็กน้อย พวกเขาไม่สนใจสิ่งต่าง ๆ เช่นแรงเสียดทานหรือผลกระทบความโน้มถ่วงของร่างเล็ก ๆ โมเดลอื่น ๆ นั้นผิดมากพวกเขาไม่สนใจสิ่งที่ใหญ่กว่า ในสังคมศาสตร์เราไม่สนใจอะไรมากมาย

"แต่บางคนก็มีประโยชน์" - การทำให้ง่ายขึ้นของความเป็นจริงจะค่อนข้างมีประโยชน์ พวกเขาสามารถช่วยเราอธิบายทำนายและเข้าใจจักรวาลและส่วนประกอบต่าง ๆ ของมัน

นี่ไม่ได้เป็นจริงในสถิติเท่านั้น! แผนที่เป็นประเภทของรูปแบบ; พวกเขาผิด แต่แผนที่ที่ดีนั้นมีประโยชน์มาก ตัวอย่างของโมเดลที่มีประโยชน์


20
+1 เพราะฉันชอบความคล้ายคลึงของแผนที่ ฉันจะใช้มันในอนาคต!
usεr11852

4
หลายรุ่นในวิทยาศาสตร์ "ยาก" นั้นค่อนข้างไกลเช่นกัน (เมื่อวานนี้ฉันเข้าร่วมการสัมมนาซึ่งการวัดที่แบบจำลองอยู่ภายในแถบข้อผิดพลาด แต่แถบข้อผิดพลาดนั้นมีขนาดสองลำดับ)
gerrit

7
+1 ฉันคิดว่าประโยคสำคัญของคุณคือ "ทุกรุ่นผิดเพราะมันทำให้เข้าใจง่ายขึ้น" ผู้คนมักจะลืมสิ่งนี้ - ตัวอย่างเช่นในการวิพากษ์วิจารณ์เศรษฐศาสตร์ที่ไร้เดียงสา (ฉันมีการวิพากษ์วิจารณ์ของตัวเอง แต่พวกเขาจำเป็นต้องมีความซับซ้อนมากกว่าเพียงแค่ว่า หากเราไม่ทำให้มันง่ายขึ้นคุณมีความเป็นจริงที่ซับซ้อนเกินไปที่เราจะเข้าใจ ดังนั้นเราต้องทำให้มันเข้าใจได้ง่ายขึ้น
Peter Ellis

13
จินตนาการของแผนที่ที่สมบูรณ์แบบในระดับ 1: 1 ถูกใช้โดยผู้เขียนหลายคนรวมถึง Lewis Carroll, Jorge Luis Borges และ Umberto Eco ที่จริงแล้วมันจะไม่มีประโยชน์เพราะมันจะซับซ้อนเพียงเพราะพื้นที่ที่แผนที่และไม่ง่ายต่อการเข้าใจ (ไม่พูดถึงความอึดอัดใจของแฉมันและวางมันออกไปอ่าน)
Nick Cox

2
บางทีคุณสามารถเพิ่มได้ว่าแบบจำลองต้องผิดเล็กน้อยเพราะไม่เช่นนั้นจะไม่พูดคุยทั่วไป มีคำตอบบางคำที่บอกว่าเรื่องนี้ยิ่งไปกว่านั้น แต่ตอนนี้มีคำตอบมากเกินไปที่จะอ่านทั้งหมด
ziggystar

9

หมายความว่าสามารถให้ข้อมูลเชิงลึกที่เป็นประโยชน์จากแบบจำลองซึ่งไม่ได้เป็นตัวแทนที่สมบูรณ์แบบของปรากฏการณ์ที่พวกมันจำลอง

แบบจำลองทางสถิติคือคำอธิบายของระบบโดยใช้แนวคิดทางคณิตศาสตร์ เช่นในหลายกรณีคุณได้เพิ่มชั้นของนามธรรมเพื่อช่วยให้กระบวนการอนุมานของคุณ (เช่นความปกติของข้อผิดพลาดในการวัดสมมาตรเชิงประกอบในโครงสร้างความสัมพันธ์ ฯลฯ ) มันแทบเป็นไปไม่ได้เลยที่แบบจำลองเดียวจะอธิบายปรากฏการณ์โลกแห่งความเป็นจริงได้อย่างสมบูรณ์แบบเพราะเรามีมุมมองแบบอัตนัยของโลก (ระบบประสาทสัมผัสของเราไม่สมบูรณ์แบบ) อย่างไรก็ตามการอนุมานทางสถิติที่ประสบความสำเร็จนั้นเกิดขึ้นเมื่อโลกของเรามีระดับความมั่นคงที่แน่นอนที่เราใช้ประโยชน์ ดังนั้นเรารุ่นเกือบจะผิดเสมอไม่พิสูจน์ประโยชน์

(ฉันแน่ใจว่าคุณจะได้รับคำตอบที่ยิ่งใหญ่ในไม่ช้า แต่ฉันพยายามที่จะกระชับในเรื่องนี้!)


เราสามารถพูดได้ไหมว่าโมเดลที่มีประโยชน์เหล่านี้มีวิธีแก้ปัญหาโดยประมาณ?
gpuguy

2
@gpuguy: แน่นอนคุณทำได้ เพื่ออ้างอิง John Tukey: An approximate answer to the right problem is worth a good deal more than an exact answer to an approximate problem.(จริง ๆ แล้วสิ่งที่ JT อ้างถึงนั้นน่าอัศจรรย์มาก)
us --r11852

6
"ดีกว่าคำตอบโดยประมาณสำหรับคำถามที่ถูกต้องซึ่งมักจะคลุมเครือกว่าคำตอบที่ถูกต้องสำหรับคำถามที่ผิดซึ่งสามารถทำให้แม่นยำได้เสมอ" John W. Tukey 1962 อนาคตของการวิเคราะห์ข้อมูล พงศาวดารของสถิติคณิตศาสตร์ 33: 1-67 (ดู pp.13-14) ไม่ต้องสงสัยเลยว่าเขาพูดสิ่งที่คล้ายกันในเวลาอื่น แต่นั่นเป็นแหล่งที่มาตามปกติ
Nick Cox

ฉันคัดลอกใบเสนอราคาโดยตรงจากชุดคำพูดของ CV ที่เกี่ยวข้อง
usεr11852

6
ฉันคัดลอกของฉันจากสิ่งพิมพ์ต้นฉบับ
Nick Cox

6

ฉันพบการสนทนา JSA ในปี 2009โดย Thad Tarpey เพื่อให้คำอธิบายที่เป็นประโยชน์และความเห็นเกี่ยวกับเนื้อเรื่อง Box เขาให้เหตุผลว่าถ้าเราถือว่าแบบจำลองเป็นแบบประมาณความจริงเราก็สามารถเรียกทุกรุ่นได้อย่างง่ายดาย

นี่คือบทคัดย่อ:

นักเรียนของสถิติมักได้รับการแนะนำให้รู้จักกับคำพูดที่โด่งดังของ George Box: "แบบจำลองทั้งหมดผิดบางอย่างมีประโยชน์" ในการพูดคุยนี้ฉันขอยืนยันว่าคำพูดนี้แม้มีประโยชน์ก็ผิด มุมมองที่แตกต่างและเป็นบวกมากขึ้นคือการยอมรับว่าแบบจำลองเป็นวิธีการดึงข้อมูลที่สนใจจากข้อมูล ความจริงมีความซับซ้อนอย่างไม่ จำกัด และแบบจำลองเป็นเพียงการประมาณความจริง หากการประมาณไม่ดีหรือทำให้เข้าใจผิดโมเดลจะไร้ประโยชน์ ในการสนทนานี้ฉันให้ตัวอย่างของโมเดลที่ถูกต้องซึ่งไม่ใช่โมเดลจริง ฉันแสดงให้เห็นว่าแนวคิดของแบบจำลอง "ผิด" สามารถนำไปสู่ข้อสรุปที่ผิด


3

สำหรับฉันความเข้าใจที่แท้จริงอยู่ในประเด็นต่อไปนี้:

แบบจำลองไม่จำเป็นต้องถูกต้องเพื่อเป็นประโยชน์

โชคไม่ดีในหลาย ๆ วิทยาศาสตร์ที่มักจะลืมไปว่าแบบจำลองไม่จำเป็นต้องเป็นตัวแทนที่แท้จริงของความเป็นจริงในการอนุญาตการค้นพบและการคาดการณ์ใหม่!

ดังนั้นอย่าเสียเวลาในการสร้างแบบจำลองที่ซับซ้อนซึ่งต้องการการวัดที่แม่นยำของตัวแปรจำนวนมากมาย อัจฉริยะที่แท้จริงคิดค้นแบบจำลองง่ายๆที่สามารถทำงานได้


3

แบบจำลองไม่สามารถให้การคาดการณ์ที่แม่นยำ 100% หากมีการสุ่มในผลลัพธ์ หากไม่มีความไม่แน่นอนไม่มีการสุ่มและไม่มีข้อผิดพลาดก็จะถือว่าเป็นความจริงมากกว่าแบบจำลอง ข้อแรกมีความสำคัญมากเนื่องจากแบบจำลองมักใช้สำหรับการสร้างแบบจำลองการคาดการณ์เหตุการณ์ที่ไม่ได้เกิดขึ้น สิ่งนี้เกือบรับประกันได้ว่ามีความไม่แน่นอนเกี่ยวกับเหตุการณ์จริง

เมื่อได้รับข้อมูลที่สมบูรณ์แบบในทางทฤษฎีแล้วอาจเป็นไปได้ที่จะสร้างแบบจำลองที่ให้การคาดการณ์ที่สมบูรณ์แบบสำหรับเหตุการณ์ที่เป็นที่รู้จักอย่างแม่นยำ อย่างไรก็ตามถึงแม้จะมีสถานการณ์ที่ไม่น่าเป็นไปได้แบบจำลองดังกล่าวอาจซับซ้อนจนไม่สามารถใช้งานได้และอาจมีความแม่นยำในช่วงเวลาหนึ่งเมื่อปัจจัยอื่นเปลี่ยนการเปลี่ยนแปลงค่ากับเหตุการณ์

เนื่องจากความไม่แน่นอนและการสุ่มปรากฏอยู่ในข้อมูลส่วนใหญ่ในโลกแห่งความจริงความพยายามที่จะได้แบบจำลองที่สมบูรณ์แบบจึงเป็นสิ่งที่ไร้ประโยชน์ แต่มันมีค่ามากกว่าที่จะดูที่การได้รับโมเดลที่มีความแม่นยำเพียงพอซึ่งง่ายพอที่จะใช้งานได้ทั้งในแง่ของข้อมูลและการคำนวณที่จำเป็นสำหรับการใช้งาน แม้ว่าแบบจำลองเหล่านี้จะไม่สมบูรณ์ แต่ข้อบกพร่องบางอย่างเป็นที่รู้จักกันดีและสามารถนำไปใช้ในการตัดสินใจตามแบบจำลองได้

โมเดลที่เรียบง่ายอาจไม่สมบูรณ์ แต่ก็ง่ายกว่าเมื่อเปรียบเทียบกับอีกโมเดลและอาจทำงานได้ง่ายกว่าเพราะมีแนวโน้มที่จะมีความต้องการใช้คอมพิวเตอร์น้อยลง


3

ถ้าฉันอาจมากกว่าหนึ่งความคิดเห็นเพิ่มเติมอาจมีประโยชน์ เวอร์ชั่นของการกล่าวอ้างที่ฉันชอบคือ

(... ) แบบจำลองทั้งหมดเป็นค่าประมาณ โดยพื้นฐานแล้วทุกรุ่นผิด แต่บางรุ่นก็มีประโยชน์ (... )

นำมาจากResponse Surfaces, Mixtures และ Ridge Analysisโดย Box and Draper (2007, p. 414, Wiley) การดูเครื่องหมายคำพูดเพิ่มเติมนั้นชัดเจนยิ่งขึ้นว่ากล่องหมายถึงอะไร - การสร้างแบบจำลองทางสถิติเกี่ยวกับการประมาณความเป็นจริงและการประมาณนั้นไม่แน่นอนดังนั้นจึงเกี่ยวกับการค้นหาการประมาณที่เหมาะสมที่สุด สิ่งที่เหมาะสมสำหรับจุดประสงค์ของคุณคือสิ่งที่เป็นอัตวิสัยนั่นคือสาเหตุที่ไม่ใช่แบบจำลองที่มีประโยชน์ แต่อาจมีบางแบบขึ้นอยู่กับวัตถุประสงค์ของการสร้างแบบจำลอง


3

เพราะไม่มีใครเพิ่มเข้าไปกล่องจึงใช้ขั้นตอนที่ยกมาเพื่อแนะนำหัวข้อต่อไปนี้ในหนังสือ ฉันเชื่อว่าเขาทำงานได้ดีที่สุดในการอธิบายสิ่งที่เขาหมายถึง:

ตอนนี้ก็จะเป็นที่น่าทึ่งมากถ้าระบบใด ๆ ที่มีอยู่ในโลกแห่งความเป็นจริงอาจจะตรงแทนด้วยรูปแบบที่เรียบง่ายใด ๆ อย่างไรก็ตามแบบจำลองทางเลือกที่มีเล่ห์เหลี่ยมมักจะให้การประมาณที่มีประโยชน์อย่างน่าทึ่ง ตัวอย่างเช่นกฎหมายเกี่ยวข้องกับความดัน , ปริมาตรและอุณหภูมิของก๊าซ "อุดมคติ" ผ่านค่าคงที่ไม่เป็นความจริงอย่างแน่นอนสำหรับก๊าซจริงใด ๆ แต่มักจะให้การประมาณที่มีประโยชน์และโครงสร้างของมันเป็นข้อมูล มันเกิดจากมุมมองทางกายภาพของพฤติกรรมของโมเลกุลก๊าซP V T RPV=RTPVTR

สำหรับโมเดลดังกล่าวไม่จำเป็นต้องถามคำถาม "โมเดลนั้นเป็นจริงหรือไม่" หาก "ความจริง" เป็น "ความจริงทั้งหมด" คำตอบจะต้องเป็น "ไม่" คำถามเดียวที่น่าสนใจคือ "แบบจำลองนี้ให้ความสว่างและมีประโยชน์หรือไม่"

Box, GEP (1979), "ความทนทานในกลยุทธ์การสร้างแบบจำลองทางวิทยาศาสตร์" ใน Launer, RL; วิลกินสัน, GN, ความทนทานในสถิติ , สื่อมวลชน, หน้า 201–236


2

คุณอาจคิดแบบนี้ ความซับซ้อนสูงสุด (เช่นเอนโทรปี) ของวัตถุเป็นไปตามรูปแบบของBekenstein ที่ถูกผูกไว้ :

I2πREcln2

โดยที่คือพลังงานทั้งหมดที่เหลือรวมทั้งมวลและคือรัศมีของทรงกลมที่ล้อมรอบวัตถุRER

นั่นเป็นจำนวนมากโดยส่วนใหญ่:

Bekenstein ที่ถูกผูกไว้กับสมองมนุษย์โดยเฉลี่ยจะอยู่ที่บิตและแสดงถึงขอบเขตบนของข้อมูลที่จำเป็นในการสร้างสมองมนุษย์โดยเฉลี่ยให้อยู่ในระดับควอนตัม นี่ก็หมายความว่าจำนวนของรัฐที่แตกต่างกัน (คน ) ของสมองมนุษย์ (และของจิตใจถ้า physicalism เป็นจริง) เป็นที่มากที่สุด{41}2.58991·1042 107.79640 · 10 41Ω=2I107.79640·1041

คุณต้องการใช้ "แผนที่ที่ดีที่สุด" เช่นอาณาเขตของตัวเองกับสมการคลื่นทั้งหมดสำหรับอนุภาคทั้งหมดในทุกเซลล์หรือไม่ ไม่ได้อย่างแน่นอน. ไม่เพียง แต่จะเป็นหายนะด้านการคำนวณเท่านั้น แต่คุณจะต้องจำลองสิ่งต่าง ๆ ที่อาจไม่เกี่ยวข้องกับสิ่งที่คุณสนใจ ถ้าสิ่งที่คุณต้องการทำคือบอกให้รู้ว่าฉันตื่นอยู่หรือไม่คุณไม่จำเป็นต้องรู้ว่าอิเล็กตรอน # 32458 กำลังทำอะไรในเซลล์ประสาท # 844030 ไรโบโซม # 2305 โมเลกุล # 2 หากคุณไม่ทำแบบจำลองนั้นแบบจำลองของคุณจะ "ผิด" แต่ถ้าคุณสามารถระบุได้ว่าฉันตื่นอยู่หรือไม่แบบจำลองของคุณก็มีประโยชน์อย่างแน่นอน


2

ฉันคิดว่าปีเตอร์และผู้ใช้ 11852 ให้คำตอบที่ดี ฉันยังจะเพิ่ม (โดยการปฏิเสธ) ว่าถ้าแบบจำลองนั้นดีจริง ๆ มันอาจจะไร้ประโยชน์เนื่องจากการ overfitting (ดังนั้นจึงไม่ใช่ generalizable)


2
+1 สำหรับจุด overfitting อัลกอริทึมเช่น Naive Bayes และการวิเคราะห์จำแนกเชิงเส้นมักจะทำงานได้ดีแม้ว่าคุณจะรู้ว่าโมเดลพื้นฐานนั้นไม่ถูกต้อง (เช่นการกรองสแปม) เพียงเพราะข้อมูลจำเป็นต้องใช้ในการประมาณค่าพารามิเตอร์น้อยลง
Dikran Marsupial

1

การตีความกรดของฉันคือ: เชื่อว่าแบบจำลองทางคณิตศาสตร์อธิบายปัจจัยทั้งหมดและการโต้ตอบของพวกเขาการควบคุมปรากฏการณ์ที่น่าสนใจจะง่ายและหยิ่งเกินไป เราไม่รู้ด้วยซ้ำว่าตรรกะที่เราใช้นั้นเพียงพอที่จะเข้าใจจักรวาลของเราหรือไม่ อย่างไรก็ตามแบบจำลองทางคณิตศาสตร์บางอันแสดงถึงการประมาณที่ดีพอ (ในแง่ของวิธีการทางวิทยาศาสตร์) ที่มีประโยชน์ในการหาข้อสรุปเกี่ยวกับปรากฏการณ์ดังกล่าว


1

ในฐานะนักโหราศาสตร์ (อาจเป็นสายพันธุ์ที่หายาก) ฉันพบว่าชื่อเสียงของ Box dictum นั้นโชคร้าย ในวิทยาศาสตร์กายภาพเรามักจะมีความเห็นพ้องที่แข็งแกร่งสำหรับการทำความเข้าใจกระบวนการที่อยู่ภายใต้ปรากฏการณ์ที่สังเกตได้และกระบวนการเหล่านี้มักจะแสดงโดยแบบจำลองทางคณิตศาสตร์ที่เกิดจากกฎความโน้มถ่วงกลศาสตร์ควอนตัมอุณหพลศาสตร์ ฯลฯ เป้าหมายทางสถิติคือการประเมิน พารามิเตอร์ทางกายภาพของโมเดลที่ดีที่สุดพอดีคุณสมบัติทางกายภาพเช่นเดียวกับการเลือกรูปแบบและการตรวจสอบ กรณีล่าสุดที่น่าทึ่งเกิดขึ้นจากการปล่อยเอกสารมีนาคมจากดาวเทียมพลังค์ขององค์การอวกาศยุโรปการวัดพื้นหลังไมโครเวฟคอสมิคที่สร้างแบบจำลอง `LambdaCDM '6 พารามิเตอร์แบบง่ายสำหรับบิ๊กแบง ฉันสงสัยว่า dictum ของ Box จะใช้ได้ทุกที่ภายในวิธีการทางสถิติขั้นสูงที่ใช้ในบทความ 29 ข้อ


1

ฉันเพิ่งปรับปรุงคำตอบข้างต้นโดยพิจารณาจากแบบจำลองกระบวนการเป็นจุดโฟกัส คำสั่งสามารถตีความได้ดังนี้

"ทุกรุ่นผิด" นั่นคือทุกรุ่นผิดเพราะเป็นการทำให้เข้าใจง่ายขึ้น บางรุ่นผิดเพียงเล็กน้อยเท่านั้น พวกเขาไม่สนใจสิ่งต่าง ๆ ตัวอย่างเช่น -> ข้อกำหนดการเปลี่ยนแปลง -> ไม่สนใจความสำเร็จของโครงการภายในกำหนดเวลา -> ไม่พิจารณาระดับคุณภาพที่ลูกค้าต้องการ ฯลฯ ... โมเดลอื่น ๆ ผิดไปมาก - พวกเขาไม่สนใจ สิ่งที่ใหญ่กว่า แบบจำลองกระบวนการซอฟต์แวร์แบบดั้งเดิมนั้นเพิกเฉยไปมากเมื่อเทียบกับแบบจำลองกระบวนการแบบว่องไวซึ่งเพิกเฉยน้อยกว่า

"แต่บางคนก็มีประโยชน์" - การทำให้ง่ายขึ้นของความเป็นจริงจะค่อนข้างมีประโยชน์ พวกเขาสามารถช่วยเราอธิบายทำนายและทำความเข้าใจโครงการโดยรวมและส่วนประกอบต่าง ๆ ของโครงการ แบบจำลองถูกนำมาใช้เนื่องจากคุณสมบัติของมันสอดคล้องกับโปรแกรมการพัฒนาซอฟต์แวร์ส่วนใหญ่


0

ฉันต้องการตีความคำว่า "มีประโยชน์" อีกครั้ง อาจไม่ใช่กล่องเดียวที่คิด

เมื่อคุณต้องตัดสินใจและนี่คือสิ่งที่ข้อมูลทั้งหมดจะถูกนำไปใช้ในที่สุดคุณจะต้องวัดความสำเร็จในบางรูปแบบ เมื่อพูดถึงการตัดสินใจด้วยข้อมูลที่ไม่แน่นอนตัวชี้วัดนี้มักถูกเรียกว่ายูทิลิตี้

ดังนั้นเราจึงสามารถนึกถึงโมเดลที่มีประโยชน์เป็นแบบที่ทำให้เราสามารถตัดสินใจได้อย่างชาญฉลาดมากขึ้น เพื่อให้บรรลุเป้าหมายของเราอย่างมีประสิทธิภาพยิ่งขึ้น

สิ่งนี้จะเพิ่มมิติอื่นที่อยู่เหนือเกณฑ์ปกติเช่นความสามารถของแบบจำลองในการทำนายบางสิ่งบางอย่างอย่างถูกต้อง: มันช่วยให้เราสามารถชั่งน้ำหนักแง่มุมที่แตกต่างกันซึ่งแบบจำลองนั้นเกี่ยวข้องกัน


-2

"ทุกรุ่นผิด แต่มีประโยชน์" อาจหมายถึง: เราควรจะทำสิ่งที่ดีที่สุดที่เราสามารถทำได้กับสิ่งที่เรารู้ + ค้นหาการเรียนรู้ใหม่


4
(-1) คุณสามารถให้การอ้างอิงใด ๆ ที่แนะนำว่า GEP Box มีความหมายเช่นนั้นหรือไม่? อย่างที่คุณสามารถหาได้จากคำตอบอื่น ๆ เขาหมายถึงบางสิ่งที่แตกต่างกันโดยสิ้นเชิง
ทิม

OP อาจใช้การเสนอราคาและให้การตีความใหม่ ฉันเห็นด้วยกับ Tim ว่า Box มีมากกว่าหรือน้อยกว่าที่บอกว่าอย่าใช้แบบจำลองเป็นการตีความที่แท้จริงของความเป็นจริง แต่ยอมรับว่าบางรุ่นสามารถอธิบายข้อมูลได้ดี
Michael Chernick
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.