คำถามเกี่ยวกับ Ellsberg Paradox ในทฤษฎียูทิลิตี้ที่คาดหวัง


5

von Neumann-Morgenstern ทฤษฎีบทกล่าวว่าสมมติว่าการตั้งค่าของบุคคลภายใต้ความเสี่ยงเป็นไปตามหลักการเหตุผลที่แน่นอนจากนั้นก็มีฟังก์ชั่นยูทิลิตี้ u, ฟังก์ชันยูทิลิตี้ von Neumann เช่นว่าบุคคลนั้นจะมีแนวโน้มที่จะเพิ่ม ด้วยเหตุผลนี้สมมติฐานที่ว่าผู้คนพึงพอใจสัจพจน์ของฟอนนอยมันน์ - มอร์เกนสเติร์นเป็นที่รู้จักกันในชื่อทฤษฎียูทิลิตี้ที่คาดหวัง ตอนนี้หนึ่งในความท้าทายที่สำคัญสำหรับทฤษฎียูทิลิตี้ที่คาดหวังคือ Ellsberg Paradox มันไปดังนี้

สมมติว่าคุณมีโกศที่มีลูกบอล 90 ลูกโดย 30 ลูกเป็นสีแดงและอีก 60 ลูกเป็นสีดำหรือสีเหลือง และสมมติว่าลูกบอลถูกสุ่มจากโกศ ถ้าอย่างนั้นคุณควรจะมีลอตเตอรี่ A ซึ่งคุณได้ 100 ดอลลาร์ถ้าวาดลูกบอลสีแดงหรือลอตเตอรี่ B ที่คุณได้ 100 ดอลลาร์ถ้าวาดลูกบอลสีดำ คนส่วนใหญ่ชอบลอตเตอรี่ A. และคุณอยากจะมีลอตเตอรี่ C ซึ่งคุณได้ 100 ดอลลาร์ถ้าคุณวาดลูกบอลสีแดงหรือสีเหลืองหรือลอตเตอรี่ D ซึ่งคุณได้ 100 ดอลลาร์ถ้าคุณวาดลูกบอลสีดำหรือสีเหลือง คนส่วนใหญ่จะชอบลอตเตอรีดี แต่สิ่งนี้คือการเลือกหวยทั้ง A กับลอตเตอรี B และหวย D ถึงลอตเตอรี C ไม่สอดคล้องกับทฤษฎีอรรถประโยชน์ที่คาดไว้ ดู บทความ Wikipedia นี้ สำหรับการพิสูจน์

ฉันต้องการที่จะเข้าใจตรรกะนี้ดีขึ้นเล็กน้อย พิจารณาโกศใหม่ที่เพิ่งมี 60 ลูกและแต่ละลูกมีทั้งสีดำหรือสีเหลือง ถ้าอย่างนั้นคุณควรจะมีลอตเตอรี่ A 'ซึ่งคุณได้รับการรับประกัน 30 ดอลลาร์หรือลอตเตอรี B' ซึ่งคุณจะได้รับดอลลาร์สำหรับลูกบอลสีดำทุกอันในโกศหรือไม่ ฉันคิดว่าคนส่วนใหญ่ชอบลอตเตอรี่ A ' และคุณอยากจะมีลอตเตอรี C 'ซึ่งคุณได้รับ 30 ดอลลาร์บวกหนึ่งดอลลาร์สำหรับลูกบอลสีเหลืองทุกอันในโกศหรือลอตเตอรี่ D' ซึ่งคุณรับประกัน 60 ดอลลาร์หรือไม่ ฉันคิดว่าคนส่วนใหญ่ชอบลอตเตอรี่ D '

ดังนั้นคำถามของฉันคือมันละเมิดทฤษฎีอรรถประโยชน์ที่คาดว่าจะชอบทั้ง A 'ถึง B' และ D 'ถึง C' หรือไม่? ฉันคิดว่ามันสอดคล้องกับทฤษฎีอรรถประโยชน์ที่คาดหวัง สมมติว่าฉันถูกคุณไม่สามารถเปลี่ยนสกุลเงินจาก "ดอลลาร์" เป็น "ลอตเตอรีตั๋ว" ได้ทุกที่ในตัวอย่างของฉันที่ลอตเตอรีให้สิทธิ์คุณเป็นโอกาส 1/90 ในการรับ 100 ดอลลาร์? ที่จะเปลี่ยนตัวอย่างของฉันเป็นตัวอย่างในความขัดแย้งของ Ellsburg ดังนั้นข้อบกพร่องในการให้เหตุผลของฉันอยู่ที่ไหน

คำตอบ:


3

คำตอบสั้น ๆ ดูเหมือนว่าใช่ตัวอย่างของคุณละเมิดโปรแกรมอรรถประโยชน์ที่คาดไว้ ... ส่วนใหญ่ดูเหมือนว่าฉันจะแปลงตัวอย่างแรกที่คุณให้มาง่ายๆ (แต่คุณกำจัดลูกบอลสีแดง)

ดังที่กล่าวไว้ในคำตอบอื่น ๆ ยูทิลิตี้ที่คาดหวังไม่พร้อมที่จะจัดการกับความไม่แน่นอนเพราะมันเกี่ยวข้องกับการรับความคาดหวังและความคาดหวังไม่สามารถคำนวณได้เมื่อคุณไม่ทราบความน่าจะเป็น ด้วยเหตุนี้ฉันคิดว่ามันเกี่ยวข้องกับคำตอบของฉันเพื่อระบุความแตกต่างระหว่างความเสี่ยงและความไม่แน่นอน

  • ความเสี่ยง: ข้อตกลงนี้เกี่ยวข้องกับชุดของความน่าจะเป็นที่ผลลัพธ์ซึ่งเอเจนต์รู้ / เข้าใจถึงผลลัพธ์ที่เป็นไปได้ที่เขาเผชิญ
  • ความไม่แน่นอน: ข้อตกลงนี้กับตัวแทนเผชิญกับชุดของความน่าจะเป็นที่ไม่รู้จักมากกว่าผลลัพธ์ที่เป็นไปได้

ในรุ่นก่อนหน้าของคำตอบของฉันฉันไม่ได้ระมัดระวังในการคิดและอธิบายแนวคิดเหล่านี้และฉันได้ชี้แจงแนวคิดบางอย่างในหัวของฉันตั้งแต่นั้นมา ตอนนี้เพื่อตอบคำถามของคุณ:

เรามีโกศพร้อมลูกบอล 60 ลูก เราคือ ไม่แน่ใจ เกี่ยวกับจำนวนลูกบอลสีดำและลูกบอลสีเหลืองในโกศนี้ ลองนึกภาพเรานำเสนอโกศนี้ด้วยลอตเตอรี่ที่ระบุข้างต้นให้กับบุคคล (พร้อมฟังก์ชันยูทิลิตี้แบบโมโนโพนิก $ u $) และขอให้พวกเขาเลือกระหว่าง $ L_ {A '} $ และ $ L_ {B'} $ ลองจินตนาการว่าพวกเขาเลือกที่จะใช้เงิน $ L_ {A '} $

สิ่งนี้บอกเราโดยเปิดเผยการตั้งค่า $ L_ {A '} \ succ L_ {B'} $ ซึ่งก็หมายถึง

$$ u (30) & gt; U (B) $$

โดยที่ $ B $ คือจำนวนลูกบอลสีดำที่เชื่อกันว่าอยู่ในโกศ (ไม่มีความน่าจะเป็นที่นี่นี่เป็นตัวเลขที่ผู้ตัดสินตัดสินใจมาถึงและ ณ จุดนี้เราไม่รู้ว่าจะทำอย่างไร) สิ่งนี้แสดงถึง

$$ B & lt; 30 $$

ทีนี้ลองนึกภาพว่าคุณให้ทางเลือกแก่ตัวแทนระหว่าง $ L_ {C '} $ และ $ L_ {D'} $ และตัวแทนเลือกที่จะเผชิญกับลอตเตอรี่ $ D '$ แล้วก็

$$ u (60) & gt; u (30 + (60-B)) $$

โดยที่ $ (60-B) $ คือจำนวนลูกบอลสีเหลืองที่เอเจนต์ต้องคิดว่าอยู่ในโกศ สิ่งนี้แสดงถึง

$$ 60 & gt; 30 + (60-B) \ Rightarrow B & gt; 30 $$

ซึ่งหมายความว่าตัวแทนไม่สามารถเลือก $ L_ {A '} $ ถึง $ L_ {B'} $ และต้องการ $ L_ {C '} $ ถึง $ L_ {D'} $ เพราะนั่นจะหมายถึง $ B & gt; 30 $ และ $ B & lt; $ 30 เป็นการยากที่จะพูดคุยเกี่ยวกับที่มาของ $ B $ เพราะเป็นแนวคิดที่ยากที่จะคิดเมื่อเราคุ้นเคยกับการทำงานในแง่มูลค่าที่คาดหวังตัวแทนนี้ ไม่ได้ คำนวณความคาดหวังประเภทใดก็ได้เหนือชุดของค่าที่เขาคิดว่า $ B $ อยู่ในตัวอย่างนี้ขอผมใช้วิธี max-min

ลองนึกภาพว่าเมื่อเขานำเสนอโกศและลอตเตอรี่ที่เขาได้รับการบอกว่าจำนวนลูกบอลสีดำมีค่าเท่ากับ 15 หรือ 45 แต่เอเจนต์ไม่ทราบว่ามีความน่าจะเป็นเท่าใดและ 15 น่าจะเป็น 45

  • ลอตเตอรี่ $ A '$ จะให้เขา $ ยู (30) หน่วยยูทิลิตี้ $ แน่นอน
  • ลอตเตอรี $ B '$ จะให้เขา $ ยู (15) หน่วยยูทิลิตี้ $ หรือ $ u (45) $ ยูทิลิตี้หน่วย
  • ลอตเตอรี $ C '$ จะให้เขาทั้งหน่วย $ u (75) $ ยูทิลิตี้หน่วยหรือ $ u (45) $ ยูทิลิตี้หน่วย
  • ลอตเตอรี $ D '$ จะให้เขา $ u (60) $

ตัวแทนกังวลเกี่ยวกับความไม่แน่นอน (การตีความของ max-min คือเขาคิดว่ามันเป็นโกศเวทที่พยายามอย่างดีที่สุดที่จะจ่ายจำนวนน้อยที่สุดเท่าที่จะเป็นไปได้ดังนั้นมันจะเลือกค่าที่ทำให้เขาแย่ลงหากได้รับตัวเลือก ) จากนั้นใช้สิ่งนี้ในกระบวนการตัดสินใจของเขาเมื่อเปรียบเทียบ $ L_ {A '} $ และ $ L_ {B'} $ เขาคิดว่าลอตเตอรี่เหล่านี้จะจ่ายตามจำนวนต่อไปนี้

  • $ L_ {A '} $ จะจ่าย $ u (30) $
  • $ L_ {B '} $ จะจ่าย $ \ min (u (15), u (45)) = u (15) $

ดังนั้นเขาจึงเลือกลอตเตอรี A $ $ ตอนนี้พิจารณา $ L_ {C '} $ และ $ L_ {D'} $ เขาคิดว่าลอตเตอรี่เหล่านี้จะจ่าย

  • $ L_ {C '} $ จะจ่าย $ \ min (u (45), u (75)) = u (45) $
  • $ L_ {D '} $ จะจ่าย $ u (60) $

ดังนั้นเขาจะเลือกลอตเตอรี $ D '$ นี่เป็นตัวอย่างหนึ่งของความไม่แน่นอนที่จะได้รับการปฏิบัติในปัญหาเช่นนี้ แต่ไม่ได้มีเพียงสิ่งเดียวเท่านั้น

หมายเหตุ: ก่อนหน้านี้ฉันคิดว่ามีคำตอบของฉันที่พูดคุยเกี่ยวกับนักบวชมากกว่ามูลค่า $ B $ แต่สิ่งนี้ไม่ได้คิดอย่างรอบคอบ คุณสามารถมีหลายค่าที่คุณอาจนึกภาพว่า $ B $ ต้องใช้เวลา แต่ทันทีที่คุณกำหนดการกระจายความน่าจะเป็นให้กับค่าใด ๆ เหล่านี้คุณจะได้ออกจากขอบเขตของความไม่แน่นอนและย้ายไปยังขอบเขตของความเสี่ยง


ถ้าคุณไม่มีความเชื่อเกี่ยวกับจำนวนลูกบอลที่แน่นอน แต่คุณเชื่อว่ามีอยู่ให้บอกโอกาส 50% ที่ B & lt; 30? ความเชื่อแบบนั้นไม่ได้รับอนุญาตในทฤษฎียูทิลิตี้ที่คาดหวังหรือไม่? ความเชื่อเช่นนั้นไม่ใช่ความไม่แน่นอนของอัศวินเนื่องจากเป็นปริมาณที่สมบูรณ์ ดังนั้นทฤษฎียูทิลิตี้แบบไหนที่จะรองรับการแจกแจงความน่าจะเป็นในจำนวนลูกบอลสีดำต่างกัน?
Keshav Srinivasan

มีการกระจายความน่าจะเป็นไปได้หลายอย่างของลูกบอลสีดำเหมือนกันทุกประการ ไม่สำคัญว่าคุณจะคาดหวังความคาดหวังของจำนวนลูกบอลสีดำหรือไม่ ในที่สุดมันจะคายลูกบอลจำนวนหนึ่ง $ B $ ที่คุณคิดว่าอยู่ในโกศ หากคุณไม่มีสิ่งนั้นคุณจะไม่สามารถจัดการกับยูทิลิตี้ที่คาดหวังได้
cc7768

ลองพิจารณาตัวอย่างของฉันและสมมติว่าคุณเชื่อว่ามีโอกาส 50% ที่มีลูกบอลสีดำ 15 ลูกและโอกาส 50% ที่มีลูกบอลสีดำ 45 ลูก จากนั้นคุณบอกฉันว่ามันเป็นการละเมิดทฤษฎียูทิลิตี้ที่คาดหวังว่าทั้งสองต้องการรับประกัน 30 ดอลลาร์ต่อโอกาส 50% ที่ 15 ดอลลาร์และโอกาส 50% ที่ 45 ดอลลาร์และเลือกที่รับประกัน 60 ดอลลาร์เป็นโอกาส 50% และโอกาส 50% ที่ 75 ดอลลาร์? ฉันคิดว่ามันสอดคล้องกับทฤษฎียูทิลิตี้ที่คาดหวังอย่างสมบูรณ์ เป็นการหลีกเลี่ยงความเสี่ยงมาตรฐานในฟังก์ชันยูทิลิตี้ vNM
Keshav Srinivasan

ประการแรกฉันไม่มีความรู้สึกรังเกียจความเสี่ยงในตัวอย่างของฉัน ตัวอย่างของฉันใช้กับปัญหานี้แบบเป็นกลางเท่านั้น ประการที่สองไม่มีช่องทางมากสำหรับความเสี่ยงในแบบที่คุณใช้ปัญหาเนื่องจากลอตเตอรี่แต่ละรายการเป็นเพียงผลลัพธ์เดียวแทนที่จะรวมผลลัพธ์ 2 ผลลัพธ์ดังนั้นสำหรับอาร์กิวเมนต์ทั้งหมดของฉัน ความไม่เท่าเทียมกันแต่ละครั้งและผ่านไป ประการที่สามความแตกต่างที่สำคัญในการทำคือความแตกต่างระหว่างตัวอย่างและตัวอย่างเคาน์เตอร์
cc7768

ตัวอย่างไม่เพียงพอที่จะพิสูจน์บางสิ่งบางอย่างเป็นความจริง แต่ตัวอย่างของตัวนับนั้นเพียงพอที่จะพิสูจน์ได้ว่ามันเป็น ไม่ จริง สิ่งที่คุณให้ไว้ในความคิดเห็นของคุณนั้นเป็นตัวอย่างหนึ่งที่ทำให้ความไม่เท่าเทียมของฉันกลายเป็นความเท่าเทียมได้และนั่นก็โอเค หากคุณย้ายมันออกไปนอกกล่องใบมีด (ซึ่งตัวแปรสุ่มทั้งคู่มีความคาดหวัง 30) ฉันคิดว่าคุณจะเห็นว่ามันแตกสลาย อย่างน้อยที่สุดให้พิจารณาตัวอย่างที่คุณคาดหวังไว้บนลูกบอลคือ $ B = 0 $ และ $ Y = 60 $
cc7768

2

"... หนึ่งในความท้าทายที่สำคัญสำหรับทฤษฎีมูลค่าที่คาดหวังคือ Ellsberg Paradox"

อืม แต่ในทางใด Elsberg เส้นขนานคือ ไม่ เช่นเดียวกับความขัดแย้งอื่น ๆ ที่เกี่ยวข้องโดยรอบทฤษฎียูทิลิตี้ที่คาดหวัง (เช่น Allais 'หรือ Machina's) ใน Elsberg เส้นขนาน สิ่งที่ขาดหายไปจากกรอบซึ่งทฤษฎียูทิลิตี้ที่คาดการณ์ไว้ จำกัด ตัวเอง : มี ความน่าจะเป็นที่ไม่รู้จัก , หรือ "อัศวินไม่แน่นอน" - และทฤษฎียูทิลิตี้ที่คาดหวังไม่ได้ถูกสร้างขึ้นเพื่อใช้งานในสภาพแวดล้อมเช่นนั้น

แต่ทฤษฎียูทิลิตี้ที่คาดหวังคือ ไม่ ข้องแวะโดย Ellsberg Paradox สิ่งที่ขัดแย้งกันคือทำให้เราทราบว่ามีสถานการณ์จริงในโลกที่ยูทิลิตี้ที่คาดหวังอยู่ ไม่เหมาะสม . นั่นคือ มันไม่สามารถเป็น สากล ทฤษฎี. แต่นั่นไม่ควรแปลกใจ: ทฤษฎีใดในสาขาสังคมศาสตร์ที่ครอบคลุมทั่วโลกผ่านอวกาศและเวลา?

คุณค่าของ Ellsberg บุคคลที่ผิดธรรมดาก็คือมันกดเราเพื่อปรับเปลี่ยนทฤษฎียูทิลิตี้ที่คาดหวังหรือมากับทฤษฎีเสริมเพื่อจัดการกรณีที่มี "ความไม่แน่นอนของอัศวิน" และผู้มีอำนาจตัดสินใจไม่ทราบความน่าจะเป็นจริง แต่พวกเขาตัดสินใจในวิธีที่เรายังไม่เข้าใจวิธีการทำแบบจำลอง (แม้ว่า " ความเกลียดชังความกำกวม " ซึ่งเป็นวิธีที่โดดเด่นในการหาเหตุผลเข้าข้างตนเองของ Ellsberg Paradox โดยขณะนี้ได้รับการกรงเล็บในระดับมาก)


สำหรับกรอบการตัดสินใจที่คุณสร้างขึ้นในส่วนที่สองของคำตอบฉันทราบว่า "ความขัดแย้งของ Ellsberg" เป็น สังเกตปรากฏการณ์เชิงประจักษ์ . คุณสร้างกรอบการทำงานอื่นและคุณเพียงแค่พูดว่า "ฉันคิดว่าคนจะชอบสิ่งนี้หรือว่า" - และคุณไม่ได้มีข้อสังเกตที่แท้จริงในการสำรองที่หรือแม้แต่การโต้แย้งทางทฤษฎีและ / หรือทางคณิตศาสตร์ว่าทำไมคุณคิดว่า "คนจะชอบ" คุณคิดว่าพวกเขาจะชอบ ดังนั้นหากกรอบงานที่คุณสร้างนั้นเทียบเท่ากับลักษณะเฉพาะของ "Ellsberg's Paradox" (และคุณควรเขียนคณิตศาสตร์เพื่อแสดงว่า) ดังนั้นฉันกลัวว่าประสบการณ์ที่บันทึกไว้จะหักล้างความรู้สึกของคุณเกี่ยวกับ "สิ่งที่ผู้คนต้องการ" ในกรอบที่คุณสร้างขึ้น .


คำตอบของคุณไม่ตอบคำถามของฉันเลย ฉันแค่คาดเดาสิ่งที่ฉันคิดว่าคนส่วนใหญ่จะทำในสถานการณ์ของฉัน แต่นั่นไม่ใช่คำถามที่ฉันถาม คำถามที่แท้จริงของฉันเป็นเพียงการเลือก A 'ถึง B' และ D 'ถึง C' ไม่สอดคล้องกับทฤษฎีอรรถประโยชน์ที่คาดหวังหรือไม่? และถ้ามันสอดคล้องกับทฤษฎียูทิลิตี้ที่คาดว่าทำไมมันไม่ได้หมายความว่าผลลัพธ์ของความขัดแย้งของ Ellsberg ก็สอดคล้องกับทฤษฎียูทิลิตี้ที่คาดหวัง
Keshav Srinivasan

2
นี่เป็นครั้งที่สองที่คุณกำลังเปลี่ยนคำถามของคุณโดยการโพสต์ "คำชี้แจงความคิดเห็น" ในคำตอบ
Alecos Papadopoulos

ฉันไม่เปลี่ยนคำถาม ฉันกำลังพูดในสิ่งเดียวกันกับที่ฉันได้กล่าวไว้ข้างต้น: "ดังนั้นคำถามของฉันคือมันละเมิดทฤษฎียูทิลิตี้ที่คาดหวังว่าจะชอบทั้ง A 'ถึง B' และ D 'ถึง C' หรือไม่ m คุณไม่สามารถเปลี่ยนสกุลเงินจาก "ดอลลาร์" เป็น "ลอตเตอรีตั๋ว" ได้ทุกที่ในตัวอย่างของฉันที่ลอตเตอรีให้สิทธิ์คุณเป็นโอกาส 1/90 ในการรับ 100 ดอลลาร์หรือไม่ ตัวอย่างในความขัดแย้งของ Ellsburg ดังนั้นข้อบกพร่องในการให้เหตุผลของฉันอยู่ที่ไหน "
Keshav Srinivasan

3
Alecos Papadopoulos ตอบคำถามของคุณ: "มีสถานการณ์ในโลกแห่งความเป็นจริงที่ยูทิลิตี้ที่คาดหวังนั้นไม่เหมาะสม" หากไม่มีความเชื่อเกี่ยวกับการแจกจ่ายคุณไม่สามารถใช้ฟังก์ชันยูทิลิตี้ N-M ได้ จากความเชื่อใด ๆ ที่ผู้บริโภค 'เหตุผล' ไม่สามารถเลือกได้ทั้ง A 'ถึง B' และ D 'to C' คนในชีวิตจริงไม่ค่อยดีนักในการรับมือกับความน่าจะเป็น (และใช้อัลกอริธึมแบบฮิวริสติก) ดังนั้นจึงค่อนข้างเป็นไปได้ที่จะมีการตั้งค่า A 'เป็น B', D 'ถึง C' ในชีวิตจริง
denesp

@denesp คำถามของฉันไม่ได้ถามว่าทฤษฎียูทิลิตี้ที่คาดหวังนั้นมีผลอย่างไรต่อโลกแห่งความเป็นจริงมันเกี่ยวกับ A ', B', C 'และ D' ตอนนี้ถ้าคุณสามารถพิสูจน์ได้ว่าคนที่เป็น vNM-rational ไม่สามารถชอบทั้ง A 'ถึง B' และ D 'ถึง C' ฉันขอแนะนำให้คุณโพสต์คำตอบของคุณเอง
Keshav Srinivasan

1

Ellsberg บุคคลที่ผิดธรรมดาถูกกำหนดไว้ในสภาพแวดล้อมทางเลือกที่แตกต่างกันที่ยูทิลิตี้ที่คาดหวัง Ellsberg บุคคลที่ผิดธรรมดาเป็นปัญหาสำหรับยูทิลิตี้ส่วนตัวที่โหดเหี้ยมที่มีความคลุมเครือ ผิวเผินพวกเขาดูเหมือนกันเพราะมีรูปแบบเลียนแบบเหมือนกัน แต่ในความดุร้ายความน่าจะเป็นที่รัฐไม่ได้มีจุดประสงค์ นอกจากนี้ยังมีการกำหนดยูทิลิตี้ที่คาดการณ์ไว้ในลอตเตอรี่ขณะที่ Savage Subjective Utility ถูกกำหนดไว้เหนือ "การกระทำ" คำอธิบายที่ดีของ Ellsberg บุคคลที่ผิดธรรมดาและ Savage Expective Utility ได้รับมา http://lesswrong.com/lw/9e4/the_savage_theorem_and_the_ellsberg_paradox/


ตกลง แต่สิ่งนี้ยังไม่ตอบคำถามของฉัน แม้ว่าเราจะใช้สัจพจน์ของ Savage มากกว่าสัจพจน์ vNM คำถามก็ยังคงอยู่ แต่เลือกที่จะ 'A ถึง B' และ D 'ถึง C' ไม่สอดคล้องกับสัจพจน์ของ Savage หรือไม่
Keshav Srinivasan
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.