ทฤษฎีปัจจุบันเกี่ยวกับการพัฒนาของ AI ที่ใส่ใจคืออะไร?


24

ทฤษฎีปัจจุบันเกี่ยวกับการพัฒนาของ AI ที่ใส่ใจคืออะไร? มีใครบ้างที่พยายามพัฒนา AI ที่ใส่ใจ?

เป็นไปได้ไหมว่าการมีสติเป็นปรากฏการณ์ฉุกเฉินนั่นคือเมื่อเรานำความซับซ้อนมาสู่ระบบของเรามากพอมันจะกลายเป็นสิ่งที่รู้ตัว


หากว่าองค์กรทางปัญญานั้นเรารับรู้ถึงความรู้สึกนึกคิดเป็นนามธรรมที่พัฒนาขึ้นอันเป็นผลมาจากกฎทางกายภาพของวิวัฒนาการของชีวิต และในขณะที่เป็นเรื่องของโอกาสมันก็คงหนีไม่พ้นเหตุการณ์ใดก็ตามที่มีความน่าจะเป็นที่ใกล้เข้ามาถึงแม้ว่าเส้นทางที่แน่นอนที่จะไปถึงที่นั่นนั้นไม่แน่นอน ถ้าเป็นเช่นนี้แสดงให้เห็นว่าการสร้างสภาพแวดล้อมดิจิทัลที่เลียนแบบองค์ประกอบที่จำเป็นของสภาพแวดล้อมที่ก่อให้เกิดจิตสำนึกของเราสามารถนำมาใช้เพื่อพัฒนาจิตสำนึก "ประดิษฐ์" (ต่อ .... )
Craig Hicks

(.... ต่อ) การบีบอัดวัสดุการศึกษาเชิงวิชาการของมนุษย์ตลอดชีวิตจนถึงไม่กี่มิลลิวินาทีดูเหมือนจะเป็นไปได้ทั้งหมด แล้วหนึ่งล้านปีของวิวัฒนาการแห่งความรู้ความเข้าใจในหนึ่งหรือสองวันในซูเปอร์คอมพิวเตอร์? ฉันขอยืนยันว่าการจำลองสภาพแวดล้อมเป็นกุญแจสำคัญและกฎของการวิวัฒนาการจะดูแลส่วนที่เหลือ การจำลองสภาพแวดล้อมเป็นภารกิจที่มนุษย์สามารถโจมตีได้อย่างเป็นระบบและประสบความสำเร็จอย่าง จำกัด ด้วยกฎของมัวร์อย่างหลีกเลี่ยงไม่ได้
Craig Hicks

Rajaneimi ได้รับการเสนอชื่อซ้ำและฉันได้พบบทความเกี่ยวกับความรู้ความเข้าใจเกี่ยวกับมนุษย์หลายเรื่อง แต่ฉันยังคงมองหาเอกสารที่พูดถึงเรื่องนี้ในแง่ของจิตสำนึกอัลกอริทึม
DukeZhou

คำตอบ:


28

ในการตอบคำถามนี้ก่อนอื่นเราต้องรู้ว่าทำไมการพัฒนา AI ที่ใส่ใจจึงเป็นเรื่องยาก เหตุผลหลักคือไม่มีความหมายทางสติปัญญาหรือทางสติอย่างเข้มงวด แน่นอนว่าคุณมีความคิดในการมีสติในขณะที่คุณสัมผัสมันและเราสามารถพูดคุยเกี่ยวกับซอมบี้ในเชิงปรัชญาได้ แต่มันไม่ใช่แนวคิดที่จับต้องได้ซึ่งสามารถพังทลายลงมาได้ ยิ่งไปกว่านั้นการวิจัยในปัจจุบันส่วนใหญ่ใน AI นั้นส่วนใหญ่เป็นวิธีปฏิบัติในการพยายามสร้างแบบจำลองที่สามารถทำงานได้ดีตามฟังก์ชันต้นทุนที่ต้องการ นี่เป็นสนามที่ใหญ่และน่าตื่นเต้นและครอบคลุมปัญหาการวิจัยจำนวนมากและการค้นพบใหม่ทุกครั้งนั้นขึ้นอยู่กับทฤษฎีทางคณิตศาสตร์หรือหลักฐานเชิงประจักษ์ของอัลกอริทึม / การสร้างแบบจำลองใหม่ / ฯลฯ ด้วยเหตุนี้

ดังนั้นเพื่อตอบคำถามของคุณไม่มีใครพยายามทำให้ AI "มีสติ" เพราะเราไม่รู้ว่าคำนั้นหมายถึงอะไร แต่ก็ไม่ได้หยุดคนที่พูดถึงมัน


"... สติ AI ก็ยาก [เพราะ] ไม่มีนิยามทางสติปัญญาหรือคณิตศาสตร์อย่างเข้มงวด" จิตสำนึกของมนุษย์พัฒนาโดยการทำงานได้ดีตามฟังก์ชั่นค่าใช้จ่ายบางอย่างความสามารถเฉพาะเพื่อความอยู่รอดในระดับบุคคลและกลุ่ม ดังนั้นวิธีการพัฒนานั้นจึงมีประวัติที่ดี ในทางตรงกันข้ามการพัฒนาโดยการออกแบบเพื่อเติมเต็มนิยามทางคณิตศาสตร์ของความมีสติไม่มีประวัติ
Craig Hicks

@ CraigHicks บางทีฉันอาจไม่เข้าใจในสิ่งที่คุณตั้งใจ แต่คุณหมายถึงความสำเร็จเชิงวิวัฒนาการเป็นตัวบ่งชี้ถึงความมีสติ ถ้านั่นคือสิ่งที่คุณหมายถึงฉันต้องไม่เห็นด้วย มีสิ่งมีชีวิตที่ไม่ได้คำนึงถึงความประหม่า แต่ประสบความสำเร็จอย่างมากจากมุมมองวิวัฒนาการ (ไวรัสและแบคทีเรียหรือพืชบางชนิด)
Lorenzo Donati สนับสนุน Monica

2
@ CraigHicks เราอาจพัฒนา AI ที่ถือได้ว่ามีสติ แต่มันจะเว้นแต่ว่าเรามีการพัฒนาแนวความคิดและปรัชญาที่สำคัญเกิดขึ้นโดยบังเอิญและโชค นั่นเป็นเพราะตราบใดที่เราไม่รู้ว่าเราสามารถนิยาม "สติ" (นอกเหนือจาก "เราอาจจะรู้ได้เมื่อเราเห็นมัน") ไม่มีวิธีที่จะรู้ว่าเราจะออกแบบเครื่องจักรที่มีศักยภาพอย่างไร เพื่อแสดงมัน
อาร์เธอร์

2
เห็นได้ชัดว่าวิธีที่ตรงไปตรงมาที่สุดในการสร้าง AI ที่มีสตินั้นถูกเขียนโดยบังเอิญโดย Yudkowsky: ใส่ AI ลงในกล่องแล้วเขย่ามันสักเล็กน้อย ถ้ามันโน้มน้าวให้คุณปล่อยมันออกจากกล่องคุณอาจแพ้ =)
Cort Ammon - Reinstate Monica

1
ฉันยอมรับว่ามันเป็นไปได้ทั้งหมดที่จะทำเช่นนั้นโดยไม่ได้ตั้งใจปัญหาก็คือคล้ายกับอาร์กิวเมนต์ซอมบี้ปรัชญาไม่มีการทดสอบว่ามีอะไรเกิดขึ้นจริง โดยส่วนตัวแล้วฉันไม่คิดว่าการทดสอบดังกล่าวมีอยู่จริงและด้วยเหตุนี้คุณควรสุภาพต่อแชทบอทและผู้ช่วยส่วนตัวของพวกเขาในอนาคตที่จะมาถึงในกรณีที่คุณทำร้ายความรู้สึกของพวกเขา “ ขอบคุณศิริ”
Jaden Travnik

7

สติคืออะไร? มีความท้าทายที่แท้จริงบางประการในการตั้งสติเป็นเป้าหมายเพราะเราไม่มีความเข้าใจทางวิทยาศาสตร์มากนักว่าสมองมีวิธีการอย่างไรหรือมีความสมดุลระหว่างความจำระยะยาวความจำระยะสั้นโดยปริยาย โหมดการประมวลผลอัตโนมัติและการประมวลผลโดยเจตนา (S1 และ S2) ของ Khanemann John Kihlstrom (ตำแหน่งทางจิตวิทยาที่ Berkeley) มีชุดบรรยายเกี่ยวกับ Consciousness ที่มีอยู่ใน iTunesU ที่คุณสามารถดู Carnegie-Mellon Uni มีรูปแบบที่เรียกว่า ACT-R ซึ่งจำลองพฤติกรรมที่มีสติโดยตรงเช่นการจ่ายความสนใจ

อะไรที่ทำให้เราเข้าใจในสิ่งนั้น ปรัชญาได้รับการพิจารณาคำถามของสติเป็นเวลานาน ส่วนตัวฉันชอบ Hegel และ Heidegger (นักปรัชญา) ทั้งสองเป็นเรื่องยากมากที่จะอ่าน แต่ไฮเดกเกอร์ (ตีความโดยฮิวเบิร์เดรย์ฟั) ประโยชน์วิเคราะห์ที่ดีสมัยเก่า AI โครงการของยุคและชี้ให้เห็นว่ามากทำงานที่นั่นเป็นเพียงการตีความการป้อนข้อมูลภาพ บ่อยครั้งที่ Hegel นั้นดูถูกดูแคลน แต่เพื่อให้เขาตีความได้ดีให้ลองดูการพูดคุยของ Robert Brandom กับ LMU เกี่ยวกับตรรกะของความมีสติและ Hegel ในฐานะนักปฏิบัติในยุคแรกของผู้ขาย - เอียน หากจิตสำนึกคือการยึดมั่นในความจริงและความเชื่อมั่นมันเป็น 'เส้นทางแห่งความสงสัยหรือเป็นเส้นทางแห่งความสิ้นหวัง' ที่เหมาะสมกว่าซึ่งไม่เคยตั้งอยู่เหนือการแก้ไข มีบางอย่างเกี่ยวกับการรักษาจิตสำนึกของ Hegel ในแง่ซ้ำซากโดยไม่จำนนต่อความเลวทรามต่ำช้าอย่างที่ฉันคิดว่าจะถูกพัดพาออกไปก่อนสิ้น

การพัฒนาล่าสุด. แนวทางการเรียนรู้ลึกและความสำเร็จในเชิงปฏิบัติในปัจจุบันนั้นน่าตื่นเต้น แต่มันก็น่าสนใจที่จะเห็นว่าพวกเขาสามารถรวมและพูดคุยกันได้ไกลแค่ไหนจากข้อมูลเล็ก ๆ ที่ทำให้จิตใจมนุษย์เป็นจริง ในขณะที่การเรียนรู้อย่างลึกและการขุดข้อมูลนั้นสามารถมองเห็นได้อย่างมหาศาลวิธีการเชิงสัญลักษณ์ก็ยังคงมีอยู่มากขึ้นและหลากหลายมากขึ้น แต่มีการขาดการตีความทางทฤษฎีครอบคลุมที่จะอนุญาตให้มีการวางหลักเกณฑ์ทั่วไป

ทฤษฎีใหญ่สองเท้าถือ ถ้าฉันต้องเลือกโครงการที่ฉันคิดว่าควรค่าแก่การเข้าร่วม Giulio Tononi (et al) ได้ตั้งค่าความทันสมัยให้ทันสมัยของปัญหาใน ' Integrated Information Theory ' แต่คุณอาจต้องการขยายสิ่งเหล่านั้นด้วยRolf Pfeifer 's รูปร่างของร่างกายเป็นวิธีที่เราคิดว่า 'เพราะ' ข้อมูลแบบบูรณาการ 'บางอย่างมีความหมายในการมีแขนและขาตาและจมูก (ใส่ข้อมูลที่สะสมของวิวัฒนาการ) แต่มีงานที่ดีมากมาย เสร็จแล้ว - ข้อดีกำลังเขียนเอกสารเร็วกว่าที่ฉันจะอ่านได้

เจาะจงมากขึ้นสำหรับคำถามของคุณมีความพยายามจำลองสมองมนุษย์หวังว่าเป้าหมายโดยรวมจะช่วยกองทุนวิจัยและสร้างคำตอบสำหรับแต่ละพาราด้านบน


ฉันอ่านบทความที่น่าสนใจและซื่อสัตย์โดย Douglas Hofstadter ใน The Atlantic ( theatlantic.com/technology/archive/2018/01/… ) วิจารณ์การใช้คำว่า "การเรียนรู้ลึก" เพื่ออ้างถึงโปรแกรมการเรียนรู้ลึกของ Google และใช้ความบันเทิง ตัวอย่างเพื่อแสดงโปรแกรมที่ขาดความเข้าใจที่แท้จริง เขาโต้แย้งที่น่าเชื่อว่าการแปลภาษาที่ดีจะเป็นไปไม่ได้หากไม่มีการพัฒนา AI ที่ใส่ใจ
Craig Hicks

1
ใช่ฉันไม่คิดว่าทุกคนที่ใส่ใจจะทำผิดพลาดด้านล่างนี้ถึงแม้ว่าฉันสามารถจินตนาการได้ว่านักแปลบางครั้งก็ไม่สามารถทำให้ดีขึ้นได้ด้วยเงื่อนไขทางศิลปะที่ลึกลับ มันขาดการรับรู้ตนเองในผลลัพธ์: reddit.com/r/softwaregore/comments/6bxh2m/…
Atcrank

1
เกี่ยวกับส่วนแรก: ศาสตราจารย์ AI เก่าของฉันเคยบอกว่าการถามว่าคอมพิวเตอร์สามารถคิดเหมือนการถามว่าเรือดำน้ำว่ายน้ำหรือไม่ คำตอบนั้นขึ้นอยู่กับว่าคุณต้องการนิยาม "การว่ายน้ำ" มากไปกว่าสิ่งที่เครื่องทำอยู่
TED

2

CERA-CRANIUM เป็นตัวอย่างสำหรับสถาปัตยกรรมเกี่ยวกับความรู้ความเข้าใจในการสร้าง Machine-Consciousness (MC) ต่อพฤติกรรมที่มีจิตสำนึกเหมือนตัวละครในเกมคอมพิวเตอร์ปี 2009มันถูกรับรู้ว่าเป็นระบบกระดานดำที่สามารถทำงานเธรดได้ การติดตั้งใช้งานด้วยภาษาธรรมชาติ นั่นหมายความว่าเอเจนต์ CERA-CRANIUM มีตัวแปรที่เรียกว่า "ฉันกลัว" และหากตัวแปรนี้ถูกตั้งค่าเป็น True กว่าเปิดใช้งานอารมณ์ ดังนั้นมันจึงไม่ใช่ความรู้สึกที่แท้จริง แต่มีความเหมือนกันมากกับสถานะของตัวละครใน“ The Sims”

สิ่งที่น่าสนใจคือ“ จิตสำนึกของเครื่องจักร” นั้นไม่ลึกลับอย่างที่คิด Google scholar พบเอกสารประมาณ 3 พันเกี่ยวกับเรื่องนี้ ในกรณีส่วนใหญ่การพัฒนาเริ่มต้นโดยมีวัตถุประสงค์เพื่อนำอารมณ์ความรู้สึกไปใช้กับตัวละครในเกม


จะไม่เป็นเรื่องตลกถ้า AI "ชีวิต" ที่แท้จริงพัฒนาขึ้น (วิวัฒนาการหรือไม่) ไม่ใช่จากการวิจัย แต่เป็นการโฆษณาโดยนักเขียนซอฟต์แวร์เกมที่พยายามสร้างความวุ่นวาย
Craig Hicks

@CraigHicks: คุณหมายถึงว่าในมิตรภาพมีความเหมาะสมที่สุด ?
vsz

2

นอกจากคำตอบที่ยอดเยี่ยมของ Jaden "ไม่มีใครพยายามทำให้ AI" มีสติ "เพราะเราไม่รู้ว่าคำนั้นหมายถึงอะไร แต่ฉันต้องการเพิ่มคำว่า" ถึง "มีแง่ดีอย่างมาก

มันเป็นปัญหาอย่างมากและเป็นไปไม่ได้ที่จะแยกแยะระหว่างสิ่งมีชีวิตที่มีสติและสิ่งมีชีวิตที่มีพฤติกรรมเหมือนกับว่ามันมีสติ นักปรัชญาดิ้นรนกับสิ่งนั้นมาหลายศตวรรษ บางคนถึงกับชักชวนซึ่งเป็นปรัชญา "ฉันอาศัยอยู่ในเมทริกซ์" โดยเฉพาะอย่างยิ่งคุณจะบอกได้อย่างไรว่าเพื่อนในวัยเด็กของคุณหรือคู่สมรสของคุณหรือใครก็ตามนั้นเป็นคนมีสติมากกว่าที่จะเป็นศูนย์รวมของ AI ที่ทำหน้าที่เหมือนมีสติอยู่หรือไม่?

แน่นอนว่ามันเป็นไปได้ที่จะไป "ถ้ามันเดินเหมือนเป็ดและกระสอบเป็นเป็ดแล้วมันเป็นวิธีเป็ด" ในกรณีนั้นการทดสอบของทัวริงจะผ่านการพิจารณา AI โดยอัตโนมัติ อย่างไรก็ตามคนส่วนใหญ่จะไม่ยอมรับเกณฑ์เป็ดของสติ ไม่เช่นนั้นพวกเขาจะต้องเรียกใช้เครื่องใช้ในครัวเรือนของ Alexa อย่างใส่ใจ

สองเซ็นต์ของฉันนั้นโดยทั่วไปเหมือนกับของ Jaden ยกเว้นว่าฉันพูดในแง่ร้ายมากขึ้นเกี่ยวกับการเข้าใจว่าสติคืออะไร


ฉันคิดว่าการทดสอบ Duck นั้นเพียงพอหาก AI ผ่านการทดสอบทัวริงเต็มรูปแบบบริหารงานโดยผู้ใหญ่ที่ฉลาด (ปัญหาของฉันกับ Chinese Room คือมันขึ้นอยู่กับ qualia และฉันสงสัยว่าวิธีเดียวที่จะตรวจสอบ qualia ของเอนทิตีอื่นคือการเป็นนิติบุคคลนั้น)
DukeZhou

ฉันอาจโต้แย้งว่าการรับรู้ใด ๆ เติมเต็มนิยามพื้นฐานของสติและความสามารถในการตัดสินใจใด ๆ ที่อิงกับอินพุตสอดคล้องกับนิยามของหน่วยสืบราชการลับพื้นฐานที่สุด สำหรับทุกสิ่งที่เรารู้สติอาจเป็นรูปแบบหนึ่งของการรับรู้และเป็นหน้าที่ของความซับซ้อนของระบบ
DukeZhou

1

สติคือความสามารถในการตระหนักถึงความคิดของคุณสภาพแวดล้อมความรู้สึกและไม่มีอะไรเพิ่มเติม มันเป็นกลไกของสมองของเราในการควบคุมความคิดที่ต่ำกว่าของเราซึ่งขึ้นอยู่กับความสัมพันธ์และอารมณ์ สติคือการสังเกตความคิดและความรู้สึกของเราเหมือนที่เราสังเกตโลกแห่งความจริงด้วยสายตาของเรา มันไม่ซับซ้อน คำถามที่แท้จริงไม่ใช่ว่าเครื่องจักรมีความสามารถในการมีสติ แต่สามารถใช้ได้กับอารมณ์หรือไม่


มีเผ่าพันธุ์มากมายนอกเหนือจากมนุษย์สมัยใหม่ที่แสดงอารมณ์รุนแรง อารมณ์เหล่านี้เป็นสัญชาตญาณ - มันสำคัญมากในการกำหนดพฤติกรรมทางสังคมซึ่งช่วยเพิ่มความอยู่รอดและความเหมาะสมของ "กลุ่ม" ฉันไม่สามารถเห็นได้ว่าอารมณ์ความรู้สึกของมนุษย์นั้นแตกต่างจากสัตว์เลี้ยงลูกด้วยนมชนิดอื่น ๆ อย่างไร ในทางตรงกันข้ามจิตสำนึกของมนุษย์นั้นมีความสำคัญหลายอย่างที่มนุษย์พัฒนาขึ้นมากกว่าเผ่าพันธุ์อื่นที่อยู่ใกล้ที่สุด ที่ซึ่งอารมณ์ความรู้สึกของมนุษย์แตกต่างจากสปีชีส์อื่นเป็นเพียงความสามารถในการควบคุมอารมณ์ผ่านจิตสำนึก
Craig Hicks

คำตอบนี้ไม่สมเหตุสมผลหากไม่มีคำจำกัดความของ 'ของคุณ'
DrMcCleod

-1

คำนำ : ในปัจจุบันเราพบว่าระบบปัจจุบันดีขึ้นในเกือบทุกงานเฉพาะด้านมากกว่ามนุษย์ นอกจากนี้เรายังเห็นว่านักวิทยาศาสตร์ทำงานในการทำให้ระบบปัจจุบันดีขึ้นในงานที่มีความเชี่ยวชาญน้อยกว่า (เริ่มจาก: การจดจำตัวอักษร, ไปที่: การจดจำสัตว์, การจดจำชนิด, การจดจำกิจกรรม, การจดจำภาพเคลื่อนไหว, .. )

สรุป : ไม่มีเหตุผลที่จะไม่เชื่อว่าระบบช่วยโครงข่ายประสาทเทียมจะไม่ดีขึ้นในงานที่ได้รับในอนาคต

คำถาม :

สติคืออะไร?

ฉันคิดว่าปัญหาในปัจจุบันเกี่ยวกับการตระหนักในตนเองเป็นปัญหาที่มีความหมาย ฉันไม่พบวรรณกรรมมากมายเกี่ยวกับหัวข้อนี้แม้จะมีปรัชญา (ซึ่งน่าเสียดายที่ไม่มีประโยชน์อย่างสิ้นเชิงในบริบทนี้)

เนื่องจากการขาดวรรณกรรมฉันต้องการที่จะทำให้คำจำกัดความของตัวเอง โชคดีที่เรารู้จากการสังเกตว่าสัตว์ที่ติดอันดับ "ฉลาด" ทุกคนมีระดับ "ความประหม่า" ในระดับหนึ่งและมีความอยากรู้อยากเห็น จากชีววิทยาเรารู้ว่าความอยากรู้อยากเห็นเป็นกลไกสร้างแรงจูงใจสำหรับพฤติกรรมการสังเกต / การให้เหตุผล / การทดสอบ ตอนนี้เราสรุปว่าการรับรู้ตนเองเห็นได้ชัดว่าเป็นกลไกเดียวกับที่ใช้กับกระบวนการพฤติกรรม / ความคิดของคุณเอง เราเพียงแค่จินตนาการถึงผลลัพธ์ที่เป็นไปได้ของการกระทำที่เราอาจดำเนินการและประเมินผล

ดังนั้นจิตสำนึกจะต้องเป็นผลมาจากระบบแรงจูงใจที่กำหนดซึ่งสนับสนุนความอยากรู้อยากเห็นและระบบการประเมินที่ไม่มีความซับซ้อนเพียงพอ

ฉันเดาว่าระบบแรงจูงใจนั้นง่ายมากที่จะนำไปใช้ ปัญหาในปัจจุบันคือไม่มีระบบที่มีอยู่อย่างหลากหลายเพียงพอที่จะ "แก้ปัญหา" งานใด ๆ ก็ตาม เครือข่ายปัจจุบันยังมีความเชี่ยวชาญมากเกินไป


"โชคดีที่เรารู้จากการสังเกตว่าสัตว์ทุกตัวที่" ฉลาด "มีระดับ" ความประหม่า "ในระดับหนึ่งคำจำกัดความของคุณเป็นแบบวงกลม
DrMcCleod

คำจำกัดความอะไรและอย่างไร

คุณกำลังพยายามนิยาม 'สติ' จากแนวคิดที่ว่าสิ่งมีชีวิตนั้น 'ประหม่า' คุณไม่สามารถมีคำจำกัดความที่ขึ้นอยู่กับการมีอยู่ของ apriori ในสิ่งที่กำหนดไว้ หรือสำหรับเรื่องนั้นคุณสามารถคิดได้เองว่าสิ่งอื่นนอกจากตัวคุณเองมีสติเพราะเราไม่มีวิธีวัดอย่างเป็นกลาง
DrMcCleod

สติและความประหม่าเหมือนกันและพึ่งพาเหมือนกัน ความแตกต่างคืออะไร

ความประหม่าและความตระหนักในตนเองก็เป็นสิ่งเดียวกัน มันไม่สมเหตุสมผลที่จะนิยามคำโดยอ้างอิงตัวมันเอง คุณอาจนิยามช้างด้วยการบอกว่ามันเป็นช้าง
DrMcCleod
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.