หากผู้ป่วยทดสอบ 1,000 รายไม่ได้รับการรักษาให้หายขาดเราไม่สามารถพูดได้ว่าเรายอมรับสมมติฐานว่างหรือไม่


9

ในหลาย ๆ ที่ฉันได้อ่านว่าเราไม่สามารถพูดได้ว่าเรา "ยอมรับ" สมมติฐานว่าง แต่เราต้องบอกว่าเรา "ไม่สามารถปฏิเสธ" สมมติฐานว่างได้

แต่ฉันไม่เห็นว่าสแควร์สกับตัวอย่างง่ายๆนี้: สมมติว่าเรากำลังทดสอบยาที่ควรรักษาโรคเบาหวานได้อย่างสมบูรณ์ภายใน 24 ชั่วโมง เราลองใช้กับคนไข้ 1,000 คนและพวกเขาทั้งหมดยังเป็นเบาหวานหลังจากทานยา

เห็นได้ชัดหรือไม่ว่ายานี้ไม่รักษาโรคเบาหวาน? นั่นคือเรายอมรับสมมติฐานว่างหรือไม่

แน่นอนฉันจะไม่เชื่อในยานี้


สมมติฐานที่ว่างเปล่า: ยาเสพติดไม่มีผลกระทบต่อผู้ป่วย

สมมติฐานทางเลือก: ยารักษาโรคเบาหวาน


6
สมมุติฐานว่าง & ทางเลือกที่ควรจะเป็นในสถานการณ์นี้คืออะไร? ยิ่งกว่านั้นสถานการณ์นี้ควรเกี่ยวข้องกับ / ทำให้เป็นสถานการณ์ทั่วไป (จริง) และตรรกะของการทดสอบสมมติฐานอย่างไร
gung - Reinstate Monica

@gung สมมติฐานว่างคือยาเสพติดไม่มีผลต่อผู้ป่วย สมมติฐานทางเลือกคือยารักษาโรคเบาหวาน ไม่ชัดเจนว่าสมมติฐานว่างเปล่าเป็นจริงหรือ
Jonathan Aquino

@ gung สิ่งนี้เกี่ยวข้องกับตรรกะของการทดสอบสมมติฐานเพราะฉันพยายามเข้าใจว่าทำไมเราไม่สามารถพูดได้ว่าเรา "ยอมรับ" สมมติฐานว่าง แต่ในกรณีนี้ดูเหมือนว่าเราสามารถพูดได้ว่าเรา "ยอมรับ" สมมติฐานว่าง
Jonathan Aquino

4
ในบางกรณีสถานการณ์อาจ "ชัดเจน" หากคุณต้องการใช้ภาษาของการทดสอบสมมติฐานเพื่อพิสูจน์การอ้างสิทธิ์คุณควรใช้เหตุผลต่อไป หากมีสิ่งใดที่ชัดเจนให้อธิบายสิ่งที่ชัดเจน (เช่น "เห็นได้ชัดว่าไม่มีประโยชน์ในทางปฏิบัติจากยา"; หลีกเลี่ยงเงื่อนไขทางสถิติหลีกเลี่ยงความจำเป็นในการมีข้อโต้แย้งทางสถิติ)
Glen_b

2
นี่เป็นกรณีที่ช่วงความเชื่อมั่นหรือขนาดผลกระทบโดยประมาณอาจมีข้อมูลมากขึ้น ความจริงไม่ได้เป็นเลขฐานสองยาอาจใช้งานได้ในเชิงปรัชญา (เช่นเพิ่มอัตราการหายขาด) แต่จะน้อยมากจนแทบไม่มีความสำคัญเลย การทดสอบสมมติฐานเป็นสิ่งที่หยาบเกินไปสำหรับเครื่องมือนี้ แต่ CIs และขนาดเอฟเฟกต์สามารถพาคุณไปที่นั่นได้ หาก CI แคบมากประมาณ 0 ผลประโยชน์ใด ๆ ที่เป็นไปได้นั้นมีขนาดเล็กมาก

คำตอบ:


15

ความเป็นไปได้ที่หนึ่ง: ยาเสพติดมีผลขนาดเล็กมาก บางทีมันอาจจะช่วยรักษาผู้คนที่รับมันไว้ได้ถึง. 0001% การทดสอบที่คุณระบุไว้แสดงให้เห็นว่ามีหลักฐานไม่เพียงพอสำหรับทางเลือกที่น่าทึ่งที่คุณเสนอ

ความเป็นไปได้ที่สอง: ยาเสพติดมีผลกระทบเชิงลบที่แข็งแกร่งมาก (ให้เครดิตกับ @ssdecontrol) บางทียาไม่มีผลและผู้ป่วยเหล่านั้นทั้งหมดก็จะดีขึ้นด้วยตัวเอง แต่เนื่องจากยาไม่มีผู้ป่วยหาย

หากไม่มีความรู้ใด ๆ มาก่อนข้อมูลจะสอดคล้องกับความเป็นไปได้เหล่านี้เช่นเดียวกับความเป็นไปได้ที่ null จะเป็นจริง

ดังนั้นการปฏิเสธโมฆะจึงไม่ได้หมายความว่าโมฆะจะเป็นจริงมากกว่าความเป็นไปได้อื่น ๆ


4
จะทำอย่างไรถ้ายาไม่มีผลและผู้ป่วยทุกคนจะได้รับผลดีกว่าด้วยตนเอง
shadowtalker

1
ฉันคิดว่าคำตอบนี้หายไปหนึ่งชิ้น คุณขวาที่เป็นไปได้เหล่านี้อาจจะเป็นจริง แต่มันก็ยังเป็นความจริงที่ไม่มีใครสามารถที่เคยจริงๆรู้อะไร นี่คือเหตุผลที่เรายินดีที่จะปฏิเสธค่า Null เมื่อถึงระดับที่ไม่น่าจะเป็นไปได้แทนที่จะรอหลักฐานที่ไม่สามารถบรรลุผลได้ แต่ถ้ามันเป็นเรื่องจริงทำไมเราไม่ยอมยอมรับโมฆะเมื่อเราได้รวบรวมหลักฐานในระดับหนึ่งแล้ว?
ตุลาคม

เจสัน - ฉันสนใจฟังคำตอบของคุณต่อความคิดเห็นของ @ octern ด้านบน
Jonathan Aquino

@octern คำถามที่ดีมาก เกิดอะไรขึ้นถ้าสมมุติฐานว่างเป็นว่ายาเสพติดมีผลบวกมากน้อยมาก? เราจะล้มเหลวในการปฏิเสธโมฆะ เห็นได้ชัดว่าเราไม่ควรตีพิมพ์บทความที่บอกว่ายาเสพติดมีผลในเชิงบวกที่ดีมากและเล็กมาก แต่มันก็น่าสงสัยพอ ๆ กันที่จะตีพิมพ์บทความที่บอกว่ายานั้นไม่มีผลกระทบเลย ข้อมูลสอดคล้องกับความเป็นไปได้มากมายและเราไม่รู้ว่าความเป็นไปได้ที่เหลืออยู่นั้นเป็นจริง ดู (การเข้าใจผิดตรรกะอย่างเป็นทางการ) [ en.wikipedia.org/wiki/Argument_from_ignorance]
Jason Sanchez

ฉันเห็นว่าคุณพูดถูก ตอนนี้ฉันเข้าใจอีกเล็กน้อยว่าทำไมการทดสอบสมมติฐานบ่อยครั้งมักเกี่ยวข้องกับการปฏิเสธสมมติฐานแทนที่จะยอมรับพวกเขา ดังนั้นวิธีการของ NHST ในการยอมรับสมมติฐานของผลกระทบที่เป็นศูนย์จะเป็น 1) กำหนดว่าผลกระทบขนาดเล็กสามารถนับเป็นศูนย์ได้อย่างไรและ 2) รวบรวมหลักฐานเพียงพอที่จะปฏิเสธสมมติฐานที่ว่ามีผลกระทบอย่างน้อยขนาดนั้น สมมติฐานหนึ่งในแต่ละทิศทาง) ใช่?
ตุลาคม

6

มีคำตอบที่ดีที่นี่ แต่สิ่งที่ฉันคิดว่าเป็นประเด็นสำคัญไม่ได้ระบุไว้อย่างชัดเจนทุกที่ กล่าวโดยสรุปการกำหนดค่าว่างและสมมติฐานทางเลือกของคุณไม่ถูกต้อง สมมติฐานว่างและทางเลือกจะต้องไม่เกิดร่วมกัน (นั่นคือพวกเขาไม่สามารถเป็นจริงได้) สูตรของคุณตรงตามเกณฑ์นั้น อย่างไรก็ตามพวกเขาจะต้องมีความครบถ้วนสมบูรณ์ (นั่นคือหนึ่งในนั้นต้องเป็นจริง) สูตรของคุณไม่ตรงตามเกณฑ์นี้

คุณไม่สามารถมีสมมติฐานว่างได้ว่ายามี 0% โอกาสในการรักษาโรคเบาหวานและสมมติฐานทางเลือกว่ายาเสพติดมี 100%โอกาสในการรักษาโรคเบาหวาน ลองนึกภาพว่าความน่าจะเป็นที่แท้จริงของยาที่จะรักษาโรคเบาหวานคือ50%จากนั้นทั้งค่าว่างและสมมุติฐานทางเลือกของคุณเป็นเท็จ นั่นคือปัญหาของคุณ

สมมติฐานโมฆะต้นแบบเป็นค่าจุด (เช่น 0 บนบรรทัดจำนวนจริงหรือบ่อยที่สุด 50%เมื่อกล่าวถึงความน่าจะเป็น แต่เป็นเพียงการประชุม) นอกจากนี้หากคุณทำงานกับพื้นที่พารามิเตอร์ที่มีขอบเขต (ดังที่คุณอยู่ที่นี่ความน่าจะเป็นต้องอยู่ภายใน[0, 1]) มันเป็นปัญหาโดยทั่วไปที่จะลองทดสอบค่าที่ขีด จำกัด (เช่น 0 หรือ 1) หลังจากได้รับการแต่งตั้งค่าจุดเป็น null คุณ (ค่าที่คุณต้องการที่จะปฏิเสธ) คุณจะได้รับหลักฐานกับมัน แต่ไม่สามารถได้รับหลักฐานสำหรับมันจากข้อมูลของคุณ (cf @ จอห์นคำตอบที่ชาญฉลาด ) เพื่อทำความเข้าใจเพิ่มเติมนี้มันอาจช่วยให้คุณอ่านคำตอบของฉันที่นี่: ทำไมนักสถิติพูดว่าผลลัพธ์ที่ไม่สำคัญหมายความว่า "คุณไม่สามารถปฏิเสธโมฆะ" เมื่อเทียบกับการยอมรับสมมติฐานว่าง? เพื่อนำความคิดเหล่านั้นไปใช้กับสถานการณ์ของคุณให้เป็นรูปธรรมยิ่งขึ้นแม้ว่าคุณจะว่างเปล่าก็ตาม0% (และสมมติฐานทางเลือกของคุณคือ π0) และคุณได้ลองใช้ยาแล้ว 100,000 ผู้ป่วยที่ไม่ได้รับการรักษาเพียงคนเดียวคุณไม่สามารถยอมรับสมมติฐานว่างได้: ข้อมูลจะยังคงสอดคล้องกับความเป็นไปได้ที่ความน่าจะเป็น 0.00003(ดู: จะบอกความน่าจะเป็นของความล้มเหลวได้อย่างไรหากไม่มีความล้มเหลว )

ในอีกทางหนึ่งคุณไม่จำเป็นต้องมีจุดว่าง One-tailed (เช่น<θ0) สมมติฐานว่างไม่ใช่คะแนนตัวอย่างเช่น พวกมันคือเซตของจุดอนันต์ ในทำนองเดียวกันคุณอาจมีสมมติฐานช่วง / ช่วงเวลา (เช่นว่าพารามิเตอร์อยู่ภายใน[a, ]) ในกรณีนี้คุณสามารถยอมรับโมฆะของคุณบนพื้นฐานของหลักฐาน - นั่นคือสิ่งที่การทดสอบความเท่าเทียมกันเป็นเรื่องเกี่ยวกับ (คุณสามารถสร้างข้อผิดพลาดประเภทที่ 1 ได้)


ดังนั้นการทดสอบสมมติฐานที่สำคัญสมมติฐานว่าง (Ho: x = 0; Ha: x> 0) ไม่สามารถรองรับ null ได้ แต่การทดสอบแบบ one-tailed (Ho: x <= δ; Ha: x> δ) สามารถรองรับ null ได้ ฉันถูกต้องไหม
Jonathan Aquino

@ JonathanAquino ตราบใดที่ θ00 (หรืออย่างอื่นในขอบเขตของพื้นที่พารามิเตอร์) & ดังนั้น H0:xθเป็นชุดของคะแนนที่ไม่สิ้นสุดคุณสามารถยอมรับค่า Null ได้หากช่วงความเชื่อมั่นทั้งหมดอยู่ในช่วง Null คุณควรอ่านคำตอบที่ฉันเชื่อมโยง
gung - Reinstate Monica

+1 นานมาแล้ว แต่เมื่ออ่านใหม่ตอนนี้ฉันมีสิ่งที่เล่นโวหาร: ฉันไม่คิดว่า H0 และ H1 ควรจะเป็น "หมดจดโดยรวม" อย่างน้อยก็ไม่ได้อยู่ในแนวทาง Neyman-Pearson (ซึ่ง H1 มักจะตรงกับเฉพาะ ขนาดของเอฟเฟกต์และใช้เพื่อคำนวณพลังงาน)
อะมีบา

@ amoeba เพื่อการวางแผนการศึกษาและการวิเคราะห์พลังงานคุณมีขนาดผลกระทบที่เฉพาะเจาะจงในใจ แต่ลักษณะของการทดสอบสมมติฐานคือ H0: mu1 = m2; ฮา: mu1! = mu2 นั่นคือโครงร่างเชิงตรรกะของการทดสอบสมมติฐาน สมมติฐานทางเลือกมีความหมายต่างกัน 2 แบบขึ้นอยู่กับบริบท
gung - Reinstate Monica

2

ในฐานะที่เป็นผู้ใช้อื่น ๆ ได้แสดงความเห็นว่าปัญหากับการยอมรับสมมติฐานคือการที่เราไม่ได้มีหลักฐานเพียงพอ (หรือเราจะเคย) จะสรุปได้ว่าผลที่ได้คือว่า 0. ศาสตร์การทดสอบสมมติฐานโดยทั่วไปจะไม่สามารถตอบคำถามดังกล่าว .

อย่างไรก็ตามนั่นไม่ได้หมายความว่าเจตนาของคำถามของคุณไม่ถูกต้อง! อันที่จริงแล้วนี่เป็นความตั้งใจในการทดลองทางคลินิกสำหรับยาชื่อสามัญ: เป้าหมายไม่ใช่เพื่อแสดงว่าคุณผลิตยาที่มีประสิทธิภาพมากขึ้น แต่ยาของคุณนั้นมีประสิทธิภาพเทียบเท่ากับชื่อแบรนด์ (และคุณสามารถผลิตได้ มันมีต้นทุนที่ต่ำกว่ามาก) โดยทั่วไปแล้วความเท่าเทียมจะถือว่าเป็นสมมติฐานว่าง

เพื่อตอบคำถามนี้โดยใช้การทดสอบสมมติฐานคำถามจะได้รับการปฏิรูปในลักษณะที่สามารถตอบได้ คำถามที่จัดรูปแบบใหม่มีลักษณะดังนี้:

Hโอ:βก.βn×0.75

Ha:βก.>βn×0.75

ที่ไหน βก. เป็นผลของการทั่วไปและ βnเป็นผลกระทบของยาเสพติดแบรนด์ชื่อ ดังนั้นตอนนี้ถ้าเราปฏิเสธสมมติฐานว่างเราสามารถสรุปได้ว่ายาสามัญอย่างน้อย 75% มีประสิทธิภาพเท่ากับชื่อแบรนด์ เห็นได้ชัดว่านี้ไม่ได้เป็นเช่นเดียวกับที่บอกว่าเทียบเท่า แต่ได้รับคำถามที่คุณสนใจ (และในทางที่ผมเชื่อว่าเป็นคำถามทางคณิตศาสตร์ที่เหมาะสมมากขึ้น)

เราสามารถเข้าถึงคำถามของคุณในลักษณะที่คล้ายกัน แทนที่จะพยายามที่จะพูดว่า "เรามีหลักฐานเพียงพอที่จะสรุปผล 0 หรือไม่" เราสามารถถาม "ได้รับหลักฐานของเราอะไรคือผลสูงสุดที่ผลลัพธ์ของเราไม่ผิดปกติมากเกินไป" กับn=1000 และ 0 ความสำเร็จสามารถอ้างได้ว่าเรามีหลักฐานเพียงพอที่จะสรุปได้ว่าความน่าจะเป็นของความสำเร็จนั้นน้อยกว่า 0.3% (จากการทดสอบที่แม่นยำของฟิชเชอร์ α=0.05)

จากผลลัพธ์นี้แน่นอนคุณยังสามารถสรุปได้ว่านี่ไม่ใช่ยาที่คุณจะเชื่อ


2
ถ้าอัตราความสำเร็จเป็น 0.3% จริง ๆ และยานั้นเป็นแก้วน้ำหรือเดินสิบนาทีในสวนสาธารณะมันก็น่าจะคุ้มค่ากับ "ใบสั่งยา" ทั่วไป
Hagen von Eitzen

1

สมมติว่ายาเสพติดใช้งานได้เฉพาะใน. .00001% ของประชากร ยาเสพติดทำงานระยะเวลา อัตราต่อรองของการตรวจจับทางสถิติคืออะไรมันใช้งานได้กับกลุ่มตัวอย่าง 10,000 คน? 100,000 คน 1,000,000 คน?


คุณจะพูดอะไรกับคำตอบของ @ octern?
Jonathan Aquino

1

ไม่ถูกต้องที่จะบอกว่าคุณไม่สามารถยอมรับสมมติฐานว่างได้ คุณกำลังนำข้อมูลตำราเรียนออกจากบริบท สิ่งที่คุณไม่สามารถทำได้คือใช้การทดสอบสมมติฐานว่างเพื่อยอมรับ การทดสอบสำหรับการปฏิเสธสมมติฐาน โปรดทราบว่าข้อโต้แย้งของคุณสำหรับการยอมรับนั้นมีส่วนเกี่ยวข้องกับผลการทดสอบเพียงเล็กน้อย มันเกี่ยวกับข้อมูล มันจะค่อนข้างขาดการดำเนินการทดสอบในตัวอย่างของคุณ คุณสามารถใช้ข้อมูลของคุณเพื่อยืนยันว่าคุณยอมรับสมมติฐานว่าง ไม่มีอะไรผิดปกติกับสิ่งนั้น คุณไม่สามารถใช้ผลลัพธ์ของการทดสอบได้

เหตุผลที่คุณไม่สามารถใช้การทดสอบสมมติฐานด้วยตัวเองก็เพราะมันไม่ได้ออกแบบมาเพื่อทำเช่นนั้น หากคุณไม่เข้าใจว่าจากตำราเรียนเป็นที่เข้าใจได้ เป็นความขัดแย้งที่น่าสนใจที่ p-value จะหมายถึงบางสิ่งเท่านั้นหากค่าว่างเป็นจริง แต่ไม่สามารถใช้เพื่อแสดงค่าว่างได้จริง เพื่อให้ง่ายขึ้นอาจพิจารณาความไวของพลังงาน คุณสามารถรวบรวมตัวอย่างน้อยเกินไปและไม่สามารถปฏิเสธค่าว่างได้เสมอ เนื่องจากคุณสามารถทำเช่นนั้นได้ชัดเจนว่าการทดสอบเพียงอย่างเดียวไม่ใช่เหตุผลที่ถูกต้องในการยอมรับค่าว่าง แต่นั่นไม่ได้หมายความว่าคุณจะไม่มีทางพูดว่าโมฆะเป็นความจริง หมายความว่าการทดสอบนั้นไม่มีรากฐานสำหรับการพิจารณาว่าโมฆะเป็นจริง

หมายเหตุ : มีอาร์กิวเมนต์ของ Occam ที่คุณควรยอมรับค่า null เมื่อคุณไม่ปฏิเสธ แต่การทดสอบไม่ได้บอกให้คุณยอมรับค่าว่าง สิ่งที่คุณทำคือการยอมรับค่า null เป็นค่าเริ่มต้นและหากคุณไม่ปฏิเสธการทดสอบคุณจะต้องรักษาสถานะเริ่มต้นไว้ ดังนั้นแม้ในกรณีนี้ค่า null จะไม่ได้รับการยอมรับเนื่องจากการทดสอบ


1

เมื่อพิจารณาถึงความคิดเห็นของคุณฉันคิดว่าคุณสนใจคำถามนี้มาก: ทำไมเราสามารถรวบรวมหลักฐานมากพอที่จะปฏิเสธค่าว่างแต่ไม่ใช่ทางเลือกอื่นนั่นคือสิ่งที่ทำให้สมมติฐานทดสอบถนนด้านเดียว

สิ่งที่สำคัญมากที่คิดว่าค่านิยมใดที่ประกอบไปด้วยสมมุติฐานว่าง? ในตัวอย่างของคุณมันเป็นเพียงค่าเดียวผม.อี., พี=0. ทางเลือกตรงกันข้ามคือพี>0.

เรายอมรับสมมติฐานทั้งสองถ้า "ค่าที่สมเหตุสมผล" (เช่นค่าภายในช่วงความมั่นใจของเรา) ตกลงไปในช่วงที่กำหนดโดยสมมติฐานนั้น ดังนั้นหากค่าที่สมเหตุสมผลของเราทั้งหมดมากกว่า 0 เราจะยอมรับทางเลือก สมมุติฐานว่างเป็นเพียงจุดเดียว 0! ดังนั้นจะยอมรับ null ที่เราจะต้องมีช่วงความเชื่อมั่นของความยาว 0 ตั้งแต่ (โดยทั่วไปการพูด) ช่วงความมั่นใจของความยาวเข้าใกล้ 0 เป็นnแต่ไม่บรรลุความยาว 0 สำหรับ จำกัด nเราจะต้องรวบรวมข้อมูลจำนวนไม่ จำกัด เพื่อสรุปว่าเราไม่มีข้อผิดพลาดในประมาณการของเรา

แต่โปรดทราบว่าหากเรากำหนดสมมติฐานว่างให้มากกว่าแค่จุดเดียวนั่นคือการทดสอบสมมติฐานด้านเดียวเช่น

Hโอ:พี0.5

Ha:พี>0.5

เราสามารถยอมรับสมมติฐานว่างได้ สมมติว่าช่วงความเชื่อมั่นของเราต้องเท่ากับ (0.35, 0.45) ค่าทั้งหมดเหล่านี้น้อยกว่าหรือเท่ากับ 0.5 ซึ่งอยู่ในพื้นที่ของสมมติฐานว่าง ดังนั้นในกรณีนี้เราสามารถยอมรับโมฆะ

เล็ก, เทคนิค, การใช้สถิติในทางที่ผิด: ถ้ามีใครเต็มใจที่จะใช้ทฤษฎีแบบอะซิมโทติคในทางที่ผิดจริง ๆ คนหนึ่งสามารถ (แต่ไม่ควร ... ) ยอมรับโมฆะในตัวอย่างของคุณ: ข้อผิดพลาดมาตรฐานแบบซีโมติกคือ(พี^(1-พี^)/n)=0. ดังนั้นช่วงความเชื่อมั่นของคุณจะเป็น (0,0) ซึ่งทั้งหมดอยู่ในสมมติฐานว่าง แต่นี่เป็นเพียงผลที่ไม่เหมาะสม โปรดทราบว่าคุณจะได้ข้อสรุปเดียวกันแม้ว่าn = 1


0

ฉันรู้ว่าคุณกำลังเผชิญกับสมมติฐานว่าง แต่ปัญหาที่แท้จริงคือตัวอย่างที่กำหนดหรือตามที่ระบุไว้ในตัวอย่างง่าย ๆ 1,000 คนได้รับยาและไม่ได้ผล คนเหล่านี้มีโรคร้ายอะไรอีกบ้างอายุและระยะเวลาของการเสียชีวิตของพวกเขาเป็นอย่างไร เพื่อประกาศสมมติฐานว่างให้เป็นข้อมูลเพิ่มเติม อาจมีรายละเอียด; จะต้องได้รับเพื่อให้งานนี้ในสภาพแวดล้อมทางวิทยาศาสตร์


ไม่ว่าเราจะเพิ่มข้อมูลมากแค่ไหนไม่ว่าจะเป็นอายุหรือระยะของโรคเราไม่สามารถยอมรับสมมติฐานว่างได้ ฉันพยายามที่จะเข้าใจว่าทำไม
Jonathan Aquino
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.