คำถามติดแท็ก p-value

ในการทดสอบสมมติฐานบ่อยครั้ง พี- ค่าคือความน่าจะเป็นของผลลัพธ์ที่รุนแรง (หรือมากกว่า) กว่าผลที่สังเกตได้ภายใต้สมมติฐานที่ว่าสมมติฐานว่างเป็นจริง

8
ถ้า p-value เท่ากับ 1 (1.0000000) ขีด จำกัด ของช่วงความมั่นใจควรสนับสนุนสมมุติฐานว่างว่าเป็นจริงได้อย่างไร [ปิด]
ปิด คำถามนี้ต้องการรายละเอียดหรือความคมชัด ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ เพิ่มรายละเอียดและชี้แจงปัญหาโดยแก้ไขโพสต์นี้นี้ ปิดให้บริการใน7 เดือนที่ผ่านมา นี่เป็นคำถามสมมุติฐานอย่างหมดจด คำสั่งที่พบบ่อยมากคือH0H0H_0ไม่เป็นความจริง แต่เป็นเรื่องของขนาดตัวอย่าง สมมติว่าจริงไม่มีความแตกต่างที่วัดได้ระหว่างสองวิธี ( ) มาจากประชากรที่กระจายตามปกติ (ทั้งและโดยประมาณ ) เราถือว่าต่อกลุ่มและเราใช้ -test นี้จะหมายความว่า -value เป็นแสดงให้เห็นว่ามีอย่างแตกต่างจากไม่มีH_0นี้จะแสดงให้เห็นว่าสถิติทดสอบคือ0ความแตกต่างค่าเฉลี่ยระหว่างกลุ่มจะเป็น0ข้อ จำกัด ของช่วงความเชื่อมั่นสำหรับความแตกต่างเฉลี่ยในกรณีนี้คืออะไร พวกเขาจะเป็นอย่างไรμ1=μ2μ1=μ2\mu_1=\mu_2μ=0μ=0\mu=0σσ\sigma=1=1=1N=16N=16N=16tttppp1.000001.000001.00000H0H0H_000000095%95%95\%[0.0,0.0][0.0,0.0][0.0, 0.0] ? ประเด็นหลักในคำถามของฉันคือเมื่อใดที่เราสามารถพูดได้ว่าเป็นจริงเช่นในกรณีนี้ หรือเมื่ออยู่ในกรอบบ่อยครั้งเราสามารถพูดว่า "ไม่แตกต่าง" อย่างแท้จริงเมื่อเปรียบเทียบสองวิธี?H0H0H_0μ1=μ2μ1=μ2\mu_1=\mu_2

2
วิธีการปรับอัตราข้อผิดพลาดที่เป็นเท็จบวก / เท็จลบที่เลือกอย่างเข้มงวดและอัตราส่วนต้นทุนต้นแบบ?
บริบท กลุ่มนักสังคมศาสตร์และนักสถิติ ( Benjamin et al., 2017 ) ได้แนะนำเมื่อเร็ว ๆ นี้ว่าอัตราการบวกลบ ( = .05) โดยทั่วไปใช้เป็นเกณฑ์ในการกำหนด "นัยสำคัญทางสถิติ" เพื่อปรับเกณฑ์อนุรักษ์ให้มากกว่าเดิม ( = .005) กลุ่มนักวิทยาศาสตร์สังคมศาสตร์และนักสถิติ ( Lakens et al., 2018 ) ได้ทำการแข่งขันโต้เถียงกับการใช้สิ่งนี้หรืออื่น ๆ - เกณฑ์ที่เลือกโดยพลการ ต่อไปนี้เป็นคำพูดจาก Lakens และคณะ (หน้า 16) ที่ช่วยเป็นตัวอย่างของคำถามของฉัน:αα\alphaαα\alpha เป็นการดีที่ระดับอัลฟาจะถูกกำหนดโดยการเปรียบเทียบค่าใช้จ่ายและผลประโยชน์กับฟังก์ชั่นยูทิลิตี้โดยใช้ทฤษฎีการตัดสินใจ การวิเคราะห์ต้นทุน - ผลประโยชน์ (และระดับอัลฟ่า) แตกต่างกันเมื่อทำการวิเคราะห์ชุดข้อมูลที่มีอยู่ขนาดใหญ่เมื่อเปรียบเทียบกับการรวบรวมข้อมูลจากตัวอย่างที่ยากที่จะได้รับ วิทยาศาสตร์นั้นมีความหลากหลายและขึ้นอยู่กับนักวิทยาศาสตร์ที่จะพิสูจน์ระดับอัลฟาที่พวกเขาตัดสินใจใช้ ... การวิจัยควรได้รับการชี้นำโดยหลักการของวิทยาศาสตร์ที่เข้มงวดไม่ใช่ด้วยการวิเคราะห์พฤติกรรมและขีด จำกัด แบบครอบคลุมโดยพลการ คำถาม ฉันสงสัยว่าจะมีความเป็นไปได้อย่างไรในการพิสูจน์ให้เห็นถึงการเลือกอัลฟ่าในแบบที่ …

2
การเลือกคุณสมบัติตาม p-value ผิดหรือไม่?
มีหลายโพสต์เกี่ยวกับวิธีการเลือกคุณสมบัติ หนึ่งในวิธีการอธิบายความสำคัญของคุณสมบัติตามสถิติ t ใน R ที่varImp(model)ใช้กับโมเดลเชิงเส้นพร้อมคุณสมบัติที่เป็นมาตรฐานจะใช้ค่าสัมบูรณ์ของ t-statistic สำหรับพารามิเตอร์แต่ละโมเดล ดังนั้นโดยทั่วไปเราเลือกคุณลักษณะตามสถิติของ t ซึ่งหมายถึงความแม่นยำของสัมประสิทธิ์ แต่ความแม่นยำของค่าสัมประสิทธิ์ของฉันบอกฉันบางอย่างเกี่ยวกับความสามารถในการทำนายของคุณสมบัติหรือไม่ มันจะเกิดขึ้นหรือไม่ที่คุณสมบัติของฉันมี t-statisstics ต่ำ แต่จะยังคงปรับปรุง (สมมติว่า) ความแม่นยำของโมเดลหรือไม่ ถ้าใช่จะมีใครต้องการแยกตัวแปรตามสถิติของ t หรือไม่ หรือเป็นเพียงจุดเริ่มต้นในการตรวจสอบความสามารถในการทำนายของตัวแปรที่ไม่สำคัญ?

5
จะทำการใส่ค่าในจุดข้อมูลจำนวนมากได้อย่างไร?
ฉันมีชุดข้อมูลที่มีขนาดใหญ่มากและมีค่าสุ่มประมาณ 5% หายไป ตัวแปรเหล่านี้มีความสัมพันธ์ซึ่งกันและกัน ตัวอย่างชุดข้อมูล R ต่อไปนี้เป็นเพียงตัวอย่างของเล่นที่มีข้อมูลที่สัมพันธ์กันจำลอง set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, sep ="") rownames(xmat) <- paste("sample", 1:200, sep = "") #M variables are correlated N <- 2000000*0.05 # 5% random missing values inds …
12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

2
การถดถอยแบบขั้นตอนใน R - ค่า p สำคัญ
p-value ที่สำคัญที่ใช้โดยstep()ฟังก์ชันใน R สำหรับการถดถอยแบบขั้นตอนคืออะไร? ฉันคิดว่ามันคือ 0.15 แต่สมมติฐานของฉันถูกต้อง ฉันจะเปลี่ยนค่า p วิกฤตได้อย่างไร

1
ถ้าการกระจายตัวของสถิติทดสอบเป็น bimodal, p-value จะมีความหมายอะไรไหม?
P-value ถูกกำหนดความน่าจะเป็นที่จะได้รับสถิติการทดสอบอย่างน้อยที่สุดเท่าที่จะสังเกตได้โดยสมมติว่าสมมติฐานว่างเป็นจริง ในคำอื่น ๆ P( X≥ t | H0)P(X≥t|H0)P( X \ge t | H_0 ) แต่จะเป็นอย่างไรถ้าสถิติการทดสอบนั้นมีค่า bimodal ในการแจกแจง? p-value มีความหมายอะไรในบริบทนี้หรือไม่? ตัวอย่างเช่นฉันจะจำลองข้อมูล bimodal ใน R: set.seed(0) # Generate bi-modal distribution bimodal <- c(rnorm(n=100,mean=25,sd=3),rnorm(n=100,mean=100,sd=5)) hist(bimodal, breaks=100) และสมมติว่าเราสังเกตค่าสถิติทดสอบ 60 และที่นี่เรารู้จากภาพค่านี้ไม่น่ามาก ดังนั้นฉันต้องการให้ขั้นตอนสถิติที่ฉันใช้ (พูด p-value) เปิดเผยสิ่งนี้ แต่ถ้าเราคำนวณค่า p ตามที่กำหนดเราจะได้ค่าสูงมาก observed <- 60 # Get P-value …

2
ฉันจะรวมค่า p bootstrapped กับชุดข้อมูลที่มีการคูณทวีคูณได้อย่างไร
ฉันกังวลกับปัญหาที่ฉันต้องการบู๊ต p-value สำหรับการประมาณของจากข้อมูล imputed (MI) ที่คูณกัน แต่มันก็ไม่ชัดเจนสำหรับฉันที่จะรวมค่า p-ข้ามชุด MIθθ\theta สำหรับชุดข้อมูล MI วิธีการมาตรฐานในการเข้าถึงความแปรปรวนโดยประมาณทั้งหมดใช้กฎของรูบิน ดูที่นี่สำหรับการตรวจสอบการรวมชุดข้อมูล MI รากที่สองของความแปรปรวนทั้งหมดทำหน้าที่เป็นประมาณการข้อผิดพลาดมาตรฐานของ\อย่างไรก็ตามสำหรับบางตัวประมาณค่าความแปรปรวนทั้งหมดยังไม่ทราบว่าเป็นรูปแบบปิดหรือการกระจายตัวตัวอย่างไม่ปกติ สถิติอาจไม่ได้รับการแจกแจงแบบทีไม่ใช่แบบไม่แสดงอาการθ / s E ( θ )θθ\thetaθ / s e ( θ )θ/se(θ){\theta}/{se(\theta)} ดังนั้นในกรณีข้อมูลที่สมบูรณ์ตัวเลือกหนึ่งทางเลือกคือการบูตสถิติเพื่อค้นหาความแปรปรวนค่า p และช่วงความมั่นใจแม้ว่าการกระจาย samling ไม่ปกติและไม่ทราบรูปแบบปิด ในกรณี MI มีสองตัวเลือก: รวมกลุ่มความแปรปรวนที่เริ่มต้นผ่านชุดข้อมูล MI พูลค่า p-value หรือขอบเขตความมั่นใจในชุดข้อมูล MI ตัวเลือกแรกจะใช้กฎของรูบินอีกครั้ง อย่างไรก็ตามฉันเชื่อว่านี่เป็นปัญหาหากมีการแจกแจงตัวอย่างที่ไม่ปกติ ในสถานการณ์นี้ (หรือโดยทั่วไปในทุกสถานการณ์) ค่า p bootstrapped สามารถนำมาใช้โดยตรง …

1
ความสับสนเกี่ยวกับ lmer และ p-values: p-values ​​จากแพคเกจ memisc เปรียบเทียบกับ MCMC อย่างไร
ฉันรู้สึกว่าฟังก์ชั่นlmer()ในlme4แพ็คเกจไม่ได้สร้างค่า p (ดูlmer, ค่า p และทั้งหมดนั้น ) ฉันได้รับการใช้ค่าพี MCMC สร้างขึ้นแทนเป็นต่อคำถามนี้: ผลกระทบอย่างมีนัยสำคัญในlme4รูปแบบผสมและคำถามนี้: ไม่พบหน้าค่าในการส่งออกจากlmer()ในlm4Rแพคเกจใน เมื่อเร็ว ๆ นี้ฉันลองแพคเกจที่เรียกว่าmemiscและgetSummary.mer()เพื่อให้ได้เอฟเฟกต์คงที่ของโมเดลของฉันลงในไฟล์ csv ราวกับว่าเป็นเวทมนต์คอลัมน์ที่เรียกว่าpปรากฏขึ้นซึ่งตรงกับค่า p MCMC ของฉันอย่างใกล้ชิด (และไม่ได้รับเวลาการประมวลผลที่มาพร้อมกับการใช้pvals.fnc()) ฉันดูรหัสในคร่าวๆgetSummary.merแล้วเห็นเส้นที่สร้างค่า p: p <- (1 - pnorm(abs(smry@coefs[, 3]))) * 2 สิ่งนี้หมายความว่าค่า p สามารถสร้างได้โดยตรงจากlmerเอาต์พุตของแทนที่จะเรียกใช้pvals.fncหรือไม่ ฉันรู้ว่าสิ่งนี้จะไม่เริ่มสงสัยการอภิปราย 'ค่านิยมทางไสยศาสตร์' แต่ฉันสนใจที่จะรู้ ฉันไม่ได้ยินกล่าวก่อนเมื่อมันมาถึงmemisclmer เพื่อรวบรัดมากขึ้น: อะไรคือประโยชน์ (ถ้ามี) ของการใช้ค่า p MCMC มากกว่าที่สร้างขึ้นโดยgetSummary.mer()?

2
สามารถคำนวณค่า p สำหรับการทดสอบความสัมพันธ์ของ Pearson จากค่าสัมประสิทธิ์สหสัมพันธ์และขนาดตัวอย่างได้หรือไม่?
ข้อมูลประกอบ:ฉันอ่านบทความหนึ่งที่ผู้เขียนรายงานความสัมพันธ์ของเพียร์สัน 0.754 จากขนาดตัวอย่าง 878 ผล p-value สำหรับการทดสอบความสัมพันธ์คือ "สองดาว" อย่างมีนัยสำคัญ (เช่น p <0.01) อย่างไรก็ตามฉันคิดว่าด้วยขนาดตัวอย่างขนาดใหญ่ค่า p ที่สอดคล้องกันควรน้อยกว่า 0.001 (นั่นคือนัยสำคัญระดับสามดาว) สามารถคำนวณค่า p สำหรับการทดสอบนี้ได้จากสัมประสิทธิ์สหสัมพันธ์ของเพียร์สันและขนาดตัวอย่างหรือไม่? ถ้าใช่สิ่งนี้สามารถทำได้ใน R

2
การปรับค่า p สำหรับการวิเคราะห์ลำดับแบบปรับตัว (สำหรับการทดสอบไคสแควร์)?
ฉันต้องการทราบว่าวรรณกรรมทางสถิติใดที่เกี่ยวข้องกับปัญหาต่อไปนี้และอาจเป็นแนวคิดในการแก้ไข ลองนึกภาพปัญหาต่อไปนี้: เรามีวิธีการรักษา 4 ประการสำหรับโรคบางประเภท เพื่อตรวจสอบว่าการรักษาใดดีกว่าเราทำการทดลองพิเศษ ในการทดลองเราเริ่มโดยไม่มีวิชาจากนั้นหนึ่งต่อหนึ่งวิชาเพิ่มเติมเข้าสู่การทดลอง ผู้ป่วยแต่ละรายจะถูกสุ่มเลือกหนึ่งใน 4 การรักษาที่เป็นไปได้ ผลลัพธ์สุดท้ายของการรักษาคือ "สุขภาพดี" หรือ "ยังป่วย" และให้เราบอกว่าเราสามารถรู้ผลลัพธ์นี้ได้ทันที ซึ่งหมายความว่า ณ จุดใดก็ตามเราสามารถสร้างตารางฉุกเฉินได้สองถึงสี่ตารางโดยบอกว่าอาสาสมัครของเรามีจำนวนเท่าใดที่เข้ารับการรักษา / สิ้นสุดผล ณ จุดใดก็ตามเราสามารถตรวจสอบตารางฉุกเฉิน (ตัวอย่างเช่นใช้การทดสอบไคสแควร์) เพื่อดูว่ามีการรักษาที่แตกต่างกันทางสถิติระหว่าง 4 การรักษาที่เป็นไปได้หรือไม่ หากหนึ่งในนั้นดีกว่าส่วนที่เหลือทั้งหมด - เราจะหยุดการทดลองและเลือกเป็น "ผู้ชนะ" หากการทดลองบางอย่างแสดงว่าแย่กว่านั้นอีกสามเราจะปล่อยเขาจากการทดลองและหยุดให้มันแก่ผู้ป่วยในอนาคต อย่างไรก็ตามปัญหานี่คือฉันจะปรับ p-valueสำหรับข้อเท็จจริงได้อย่างไรว่าการทดสอบสามารถดำเนินการได้ทุกจุดว่ามีความสัมพันธ์ระหว่างการทดสอบและลักษณะการปรับตัวของกระบวนการจัดการกระบวนการ (สำหรับ เช่นหากการรักษาบางอย่างพบว่า "ไม่ดี")?

2
การทดสอบทางสถิติสำหรับค่าทำนายผลบวกและลบ
ฉันอ่านกระดาษและเห็นตารางเปรียบเทียบ PPV (Positive Predictive Value) กับ NPV (Negative Predictive Value) พวกเขาทำการทดสอบทางสถิติบางอย่างสำหรับพวกเขานี่เป็นภาพร่างของตาราง: PPV NPV p-value 65.9 100 < 0.00001 ... ทุกแถวหมายถึงตารางฉุกเฉินเฉพาะ พวกเขาทดสอบสมมติฐานอะไร ขอบคุณ!

1
ทำไม lm และ biglm ใน R จึงให้ค่า p ที่ต่างกันสำหรับข้อมูลเดียวกัน
นี่คือตัวอย่างเล็ก ๆ : MyDf<-data.frame(x=c(1,2,3,4), y=c(1.2, .7, -.5, -3)) ตอนนี้ด้วยbase::lm: > lm(y~x, data=MyDf) %>% summary Call: lm(formula = y ~ x, data = MyDf) Residuals: 1 2 3 4 -0.47 0.41 0.59 -0.53 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 3.0500 0.8738 3.491 0.0732 . x -1.3800 0.3191 -4.325 0.0495 …

1
การทดสอบที่แม่นยำของฟิชเชอร์ให้ค่า p ที่ไม่สม่ำเสมอ
ฉันกำลังพยายามใช้การทดสอบที่แน่นอนของฟิชเชอร์ในปัญหาพันธุศาสตร์จำลอง แต่ค่า p ดูเหมือนจะเอียงไปทางขวา ในฐานะนักชีววิทยาฉันคิดว่าฉันขาดอะไรบางอย่างที่ชัดเจนกับนักสถิติทุกคนดังนั้นฉันจะขอขอบคุณสำหรับความช่วยเหลือของคุณ การตั้งค่าของฉันคือ: (การตั้งค่า 1, ระยะขอบคงที่) สองตัวอย่างของ 0s และ 1s ถูกสร้างแบบสุ่มใน R แต่ละตัวอย่าง n = 500 ความน่าจะเป็นของการสุ่มตัวอย่าง 0 และ 1 จะเท่ากัน จากนั้นฉันจะเปรียบเทียบสัดส่วน 0/1 ในแต่ละตัวอย่างด้วยการทดสอบที่แน่นอนของฟิชเชอร์ (เพียงแค่fisher.testลองซอฟต์แวร์อื่นที่มีผลลัพธ์คล้ายกัน) การสุ่มตัวอย่างและการทดสอบซ้ำแล้วซ้ำอีก 30,000 ครั้ง ผลลัพธ์ค่า p จะถูกกระจายดังนี้: ค่าเฉลี่ยของค่า p ทั้งหมดอยู่ที่ประมาณ 0.55, 5 เปอร์เซนต์ที่ 0.0577 แม้การกระจายจะปรากฏขึ้นทางด้านขวา ฉันได้อ่านทุกอย่างที่ทำได้ แต่ฉันไม่พบสิ่งบ่งชี้ว่าพฤติกรรมนี้เป็นเรื่องปกติ - ในทางกลับกันมันเป็นเพียงข้อมูลจำลองดังนั้นฉันจึงไม่เห็นแหล่งที่มาสำหรับอคติใด ๆ มีการปรับเปลี่ยนที่ฉันพลาดหรือไม่? ขนาดตัวอย่างเล็กเกินไปหรือไม่ หรือบางทีมันไม่ควรจะกระจายอย่างสม่ำเสมอและค่า …

2
ความเข้าใจเกี่ยวกับค่า p ในการถดถอยเชิงเส้นหลายครั้ง
เกี่ยวกับค่า p ของการวิเคราะห์การถดถอยเชิงเส้นแบบหลายส่วนการแนะนำจากเว็บไซต์ของ Minitabจะแสดงอยู่ด้านล่าง p-value สำหรับแต่ละเทอมทดสอบสมมติฐานว่างว่าสัมประสิทธิ์เท่ากับศูนย์ (ไม่มีผล) ค่า p ต่ำ (<0.05) แสดงว่าคุณสามารถปฏิเสธสมมติฐานว่างได้ กล่าวอีกนัยหนึ่งตัวทำนายที่มีค่า p ต่ำน่าจะเป็นส่วนเสริมที่มีความหมายกับโมเดลของคุณเนื่องจากการเปลี่ยนแปลงค่าของตัวทำนายเกี่ยวข้องกับการเปลี่ยนแปลงในตัวแปรตอบกลับ ตัวอย่างเช่นผมมีรูปแบบอัตราดอกเบี้ย MLR ผลลัพธ์เป็น 14.48 และเอาออกแสดงอยู่ด้านล่าง จากนั้นyสามารถคำนวณได้โดยใช้สมการนี้y=0.46753X1−0.2668X2+1.6193X3+4.5424X4+14.48y=0.46753X1−0.2668X2+1.6193X3+4.5424X4+14.48 y=0.46753{{X}_{1}}-0.2668{{X}_{2}}+1.6193{{X}_{3}}+4.5424{{X}_{4}}+14.48 yyy Estimate SE tStat pValue ________ ______ _________ _________ (Intercept) 14.48 5.0127 2.8886 0.0097836 x1 0.46753 1.2824 0.36458 0.71967 x2 -0.2668 3.3352 -0.079995 0.93712 x3 1.6193 9.0581 0.17877 …

1
ช่วงความเชื่อมั่นและความไม่แน่นอนของค่า P สำหรับการทดสอบการเปลี่ยนรูป
ฉันกำลังเรียนรู้การทดสอบแบบสุ่มในขณะนี้ มีคำถามอยู่สองข้อในใจของฉัน: ใช่มันง่ายและใช้งานง่ายวิธีคำนวณค่า p ด้วยการทดสอบการสุ่ม (ซึ่งฉันคิดว่าเหมือนกับการทดสอบการเรียงสับเปลี่ยน?) อย่างไรก็ตามเราจะสร้างช่วงความมั่นใจได้ 95% ในขณะที่เราทำการทดสอบแบบพาราเมตริกได้อย่างไร เมื่อฉันอ่านเอกสารจาก University of Washington เกี่ยวกับการทดสอบการเรียงสับเปลี่ยนมีประโยคหนึ่งในหน้า 13 ที่บอกว่า: 1000 พีชคณิต .... ความไม่แน่นอนที่อยู่ใกล้ p = 0.05 เป็นเรื่องเกี่ยวกับ \%± 1 %±1%\pm 1\% ฉันสงสัยว่าเราจะมีความไม่แน่นอนนี้ได้อย่างไร

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.