คำถามติดแท็ก effect-size

ขนาดเอฟเฟ็กต์คือ "การวัดความแข็งแกร่งของปรากฏการณ์หรือการประมาณปริมาณตัวอย่างของปริมาณนั้น" [Wikipedia]

1
ความแปรปรวนของโคเฮนสถิติ
Cohen'sเป็นหนึ่งในวิธีการทั่วไปที่เราวัดขนาดของเอฟเฟกต์ ( ดู Wikipedia ) มันวัดระยะห่างระหว่างสองวิธีในแง่ของค่าเบี่ยงเบนมาตรฐานที่รวมเข้าด้วยกัน เราจะได้สูตรทางคณิตศาสตร์ของการประมาณค่าความแปรปรวนของ Cohen'sอย่างไร dddddd ธันวาคม 2015 แก้ไข:ที่เกี่ยวข้องกับคำถามนี้เป็นความคิดของการคำนวณช่วงความเชื่อมั่นทั่วdบทความนี้กล่าวว่าddd σ2d=n+n×+d22n+σd2=n+n×+d22n+\sigma_{d}^2 = \dfrac{n_{+}}{n_{\times}} + \dfrac{d^2}{2n_{+}} โดยที่คือผลรวมของขนาดตัวอย่างสองขนาดและเป็นผลิตภัณฑ์ของขนาดตัวอย่างสองขนาด n ×n+n+n_{+}n×n×n_{\times} สูตรนี้มีวิธีมาอย่างไร

2
สถิติเชิงพรรณนาใดที่ไม่มีขนาดผลกระทบ
Wikipediaพูดว่า ขนาดของเอฟเฟกต์เป็นการวัดความแข็งแรงของปรากฏการณ์หรือการประมาณตัวอย่างโดยประมาณของปริมาณนั้น ขนาดของผลกระทบที่คำนวณจากข้อมูลเป็นสถิติเชิงพรรณนาที่สื่อถึงขนาดโดยประมาณของความสัมพันธ์โดยไม่ต้องแถลงใด ๆ ว่าความสัมพันธ์ที่ชัดเจนในข้อมูลนั้นสะท้อนถึงความสัมพันธ์ที่แท้จริงในประชากรหรือไม่ เพื่อให้เข้าใจได้ดีขึ้นฉันสงสัยว่าสถิติเชิงพรรณนาใดที่ไม่ใช่ขนาดผลกระทบยกเว้นกราฟและพล็อต

2
ทำความเข้าใจกับ Gelman & Carlin“ เหนือกว่าการคำนวณพลัง: …” (2014)
ฉันกำลังอ่าน Gelman & Carlin "นอกเหนือจากการคำนวณกำลังไฟ: การประเมินข้อผิดพลาดประเภท S (เครื่องหมาย) และประเภท M (ขนาด)" (2014) ฉันพยายามที่จะเข้าใจความคิดหลักทางเดินหลัก แต่ฉันสับสน ใครสามารถช่วยกลั่นสาระสำคัญให้ฉันได้บ้าง กระดาษมีลักษณะดังนี้ (ถ้าฉันเข้าใจถูกต้อง) สถิติการศึกษาทางจิตวิทยามักถูกรบกวนด้วยตัวอย่างเล็ก ๆ เงื่อนไขในผลลัพธ์ที่มีนัยสำคัญทางสถิติในการศึกษาที่กำหนด (1) ขนาดของผลกระทบที่แท้จริงมีแนวโน้มที่จะประเมินค่าสูงเกินไปอย่างรุนแรงและ (2) เครื่องหมายของผลกระทบอาจตรงข้ามกับความน่าจะเป็นสูง - เว้นแต่ขนาดตัวอย่างมีขนาดใหญ่พอ ด้านบนแสดงโดยใช้การคาดเดาขนาดของเอฟเฟกต์ก่อนหน้าและโดยทั่วไปเอฟเฟกต์นี้จะมีขนาดเล็ก ปัญหาแรกของฉันคือทำไมเงื่อนไขกับผลลัพธ์ที่มีนัยสำคัญทางสถิติ? มันคือการสะท้อนอคติสิ่งพิมพ์? แต่ดูเหมือนจะไม่เป็นเช่นนั้น แล้วทำไมล่ะ ปัญหาที่สองของฉันคือถ้าฉันทำการศึกษาด้วยตัวเองฉันควรปฏิบัติกับผลลัพธ์ของฉันแตกต่างจากที่ฉันเคยทำหรือไม่ (ฉันทำสถิติบ่อยครั้งไม่คุ้นเคยกับเบย์) เช่นฉันจะใช้ตัวอย่างข้อมูลประเมินแบบจำลองและบันทึกการประมาณค่าพอยต์สำหรับผลของความสนใจและความมั่นใจที่ผูกไว้ ตอนนี้ฉันควรจะเชื่อผลของฉันหรือไม่ หรือฉันควรจะเชื่อใจถ้ามันมีนัยสำคัญทางสถิติ? มีการเปลี่ยนแปลงใด ๆ ก่อนหน้านั้น สิ่งที่เป็นประเด็นหลัก (1) สำหรับ "ผู้ผลิต" ของการวิจัยเชิงสถิติและ (2) สำหรับผู้อ่านของเอกสารทางสถิติประยุกต์? อ้างอิง: Gelman, Andrew และ …

2
ฉันสามารถรวมขนาดเอฟเฟกต์เป็นตัวแปรอิสระในการถดถอยได้หรือไม่?
คำถามของฉันคือฉันสามารถใช้เอฟเฟกต์ขนาดเป็นตัวแปรตามและอีกขนาดเอฟเฟกต์เป็นตัวแปรอิสระในการถดถอยแบบ meta-reg หรือไม่?XXXYYY ตัวอย่างเช่นฉันทำการวิเคราะห์อภิมานสำหรับผลของการออกกำลังกายในปัญหาการดื่มและฉันพบผลลัพธ์ที่สำคัญและความหลากหลายที่สูง ฉันต้องการทำเมตาถดถอยและใช้ขนาดผลกระทบของการแทรกแซงเหล่านั้นในความวิตกกังวลเป็นตัวแปรอิสระและขนาดผลกระทบของปัญหาการดื่มเป็นตัวแปรตาม (สมมติว่าการศึกษาแต่ละครั้งประเมินความวิตกกังวลและปัญหาการดื่มและฉันคำนวณผลกระทบ ขนาดเป็น Hedges's )ggg สิ่งนี้สมเหตุสมผลสำหรับคุณหรือไม่

4
การศึกษามีความหมายมากเกินไปหมายความว่าอย่างไร
การศึกษามีความหมายมากเกินไปหมายความว่าอย่างไร ความประทับใจของฉันคือมันหมายความว่าขนาดตัวอย่างของคุณมีขนาดใหญ่มากจนคุณมีอำนาจในการตรวจจับขนาดเอฟเฟกต์จิ๋ว ขนาดของเอฟเฟกต์เหล่านี้อาจมีขนาดเล็กจนพวกมันมีแนวโน้มที่จะเป็นผลมาจากความเอนเอียงเล็กน้อยในกระบวนการสุ่มตัวอย่างมากกว่าการเชื่อมต่อเชิงสาเหตุ (ไม่จำเป็นโดยตรง) ระหว่างตัวแปร นี่เป็นสัญชาตญาณที่ถูกต้องหรือไม่? ถ้าเป็นเช่นนั้นฉันไม่เห็นว่าเรื่องใหญ่คืออะไรตราบใดที่ผลลัพธ์ถูกตีความในแสงนั้นและคุณตรวจสอบด้วยตนเองและดูว่าขนาดของเอฟเฟกต์โดยประมาณนั้นใหญ่พอที่จะ "มีความหมาย" หรือไม่ ฉันพลาดอะไรไปรึเปล่า? มีข้อเสนอแนะที่ดีกว่าว่าจะทำอย่างไรในสถานการณ์นี้?

3
ขนาดเอฟเฟกต์สำหรับเอฟเฟกต์ปฏิสัมพันธ์ในการออกแบบการควบคุมการรักษาก่อนโพสต์
หากคุณเลือกที่จะวิเคราะห์การออกแบบการควบคุมการรักษาก่อนโพสต์ด้วยตัวแปรตามอย่างต่อเนื่องโดยใช้ ANOVA แบบผสมมีวิธีต่าง ๆ ในการวัดผลกระทบของการอยู่ในกลุ่มการรักษา เอฟเฟกต์การโต้ตอบเป็นหนึ่งในตัวเลือกหลัก โดยทั่วไปแล้วฉันชอบการวัดแบบ d ของ Cohen มากกว่า (เช่น ) ฉันไม่ชอบความแปรปรวนที่อธิบายมาตรการเนื่องจากผลลัพธ์แตกต่างกันไปตามปัจจัยที่ไม่เกี่ยวข้องเช่นขนาดตัวอย่างที่สัมพันธ์กันของกลุ่มμ1- μ2σμ1-μ2σ{\frac{\mu_1 - \mu_2}{\sigma}} ดังนั้นฉันคิดว่าฉันสามารถหาปริมาณผลกระทบได้ดังนี้ Δ μค= μc 2- μc 1Δμค=μค2-μค1\Delta\mu_c = \mu_{c2} - \mu_{c1} Δ μเสื้อ= μt 2- μt 1Δμเสื้อ=μเสื้อ2-μเสื้อ1\Delta\mu_t = \mu_{t2} - \mu_{t1} ดังนั้นขนาดของผลกระทบที่อาจจะหมายถึงΔ μเสื้อ- Δ μคσΔμเสื้อ-Δμคσ\frac{\Delta\mu_t - \Delta\mu_c}{\sigma} โดยที่อ้างถึงการควบคุม, tถึงการรักษา, และ 1 และ 2 …

1
R / mgcv: เพราะเหตุใดผลิตภัณฑ์ te () และ ti () เทนเซอร์จึงให้พื้นผิวที่แตกต่างกัน
mgcvแพคเกจสำหรับการRมีสองฟังก์ชั่นสำหรับการปฏิสัมพันธ์กระชับเมตริกซ์ผลิตภัณฑ์: และte() ti()ฉันเข้าใจการแบ่งขั้นพื้นฐานของการใช้แรงงานระหว่างคนทั้งสอง (ปรับให้เหมาะสมกับการทำงานแบบไม่เป็นเชิงเส้นเปรียบเทียบกับการย่อยสลายการโต้ตอบนี้เป็นผลกระทบหลักและการโต้ตอบ) สิ่งที่ฉันไม่เข้าใจคือสาเหตุte(x1, x2)และti(x1) + ti(x2) + ti(x1, x2)อาจให้ผลลัพธ์ที่แตกต่าง (เล็กน้อย) MWE (ดัดแปลงมาจาก?ti): require(mgcv) test1 <- function(x,z,sx=0.3,sz=0.4) { x <- x*20 (pi**sx*sz)*(1.2*exp(-(x-0.2)^2/sx^2-(z-0.3)^2/sz^2)+ 0.8*exp(-(x-0.7)^2/sx^2-(z-0.8)^2/sz^2)) } n <- 500 x <- runif(n)/20;z <- runif(n); xs <- seq(0,1,length=30)/20;zs <- seq(0,1,length=30) pr <- data.frame(x=rep(xs,30),z=rep(zs,rep(30,30))) truth <- matrix(test1(pr$x,pr$z),30,30) f <- test1(x,z) y <- f …
11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

3
Cohen's d สำหรับการทดสอบตัวอย่างขึ้นอยู่กับ
คำถามด่วน: ฉันเคยเห็นโคเฮนคำนวณวิธีที่ต่างกันสองวิธีสำหรับตัวอย่างที่ต้องทดสอบ t-test (เช่นการออกแบบภายในตัวอย่างที่ทดสอบประสิทธิภาพของยาที่มีการจับเวลาก่อน / หลัง) ใช้ค่าเบี่ยงเบนมาตรฐานของคะแนนการเปลี่ยนแปลงในส่วนของสมการสำหรับ Cohen's d การใช้ค่าเบี่ยงเบนมาตรฐานของคะแนนทดสอบก่อนกำหนดในส่วนของสมการสำหรับ Cohen's d ฉันพบว่ามีวรรณกรรมน้อยมากที่อธิบายถึงการใช้และ / หรือตัวเลือกใดตัวเลือกหนึ่ง มีความคิดด่วนไหม?

1
มีคำจำกัดความทั่วไปของขนาดเอฟเฟกต์หรือไม่?
effect-sizeแท็กไม่มีวิกิพีเดีย หน้าวิกิพีเดียเกี่ยวกับขนาดผลที่ไม่ได้ให้ความหมายทั่วไปที่แม่นยำ และฉันไม่เคยเห็นคำจำกัดความทั่วไปของขนาดเอฟเฟกต์ อย่างไรก็ตามเมื่อมีการอ่านการอภิปรายบางอย่างเช่นนี้ผมรู้สึกว่าคนที่มีในใจความคิดทั่วไปของขนาดผลในบริบทของการทดสอบทางสถิติ ฉันได้เห็นแล้วว่ามาตรฐานเฉลี่ยจะเรียกว่าเป็นขนาดของผลสำหรับรุ่นปกติN ( μ , σ 2 )เช่นเดียวกับความแตกต่างของค่าเฉลี่ยมาตรฐานθ = (θ = μ / σθ=μ/σ\theta=\mu/\sigmaยังไม่มีข้อความ(μ,σ2)N(μ,σ2){\cal N}(\mu,\sigma^2)สำหรับโมเดล "Gaussian หมายถึง" แต่แล้วนิยามทั่วไปล่ะ? คุณสมบัติที่น่าสนใจที่ใช้ร่วมกันโดยทั้งสองตัวอย่างข้างต้นคือเท่าที่ฉันสามารถมองเห็น พลังงานขึ้นอยู่กับพารามิเตอร์เฉพาะผ่าน θและเป็นฟังก์ชั่นที่เพิ่มขึ้นของ | θ | เมื่อเราพิจารณาการทดสอบตามปกติสำหรับ H 0 : { μ = 0 }ในกรณีแรกและ H 0 : { μ 1 = μ 2 }ในกรณีที่สอง θ=(μ1−μ2)/σθ=(μ1−μ2)/σ\theta=(\mu_1-\mu_2)/\sigmaθθ\theta| θ ||θ||\theta|H0: { …

3
การแสดงผลขนาดทวินาม (BESD) เป็นการนำเสนอขนาดที่ทำให้เข้าใจผิดหรือไม่?
มันยากสำหรับฉันที่จะยอมรับว่าโดนัลด์รูบินจะมาพร้อมกับเทคนิคมะนาวที่แท้จริง แต่นั่นคือการรับรู้ของฉันเกี่ยวกับ BESD [ 1 , 2 , 3 ] กระดาษต้นฉบับโดย Rosenthal และ Rubin (1982)อ้างว่ามีค่าในการแสดง "วิธีการสร้างความสัมพันธ์กับช่วงเวลาของผลิตภัณฑ์ใด ๆ ในการแสดง [2x2] ไม่ว่าจะเป็นข้อมูลต้นฉบับที่ต่อเนื่องหรือเป็นหมวดหมู่" ตารางด้านล่างมาจากหน้า 451 ของลิงค์ที่ 2 ด้านบน: R2R2R^2φϕ\phi ฉันขาดสิ่งที่มีค่าอย่างแท้จริงที่นี่ นอกจากนี้ฉันมีความประทับใจว่าในช่วง 10 ปีที่ผ่านมาชุมชนสถิติได้ปฏิเสธโดยวิธีนี้อย่างมากและถูกต้องตามกฎหมาย - ฉันผิดหรือเปล่า? EEEคCCs Rsrsr Es R= .50 + r / 2Esr=.50+r/2E_{sr} = .50 + r/2 และ คs R= .50 - …

5
Omega กำลังสองสำหรับการวัดผลกระทบใน R
หนังสือสถิติที่ฉันกำลังอ่านแนะนำให้โอเมก้ากำลังสองเพื่อวัดผลกระทบของการทดลองของฉัน ฉันได้พิสูจน์แล้วว่าใช้การออกแบบการแบ่งส่วน (ผสมผสานระหว่างการออกแบบภายในและระหว่างวิชา) ว่าปัจจัยภายในเรื่องของฉันมีความสำคัญทางสถิติด้วย p <0.001 และ F = 17 ตอนนี้ฉันกำลังมองหาว่าความแตกต่างใหญ่แค่ไหน ... มีการใช้โอเมก้ากำลังสองหา R (หรือ python หรือไม่ฉันรู้ว่า ... ใครจะฝันได้;) การค้นหาบนอินเทอร์เน็ตสำหรับสิ่งที่เกี่ยวข้องกับ R คือ เจ็บปวด*ฉันไม่รู้ว่าฉันจะหาสิ่งของด้วย C ได้อย่างไร ขอบคุณ!

2
การวิเคราะห์แบบเบส์ของตารางฉุกเฉิน: วิธีการอธิบายขนาดผลกระทบ
ฉันกำลังทำงานผ่านตัวอย่างในการวิเคราะห์ข้อมูล Doing Bayesianของ Kruschke โดยเฉพาะการวิเคราะห์ความแปรปรวนแบบปัวซองในพัวซอง 22 ซึ่งเขานำเสนอเป็นทางเลือกแทนการทดสอบไคสแควร์เป็นประจำสำหรับความเป็นอิสระสำหรับตารางฉุกเฉิน ฉันสามารถดูวิธีที่เราได้รับข้อมูลเกี่ยวกับการโต้ตอบที่เกิดขึ้นบ่อยหรือน้อยกว่าที่คาดไว้ถ้าตัวแปรนั้นเป็นอิสระ (เช่นเมื่อ HDI ไม่รวมศูนย์) คำถามของฉันคือฉันจะคำนวณหรือตีความขนาดผลกระทบในกรอบงานนี้ได้อย่างไร ยกตัวอย่างเช่น Kruschke เขียน "การรวมกันของดวงตาสีฟ้ากับผมสีดำเกิดขึ้นน้อยกว่าที่คาดถ้าสีตาและสีผมเป็นอิสระ" แต่เราจะอธิบายความแข็งแกร่งของความสัมพันธ์นั้นได้อย่างไร? ฉันจะรู้ได้อย่างไรว่าการโต้ตอบใดที่รุนแรงกว่าการโต้ตอบอื่น ๆ หากเราทำการทดสอบไคสแควร์ของข้อมูลเหล่านี้เราอาจคำนวณCramér V เป็นเครื่องวัดขนาดเอฟเฟกต์โดยรวม ฉันจะแสดงขนาดลักษณะพิเศษในบริบทเบย์นี้ได้อย่างไร นี่คือตัวอย่างที่มีในตัวเองจากหนังสือ (เขียนในR) ในกรณีที่คำตอบถูกซ่อนจากฉันในสายตาธรรมดา ... df <- structure(c(20, 94, 84, 17, 68, 7, 119, 26, 5, 16, 29, 14, 15, 10, 54, 14), .Dim = c(4L, 4L), .Dimnames …

2
วิธีจัดการกับคะแนนย่อยในการวิเคราะห์เมตาได้ดีที่สุด
ฉันกำลังทำการวิเคราะห์เมตาดาต้าของขนาดผลกระทบdใน R โดยใช้แพ็คเกจ metafor dแสดงถึงความแตกต่างของคะแนนความจำระหว่างผู้ป่วยและสุขภาพ อย่างไรก็ตามการศึกษาบางชิ้นรายงานเฉพาะคะแนนย่อยของการวัดความสนใจd (เช่นคะแนนหน่วยความจำที่แตกต่างกันหรือคะแนนจากการทดสอบหน่วยความจำสามบล็อกแยกกัน) โปรดดูชุดข้อมูลจำลองต่อไปนี้พร้อมdแสดงขนาดผลกระทบของการศึกษารวมถึงส่วนเบี่ยงเบนมาตรฐาน SD: d <- round(rnorm(5,5,1),2) sd <- round(rnorm(5,1,0.1),2) study <- c(1,2,3,3,3) subscore <- c(1,1,1,2,3) my_data <- as.data.frame(cbind(study, subscore, d, sd)) library(metafor) m1 <- rma(d,sd, data=my_data) summary(m1) ฉันต้องการถามความคิดเห็นของคุณสำหรับวิธีที่ดีที่สุดในการจัดการคะแนนย่อยเหล่านี้ - เช่น: เลือกคะแนนย่อยหนึ่งคะแนนจากการศึกษาแต่ละครั้งที่รายงานคะแนนมากกว่าหนึ่งคะแนน รวมคะแนนย่อยทั้งหมด (ซึ่งจะเป็นการละเมิดสมมติฐานความเป็นอิสระของโมเดล rfx เนื่องจากคะแนนย่อยของการศึกษาหนึ่งมาจากตัวอย่างเดียวกัน) สำหรับการศึกษาแต่ละครั้งที่รายงานคะแนนย่อย: คำนวณคะแนนเฉลี่ยและค่าเบี่ยงเบนมาตรฐานโดยรวมและรวมถึง "ขนาดเอฟเฟ็กต์การรวม" ในการวิเคราะห์ meta ของ rfx รวมคะแนนย่อยทั้งหมดและเพิ่มตัวแปรดัมมี่ที่ระบุว่าได้รับคะแนนใดจากการศึกษา

3
ขนาดผลการถดถอยเชิงเส้นเมื่อใช้ตัวแปรที่แปลงแล้ว
เมื่อดำเนินการถดถอยเชิงเส้นมักจะมีประโยชน์ในการทำการแปลงเช่นการแปลงบันทึกสำหรับตัวแปรตามเพื่อให้บรรลุโครงสร้างการกระจายปกติดีขึ้น บ่อยครั้งที่มันยังมีประโยชน์ในการตรวจสอบเบต้าจากการถดถอยเพื่อประเมินขนาดเอฟเฟกต์ / ความเกี่ยวข้องที่แท้จริงของผลลัพธ์ สิ่งนี้ทำให้เกิดปัญหาเมื่อใช้เช่นการแปลงบันทึกขนาดของเอฟเฟกต์จะอยู่ในสเกลบันทึกและฉันได้รับการบอกว่าเนื่องจากความไม่เป็นเชิงเส้นของสเกลที่ใช้แล้วการเปลี่ยนรูปกลับของเบต้าเหล่านี้จะทำให้ค่าที่ไม่มีความหมาย ไม่มีการใช้งานจริงใด ๆ จนถึงตอนนี้เรามักจะดำเนินการถดถอยเชิงเส้นด้วยตัวแปรแปลงเพื่อตรวจสอบความสำคัญแล้วจากนั้นถดถอยเชิงเส้นกับตัวแปรที่ไม่ได้เปลี่ยนรูปแบบเดิมเพื่อกำหนดขนาดของผลกระทบ มีวิธีที่ถูก / ดีกว่าในการทำเช่นนี้? ส่วนใหญ่เราทำงานกับข้อมูลทางคลินิกดังนั้นตัวอย่างชีวิตจริงจะพิจารณาว่าการสัมผัสที่แน่นอนส่งผลต่อตัวแปรเช่นความสูงน้ำหนักหรือการวัดในห้องปฏิบัติการอย่างไรและเราต้องการสรุปบางสิ่งเช่น "การเปิดรับ A มีผลกระทบ ของการเพิ่มน้ำหนัก 2 กก. "
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.