คำถามติดแท็ก kullback-leibler

ฉันใช้ KL Divergence เป็นตัวชี้วัดความแตกต่างกันระหว่าง 2และQp.m.f.p.m.f.p.m.f. PPPQQQ DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln⁡(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i =−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=-\sum P(X_i)ln\left(Q(X_i)\right) + \sum P(X_i)ln\left(P(X_i)\right) ถ้าP(Xi)=0P(Xi)=0P(X_i)=0 เราสามารถคำนวณ P ( X i ) l n ( P ( X i ) ) = 0P(Xi)ln(Q(Xi))=0P(Xi)ln(Q(Xi))=0P(X_i)ln\left(Q(X_i)\right)=0 P(Xi)ln(P(Xi))=0P(Xi)ln(P(Xi))=0P(X_i)ln\left(P(X_i)\right)=0 แต่ถ้าP(Xi)≠0P(Xi)≠0P(X_i)\ne0และQ(Xi)=0Q(Xi)=0Q(X_i)=0 วิธีการคำนวณP(Xi)ln(Q(Xi))P(Xi)ln(Q(Xi))P(X_i)ln\left(Q(X_i)\right)

15 distributions  distance  kullback-leibler 

ฉันจะใช้ KL divergence ในรหัสหลามของฉันและฉันได้รับการสอนนี้ ในบทช่วยสอนนั้นการใช้ KL divergence นั้นค่อนข้างง่าย kl = (model * np.log(model/actual)).sum() ดังที่ฉันเข้าใจการกระจายความน่าจะเป็นของmodelและactualควรเป็น <= 1 คำถามของฉันคืออะไรค่าสูงสุดที่เป็นไปได้ / ค่าสูงสุดที่เป็นไปได้คือ k ฉันจำเป็นต้องรู้ค่าสูงสุดที่เป็นไปได้ของระยะทาง kl สำหรับขอบเขตสูงสุดในรหัสของฉัน

15 machine-learning  distance  kullback-leibler 

ฉันกำลังเปรียบเทียบการแจกแจงสองแบบกับการกระจายของ KL ซึ่งให้ผลตอบแทนเป็นตัวเลขที่ไม่ได้มาตรฐานซึ่งตามที่ฉันอ่านเกี่ยวกับการวัดนี้คือปริมาณข้อมูลที่ต้องใช้เพื่อเปลี่ยนสมมติฐานหนึ่งไปเป็นอีกสมมติฐานหนึ่ง ฉันมีสองคำถาม: a) มีวิธีในการหาจำนวนความแตกต่างของ KL เพื่อให้การตีความมีความหมายมากกว่าเช่นขนาดของเอฟเฟกต์หรือ R ^ 2 หรือไม่? รูปแบบของมาตรฐานใด ๆ b) ใน R เมื่อใช้ KLdiv (แพ็คเกจ flexmix) เราสามารถตั้งค่า 'esp' (มาตรฐาน esp = 1e-4) ที่ตั้งค่าคะแนนทั้งหมดที่เล็กกว่า esp ถึงมาตรฐานบางอย่างเพื่อให้เสถียรภาพเชิงตัวเลข ฉันได้เล่นกับค่า esp ที่แตกต่างกันและสำหรับชุดข้อมูลของฉันฉันได้รับความแตกต่าง KL ที่ใหญ่ขึ้นเรื่อย ๆ ในจำนวนที่ฉันเลือกน้อยลง เกิดอะไรขึ้น? ฉันคาดหวังว่ายิ่ง esp ยิ่งน้อยผลลัพธ์ก็น่าเชื่อถือมากขึ้นเพราะพวกเขาปล่อยให้ 'คุณค่าที่แท้จริง' มากขึ้นกลายเป็นส่วนหนึ่งของสถิติ ไม่มี? ฉันต้องเปลี่ยน esp เพราะไม่เช่นนั้นจะไม่คำนวณสถิติ แต่แสดงเป็น NA ในตารางผลลัพธ์ …

14 distributions  kullback-leibler  information-geometry 

ฉันรู้ว่า KL Divergence นั้นไม่สมมาตรและไม่สามารถถือได้ว่าเป็นเมตริกอย่างเคร่งครัด ถ้าเป็นเช่นนั้นเหตุใดจึงใช้เมื่อ JS Divergence เป็นไปตามคุณสมบัติที่จำเป็นสำหรับการวัด มีสถานการณ์ที่ KL divergence สามารถใช้ แต่ไม่ใช่ JS Divergence หรือในทางกลับกัน?

14 probability  distributions  kullback-leibler  metric 

ถ้าp(x)p(x)p(x)คือการกระจายความน่าจะเป็นที่ไม่ใช่ศูนย์ค่าบน[0,+∞)[0,+∞)[0,+\infty)สำหรับสิ่งที่ประเภท (s) ของp(x)p(x)p(x)จะมีอยู่อย่างต่อเนื่องc>0c>0c\gt 0เช่นที่ ∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2สำหรับทั้งหมด0<ϵ<10<ϵ<10\lt\epsilon\lt 1? ความไม่เสมอภาคดังกล่าวข้างต้นเป็นจริง Kullback-Leibler แตกต่างระหว่างการกระจายp(x)p(x)p(x)และรุ่นที่ถูกบีบอัดของมัน(1+ϵ)p(x(1+ϵ))(1+ϵ)p(x(1+ϵ)){(1+\epsilon)}p({x}{(1+\epsilon)}) ) ฉันพบว่าความไม่เท่าเทียมกันนี้มีไว้สำหรับการแจกแจงแบบเอ็กซ์โปเนนเชียลแกมม่าและไวบูลและฉันสนใจที่จะรู้ว่ามันใช้ได้กับการแจกแจงความน่าจะเป็นที่มีขนาดใหญ่ขึ้นหรือไม่ ความคิดใดที่ความไม่เท่าเทียมนั้นหมายถึงอะไร

12 probability  stochastic-processes  kullback-leibler  probability-inequalities 

ฉันไม่ใช่นักคณิตศาสตร์ ฉันค้นหาอินเทอร์เน็ตเกี่ยวกับ KL Divergence สิ่งที่ฉันเรียนรู้คือ KL divergence วัดข้อมูลที่หายไปเมื่อเราประมาณการกระจายตัวแบบที่เกี่ยวกับการกระจายสัญญาณ ฉันได้เห็นสิ่งเหล่านี้ระหว่างการแจกแจงแบบต่อเนื่องหรือแบบแยก เราสามารถทำระหว่างต่อเนื่องและไม่ต่อเนื่องหรือในทางกลับกันได้หรือไม่?

12 distributions  mathematical-statistics  kullback-leibler 

ฉันเคยเห็นบางจุดการใช้เรดอน - นิโคดีมาของการวัดความน่าจะเป็นหนึ่งโดยเทียบกับอีกประการหนึ่งที่โดดเด่นที่สุดใน Kullback-Leibler divergence ซึ่งเป็นอนุพันธ์ของการวัดความน่าจะเป็นของแบบจำลองสำหรับพารามิเตอร์โดยพลการเกี่ยวกับพารามิเตอร์จริง :θ 0θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} ที่ไหนเหล่านี้มีทั้งที่เป็นมาตรการในพื้นที่ของ datapoints เงื่อนไขเกี่ยวกับค่าพารามิเตอร์:theta)Pθ(D)=P(D|θ)Pθ(D)=P(D|θ)P_\theta(D)=P(D|\theta) การตีความของอนุพันธ์ Radon-Nikodym เช่นนี้ในการเบี่ยงเบน Kullback-Leibler คืออะไรหรือโดยทั่วไประหว่างความน่าจะเป็นสองมาตรการ?

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

mgcvแพคเกจสำหรับการRมีสองฟังก์ชั่นสำหรับการปฏิสัมพันธ์กระชับเมตริกซ์ผลิตภัณฑ์: และte() ti()ฉันเข้าใจการแบ่งขั้นพื้นฐานของการใช้แรงงานระหว่างคนทั้งสอง (ปรับให้เหมาะสมกับการทำงานแบบไม่เป็นเชิงเส้นเปรียบเทียบกับการย่อยสลายการโต้ตอบนี้เป็นผลกระทบหลักและการโต้ตอบ) สิ่งที่ฉันไม่เข้าใจคือสาเหตุte(x1, x2)และti(x1) + ti(x2) + ti(x1, x2)อาจให้ผลลัพธ์ที่แตกต่าง (เล็กน้อย) MWE (ดัดแปลงมาจาก?ti): require(mgcv) test1 <- function(x,z,sx=0.3,sz=0.4) { x <- x*20 (pi**sx*sz)*(1.2*exp(-(x-0.2)^2/sx^2-(z-0.3)^2/sz^2)+ 0.8*exp(-(x-0.7)^2/sx^2-(z-0.8)^2/sz^2)) } n <- 500 x <- runif(n)/20;z <- runif(n); xs <- seq(0,1,length=30)/20;zs <- seq(0,1,length=30) pr <- data.frame(x=rep(xs,30),z=rep(zs,rep(30,30))) truth <- matrix(test1(pr$x,pr$z),30,30) f <- test1(x,z) y <- f …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

ฉันใช้การจำลองอย่างรวดเร็วเพื่อเปรียบเทียบวิธีการจัดกลุ่มที่แตกต่างกันและในปัจจุบันมีอุปสรรคพยายามประเมินโซลูชั่นคลัสเตอร์ ฉันรู้เกี่ยวกับการตรวจสอบความถูกต้องหลายอย่าง (จำนวนมากที่พบในcluster.stats ()ใน R) แต่ฉันคิดว่าสิ่งเหล่านี้จะถูกใช้ดีที่สุดถ้าจำนวนกลุ่มโดยประมาณจริงเท่ากับจำนวนจริงของกลุ่ม ฉันต้องการรักษาความสามารถในการวัดประสิทธิภาพของวิธีการแก้ปัญหาการจัดกลุ่มเมื่อไม่ได้ระบุจำนวนที่ถูกต้องของกลุ่มในการจำลองแบบดั้งเดิม (เช่นการจำลองข้อมูลวิธีการแก้ปัญหาของกลุ่มที่สามที่จำลองเป็น 4 กลุ่ม สารละลาย). สำหรับข้อมูลของคุณกลุ่มจะถูกจำลองเพื่อให้มีเมทริกซ์ความแปรปรวนร่วมเหมือนกัน ฉันคิดว่า KL แตกต่างระหว่างสองส่วนผสมของ Gaussians จะเป็นประโยชน์ในการใช้ แต่ไม่มีวิธีแก้ปัญหาแบบปิด ( Hershey และ Olson (2007) ) และการใช้แบบจำลอง Monte Carlo เริ่มมีราคาแพง มีวิธีแก้ไขปัญหาอื่น ๆ ที่อาจใช้งานง่าย (แม้ว่าจะเป็นเพียงการประมาณ)?

11 clustering  kullback-leibler  gaussian-mixture 

ฉันพยายามใช้การประมาณเชิงตัวเลขของ Kullback-Leibler Divergence สำหรับสองตัวอย่าง การแก้ปัญหาการดำเนินการวาดตัวอย่างจากสองการแจกแจงปรกติและ(1,2)N(0,1)N(0,1)\mathcal N (0,1)N(1,2)N(1,2)\mathcal N (1,2) สำหรับการประมาณแบบง่ายฉันได้สร้างฮิสโทแกรมสองกราฟและพยายามประมาณอินทิกรัลเชิงตัวเลข ฉันติดอยู่กับการจัดการส่วนต่าง ๆ ของฮิสโตแกรมที่ซึ่งช่องเก็บของฮิสโตแกรมนั้นมีค่าเป็นศูนย์ซึ่งฉันจะสิ้นสุดด้วยการหารด้วยศูนย์หรือลอการิทึมของศูนย์ ฉันจะจัดการปัญหานี้ได้อย่างไร คำถามที่เกี่ยวข้องอยู่ในใจของฉัน: จะคำนวณ KL-Divergence ระหว่างการแจกแจงเครื่องแบบที่แตกต่างกันสองแบบได้อย่างไร ฉันต้อง จำกัด อินทิกรัลกับการรวมกันของการสนับสนุนของการแจกแจงทั้งสองหรือไม่?

10 estimation  intuition  kullback-leibler  numerics 

ฉันมีชุดข้อมูลสามชุด X, Y และ Z ชุดข้อมูลแต่ละชุดจะกำหนดความถี่ของเหตุการณ์ที่เกิดขึ้น ตัวอย่างเช่น: ชุดข้อมูล X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0 และอื่น ๆ .. ชุดข้อมูล Y: E1: 2, E2: 3, E3: 7, E4: 6, E5: 0, E6: 0 และอื่น ๆ .. ชุดข้อมูล Z: E1: 0, E2: 4, E3: 8, E4: …

10 kullback-leibler 

ในการวิจัยของฉันฉันพบปัญหาทั่วไปต่อไปนี้: ฉันมีการแจกแจงและครั้งในโดเมนเดียวกันและมีตัวอย่างจำนวนมาก (แต่ จำกัด ) จากการแจกแจงเหล่านั้น ตัวอย่างมีการกระจายอย่างเป็นอิสระและเหมือนกันจากหนึ่งในสองการแจกแจง (แม้ว่าการแจกแจงอาจเกี่ยวข้อง: ตัวอย่างเช่นQอาจเป็นส่วนผสมของPและการกระจายอื่น ๆ ) สมมติฐานว่างเปล่าคือตัวอย่างมาจากPสมมุติฐานสำรองคือ ตัวอย่างมาจากQPPPQQQQQQPPPPPPQQQ ฉันพยายามที่จะอธิบายลักษณะ Type I และ Type II ข้อผิดพลาดในการทดสอบตัวอย่างที่รู้กระจายPPPและQQQQโดยเฉพาะอย่างยิ่งผมสนใจในขอบเขตหนึ่งข้อผิดพลาดที่กำหนดอื่น ๆ นอกเหนือไปจากความรู้ของPPPและQQQQ ฉันได้ถามคำถามทางคณิตศาสตร์เกี่ยวกับความสัมพันธ์ของระยะทางรวมการเปลี่ยนแปลงระหว่างPPPและQQQกับการทดสอบสมมติฐานและได้รับคำตอบที่ฉันยอมรับ คำตอบนั้นสมเหตุสมผล แต่ฉันยังไม่สามารถสรุปความหมายที่ลึกกว่าความสัมพันธ์ของระยะทางรวมของการเปลี่ยนแปลงและการทดสอบสมมติฐานที่เกี่ยวข้องกับปัญหาของฉัน ดังนั้นฉันตัดสินใจที่จะเปิดฟอรั่มนี้ คำถามแรกของฉันคือ: ความผันแปรทั้งหมดนั้นรวมกับผลรวมของความน่าจะเป็นของข้อผิดพลาด Type I และ Type II ที่เป็นอิสระจากวิธีการทดสอบสมมติฐานที่มีอยู่หรือไม่ ในสาระสำคัญตราบใดที่มีความน่าจะเป็นที่ไม่ใช่ศูนย์ที่ตัวอย่างอาจถูกสร้างขึ้นโดยการแจกแจงอย่างใดอย่างหนึ่งความน่าจะเป็นที่มีข้อผิดพลาดอย่างน้อยหนึ่งข้อต้องไม่เป็นศูนย์ โดยพื้นฐานแล้วคุณไม่สามารถหลบหนีความเป็นไปได้ที่ผู้ทดสอบสมมติฐานของคุณจะทำผิดพลาดไม่ว่าคุณจะประมวลผลสัญญาณมากแค่ไหน และขอบเขตความแปรปรวนโดยรวมที่เป็นไปได้แน่นอน ความเข้าใจของฉันถูกต้องหรือไม่ นอกจากนี้ยังมีความสัมพันธ์ระหว่าง Type I และข้อผิดพลาดครั้งที่สองและพื้นฐานแจกแจงความน่าจะอีกและคือKL แตกต่าง ดังนั้นคำถามที่สองของฉันคือ: KL-divergence ผูกมัดใช้ได้กับวิธีการทดสอบสมมติฐานเฉพาะวิธีเดียวเท่านั้น (ดูเหมือนว่าจะเกิดขึ้นรอบ ๆ วิธีอัตราส่วนความน่าจะเป็นในการเข้าสู่ระบบมาก) หรือหนึ่งสามารถใช้ได้กับวิธีการทดสอบสมมติฐานทั้งหมด …

10 hypothesis-testing  mathematical-statistics  kullback-leibler  information-theory  bounds 

ฉันได้ใช้ VAE และฉันสังเกตเห็นการใช้งานที่แตกต่างกันสองทางออนไลน์ของความแตกต่างที่ไม่ซับซ้อนของ gaussian KL แบบไม่ระบุตัวตน ความแตกต่างดั้งเดิมตามที่นี่คือ หากเราถือว่าก่อนหน้านี้คือหน่วย gaussian เช่นและสิ่งนี้จะลดความซับซ้อนลงเหลือ และนี่คือที่ที่ความสับสนของฉันอยู่ แม้ว่าฉันจะพบ repos github ที่คลุมเครือไม่กี่อย่างกับการใช้งานข้างต้นสิ่งที่ฉันมักจะใช้คือ:KLL o s s= บันทึก(σ2σ1) +σ21+ (μ1-μ2)22σ22-12KLล.โอss=เข้าสู่ระบบ⁡(σ2σ1)+σ12+(μ1-μ2)22σ22-12 KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2} μ2= 0μ2=0\mu_2=0σ2= 1σ2=1\sigma_2=1KLL o s s= - บันทึก(σ1) +σ21+μ212-12KLล.โอss=-เข้าสู่ระบบ⁡(σ1)+σ12+μ122-12 KL_{loss}=-\log(\sigma_1)+\frac{\sigma_1^2+\mu_1^2}{2}-\frac{1}{2} KLL o s s= -12( 2 บันทึก(σ1) -σ21-μ21+ 1 )KLล.โอss=-12(2เข้าสู่ระบบ⁡(σ1)-σ12-μ12+1) KL_{loss}=-\frac{1}{2}(2\log(\sigma_1)-\sigma_1^2-\mu_1^2+1) = -12( บันทึก(σ1) -σ1-μ21+ 1 )=-12(เข้าสู่ระบบ⁡(σ1)-σ1-μ12+1) =-\frac{1}{2}(\log(\sigma_1)-\sigma_1-\mu^2_1+1) …

10 inference  kullback-leibler  autoencoders  variational-bayes 

ฉันต้องการประเมินความแตกต่างของ KL ระหว่างการแจกแจงแบบต่อเนื่องสองค่า f และ g อย่างไรก็ตามฉันไม่สามารถเขียนความหนาแน่นสำหรับ f หรือ g ได้ ฉันสามารถสุ่มตัวอย่างจากทั้ง f และ g ผ่านวิธีการบางอย่าง (เช่น markov chain monte carlo) KL แตกต่างจาก f ถึง g ถูกกำหนดเช่นนี้ DKL(f||g)=∫∞−∞f(x)log(f(x)g(x))dxDKL(f||g)=∫−∞∞f(x)log⁡(f(x)g(x))dxD_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx นี่คือความคาดหวังของด้วยความเคารพ f ดังนั้นคุณสามารถจินตนาการถึงการประมาณ monte carlolog(f(x)g(x))log⁡(f(x)g(x))\log\left(\frac{f(x)}{g(x)}\right) 1N∑iNlog(f(xi)g(xi))1N∑iNlog⁡(f(xi)g(xi))\frac{1}{N}\sum_i^N \log\left(\frac{f(x_i)}{g(x_i)}\right) ที่ฉันจัดทำดัชนีตัวอย่าง N ที่ดึงมาจาก f (เช่นสำหรับ i = 1, …

10 kullback-leibler 

นี่เป็นเพียงตัวอย่างที่ฉันเจอหลายครั้งดังนั้นฉันจึงไม่มีข้อมูลตัวอย่าง ใช้แบบจำลองการถดถอยเชิงเส้นใน R: a.lm = lm(Y ~ x1 + x2) x1เป็นตัวแปรต่อเนื่อง x2เป็นหมวดหมู่และมีสามค่าเช่น "ต่ำ", "ปานกลาง" และ "สูง" อย่างไรก็ตามเอาต์พุตที่กำหนดโดย R จะเป็นดังนี้: summary(a.lm) Estimate Std. Error t value Pr(>|t|) (Intercept) 0.521 0.20 1.446 0.19 x1 -0.61 0.11 1.451 0.17 x2Low -0.78 0.22 -2.34 0.005 x2Medium -0.56 0.45 -2.34 0.005 ฉันเข้าใจว่า R แนะนำการเข้ารหัสแบบหลอกบางอย่างเกี่ยวกับปัจจัยดังกล่าว ( …

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction