คำถามติดแท็ก zero-inflation

แปลงวินิจฉัย (และการทดสอบอย่างเป็นทางการ) คุณพบว่าข้อมูลส่วนใหญ่สำหรับการถดถอยที่ผลเป็นตัวแปรนับ? ฉันสนใจเป็นพิเศษใน Poisson และแบบจำลอง Binomial เชิงลบเช่นเดียวกับ counterparts ที่สูงเกินจริงและกีดขวางของแต่ละ แหล่งที่มาส่วนใหญ่ที่ฉันได้พบเพียงแค่พล็อตส่วนที่เหลือเทียบกับค่าติดตั้งโดยไม่ต้องพูดคุยเกี่ยวกับสิ่งที่แปลงเหล่านี้ "ควร" ดูเหมือน ภูมิปัญญาและการอ้างอิงชื่นชมอย่างมาก เรื่องราวย้อนกลับไปในเหตุผลที่ผมถามนี้ถ้ามันมีความเกี่ยวข้องเป็นคำถามอื่น ๆ ของฉัน การอภิปรายที่เกี่ยวข้อง: การตีความแปลงการวินิจฉัยที่เหลือสำหรับรุ่น GLM? สมมติฐานของตัวแบบเชิงเส้นทั่วไป GLMs - การวินิจฉัยและครอบครัวใด

88 generalized-linear-model  residuals  negative-binomial  zero-inflation  poisson-regression 

ฉันสงสัยว่ามีความแตกต่างที่ชัดเจนระหว่างการแจกแจงแบบ zero-inflated (โมเดล) และการแจกแจงแบบกีดขวางที่ศูนย์ (รุ่น) หรือไม่? คำศัพท์เกิดขึ้นบ่อยครั้งในวรรณกรรมและฉันสงสัยว่ามันไม่เหมือนกัน แต่คุณช่วยอธิบายความแตกต่างในแง่ง่าย ๆ หน่อยได้ไหม?

81 zero-inflation 

ฉันเริ่มตะลุยกับการใช้งานglmnetกับการถดถอยแบบ LASSOซึ่งผลลัพธ์ของความสนใจของฉันนั้นเป็นแบบขั้วคู่ ฉันได้สร้างกรอบข้อมูลจำลองขนาดเล็กด้านล่าง: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29, 0.88) m_edu <- c(0, 1, 1, 2, 2, 3, 2, 0, 1) p_edu <- c(0, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

พิจารณาตัวแบบอุปสรรค์ที่ทำนายข้อมูลนับyจากตัวทำนายปกติx: set.seed(1839) # simulate poisson with many zeros x <- rnorm(100) e <- rnorm(100) y <- rpois(100, exp(-1.5 + x + e)) # how many zeroes? table(y == 0) FALSE TRUE 31 69 ในกรณีนี้ฉันมีข้อมูลนับด้วย 69 ศูนย์และจำนวนบวก 31 รายการ ไม่เป็นไรตอนนี้โดยนิยามของกระบวนการสร้างข้อมูลเป็นกระบวนการปัวซองเพราะคำถามของฉันเกี่ยวกับแบบจำลองอุปสรรค์ สมมติว่าฉันต้องการจัดการค่าศูนย์ส่วนเกินเหล่านี้ด้วยแบบจำลองอุปสรรค์ จากการอ่านของฉันเกี่ยวกับพวกเขาดูเหมือนว่าแบบจำลองอุปสรรค์ไม่ใช่แบบจำลองที่แท้จริงต่อพวกเขากำลังทำการวิเคราะห์สองแบบที่ต่างกันตามลำดับ ก่อนอื่นการถดถอยแบบลอจิสติกจะทำนายว่าค่านั้นเป็นค่าบวกกับศูนย์หรือไม่ ประการที่สองการถดถอยปัวซองที่ไม่มีการตัดทอนด้วยการรวมกรณีที่ไม่เป็นศูนย์เท่านั้น ขั้นตอนที่สองนี้รู้สึกผิดกับฉันเพราะเป็น (ก) ทิ้งข้อมูลที่ดีอย่างสมบูรณ์แบบซึ่ง (b) อาจนำไปสู่ปัญหาด้านพลังงานเนื่องจากข้อมูลส่วนใหญ่เป็นศูนย์และ (c) ไม่ใช่ …

25 r  count-data  zero-inflation 

ฉันพยายามจัดโครงร่างสำหรับตัวเองเมื่อเหมาะสมที่จะใช้ประเภทการถดถอย (เรขาคณิต, ปัวซอง, ลบทวินาม) กับข้อมูลการนับภายในกรอบการทำงาน GLM (ใช้การกระจายแบบ GLM เพียง 3 ใน 8 เท่านั้นสำหรับข้อมูลการนับ ฉันอ่านศูนย์รอบทวินามลบและการแจกแจงปัวซง) เมื่อใดจึงจะใช้ปัวซองเทียบกับเรขาคณิตเทียบกับลบทวินาม GLMs สำหรับการนับข้อมูล? จนถึงตอนนี้ฉันมีตรรกะดังต่อไปนี้: มันนับข้อมูลหรือไม่ ถ้าใช่ค่าเฉลี่ยและความแปรปรวนไม่เท่ากันหรือไม่? ถ้าใช่การถดถอยแบบทวินามลบ ถ้าไม่มีปัวซงถดถอย มีอัตราเงินเฟ้อเป็นศูนย์หรือไม่? ถ้าใช่ปัวซองกำลังพองศูนย์หรือทวินามลบพอง คำถามที่ 1ดูเหมือนจะไม่มีข้อบ่งชี้ที่ชัดเจนว่าจะใช้เมื่อใด มีบางอย่างที่ต้องแจ้งการตัดสินใจนั้นหรือไม่? จากสิ่งที่ฉันเข้าใจเมื่อคุณเปลี่ยนไปใช้ ZIP ความแปรปรวนเฉลี่ยที่เป็นสมมติฐานที่เท่าเทียมกันนั้นค่อนข้างผ่อนคลายดังนั้นมันจึงค่อนข้างคล้ายกับ NB อีกครั้ง คำถามที่ 2ตระกูลเรขาคณิตสอดคล้องกับเรื่องนี้หรือคำถามประเภทใดที่ฉันควรถามข้อมูลเมื่อตัดสินใจว่าจะใช้ตระกูลเรขาคณิตในการถดถอยของฉันหรือไม่ คำถามที่ 3ฉันเห็นผู้คนแลกเปลี่ยนการแจกแจงทวินามและปัวซงตลอดเวลา แต่ไม่ใช่เชิงเรขาคณิตดังนั้นฉันเดาว่ามีบางอย่างที่แตกต่างกันอย่างชัดเจนว่าจะใช้เมื่อไร ถ้าเป็นเช่นนั้นมันคืออะไร? ป.ล. ฉันได้ทำแผนภาพ (อาจจะเกินความจริง) จากความคิดเห็น) ( แก้ไขได้ ) ของความเข้าใจปัจจุบันของฉันหากผู้คนต้องการแสดงความคิดเห็น / ปรับแต่งเพื่อการอภิปราย

21 generalized-linear-model  negative-binomial  count-data  poisson-regression  zero-inflation 

ฉันมีข้อมูลบางส่วนใน [0,1] ซึ่งฉันต้องการวิเคราะห์ด้วยการถดถอยเบต้า แน่นอนว่าสิ่งที่ต้องทำเพื่อรองรับค่า 0,1 ฉันไม่ชอบการแก้ไขข้อมูลให้พอดีกับแบบจำลอง นอกจากนี้ฉันไม่เชื่อว่าศูนย์และ 1 เงินเฟ้อเป็นความคิดที่ดีเพราะฉันเชื่อว่าในกรณีนี้เราควรพิจารณาว่า 0 เป็นค่าบวกที่น้อยมาก (แต่ฉันไม่อยากบอกว่าค่าใดเหมาะสม ฉันเชื่อว่าจะเลือกค่าขนาดเล็กเช่น. 001 และ. 999 และเพื่อให้พอดีกับแบบจำลองโดยใช้ dist dist สะสมสำหรับเบต้าดังนั้นสำหรับการสังเกต y_i โอกาสในการบันทึก LL_iwould จะเป็น if y_i < .001 LL+=log(cumd_beta(.001)) else if y_i>.999 LL+=log(1.0-cum_beta(.999)) else LL+=log(beta_density(y_i)) สิ่งที่ฉันชอบเกี่ยวกับรุ่นนี้คือถ้ารุ่นการถดถอยเบต้าถูกต้องโมเดลนี้ก็ใช้ได้เช่นกัน แต่มันจะลบความไวเล็กน้อยต่อค่าที่มากที่สุด อย่างไรก็ตามเรื่องนี้ดูเหมือนจะเป็นวิธีธรรมชาติที่ฉันสงสัยว่าทำไมฉันไม่พบการอ้างอิงที่ชัดเจนในวรรณคดี ดังนั้นคำถามของฉันคือแทนที่จะปรับเปลี่ยนข้อมูลทำไมไม่แก้ไขโมเดล การปรับเปลี่ยนข้อมูลอคติผลลัพธ์ (ตามสมมติฐานที่ว่าแบบจำลองดั้งเดิมนั้นถูกต้อง) ในขณะที่การปรับเปลี่ยนแบบจำลองโดยการผสมค่าที่มากที่สุดจะไม่ทำให้เกิดผลลัพธ์ อาจจะมีปัญหาที่ฉันมองข้าม?

20 regression  generalized-linear-model  beta-distribution  zero-inflation  beta-regression 

ฉันพยายามสร้างแบบจำลองที่ฉันมีตัวแปรตอบกลับซึ่งเป็นสัดส่วนระหว่าง 0 และ 1 ซึ่งรวมถึง 0 และ 1 ไม่กี่ แต่ยังมีค่าอีกมาก ฉันกำลังคิดเกี่ยวกับการพยายามถดถอยเบต้า แพ็คเกจที่ฉันพบสำหรับ R (betareg) อนุญาตเฉพาะค่าระหว่าง 0 ถึง 1 แต่ไม่รวม 0 หรือ 1 ตัวพวกเขา ฉันได้อ่านที่อื่นแล้วว่าตามหลักการแล้วการกระจายเบต้าควรจะสามารถจัดการค่า 0 หรือ 1 ได้ แต่ฉันไม่รู้วิธีจัดการกับสิ่งนี้ใน RI ได้เห็นบางคนเพิ่ม 0.001 ลงในศูนย์และรับ 0.001 จากอันที่จริง แต่ฉันไม่ แน่ใจว่านี่เป็นความคิดที่ดีหรือไม่? อีกทางหนึ่งฉันสามารถ logit แปลงตัวแปรการตอบสนองและใช้การถดถอยเชิงเส้น ในกรณีนี้ฉันมีปัญหาเดียวกันกับ 0 และ 1 ซึ่งไม่สามารถแปลงการบันทึกได้

19 regression  mixed-model  beta-distribution  zero-inflation  beta-regression 

การถดถอยแบบเบต้า (เช่น GLM ที่มีการแจกแจงแบบเบต้าและมักจะมีฟังก์ชั่นการเชื่อมโยงแบบ logit) มักจะแนะนำให้จัดการกับการตอบสนองหรือที่เรียกว่าตัวแปรตามค่าระหว่าง 0 และ 1 เช่นเศษส่วนอัตราส่วนหรือความน่าจะเป็น: การถดถอยสำหรับผลลัพธ์ ระหว่าง 0 และ 1 อย่างไรก็ตามมีการอ้างเสมอว่าการถดถอยเบต้าไม่สามารถใช้ได้ทันทีที่ตัวแปรตอบสนองเท่ากับ 0 หรือ 1 อย่างน้อยหนึ่งครั้ง ถ้าไม่จำเป็นต้องใช้ทั้งศูนย์ / รุ่นหนึ่งที่สูงเกินจริงเบต้าหรือทำให้การเปลี่ยนแปลงของการตอบสนองบาง ฯลฯ .: ถดถอยเบต้าของข้อมูลสัดส่วนรวมทั้งที่ 1 และ 0 คำถามของฉันคือคุณสมบัติของการกระจายเบต้าป้องกันการถดถอยเบต้าจากการจัดการกับ 0s และ 1s ที่แน่นอนและเพราะเหตุใด ฉันเดาว่ามันคือและไม่ได้อยู่ในการสนับสนุนของการกระจายเบต้า แต่สำหรับพารามิเตอร์รูปร่างทั้งหมดและทั้งศูนย์และอีกอันหนึ่งอยู่ในการสนับสนุนการแจกแจงแบบเบต้ามันเป็นเพียงพารามิเตอร์รูปร่างขนาดเล็กที่การกระจายไปที่อนันต์ที่หนึ่งหรือทั้งสองด้าน และบางทีข้อมูลตัวอย่างเป็นเช่นที่และให้เหมาะสมที่สุดทั้งคู่ก็จะเปิดออกเพื่อจะเหนือ1000111α>1α>1\alpha>1β>1β>1\beta>1αα\alphaββ\beta111 มันหมายความว่าในบางกรณีเราสามารถใช้การถดถอยแบบเบต้าแม้ว่าจะเป็นศูนย์ / คนก็ตาม แน่นอนว่าแม้ว่า 0 และ 1 จะอยู่ในการสนับสนุนการแจกแจงเบต้าความน่าจะเป็นที่สังเกต 0 หรือ 1 เป็นศูนย์ แต่ความน่าจะเป็นที่จะสังเกตชุดของค่าที่นับได้อื่น …

17 regression  generalized-linear-model  beta-distribution  zero-inflation  beta-regression 

มีแพ็คเกจดังกล่าวที่ให้การประมาณค่าแบบจำลองผลกระทบผสมทวินามลบศูนย์ใน R หรือไม่? โดยที่ฉันหมายถึง: Zero-inflation ที่คุณสามารถระบุรูปแบบทวินามสำหรับศูนย์เงินเฟ้อเช่นในฟังก์ชัน zeroinfl ในแพ็คเกจ pscl: zeroinfl (y ~ X | Z, dist = "negbin") โดยที่ Z คือสูตรสำหรับตัวแบบเงินเฟ้อศูนย์ การแจกแจงทวินามลบสำหรับส่วนการนับของโมเดล เอฟเฟกต์สุ่มที่ระบุคล้ายกับฟังก์ชัน lmer ของแพ็คเกจ lme4 ฉันเข้าใจว่า glmmADMB สามารถทำสิ่งนั้นได้ทั้งหมดยกเว้นสูตรสำหรับอัตราเงินเฟ้อที่เป็นศูนย์ไม่สามารถระบุได้ (เป็นเพียงการสกัดกั้นนั่นคือ Z คือเพียง 1) แต่มีแพ็คเกจอื่นที่สามารถทำได้ทั้งหมดหรือไม่ ฉันจะขอบคุณมากสำหรับความช่วยเหลือของคุณ!

17 r  mixed-model  count-data  negative-binomial  zero-inflation 

ตอนนี้ฉันกำลังพยายามใช้ตัวแบบเชิงเส้น ( family = gaussian) กับตัวบ่งชี้ความหลากหลายทางชีวภาพที่ไม่สามารถรับค่าที่ต่ำกว่าศูนย์ได้นั้นจะสูงเกินศูนย์และต่อเนื่อง ค่าตั้งแต่ 0 ถึงน้อยกว่า 0.25 ด้วยเหตุนี้จึงมีรูปแบบที่ชัดเจนในส่วนที่เหลือของแบบจำลองที่ฉันไม่ได้จัดการเพื่อกำจัด: ใครบ้างมีความคิดเกี่ยวกับวิธีการแก้ปัญหานี้?

16 regression  zero-inflation  tobit-regression  tweedie-distribution 

การแจกแจงแบบทวีคูณสามารถสร้างแบบจำลองข้อมูลเอียงด้วยมวลจุดที่ศูนย์เมื่อพารามิเตอร์ (เลขชี้กำลังในความสัมพันธ์ความแปรปรวนเฉลี่ย) อยู่ระหว่าง 1 ถึง 2ppp ในทำนองเดียวกันรูปแบบศูนย์ที่พองเกิน (ไม่ว่าจะเป็นแบบต่อเนื่องหรือไม่ต่อเนื่อง) อาจมีเลขศูนย์จำนวนมาก ฉันมีปัญหาในการทำความเข้าใจว่าทำไมเมื่อฉันทำการทำนายหรือคำนวณค่าติดตั้งกับโมเดลเหล่านี้ค่าที่ทำนายทั้งหมดจะไม่เป็นศูนย์ แบบจำลองเหล่านี้สามารถทำนายค่าศูนย์ที่แน่นอนได้จริงหรือ ตัวอย่างเช่น library(tweedie) library(statmod) # generate data y <- rtweedie( 100, xi=1.3, mu=1, phi=1) # xi=p x <- y+rnorm( length(y), 0, 0.2) # estimate p out <- tweedie.profile( y~1, p.vec=seq(1.1, 1.9, length=9)) # fit glm fit <- glm( y ~ …

15 r  generalized-linear-model  prediction  zero-inflation  tweedie-distribution 

ฉันกำลังดิ้นรนเพื่อที่จะเข้าใจการแจกแจงที่สูงเกินจริง พวกเขาคืออะไร ประเด็นคืออะไร? ถ้าฉันมีข้อมูลที่มีศูนย์เป็นจำนวนมากจากนั้นฉันสามารถใส่การถดถอยแบบโลจิสติกก่อนคำนวณความน่าจะเป็นที่เป็นศูนย์จากนั้นฉันสามารถลบศูนย์ทั้งหมดแล้วจึงใส่การถดถอยแบบปกติโดยใช้ตัวเลือกการกระจายของฉัน จากนั้นมีใครบางคนบอกฉันว่า "เฮ้ใช้การกระจายตัวที่สูงเกินจริงเป็นศูนย์" แต่เมื่อมองดูแล้วดูเหมือนจะไม่ทำอะไรที่แตกต่างไปจากที่ฉันแนะนำไว้ข้างต้น? มันมีพารามิเตอร์ปกติและจากนั้นพารามิเตอร์อื่นเพื่อสร้างแบบจำลองความน่าจะเป็นที่เป็นศูนย์? มันทำทั้งสองอย่างพร้อมกันหรือเปล่า?μμ\muppp

15 zero-inflation 

สมมติว่ามีความเป็นอิสระและY=(Y1,…,Yn)′Y=(Y1,…,Yn)′ \textbf{Y} = (Y_1, \dots, Y_n)' Yi=0Yi=kwith probability pi+(1−pi)e−λiwith probability (1−pi)e−λiλki/k!Yi=0with probability pi+(1−pi)e−λiYi=kwith probability (1−pi)e−λiλik/k!\eqalign{ Y_i = 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ Y_i = k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! } นอกจากนี้ยังคิดว่าพารามิเตอร์และP = ( P 1 , ... , P n )ความพึงพอใจλ=(λ1,…,λn)′λ=(λ1,…,λn)′\mathbf{\lambda} = (\lambda_1, \dots, \lambda_n)'p=(p1,…,pn)p=(p1,…,pn)\textbf{p} = (p_1, …

14 poisson-regression  zero-inflation 

ฉันมีชุดข้อมูลขนาดเล็กมากที่มีผึ้งมากมายโดดเดี่ยวที่ฉันมีปัญหาในการวิเคราะห์ มันคือข้อมูลนับและจำนวนเกือบทั้งหมดอยู่ในการรักษาหนึ่งโดยมีศูนย์ส่วนใหญ่ในการรักษาอื่น นอกจากนี้ยังมีค่าสูงสองสามค่า (ค่าละหนึ่งในสองแห่งในหกแห่ง) ดังนั้นการแจกแจงค่าจะมีหางที่ยาวมาก ฉันทำงานในอาร์ฉันใช้แพ็คเกจที่แตกต่างกันสองแบบ: lme4 และ glmmADMB รูปแบบผสมปัวซองไม่เหมาะสม: แบบจำลองมีการกระจายตัวมากเกินไปเมื่อเอฟเฟกต์แบบสุ่มไม่เหมาะสม (แบบจำลอง GLM) และแบบจำลองที่น้อยเกินไปเมื่อติดตั้งเอฟเฟกต์แบบสุ่ม (รุ่น glmer) ฉันไม่เข้าใจว่าทำไมถึงเป็นเช่นนี้ การออกแบบการทดลองเรียกร้องให้มีเอฟเฟกต์แบบซ้อนกันดังนั้นฉันจึงจำเป็นต้องรวมไว้ด้วย การกระจายข้อผิดพลาดของปัวซอง lognormal ไม่ได้ปรับปรุงให้พอดี ฉันลองใช้การแจกแจงข้อผิดพลาดแบบทวินามลบโดยใช้ glmer.nb และไม่สามารถทำให้พอดี - ถึงขีด จำกัด การวนซ้ำแม้ว่าจะเปลี่ยนความอดทนโดยใช้ glmerControl (tolPwrss = 1e-3) เนื่องจากเลขศูนย์จำนวนมากจะเกิดจากความจริงที่ว่าฉันไม่เห็นผึ้ง (พวกมันมักจะเป็นสิ่งดำเล็ก ๆ ) ฉันจึงลองแบบจำลองที่ไม่มีการพอง ZIP ไม่พอดี ZINB เป็นแบบจำลองที่ดีที่สุดจนถึงตอนนี้ แต่ฉันก็ยังไม่ค่อยมีความสุขกับแบบจำลอง ฉันตกอยู่ในความสูญเสียว่าจะลองทำอะไรต่อไป ฉันลองใช้แบบจำลองอุปสรรค์ แต่ไม่สามารถกระจายการตัดทอนไปยังผลลัพธ์ที่ไม่เป็นศูนย์ได้ - ฉันคิดว่าเนื่องจากศูนย์จำนวนมากอยู่ในการควบคุมการรักษา (ข้อความแสดงข้อผิดพลาดคือ“ ข้อผิดพลาดใน model.frame.default” …

12 count-data  negative-binomial  mixed-model  zero-inflation  lme4-nlme 

ฉันกำลังพยายามตั้งค่าโมเดลปัวซองที่ไม่ทำให้พองใน R และ JAGS ฉันยังใหม่กับ JAGS และฉันต้องการคำแนะนำเกี่ยวกับวิธีการทำเช่นนั้น ฉันได้ลองทำสิ่งต่อไปนี้โดยที่ y [i] เป็นตัวแปรที่สังเกตได้ model { for (i in 1:I) { y.null[i] <- 0 y.pois[i] ~ dpois(mu[i]) pro[i] <- ilogit(theta[i]) x[i] ~ dbern(pro[i]) y[i] <- step(2*x[i]-1)*y.pois[i] + (1-step(2*x[i]-1))*y.null[i] log(mu[i]) <- bla + bla +bla + .... theta[i] <- bla + bla + bla …

12 r  poisson-distribution  jags  zero-inflation