สถิติและข้อมูลขนาดใหญ่

ฉันต้องการคาดการณ์รายการค้าปลีก (สัปดาห์) โดยใช้การปรับให้เรียบแบบเอ็กซ์โปเนนเชียล ตอนนี้ฉันติดอยู่กับวิธีการคำนวณจัดเก็บและใช้ดัชนี sesonality ปัญหาคือตัวอย่างทั้งหมดที่ฉันพบพบว่าเป็นฤดูกาลที่เรียบง่าย ในกรณีของฉันฉันมีปัญหาดังต่อไปนี้: 1. ฤดูกาลไม่เกิดขึ้นในสัปดาห์เดียวกันทุกปี: พวกเขาสามารถเคลื่อนย้ายได้ มาร์ดิกราส์เข้าพรรษาอีสเตอร์และอีกไม่กี่คน 2. มีฤดูกาลที่เปลี่ยนแปลงไปตามปี ตัวอย่างเช่นมีเทศกาลวันหยุดประจำชาติ ขึ้นอยู่กับว่าวันหยุดใกล้กับวันหยุดสุดสัปดาห์ลูกค้าจะหรือไม่ออกจากเมือง มันเหมือนกับว่ามีสองฤดูกาล: หนึ่งที่ลูกค้าออกจากเมืองและที่ที่พวกเขาไม่ออกจากเมือง 3. บางครั้งสอง (หรือ 3) ฤดูกาลเกิดขึ้นในเวลาเดียวกัน ตัวอย่างเช่นเรามีฤดู "Mardi-Gras" ที่เกิดขึ้นในเวลาเดียวกับฤดูวาเลนไทน์ 4. บางครั้งฤดูกาลเปลี่ยนแปลงในระยะเวลา ตัวอย่างเช่น "เทศกาลวันฮาโลวีน" เริ่มขึ้นเมื่อต้นปี คริสต์มาสก็เป็นอีกตัวอย่างหนึ่งที่ดูเหมือนว่าทุกปีเราเริ่มต้นเร็ว ๆ นี้เพื่อพกพาผลิตภัณฑ์ สำหรับฉันดูเหมือนว่าฉันต้องหาวิธีในการตั้งค่า "โปรไฟล์ตามฤดูกาล" ซึ่งตอนนั้นขึ้นอยู่กับสถานการณ์เฉพาะจะถูกเพิ่มเข้ามาเพื่อให้ได้ดัชนีตามฤดูกาลที่ถูกต้อง มันสมเหตุสมผลไหม ไม่มีใครรู้ว่าฉันสามารถหาข้อมูลที่เป็นประโยชน์เกี่ยวกับวิธีการทำเช่นนี้ได้ที่ไหน? ขอบคุณ Edgard

11 time-series  seasonality 

ฉันกำลังพยายามสรุปสิ่งที่ฉันเข้าใจจนถึงการวิเคราะห์หลายตัวแปรที่มีการลงโทษด้วยชุดข้อมูลมิติสูงและฉันยังคงดิ้นรนโดยใช้คำจำกัดความที่ถูกต้องเกี่ยวกับการลงโทษที่นุ่มนวลกับLasso (หรือ )L1L1L_1 แม่นยำยิ่งขึ้นฉันใช้การกระจัดกระจาย PLS เพื่อวิเคราะห์โครงสร้างข้อมูลแบบ 2 บล็อกรวมถึงข้อมูลจีโนม ( polymorphisms นิวคลีโอไทด์เดี่ยวที่เราพิจารณาความถี่ของอัลลีลย่อยในช่วง {0,1,2} ซึ่งถือว่าเป็นตัวแปรตัวเลข) และ ฟีโนไทป์ต่อเนื่อง (คะแนนเชิงปริมาณลักษณะบุคลิกภาพหรือความไม่สมดุลของสมองยังถือว่าเป็นตัวแปรต่อเนื่อง) ความคิดคือการแยกตัวทำนายที่มีอิทธิพลมากที่สุด (ที่นี่ความผันแปรทางพันธุกรรมในลำดับดีเอ็นเอ) เพื่ออธิบายการแปรผันของฟีโนไทป์ระหว่างบุคคล ฉันเริ่มใช้แพ็คเกจ mixOmics R (เดิมintegrOmics) ซึ่งมีการลงโทษPLSและCCA ที่ทำให้เป็นมาตรฐาน เมื่อมองไปที่รหัส R เราพบว่า "sparsity" ในตัวทำนายนั้นเกิดจากการเลือกตัวแปรอันดับสูงสุดที่มีการโหลดสูงสุด (ในค่าสัมบูรณ์) บนองค์ประกอบ th, (อัลกอริทึม คือการทำซ้ำและคำนวณตัวแปรของการโหลดในองค์ประกอบทำให้ตัวบล็อกการทำนายในแต่ละการวนซ้ำดูการกระจัดกระจาย PLS: การเลือกตัวแปรเมื่อรวมข้อมูล Omicsสำหรับภาพรวม) ในทางตรงกันข้ามแพ็คเกจsplsร่วมเขียนโดย S. Keleş (ดูkkkiiii=1,…,ki=1,…,ki=1,\dots, kkkkเบาบางบางส่วนแควน้อยถดถอยสำหรับพร้อมกันขนาดลดลงและการคัดเลือกตัวแปรสำหรับคำอธิบายที่เป็นทางการมากขึ้นของวิธีการดำเนินการโดยผู้เขียนเหล่านี้) การดำเนินการ -penalization สำหรับการปรับไหมตัวแปรL1L1L_1 มันไม่ได้เป็นที่เห็นได้ชัดกับผมว่ามีความเข้มงวด "bijection" เพื่อที่จะพูดระหว่างการเลือกคุณลักษณะซ้ำขึ้นอยู่กับนุ่ม thresholding …

11 multivariate-analysis  lasso  feature-selection  genetics 

ฉันมีวิธีการวิเคราะห์ที่แตกต่างกันสองวิธีที่สามารถวัดความเข้มข้นของโมเลกุลที่เฉพาะเจาะจงในเมทริกซ์ (เช่นวัดปริมาณของเกลือในน้ำ) วิธีการสองวิธีนั้นแตกต่างกันและแต่ละวิธีมีข้อผิดพลาดของตัวเอง มีวิธีใดที่จะแสดงทั้งสองวิธีนั้นเท่ากัน (หรือไม่) ฉันคิดว่าการพล็อตผลลัพธ์จากตัวอย่างจำนวนหนึ่งที่วัดโดยทั้งสองวิธีบนกราฟกระจายเป็นขั้นตอนแรกที่ดี แต่มีวิธีการทางสถิติที่ดีหรือไม่?

11 hypothesis-testing  measurement-error  method-comparison  bland-altman-plot 

ถ้า β∗=argminβ∥y−Xβ∥22+λ∥β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1สามารถ ∥β∗∥2‖β∗‖2\|\beta^*\|_2 เพิ่มขึ้นเมื่อ λλ\lambda เพิ่มขึ้น? ฉันคิดว่ามันเป็นไปได้ แม้ว่า∥β* * * *∥1‖β* * * *‖1\|\beta^*\|_1 ไม่เพิ่มขึ้นเมื่อ λλ\lambdaเพิ่มขึ้น ( หลักฐานของฉัน)∥β* * * *∥2‖β* * * *‖2\|\beta^*\|_2สามารถเพิ่ม รูปด้านล่างแสดงความเป็นไปได้ เมื่อไหร่λλ\lambda เพิ่มขึ้นหาก β* * * *β* * * *\beta^* เดินทาง (เชิงเส้น) จาก PPP ถึง QQQจากนั้น ∥β* * * *∥2‖β* * * *‖2\|\beta^*\|_2 เพิ่มขึ้นในขณะที่ ∥β* …

11 lasso 

ฉันอ่านมากเกี่ยวกับการใช้ splines ในปัญหาการถดถอยต่าง ๆ หนังสือบางเล่ม (เช่น Hodges Richly Parrameterized Linear Models ) แนะนำ splines ที่ถูกลงโทษ อื่น ๆ (เช่นกลยุทธ์การสร้างแบบจำลองการถดถอยของ Harrell ) เลือกใช้เส้นโค้งลูกบาศก์แบบ จำกัด ในทางปฏิบัติแล้วสิ่งเหล่านี้ต่างกันอย่างไร คุณมักจะได้รับผลลัพธ์ที่แตกต่างอย่างมากจากการใช้อย่างใดอย่างหนึ่งหรือไม่? ข้อใดข้อหนึ่งมีข้อดีเป็นพิเศษหรือไม่

11 regression  splines 

การอ่านกระดาษ "การพยากรณ์ในระดับ" (เครื่องมือพยากรณ์ FBProphet ให้ดูที่https://peerj.com/preprints/3190.pdf ) ฉันเจอคำว่า "กระจัดกระจายมาก่อน" ผู้เขียนอธิบายว่าพวกเขากำลังใช้ "กระจัดกระจายก่อน" ในการสร้างแบบจำลองเวกเตอร์ของอัตราการเบี่ยงเบนจากอัตราสเกลาบางซึ่งเป็นพารามิเตอร์แบบจำลองในแบบจำลองการเติบโตโลจิสติกδδ\mathbf{\delta}kkk เนื่องจากพวกเขาระบุว่าฉันเข้าใจอย่างถูกต้องหรือไม่ว่า "sparse" หมายถึงเวกเตอร์ที่มีองค์ประกอบใกล้เคียงกับศูนย์ถ้าพารามิเตอร์มีขนาดเล็ก? ฉันสับสนเพราะฉันคิดว่าองค์ประกอบเวกเตอร์ทั้งหมดจำเป็นต้องเป็นพารามิเตอร์ของการถดถอย แต่การกำหนดพวกมันแบบนั้นทำให้พารามิเตอร์และเป็นพารามิเตอร์โมเดลฟรีเท่านั้นใช่ไหมδJ∼ Laplace ( 0 , τ)δJ~Laplace(0,τ)\delta_j \sim\text{Laplace}(0,\tau)ττ\taukkkττ\tau นอกจากนี้ยังมีการใช้การกระจาย Laplace เพื่อสร้างสิ่งที่พบบ่อยก่อน ฉันไม่เข้าใจว่าทำไมจึงเป็นที่ต้องการมากกว่าเช่นการกระจายปกติ

11 regression  bayesian  forecasting 

ฉันใช้กระดาษที่ได้รับความนิยมอย่างมากเรื่อง "การอธิบายและการฝ่าฝืนตัวอย่างที่เป็นที่นิยม " และในกระดาษมันฝึกฟังก์ชั่นวัตถุประสงค์เชิงรุก J '' (θ) = αJ (θ) + (1 - α) J '(θ) มันถือว่าαเป็นพารามิเตอร์ αสามารถ 0.1, 0.2, 0.3 และอื่น ๆ โดยไม่คำนึงถึงเอกสารเฉพาะนี้ฉันสงสัยว่าทำไมเราไม่รวมαไว้ในพารามิเตอร์ของเราและเรียนรู้αที่ดีที่สุด ข้อเสียที่จะทำคืออะไร? มันเป็นเพราะการใส่มากเกินไป? ถ้าเป็นเช่นนั้นเพราะเหตุใดการเรียนรู้พารามิเตอร์อีก 1 รายการจึงทำให้มีจำนวนข้อมูลมากเกินไป?

11 machine-learning  neural-networks  deep-learning  hyperparameter 

บางครั้งเซเรียอาอาจจำเป็นต้องมีความแตกต่างเพื่อให้นิ่ง อย่างไรก็ตามฉันไม่เข้าใจว่าความแตกต่างของลำดับที่สองสามารถช่วยให้หยุดนิ่งได้อย่างไรเมื่อความแตกต่างของลำดับที่หนึ่งไม่เพียงพอ คุณสามารถให้คำอธิบายที่เข้าใจง่ายสำหรับการสั่งซื้อลำดับที่สองและกรณีที่จำเป็นได้หรือไม่?

11 time-series  stationarity 

จากสิ่งที่ฉันได้เรียนรู้เราใช้ตัวกรองหลายตัวใน Conv Layer ของ CNN เพื่อเรียนรู้ตัวตรวจจับคุณสมบัติที่แตกต่างกัน แต่เนื่องจากตัวกรองเหล่านี้มีการใช้งานคล้ายกัน (เช่นเลื่อนและคูณกับพื้นที่ของอินพุต) พวกเขาจะไม่ได้เรียนรู้พารามิเตอร์เดียวกันในระหว่างการฝึกอบรมหรือไม่ ดังนั้นการใช้ตัวกรองหลายรายการจะซ้ำซ้อน?

11 neural-networks  conv-neural-network  convolution  filter 

มีวิธีในการรับคะแนนความเชื่อมั่น (เราสามารถเรียกได้ว่าเป็นค่าความเชื่อมั่นหรือความน่าจะเป็น) สำหรับแต่ละค่าที่คาดการณ์เมื่อใช้อัลกอริทึมเช่นการสุ่มป่าหรือการไล่ระดับสีมากขึ้น สมมติว่าคะแนนความเชื่อมั่นนี้จะอยู่ในช่วงตั้งแต่ 0 ถึง 1 และแสดงว่าฉันมีความมั่นใจเกี่ยวกับการทำนายโดยเฉพาะอย่างไร จากสิ่งที่ฉันพบในอินเทอร์เน็ตเกี่ยวกับความมั่นใจมักจะวัดจากช่วงเวลา นี่คือตัวอย่างของช่วงความเชื่อมั่นที่คำนวณด้วยconfpredฟังก์ชันจากlavaไลบรารี: library(lava) set.seed(123) n <- 200 x <- seq(0,6,length.out=n) delta <- 3 ss <- exp(-1+1.5*cos((x-delta))) ee <- rnorm(n,sd=ss) y <- (x-delta)+3*cos(x+4.5-delta)+ee d <- data.frame(y=y,x=x) newd <- data.frame(x=seq(0,6,length.out=50)) cc <- confpred(lm(y~poly(x,3),d),data=d,newdata=newd) if (interactive()) { ##' plot(y~x,pch=16,col=lava::Col("black"), ylim=c(-10,15),xlab="X",ylab="Y") with(cc, lava::confband(newd$x, lwr, upr, fit, …

11 r  regression  random-forest  prediction  boosting 

ฉันตระหนักถึงความจริงที่ว่าตัวแปรเด็ดขาดที่มีระดับ k ควรถูกเข้ารหัสด้วยตัวแปร k-1 ในการเข้ารหัสดัมมี่ (คล้ายกับตัวแปรเด็ดขาดหลายค่า) ฉันสงสัยว่าปัญหาหนึ่งเกิดขึ้นกับการเข้ารหัสแบบร้อนแรงเพียงใด (เช่นการใช้ตัวแปร k แทน) ผ่านการเข้ารหัสแบบจำลองสำหรับวิธีการถดถอยที่แตกต่างกันส่วนใหญ่เป็นการถดถอยเชิงเส้นการถดถอยเชิงเส้นที่ถูกลงโทษ (Lasso, Ridge, ElasticNet) เครื่องเร่งการไล่ระดับสี) ฉันรู้ว่าในการถดถอยเชิงเส้นปัญหาความหลากหลายเชิงเส้นเกิดขึ้น (แม้ว่าในทางปฏิบัติฉันได้ติดตั้งการถดถอยเชิงเส้นโดยใช้ OHE โดยไม่มีปัญหาใด ๆ ) อย่างไรก็ตามการเข้ารหัสแบบจำลองไม่จำเป็นต้องใช้ในพวกเขาทั้งหมดและผลลัพธ์ที่ได้จะผิดไปอย่างไรหากใช้การเข้ารหัสแบบร้อนแรง? การมุ่งเน้นของฉันอยู่ที่การคาดการณ์ในตัวแบบการถดถอยที่มีตัวแปรหมวดหมู่ (ความสำคัญสูง) จำนวนมากดังนั้นฉันจึงไม่สนใจช่วงความมั่นใจ

11 regression  multiple-regression  categorical-data  many-categories 

ฉันรู้ว่ามันเป็นเรื่องธรรมดาที่จะสร้างมาตรฐานสำหรับฟีเจอร์สำหรับการถดถอยของสันเขาและบ่วงบาศ แต่มันจะเป็นประโยชน์หรือไม่ในการปรับมาตรฐานในสเกล (0,1) ให้เป็นทางเลือกแทนมาตรฐาน z-score สำหรับวิธีการถดถอยเหล่านี้

11 normalization  lasso  standardization  ridge-regression 

ฉันเพิ่งได้เรียนรู้เกี่ยวกับแนวคิดของการเริ่มระบบและคำถามไร้เดียงสามาถึงใจ: ถ้าเราสามารถสร้างตัวอย่าง bootstrap จำนวนมากของข้อมูลของเราทำไมต้องรำคาญที่จะได้รับข้อมูล "ของจริง" เพิ่มเติมหรือไม่ ฉันคิดว่าฉันมีคำอธิบายโปรดบอกฉันว่าฉันถูกต้องหรือไม่: ฉันคิดว่ากระบวนการ bootstrapping ช่วยลดความแปรปรวน แต่ถ้าชุดข้อมูลดั้งเดิมของฉันคือ BIASED กว่าที่ฉันติดอยู่กับความแปรปรวนต่ำและอคติสูง ฉันกำลังพูด.

11 variance  bootstrap  bias 

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามดังนั้นจึงเป็นหัวข้อสำหรับการตรวจสอบข้าม ปิดเมื่อปีที่แล้ว การฝึกอบรมหลังจาก 15 epochs บนชุดข้อมูล CIFAR-10 ดูเหมือนว่าจะทำให้การสูญเสียการตรวจสอบความถูกต้องไม่ลดลงอีกต่อไปโดยประมาณ 1.4 (มีความแม่นยำในการตรวจสอบ 60%) ฉันได้สับชุดฝึกอบรมแล้วหารด้วย 255 และนำเข้าเป็น float32 ฉันได้ลองสถาปัตยกรรมจำนวนมากทั้งที่มีและไม่มีการออกกลางคันในชั้น Conv2D และดูเหมือนว่าจะไม่มีอะไรทำงาน สถาปัตยกรรมเดียวกันมีความแม่นยำถึง 99.7% สำหรับชุดทดสอบสำหรับ MNIST โปรดดูสถาปัตยกรรมด้านล่าง: (หมายเหตุ: ฉันได้ลองเพิ่มการออกกลางคันและเพิ่ม / ลดอัตราการเรียนรู้ของเครื่องมือเพิ่มประสิทธิภาพ Adam เพื่อป้องกันการ overfitting ทั้งหมดนี้เป็นการป้องกันการ overfitting แต่ด้วยชุดฝึกอบรมและการทดสอบที่มีความแม่นยำต่ำประมาณ 60%) with tf.device('/gpu:0'): tf.placeholder(tf.float32, shape=(None, 20, 64)) #placeholder initialized (pick /cpu:0 or /gpu:0) …

11 neural-networks  conv-neural-network  keras 

ในวิธีทดสอบ t-test ปกติโดยใช้วิธีการทดสอบสมมติฐานตามปกติเราอาจปฏิเสธโมฆะหรือไม่สามารถปฏิเสธโมฆะ แต่เราไม่เคยยอมรับโมฆะ เหตุผลหนึ่งสำหรับเรื่องนี้คือถ้าเราได้รับหลักฐานมากขึ้นขนาดของเอฟเฟกต์เดียวกันจะกลายเป็นสิ่งสำคัญ แต่จะเกิดอะไรขึ้นในการทดสอบความไม่ได้ตัวตน? นั่นคือ: H0:μ1−μ0≤xH0:μ1−μ0≤xH_0: \mu_1 - \mu_0 \le x เมื่อเทียบกับ H1:μ1−μ0>xH1:μ1−μ0>xH_1: \mu_1 - \mu_0 > x โดยที่คือจำนวนเงินที่เราพิจารณาว่าเป็นสิ่งเดียวกัน ดังนั้นถ้าเราปฏิเสธโมฆะเราบอกว่ามีค่ามากกว่าอย่างน้อยxเราไม่สามารถปฏิเสธโมฆะหากมีหลักฐานไม่เพียงพอ xxxμ1μ1\mu_1μ0μ0\mu_0xxx หากขนาดของเอฟเฟกต์เป็นหรือมากกว่านั้นจะมีความคล้ายคลึงกับการทดสอบแบบปกติ แต่ถ้าขนาดเอฟเฟกต์น้อยกว่าในตัวอย่างที่เรามี จากนั้นหากเราเพิ่มขนาดตัวอย่างและคงระดับเดิมไว้ ในกรณีนี้เราสามารถยอมรับค่าว่างได้หรือไม่?xxxxxx

11 hypothesis-testing  tost  non-inferiority