สถิติและข้อมูลขนาดใหญ่

ฉันพยายามเขียนฟังก์ชั่นที่สร้างเสียงที่กระจายอย่างสม่ำเสมอซึ่งมาจากลูก p-norm ของมิติ :nnn ||x||p≤r||x||พี≤R\begin{equation} ||x||_p \leq r \end{equation} ผมพบว่าการแก้ปัญหาที่เป็นไปได้สำหรับวงการ ( ) ( http://mathworld.wolfram.com/DiskPointPicking.html ) แต่ฉันมีปัญหาในการขยายนี้สำหรับค่าที่แตกต่างกันของพีp=2พี=2p = 2pพีp ฉันได้ลองทำโดยเพียงแค่สุ่มตัวอย่างจากการแจกแจงแบบเดียวกันและวาดใหม่เมื่อไม่เป็นไปตามข้อ จำกัด ที่กำหนด อย่างไรก็ตามนอกจากจะเป็นวิธีการแก้ปัญหาที่น่าเกลียดมันยังกลายเป็นไปไม่ได้ที่คำนวณได้สำหรับมิติสูง

11 simulation  noise 

ดังที่ฉันเข้าใจ k-NN เป็นอัลกอริทึมสำหรับผู้เรียนที่ขี้เกียจและไม่จำเป็นต้องมีขั้นตอนการฝึกอบรม เหตุใดเราจึงต้องใช้.fit()กับ sklearn และจะเกิดอะไรขึ้นเมื่อเราใช้

11 classification  scikit-learn  k-nearest-neighbour 

บนหน้า wikiผู้พัฒนาของรัฐสแตน: หลักการบางอย่างที่เราไม่ชอบ: ค่าคงที่, เจฟฟรีย์, ค่าเอนโทรปี แต่ฉันเห็นคำแนะนำการกระจายตามปกติมากมาย จนถึงตอนนี้ฉันใช้วิธีเบย์ซึ่งไม่ได้ใช้การสุ่มตัวอย่างและยินดีที่ได้เข้าใจว่าทำไมเป็นตัวเลือกที่ดีสำหรับโอกาสทวินามθ ∼ Beta ( α = 12, β= 12)θ∼Beta(α=12,β=12)\theta \sim \text{Beta}\left(\alpha=\frac{1}{2},\beta=\frac{1}{2}\right)

11 bayesian  mcmc  prior  pymc  stan 

ฉันสนใจในสถานะปัจจุบันของศิลปะสำหรับการเลือกเมล็ดเริ่มต้น (ศูนย์คลัสเตอร์) สำหรับ K-mean Googling นำไปสู่สองตัวเลือกยอดนิยม: การสุ่มเลือกเมล็ดเริ่มต้นและ การใช้เทคนิคการเลือก KMeans ++: Arthur & Vassilvitskii 2006 k-หมายถึง ++: ข้อดีของการเพาะอย่างระมัดระวัง มีวิธีการที่มีแนวโน้มอื่น ๆ ที่ทุกคนที่นี่รู้หรือไม่ซึ่งอาจไม่เป็นที่นิยม?

11 clustering  k-means 

ความเข้าใจของฉันเกี่ยวกับ SVM คือมันคล้ายกับการถดถอยโลจิสติกส์ (LR) นั่นคือผลรวมถ่วงน้ำหนักของคุณสมบัติถูกส่งผ่านไปยังฟังก์ชัน sigmoid เพื่อให้ได้โอกาสในการเป็นสมาชิกของชั้นเรียน แต่แทนที่จะเป็นการสูญเสียข้ามเอนโทรปี ฟังก์ชั่นการฝึกอบรมจะดำเนินการโดยใช้การสูญเสียบานพับ ประโยชน์ของการใช้การสูญเสียบานพับคือเราสามารถทำเทคนิคตัวเลขต่าง ๆ เพื่อให้เคอร์เนลมีประสิทธิภาพมากขึ้น อย่างไรก็ตามข้อเสียเปรียบคือโมเดลที่ได้นั้นมีข้อมูลน้อยกว่าโมเดล LR ที่สอดคล้องกัน ตัวอย่างเช่นหากไม่มีเคอร์เนล (โดยใช้เคอร์เนลเชิงเส้น) ขอบเขตการตัดสินใจ SVM จะยังคงอยู่ในตำแหน่งเดิมที่ LR จะส่งออกความน่าจะเป็นที่ 0.5 แต่คนหนึ่งไม่สามารถบอกได้ว่าความน่าจะเป็นของการสลายตัวของคลาสนั้น ขอบเขตการตัดสินใจ คำถามสองข้อของฉันคือ: การตีความของฉันถูกต้องหรือไม่ การใช้การสูญเสียบานพับทำให้ไม่ถูกต้องในการตีความผลลัพธ์ SVM ว่าเป็นความน่าจะเป็นอย่างไร

11 machine-learning  logistic  svm 

ฉันกำลังพยายามใช้อัลกอริทึม Nelder-Mead สำหรับการปรับฟังก์ชั่นให้เหมาะสม หน้าวิกิพีเดียเกี่ยวกับ Nelder-มธุรสเป็นที่น่าแปลกใจที่ชัดเจนเกี่ยวกับขั้นตอนวิธีการทั้งหมดยกเว้นสำหรับเกณฑ์การหยุดของมัน ที่นั่นมันเศร้าพูดว่า: ตรวจสอบการบรรจบกัน[ต้องการชี้แจง] ฉันลองและทดสอบเกณฑ์สองสามข้อด้วยตัวเอง: หยุดถ้าโดยที่มีขนาดเล็กและที่คือจุดยอด th ของ simplex เรียงลำดับจากต่ำ ( ) ถึงสูง ( ) ค่าฟังก์ชัน กล่าวอีกนัยหนึ่งเมื่อค่าสูงสุดของ simplex เกือบเท่ากับค่าต่ำสุด ฉันพบว่ามันทำงานไม่ถูกต้องเนื่องจากมันไม่รับประกันว่าฟังก์ชั่นจะทำงานอย่างไรภายใน simplex ตัวอย่างพิจารณาฟังก์ชั่น:แน่นอนว่ามันเป็นเรื่องเล็กน้อยที่จะปรับให้เหมาะสม แต่สมมุติว่าเราทำสิ่งนี้ด้วย NM และให้จุดสองจุดคือและϵ x ฉันฉันf ( x 1 ) f ( x N + 1 ) f ( x ) = x 2 x 1 …

11 optimization  algorithms 

หากเราพิจารณาแผนภูมิการตัดสินใจที่โตเต็มที่ (เช่นแผนผังการตัดสินใจที่ไม่มีการแบ่ง) มันมีความแปรปรวนสูงและมีอคติต่ำ การบรรจุถุงและป่าสุ่มใช้โมเดลความแปรปรวนสูงเหล่านี้และรวมเข้าด้วยกันเพื่อลดความแปรปรวนและเพิ่มความแม่นยำในการทำนาย ทั้งการบรรจุถุงและการสุ่มป่าใช้การสุ่มตัวอย่าง Bootstrap และตามที่อธิบายไว้ใน "องค์ประกอบของการเรียนรู้ทางสถิติ" สิ่งนี้จะเพิ่มความลำเอียงในต้นไม้ต้นเดียว นอกจากนี้เนื่องจากวิธีการสุ่มฟอเรสต์ จำกัด ตัวแปรที่อนุญาตให้แยกในแต่ละโหนดอคติสำหรับฟอเรสต์แบบสุ่มเดียวจะเพิ่มมากขึ้น ดังนั้นความแม่นยำในการทำนายจะเพิ่มขึ้นหากการเพิ่มขึ้นของอคติของต้นไม้ต้นเดียวในการบรรจุหีบห่อและการสุ่มป่าไม่ได้ "เกินความจริง" การลดความแปรปรวน สิ่งนี้นำฉันไปสู่คำถามสองข้อต่อไปนี้: 1) ฉันรู้ว่าด้วยการสุ่มตัวอย่าง bootstrap เราจะ (เกือบทุกครั้ง) มีการสังเกตแบบเดียวกันในตัวอย่าง bootstrap แต่ทำไมสิ่งนี้นำไปสู่การเพิ่มอคติของต้นไม้แต่ละต้นในป่าที่ห่อหุ้ม / สุ่ม 2) นอกจากนี้ทำไมข้อ จำกัด ของตัวแปรที่มีให้แยกในแต่ละการแยกทำให้มีอคติสูงกว่าในต้นไม้แต่ละต้นในป่าสุ่ม

11 variance  random-forest  cart  bias  bagging 

ฉันเริ่มต้นด้วยการเรียนรู้อย่างลึกซึ้งและฉันมีคำถามที่คำตอบที่ฉันไม่สามารถหาได้บางทีฉันอาจค้นหาไม่ถูกต้อง ฉันได้เห็นคำตอบนี้แล้ว แต่ก็ยังไม่ชัดเจนว่าการลดลงของน้ำหนักคืออะไรและเกี่ยวข้องกับฟังก์ชั่นลดน้ำหนักอย่างไร

11 neural-networks  conv-neural-network 

ด้วยความเสี่ยงในการสร้างคำถามเฉพาะซอฟต์แวร์และด้วยข้ออ้างเกี่ยวกับความแพร่หลายและความแปลกประหลาดของมันฉันต้องการถามเกี่ยวกับฟังก์ชั่นbiplot()ใน R และโดยเฉพาะอย่างยิ่งมากขึ้นเกี่ยวกับการคำนวณและการวางแผนของลูกศรสีแดงซ้อน ไปยังตัวแปรพื้นฐาน [เพื่อให้เข้าใจถึงความคิดเห็นบางส่วนในตอนแรกแผนการที่โพสต์มีปัญหาที่น่าสนใจอย่างมากและตอนนี้ถูกลบไปแล้ว]

11 r  pca  biplot 

ตัวแบบผสมผลกระทบเชิงเส้นเป็นส่วนขยายของตัวแบบการถดถอยเชิงเส้นสำหรับข้อมูลที่รวบรวมและสรุปในกลุ่ม ข้อได้เปรียบที่สำคัญคือสัมประสิทธิ์อาจแตกต่างกันไปตามตัวแปรของกลุ่มหนึ่งตัวหรือมากกว่า อย่างไรก็ตามฉันกำลังดิ้นรนกับเวลาที่จะใช้รูปแบบผสมแบบผสม? ฉันจะทำอย่างละเอียดคำถามของฉันโดยใช้ตัวอย่างของเล่นกับกรณีที่รุนแรง สมมติว่าเราต้องการสร้างแบบจำลองความสูงและน้ำหนักสำหรับสัตว์และเราใช้สปีชีส์เป็นตัวแปรในการจัดกลุ่ม หากกลุ่ม / สายพันธุ์ที่แตกต่างกันแตกต่างกันจริงๆ พูดสุนัขและช้าง ฉันคิดว่าไม่มีจุดใช้โมเดลเอฟเฟกต์แบบผสมเราควรสร้างแบบจำลองสำหรับแต่ละกลุ่ม หากกลุ่ม / สปีชีส์ต่างกันมีความคล้ายคลึงกันจริงๆ พูดว่าสุนัขตัวเมียกับหมาตัวผู้ ฉันคิดว่าเราอาจต้องการใช้เพศเป็นตัวแปรเด็ดขาดในโมเดล ดังนั้นฉันคิดว่าเราควรใช้โมเดลเอฟเฟกต์ผสมในกรณีกลาง? บอกเด็ก ๆ ว่ากลุ่มคือแมวสุนัขกระต่ายพวกมันเป็นสัตว์ขนาดใกล้เคียงกัน แต่ต่างกัน มีข้อโต้แย้งอย่างเป็นทางการใด ๆ ที่จะแนะนำเมื่อใช้โมเดลเอฟเฟกต์แบบผสมเช่นวิธีการวาดเส้น แบบจำลองอาคารสำหรับแต่ละกลุ่ม แบบผสมลักษณะพิเศษ ใช้กลุ่มเป็นตัวแปรเด็ดขาดในการถดถอย ความพยายามของฉัน: วิธีที่ 1 เป็น "รูปแบบที่ซับซ้อน" ที่สุด / มีระดับความเป็นอิสระน้อยลงและวิธีที่ 3 คือรูปแบบที่ง่ายที่สุด "/ ระดับที่อิสระมากขึ้น และโมเดลเอฟเฟกต์ผสมอยู่ตรงกลาง เราอาจพิจารณาจำนวนข้อมูลและข้อมูลที่ซับซ้อนที่เราต้องเลือกแบบจำลองที่เหมาะสมตาม Bais Variance Trade Off

11 regression  mixed-model  random-effects-model  linear 

โมเดลเชิงเส้นอย่างง่าย: ϵ t N ( 0 , σ 2 )x=αt+ϵtx=αt+ϵtx=\alpha t + \epsilon_tโดยที่ ~ iidϵtϵt\epsilon_tN(0,σ2)N(0,σ2)N(0,\sigma^2) ด้วยและE(x)=αtE(x)=αtE(x) = \alpha tVar(x)=σ2Var(x)=σ2Var(x)=\sigma^2 AR (1): Xt=αXt−1+ϵtXt=αXt−1+ϵtX_t =\alpha X_{t-1} + \epsilon_tโดยที่ ~ iidϵtϵt\epsilon_tN(0,σ2)N(0,σ2)N(0,\sigma^2) ด้วยและE(x)=αtE(x)=αtE(x) = \alpha tVar(x)=tσ2Var(x)=tσ2Var(x)=t\sigma^2 ดังนั้นโมเดลเชิงเส้นอย่างง่ายจึงถือได้ว่าเป็นโมเดลที่กำหนดขึ้นมาในขณะที่โมเดล AR (1) นั้นถือเป็นโมเดลสตาคาห์สติก ตามวิดีโอ Youtube โดย Ben Lambert - Stochastic เทียบกับกำหนดเหตุผลของ AR (1) ที่จะเรียกว่าเป็นแบบจำลองสุ่มเพราะความแปรปรวนของมันเพิ่มขึ้นตามเวลา คุณลักษณะของการแปรปรวนแบบไม่คงที่จะเป็นเกณฑ์ในการพิจารณาสุ่มหรือกำหนดขึ้นหรือไม่? ฉันยังไม่คิดว่าตัวแบบเชิงเส้นอย่างง่ายจะถูกกำหนดโดยสิ้นเชิงเนื่องจากเรามีคำว่าเกี่ยวข้องกับตัวแบบ ดังนั้นเราจึงมักจะมีการสุ่มในxดังนั้นระดับใดที่เราสามารถบอกว่าแบบจำลองนั้นกำหนดขึ้นหรือสุ่ม? …

11 regression  stochastic-processes  autoregressive  deterministic 

สมมติว่าYYYเป็นตัวแปรสุ่มแบบต่อเนื่องและXXXเป็นตัวแปรที่ไม่ต่อเนื่อง Pr(X=x|Y=y)=Pr(X=x)Pr(Y=y|X=x)Pr(Y=y)Pr(X=x|Y=y)=Pr(X=x)Pr(Y=y|X=x)Pr(Y=y) \Pr(X=x|Y=y) = \frac{\Pr(X=x)\Pr(Y=y|X=x)}{\Pr(Y=y)} อย่างที่เรารู้Pr(Y=y)=0Pr(Y=y)=0\Pr(Y=y) = 0เพราะYYYเป็นตัวแปรสุ่มต่อเนื่อง และจากสิ่งนี้ฉันจึงอยากสรุปว่าความน่าจะเป็นPr(X=x|Y=y)Pr(X=x|Y=y)\Pr(X=x|Y=y)นั้นไม่ได้ถูกกำหนด อย่างไรก็ตามWikipedia อ้างว่าที่นี่มีการกำหนดไว้ดังนี้: Pr(X=x|Y=y)=Pr(X=x)fY|X=x(y)fY(y)Pr(X=x|Y=y)=Pr(X=x)fY|X=x(y)fY(y) \Pr(X=x|Y=y) = \frac{\Pr(X=x) f_{Y|X=x}(y)}{f_Y(y)} คำถาม:ความคิดใดที่วิกิพีเดียจัดการเพื่อกำหนดความน่าจะเป็นนั้นได้อย่างไร? ความพยายามของฉัน นี่คือความพยายามของฉันเพื่อให้ได้ผลลัพธ์ของ Wikipedia ในแง่ของข้อ จำกัด : Pr(X=x|Y=y)=Pr(X=x)Pr(Y=y|X=x)Pr(Y=y)=limd→0Pr(X=x)(d×fY|X=x(y))(d×fY(y))=limd→0Pr(X=x)(d×fY|X=x(y))(d×fY(y))=Pr(X=x)fY|X=x(y)fY(y)Pr(X=x|Y=y)=Pr(X=x)Pr(Y=y|X=x)Pr(Y=y)=limd→0Pr(X=x)(d×fY|X=x(y))(d×fY(y))=limd→0Pr(X=x)(d×fY|X=x(y))(d×fY(y))=Pr(X=x)fY|X=x(y)fY(y)\begin{split}\require{cancel} \Pr(X=x|Y=y) &= \frac{\Pr(X=x)\Pr(Y=y|X=x)}{\Pr(Y=y)}\\ &= \lim_{d \rightarrow 0}\frac{\Pr(X=x) \big(d \times f_{Y|X=x}(y)\big)}{\big(d \times f_Y(y)\big)}\\ &= \lim_{d \rightarrow 0}\frac{\Pr(X=x) \big(\cancel{d} \times f_{Y|X=x}(y)\big)}{\big(\cancel{d} \times f_Y(y)\big)}\\ &= \frac{\Pr(X=x) f_{Y|X=x}(y)}{f_Y(y)}\\ \end{split} ตอนนี้Pr(X=x|Y=y)Pr(X=x|Y=y)\Pr(X=x|Y=y)ดูเหมือนจะถูกกำหนดให้เป็นPr(X=x)fY|X=x(y)fY(y)Pr(X=x)fY|X=x(y)fY(y)\frac{\Pr(X=x) …

11 conditional-probability  pdf 

ทึ่งกับคำถามที่ math.stackexchangeและตรวจสอบมันสังเกตุฉันสงสัยเกี่ยวกับคำสั่งต่อไปนี้ในรากที่สองของจำนวนสุ่มตัวแปร iid สมมติว่าX1,X2,…,XnX1,X2,…,XnX_1, X_2, \ldots, X_nเป็นตัวแปรสุ่ม IID ด้วยแน่นอนไม่ใช่ศูนย์หมายถึงและความแปรปรวนและx_i ทฤษฎีขีด จำกัด กลางบอกว่าเมื่อเพิ่มขึ้นσ 2 Y = n Σฉัน= 1 X ฉันY - n μμμ\muσ2σ2\sigma^2Y=∑i=1nXiY=∑i=1nXผม\displaystyle Y=\sum_{i=1}^n X_inY-nμnσ2−−-√ →d N( 0 , 1 )Y−nμnσ2 →d ยังไม่มีข้อความ(0,1)\displaystyle \dfrac{Y - n\mu}{\sqrt{n\sigma^2}} \ \xrightarrow{d}\ N(0,1)nnn ถ้าฉันสามารถพูดได้เช่นเมื่อเพิ่มขึ้น?Z - √Z= | Y|---√Z=|Y|Z=\sqrt{|Y|}nZ−n|μ|−σ24|μ|−−−−−−−−√σ24|μ|−−−√ →d N(0,1)Z−n|μ|−σ24|μ|σ24|μ| →d N(0,1)\displaystyle \dfrac{Z - …

11 normal-distribution  central-limit-theorem  sum 

mgcvแพคเกจสำหรับการRมีสองฟังก์ชั่นสำหรับการปฏิสัมพันธ์กระชับเมตริกซ์ผลิตภัณฑ์: และte() ti()ฉันเข้าใจการแบ่งขั้นพื้นฐานของการใช้แรงงานระหว่างคนทั้งสอง (ปรับให้เหมาะสมกับการทำงานแบบไม่เป็นเชิงเส้นเปรียบเทียบกับการย่อยสลายการโต้ตอบนี้เป็นผลกระทบหลักและการโต้ตอบ) สิ่งที่ฉันไม่เข้าใจคือสาเหตุte(x1, x2)และti(x1) + ti(x2) + ti(x1, x2)อาจให้ผลลัพธ์ที่แตกต่าง (เล็กน้อย) MWE (ดัดแปลงมาจาก?ti): require(mgcv) test1 <- function(x,z,sx=0.3,sz=0.4) { x <- x*20 (pi**sx*sz)*(1.2*exp(-(x-0.2)^2/sx^2-(z-0.3)^2/sz^2)+ 0.8*exp(-(x-0.7)^2/sx^2-(z-0.8)^2/sz^2)) } n <- 500 x <- runif(n)/20;z <- runif(n); xs <- seq(0,1,length=30)/20;zs <- seq(0,1,length=30) pr <- data.frame(x=rep(xs,30),z=rep(zs,rep(30,30))) truth <- matrix(test1(pr$x,pr$z),30,30) f <- test1(x,z) y <- f …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

ในระบบแนะนำที่ทันสมัยทั้งหมดที่ฉันได้เห็นว่าต้องอาศัยการแยกตัวประกอบแบบเมทริกซ์การแยกตัวประกอบแบบเมทริกซ์ที่ไม่เป็นลบจะดำเนินการกับเมทริกซ์ภาพยนตร์ผู้ใช้ ฉันสามารถเข้าใจได้ว่าทำไมการไม่ปฏิเสธมีความสำคัญต่อการตีความและ / หรือถ้าคุณต้องการปัจจัยที่กระจัดกระจาย แต่ถ้าคุณสนใจเฉพาะการคาดการณ์เท่านั้นเช่นในการแข่งขันชิงรางวัล netflix ทำไมต้องกำหนดข้อ จำกัด ที่ไม่ปฏิเสธ ดูเหมือนว่าจะเลวร้ายยิ่งกว่าการอนุญาตให้มีค่าลบในการแยกตัวประกอบของคุณ กระดาษนี้เป็นหนึ่งในตัวอย่างที่อ้างถึงอย่างสูงของการใช้ตัวประกอบเมทริกซ์ที่ไม่เป็นลบในการกรองร่วมกัน

11 recommender-system  svd  matrix-decomposition  nnmf