คำถามติดแท็ก gaussian-process

ความเป็นมาและปัญหา ฉันใช้กระบวนการแบบเกาส์ (GP) สำหรับการถดถอยและการปรับให้เหมาะสมแบบเบย์ (BO) ในภายหลัง สำหรับการถดถอยฉันใช้แพ็คเกจgpmlสำหรับ MATLAB ที่มีการแก้ไขที่กำหนดเองหลายอย่าง แต่ปัญหาเป็นเรื่องทั่วไป มันเป็นความจริงที่รู้จักกันดีว่าเมื่ออินพุตการฝึกอบรมสองอันอยู่ใกล้กับพื้นที่อินพุตมากเกินไปเมทริกซ์ความแปรปรวนร่วมอาจไม่แน่นอนแน่นอน (มีคำถามหลายข้อเกี่ยวกับมันในเว็บไซต์นี้) เป็นผลให้การสลายตัว Cholesky ของเมทริกซ์ความแปรปรวนร่วมที่จำเป็นสำหรับการคำนวณ GP ต่างๆอาจล้มเหลวเนื่องจากข้อผิดพลาดเชิงตัวเลข เรื่องนี้เกิดขึ้นกับฉันในหลายกรณีเมื่อดำเนินการ BO พร้อมกับฟังก์ชั่นวัตถุประสงค์ที่ฉันใช้และฉันต้องการแก้ไข โซลูชันที่เสนอ AFAIK โซลูชันมาตรฐานเพื่อบรรเทาอาการป่วยไข้คือการเพิ่มสันเขาหรือนักเก็ตในแนวทแยงของเมทริกซ์ความแปรปรวนร่วม สำหรับการถดถอย GP จำนวนเสียงนี้จะเพิ่ม (หรือเพิ่มขึ้นหากมีอยู่) เสียงการสังเกต จนถึงตอนนี้ดีมาก ฉันปรับเปลี่ยนรหัสสำหรับการอนุมานที่แน่นอนของgpmlดังนั้นเมื่อใดก็ตามที่การสลายตัวของ Cholesky ล้มเหลวฉันพยายามที่จะแก้ไขเมทริกซ์ความแปรปรวนร่วมกับเมทริกซ์สมการเชิงบวกสมมาตร (SPD) ที่ใกล้เคียงที่สุดในบรรทัดฐาน Frobenius แรงบันดาลใจจากรหัส MATLABโดย John d'Errico เหตุผลคือเพื่อลดการแทรกแซงในเมทริกซ์เดิม วิธีแก้ปัญหานี้ทำงานได้ แต่ฉันสังเกตเห็นว่าประสิทธิภาพของ BO ลดลงอย่างมากสำหรับบางฟังก์ชั่น - อาจเป็นได้ทุกครั้งที่อัลกอริทึมจำเป็นต้องซูมเข้าในบางพื้นที่ (เช่นเนื่องจากใกล้เข้าใกล้ระดับต่ำสุด ปัญหามีขนาดเล็กไม่สม่ำเสมอ) พฤติกรรมนี้เหมาะสมเมื่อฉันเพิ่มสัญญาณรบกวนอย่างมีประสิทธิภาพเมื่อใดก็ตามที่จุดอินพุตสองจุดเข้าใกล้เกินไป แต่แน่นอนว่ามันไม่เหมาะ …

12 regression  covariance-matrix  gaussian-process  bayesian-optimization 

ฉันเชื่อว่าอนุพันธ์ของกระบวนการเกาส์เซียน (GP) เป็นอีก GP และฉันอยากรู้ว่ามีสมการแบบปิดสำหรับสมการทำนายของอนุพันธ์ของ GP หรือไม่? โดยเฉพาะอย่างยิ่งฉันใช้กำลังสองชี้แจง (หรือที่เรียกว่า Gaussian) ความแปรปรวนร่วมและต้องการทราบเกี่ยวกับการทำนายเกี่ยวกับอนุพันธ์ของกระบวนการแบบเกาส์

12 stochastic-processes  gaussian-process  derivative 

ฉันกำลังฝึกอบรมกระบวนการเกาส์เซียนด้วยเคอร์เนล ARD ที่มีพารามิเตอร์จำนวนมากโดยการเพิ่มความเป็นไปได้ของข้อมูลให้น้อยที่สุดแทนที่จะเป็นการตรวจสอบข้าม ฉันสงสัยว่ามันกระชับเกินไป ฉันจะทดสอบข้อสงสัยนี้ได้อย่างไรในบริบทของเบย์

12 machine-learning  cross-validation  gaussian-process 

กระบวนการแบบเกาส์ใช้กันอย่างแพร่หลายโดยเฉพาะอย่างยิ่งในการแข่งขัน เป็นที่ทราบกันดีว่าความต้องการการคำนวณสูง ( )0(n3)0(n3)0(n^3) อะไรทำให้พวกเขาโด่งดัง อะไรคือข้อได้เปรียบหลักและซ่อนเร้นของพวกเขา? เหตุใดพวกเขาจึงใช้โมเดลพาราเมตริก (โดยโมเดลพาราเมทริกฉันหมายถึงการถดถอยเชิงเส้นแบบทั่วไปซึ่งรูปแบบพาราเมทริกที่แตกต่างกันสามารถใช้อธิบายแนวโน้มอินพุทและเอาท์พุท; เช่น qaudratic) ฉันขอขอบคุณคำตอบทางเทคนิคที่อธิบายคุณสมบัติโดยธรรมชาติที่ทำให้กระบวนการแบบเกาส์แตกต่างและมีประโยชน์

11 gaussian-process 

ฉันใช้กระบวนการ Gaussian (GP) สำหรับการถดถอย ในปัญหาของฉันมันเป็นเรื่องธรรมดาสำหรับจุดข้อมูลสองจุดหรือมากกว่าx⃗ ( 1 ), x⃗ ( 2 ), ...x→(1),x→(2),...\vec{x}^{(1)},\vec{x}^{(2)},\ldotsเพื่อให้ใกล้ชิดกันมากกว่าความยาวของปัญหา นอกจากนี้การสังเกตอาจมีเสียงดังมาก เพื่อเพิ่มความเร็วในการคำนวณและปรับปรุงความแม่นยำในการวัดดูเหมือนว่าเป็นธรรมชาติที่จะรวม / รวมกลุ่มของจุดที่อยู่ใกล้กันตราบใดที่ฉันสนใจการคาดการณ์ในระดับความยาวที่มากขึ้น ฉันสงสัยว่าอะไรคือวิธีที่รวดเร็ว แต่มีหลักการครึ่งหนึ่งในการทำสิ่งนี้ ถ้าสองจุดข้อมูลที่ดีที่สุดที่ทับซ้อนกันและเสียงการสังเกต (เช่นความน่าจะเป็น) เป็น Gaussian อาจ heteroskedastic แต่ที่รู้จักกัน , วิธีธรรมชาติของการดำเนินการต่อดูเหมือนจะรวมไว้ในจุดข้อมูลเดียวด้วย:x⃗ ( 1 )= x⃗ ( 2 )x→(1)=x→(2)\vec{x}^{(1)} = \vec{x}^{(2)} x¯⃗ ≡ x⃗ ( k )x¯→≡x→(k)\vec{\bar{x}} \equiv \vec{x}^{(k)}สำหรับkk = 1 , 2k=1,2k=1,2 ค่าที่สังเกตซึ่งเป็นค่าเฉลี่ยของค่าที่สังเกตได้ถ่วงน้ำหนักด้วยความแม่นยำสัมพัทธ์:{(2)} …

11 regression  machine-learning  gaussian-process 

ฉันต้องการจำลองกระบวนการทัศนศึกษาแบบบราวเนียน (การเคลื่อนไหวแบบบราวเนียนที่ปรับเงื่อนไขจะเป็นค่าบวกเสมอเมื่อถึงที่ ) เนื่องจากกระบวนการทัศนศึกษา Brownian เป็นสะพาน Brownian ที่มีเงื่อนไขว่าจะเป็นบวกอยู่เสมอฉันจึงหวังที่จะจำลองการเคลื่อนที่ของทัศนศึกษา Brownian โดยใช้สะพาน Brownian0 t = 10<t<10<t<10 \lt t \lt 1000t=1t=1t=1 ใน R ฉันใช้แพ็คเกจ 'e1017' เพื่อจำลองกระบวนการบราวเนียนบริดจ์ ฉันจะใช้กระบวนการบราวน์บราวน์นี้เพื่อสร้างการเดินทางแบบบราวเนียนได้อย่างไร

11 r  gaussian-process  brownian 

ฉันกำลังทำ ML ที่มหาวิทยาลัยของฉันและอาจารย์พูดถึงคำว่า Expectation (E) ในขณะที่เขาพยายามอธิบายบางอย่างเกี่ยวกับกระบวนการแบบเกาส์ แต่จากวิธีที่เขาอธิบายฉันเข้าใจว่า E นั้นเหมือนกับค่าเฉลี่ยμ ฉันเข้าใจถูกมั้ย ถ้าเหมือนกันคุณรู้หรือไม่ว่าทำไมจึงใช้สัญลักษณ์ทั้งสอง ฉันก็เห็นว่า E สามารถใช้เป็นฟังก์ชั่นเช่น E ( ) แต่ฉันไม่เห็นว่าสำหรับμx2x2x^2 ใครสามารถช่วยฉันเข้าใจความแตกต่างระหว่างทั้งสองได้ดีกว่ากัน?

11 machine-learning  gaussian-process  linear-algebra 

ฉันต้องการใช้การถดถอยแบบเกาส์แบบขั้นตอนแบบเพิ่มโดยใช้หน้าต่างแบบเลื่อนผ่านจุดข้อมูลที่มาถึงแบบทีละรายการผ่านสตรีม ให้แทนมิติของพื้นที่อินพุต ดังนั้นทุกจุดข้อมูลมีองค์ประกอบจำนวนdddxixix_iddd ให้เป็นขนาดของหน้าต่างเลื่อนnnn ในการคาดคะเนฉันต้องคำนวณค่าผกผันของแกรมเมทริกซ์โดยที่และ k เป็นเคอร์เนลเอ็กซ์เชียลกำลังสองKKKKij=k(xi,xj)Kij=k(xi,xj)K_{ij} = k(x_i, x_j) เพื่อหลีกเลี่ยงการเพิ่มขึ้นของ K กับจุดข้อมูลใหม่ทุกจุดฉันคิดว่าฉันสามารถลบจุดข้อมูลที่เก่าที่สุดก่อนที่จะเพิ่มจุดใหม่และด้วยวิธีนี้ฉันจะป้องกันไม่ให้กรัมเติบโตขึ้น ยกตัวอย่างเช่นปล่อยให้โดยที่คือความแปรปรวนร่วมของน้ำหนักและเป็นฟังก์ชันการทำแผนที่โดยปริยายโดยเคอร์เนล exponential กำลังสองK=ϕ(X)TΣϕ(X)K=ϕ(X)TΣϕ(X)K = \phi(X)^{T}\Sigma\phi(X)ΣΣ\Sigmaϕϕ\phi ตอนนี้ให้ ] และโดยที่คือคูณคอลัมน์เมทริกซ์X=[xt−n+1|xt−n+2|...|xtX=[xt−n+1|xt−n+2|...|xtX=[x_{t-n+1}|x_{t-n+2}|...|x_{t}Xnew=[xt−n+2|...|xt|xt+1]Xnew=[xt−n+2|...|xt|xt+1]X_{new}=[x_{t-n+2}|...|x_{t}|x_{t+1}]xxxddd111 ฉันจำเป็นต้องใช้วิธีที่มีประสิทธิภาพเพื่อหาสิ่งที่อาจใช้Kสิ่งนี้ดูเหมือนจะไม่ตรงกันข้ามกับปัญหาเมทริกซ์ที่ได้รับการปรับปรุงอันดับ 1 ที่สามารถจัดการกับสูตร Sherman-Morrison ได้อย่างมีประสิทธิภาพK−1newKnew−1K_{new}^{-1}KKK

11 regression  covariance  gaussian-process  linear-algebra  online 

ฟังก์ชันต่อเนื่องใด ๆ ใน [a, b] ซึ่ง a และ b เป็นตัวเลขจริงสามารถประมาณหรือใกล้กับฟังก์ชัน (ในบางบรรทัดฐาน) โดยกระบวนการ Gaussian (การถดถอย) ได้หรือไม่?

10 gaussian-process  approximation 

ฉันมีเวลายากที่จะเข้าใจความแตกต่างระหว่างกระบวนการ kriging และ gaussian คืออะไร ฉันหมายถึงวิกิบอกว่าพวกเขาเหมือนกัน แต่สูตรการทำนายแตกต่างกันมาก ฉันสับสนเล็กน้อยว่าทำไมพวกเขาถึงเรียกว่าคล้ายกัน ชี้แจง?

10 gaussian-process 

อะไรคือกลยุทธ์ที่ดีสำหรับการดำเนินการถดถอยแบบเกาส์เมื่อฟังก์ชั่นที่ฉันพยายามประมาณการเปลี่ยนแปลงอยู่ตลอดเวลา? วิธีการไร้เดียงสาที่เกิดขึ้นในใจของฉันคือใช้เฉพาะจุดข้อมูลล่าสุด N เพื่อทำการถดถอย กลยุทธ์ที่ดีกว่าคืออะไร

10 regression  online  gaussian-process 

ฉันได้รับการเรียนรู้เกี่ยวกับกระบวนการ Gaussian ถดถอยจากวิดีโอออนไลน์และเอกสารประกอบการบรรยายความเข้าใจของฉันก็คือว่าถ้าเรามีชุดข้อมูลที่มีจุดแล้วเราถือว่าข้อมูลที่มีการเก็บตัวอย่างจากมิติหลายตัวแปรแบบเกาส์ ดังนั้นคำถามของฉันคือในกรณีที่คือ 10 ในล้านคนการถดถอยของกระบวนการแบบเกาส์ยังคงใช้ได้ เคอร์เนลเมทริกซ์จะไม่แสดงผลขนาดใหญ่กระบวนการอย่างสมบูรณ์หรือไม่ ถ้าเป็นเช่นนั้นมีเทคนิคในการจัดการกับสิ่งนี้เช่นการสุ่มตัวอย่างจากชุดข้อมูลซ้ำ ๆ หลาย ๆ ครั้งหรือไม่ วิธีการที่ดีในการจัดการกับกรณีดังกล่าวมีอะไรบ้าง nnnnnnnnn

10 machine-learning  probability  inference  gaussian-process  multivariate-regression 

แค่อยากจะดูว่าใครมีประสบการณ์ใด ๆ ที่ใช้การถดถอยแบบเกาส์กระบวนการ (GPR) กับชุดข้อมูลมิติสูง ฉันกำลังดูวิธีการ GPR แบบกระจัดกระจายบางอย่าง (เช่นแบบ spse pseudo-inputs GPR) เพื่อดูว่าอะไรสามารถใช้งานได้กับชุดข้อมูลมิติสูงที่การเลือกคุณสมบัติเป็นส่วนหนึ่งของกระบวนการเลือกพารามิเตอร์ ข้อเสนอแนะใด ๆ เกี่ยวกับเอกสาร / รหัส / หรือวิธีการต่างๆที่จะลองแน่นอนชื่นชม ขอบคุณ

10 machine-learning  predictive-models  large-data  gaussian-process 

ฉันกำลังอ่านบทความนี้และฉันมีปัญหาในการติดตามสมการสำหรับการถดถอยแบบเกาส์กระบวนการ พวกเขาใช้การตั้งค่าและสัญกรณ์ของรัสมุสและวิลเลียมส์ ดังนั้นสารเติมแต่งศูนย์เฉลี่ยนิ่งและกระจายตามปกติเสียงที่มีความแปรปรวนจะสันนิษฐาน:σ2noiseσnoise2\sigma^2_{noise} y=f(x)+ϵ,ϵ∼N(0,σ2noise)y=f(x)+ϵ,ϵ∼N(0,σnoise2)y=f(\mathbf{x})+\epsilon, \quad \epsilon\sim N(0,\sigma^2_{noise}) GP ก่อนที่มีค่าเฉลี่ยศูนย์จะถือว่าเป็นซึ่งหมายความว่า ,เป็นเวกเตอร์แบบเกาส์ที่มีค่าเฉลี่ย 0 และเมทริกซ์ความแปรปรวนร่วมf(x)f(x)f(\mathbf{x})∀ d∈N∀ d∈N\forall \ d\in Nf={f(x1),…,f(xd)}f={f(x1),…,f(xd)}\mathbf{f}=\{f(\mathbf{x_1}),\dots,f(\mathbf{x_d})\} Σd=⎛⎝⎜⎜k(x1,x1)k(xd,x1)⋱k(x1,xd)k(xd,xd)⎞⎠⎟⎟Σd=(k(x1,x1)k(x1,xd)⋱k(xd,x1)k(xd,xd))\Sigma_d=\pmatrix{k(\mathbf{x_1},\mathbf{x_1})& & k(\mathbf{x_1},\mathbf{x_d}) \\ & \ddots & \\k(\mathbf{x_d},\mathbf{x_1})& & k(\mathbf{x_d},\mathbf{x_d}) } จากนี้ไปเราจะสันนิษฐานว่าเป็นที่รู้จักกันในนามพารามิเตอร์ จากนั้นเห็นได้ชัดว่า Eq. (4) ของกระดาษ: p(f,f∗)=N(0,(Kf,fKf∗,fKf∗,fKf∗,f∗))p(f,f∗)=N(0,(Kf,fKf∗,fKf∗,fKf∗,f∗))p(\mathbf{f},\mathbf{f^*})=N\left(0,\pmatrix { K_{\mathbf{f},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f}} \\K_{\mathbf{f^*},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f^*}}} \right) มาที่นี่ข้อสงสัย: สมการ (5): p(y|f)=N(f,σ2noiseI)p(y|f)=N(f,σnoise2I)p(\mathbf{y}|\mathbf{f})=N\left(\mathbf{f},\sigma^2_{noise}I \right) E[f]=0E[f]=0E[\mathbf{f}]=0แต่ฉันเดา เพราะเมื่อฉันมีเงื่อนไขในแล้ว โดยที่เป็นเวกเตอร์คงที่และมีเพียง …

9 regression  bayesian  gaussian-process 

ฉันกำลังพยายามที่จะได้รับปรีชาสำหรับการถดถอยแบบเกาส์กระบวนการดังนั้นฉันจึงสร้างปัญหาของเล่น 1D แบบง่ายๆเพื่อทดลองใช้ ฉันใช้เป็นอินพุตและเป็นคำตอบ ('ได้แรงบันดาลใจ' จากy = x ^ 2 )xผม= { 1 , 2 , 3 }xi={1,2,3}x_i=\{1,2,3\}Yผม= { 1 , 4 , 9 }yi={1,4,9}y_i=\{1,4,9\}Y=x2y=x2y=x^2 สำหรับการถดถอยฉันใช้ฟังก์ชันเคอร์เนลเอ็กซ์โพเนนเชียลกำลังสองมาตรฐาน: เค(xพี,xQ) =σ2ฉประสบการณ์( -12ล.2|xพี-xQ|2)k(xp,xq)=σf2exp⁡(−12l2|xp−xq|2)k(x_p,x_q)=\sigma_f^2 \exp \left( - \frac{1}{2l^2} \left|x_p-x_q\right|^2 \right) ฉันสันนิษฐานว่ามีเสียงรบกวนพร้อมค่าเบี่ยงเบนมาตรฐานσnσn\sigma_nดังนั้นเมทริกซ์ความแปรปรวนร่วมจึงกลายเป็น: Kหน้าq= k (xพี,xQ) +σ2nδหน้าqKpq=k(xp,xq)+σn2δpqK_{pq} = k(x_p,x_q) + \sigma_n^2 \delta_{pq} hyperparameters (σn, l ,σฉ)(σn,l,σf)(\sigma_n,l,\sigma_f)อยู่ที่ประมาณโดยการเพิ่มโอกาสในการเข้าสู่ระบบของข้อมูล เพื่อให้การคาดการณ์ที่จุดx⋆x⋆x_\starฉันพบค่าเฉลี่ยและความแปรปรวนตามลำดับโดยต่อไปนี้ …

9 regression  gaussian-process