ความเป็นมาและปัญหา

ฉันใช้กระบวนการแบบเกาส์ (GP) สำหรับการถดถอยและการปรับให้เหมาะสมแบบเบย์ (BO) ในภายหลัง สำหรับการถดถอยฉันใช้แพ็คเกจgpmlสำหรับ MATLAB ที่มีการแก้ไขที่กำหนดเองหลายอย่าง แต่ปัญหาเป็นเรื่องทั่วไป

มันเป็นความจริงที่รู้จักกันดีว่าเมื่ออินพุตการฝึกอบรมสองอันอยู่ใกล้กับพื้นที่อินพุตมากเกินไปเมทริกซ์ความแปรปรวนร่วมอาจไม่แน่นอนแน่นอน (มีคำถามหลายข้อเกี่ยวกับมันในเว็บไซต์นี้) เป็นผลให้การสลายตัว Cholesky ของเมทริกซ์ความแปรปรวนร่วมที่จำเป็นสำหรับการคำนวณ GP ต่างๆอาจล้มเหลวเนื่องจากข้อผิดพลาดเชิงตัวเลข เรื่องนี้เกิดขึ้นกับฉันในหลายกรณีเมื่อดำเนินการ BO พร้อมกับฟังก์ชั่นวัตถุประสงค์ที่ฉันใช้และฉันต้องการแก้ไข

โซลูชันที่เสนอ

AFAIK โซลูชันมาตรฐานเพื่อบรรเทาอาการป่วยไข้คือการเพิ่มสันเขาหรือนักเก็ตในแนวทแยงของเมทริกซ์ความแปรปรวนร่วม สำหรับการถดถอย GP จำนวนเสียงนี้จะเพิ่ม (หรือเพิ่มขึ้นหากมีอยู่) เสียงการสังเกต

จนถึงตอนนี้ดีมาก ฉันปรับเปลี่ยนรหัสสำหรับการอนุมานที่แน่นอนของgpmlดังนั้นเมื่อใดก็ตามที่การสลายตัวของ Cholesky ล้มเหลวฉันพยายามที่จะแก้ไขเมทริกซ์ความแปรปรวนร่วมกับเมทริกซ์สมการเชิงบวกสมมาตร (SPD) ที่ใกล้เคียงที่สุดในบรรทัดฐาน Frobenius แรงบันดาลใจจากรหัส MATLABโดย John d'Errico เหตุผลคือเพื่อลดการแทรกแซงในเมทริกซ์เดิม

วิธีแก้ปัญหานี้ทำงานได้ แต่ฉันสังเกตเห็นว่าประสิทธิภาพของ BO ลดลงอย่างมากสำหรับบางฟังก์ชั่น - อาจเป็นได้ทุกครั้งที่อัลกอริทึมจำเป็นต้องซูมเข้าในบางพื้นที่ (เช่นเนื่องจากใกล้เข้าใกล้ระดับต่ำสุด ปัญหามีขนาดเล็กไม่สม่ำเสมอ) พฤติกรรมนี้เหมาะสมเมื่อฉันเพิ่มสัญญาณรบกวนอย่างมีประสิทธิภาพเมื่อใดก็ตามที่จุดอินพุตสองจุดเข้าใกล้เกินไป แต่แน่นอนว่ามันไม่เหมาะ อีกทางหนึ่งฉันสามารถลบจุดที่เป็นปัญหาได้ แต่อีกครั้งบางครั้งฉันต้องการจุดเข้าให้ปิด

คำถาม

ฉันไม่คิดว่าปัญหาเชิงตัวเลขของ Cholesky ในการแปลงเมทริกซ์ความแปรปรวนร่วมของ GP เป็นปัญหาที่แปลกใหม่ แต่ที่แปลกใจของฉันฉันไม่พบวิธีแก้ไขปัญหามากมายนอกเหนือจากการเพิ่มจุดรบกวนหรือลบจุดที่อยู่ใกล้กันเกินไป ในทางตรงกันข้ามมันเป็นความจริงที่ว่าฟังก์ชั่นบางอย่างของฉันนั้นค่อนข้างประพฤติตัวไม่ดีดังนั้นบางทีสถานการณ์ของฉันก็ไม่ได้เป็นแบบนั้น

ข้อเสนอแนะ / การอ้างอิงใด ๆ ที่อาจมีประโยชน์ที่นี่?

อีกทางเลือกหนึ่งคือการเฉลี่ยคะแนนที่ก่อให้เกิด - ตัวอย่างเช่นถ้าคุณมี 1,000 คะแนนและ 50 ประเด็นที่ทำให้เกิดปัญหาคุณสามารถใช้การประมาณอันดับต่ำสุดที่เหมาะสมโดยใช้ 950 ค่าแรก / เวกเตอร์ อย่างไรก็ตามนี่ไม่ได้เป็นการปิดการถอดชุดข้อมูลซึ่งอยู่ใกล้กันซึ่งคุณบอกว่าคุณไม่ต้องการทำ โปรดระลึกไว้เสมอว่าเมื่อคุณเพิ่มความกระวนกระวายใจคุณจะลดระดับความอิสระ - นั่นคือแต่ละประเด็นมีผลต่อการทำนายของคุณน้อยลงดังนั้นสิ่งนี้อาจแย่กว่าการใช้คะแนนที่น้อยลง

อีกทางเลือกหนึ่ง (ซึ่งโดยส่วนตัวแล้วฉันคิดว่าเรียบร้อย) คือการรวมสองจุดเข้าด้วยกันอย่างชาญฉลาด ตัวอย่างเช่นคุณสามารถใช้ 2 คะแนนและรวมเข้าเป็นหนึ่งเดียว แต่ใช้เพื่อกำหนดการประมาณสำหรับการไล่ระดับสีด้วย เพื่อรวมข้อมูลการไล่ระดับสีทั้งหมดที่คุณต้องการจากเคอร์เนลของคุณคือการหาและ') อนุพันธ์มักจะไม่มีความสัมพันธ์กับการสังเกตของพวกเขาดังนั้นคุณจะไม่พบปัญหาเกี่ยวกับการปรับสภาพและเก็บข้อมูลท้องถิ่น$dxk(x,x')$$dxdx'k(x,x')$

แก้ไข:

จากความคิดเห็นที่ฉันคิดว่าฉันจะอธิบายสิ่งที่ฉันหมายถึงโดยรวมถึงการสังเกตอนุพันธ์ ถ้าเราใช้เคอร์เนลเกาส์เซียน (เป็นตัวอย่าง)

$k_{x,x'} = k(x, x') = \sigma\exp(-\frac{(x-x')^2}{l^2})$

อนุพันธ์ของมันคือ

$k_{dx,x'} =\frac{dk(x, x')}{dx} = - \frac{2(x-x')}{l^2} \sigma\exp(-\frac{(x-x')^2}{l^2})$

$k_{dx,dx'} =\frac{d^2k(x, x')}{dxdx'} = 2 \frac{l^2 - 2(x-x')}{l^4} \sigma\exp(-\frac{(x-x')^2}{l^2})$

ตอนนี้ให้เราสมมติว่าเรามีจุดข้อมูลและอนุพันธ์ที่ซึ่งผมจะเรียกm_1$\{x_i, y_i ; i = 1,...,n \}$$x_1$$m_1$

Letแล้วเราใช้ GP มาตรฐานเดียวกับเมทริกซ์ความแปรปรวนเป็น$Y = [m_1, y_1, \dots, y_n]$

$K = \left( \begin{array}{cccc} k_{dx_0,dx_0} & k_{dx_0,x_0} & \dots & k_{dx_0,x_n} \\ k_{dx_0,x_0} & k_{x_0,x_0} & \dots & k_{x_0,x_n} \\ \vdots & \vdots & \ddots & \vdots \\ k_{dx_0,x_n} & k_{x_0,x_n} & \dots & k_{x_n,x_n} \end{array} \right)$

ส่วนที่เหลือของ GP เหมือนกันตามปกติ

ทางออกหนึ่งที่เราได้ทำกันที่ออฟฟิศก็คือการแก้ไขจุดที่ยุ่งยาก สิ่งนี้สามารถอยู่ในรูปของการลบแบบตรงหรือสิ่งที่ซับซ้อนกว่า โดยพื้นฐานแล้วการสังเกตก็คือจุดที่อยู่ใกล้กันนั้นมีความซ้ำซ้อนสูง: ในความเป็นจริงแล้วซ้ำซ้อนดังนั้นพวกเขาจึงลดอันดับของเมทริกซ์ความแปรปรวนร่วม ด้วยโทเค็นเดียวกันมีอยู่จุดหนึ่งที่ให้ข้อมูลเล็ก ๆ น้อย ๆ กับปัญหาในมืออยู่แล้วดังนั้นให้ลบอย่างใดอย่างหนึ่ง (หรือทำอย่างอื่นเช่นค่าเฉลี่ยพวกเขาหรือ "ตีกลับ" หนึ่งจุดห่างจากที่อื่นเพื่อระยะทางที่ยอมรับน้อยที่สุด) ไม่ได้เปลี่ยนวิธีการแก้ปัญหาของคุณทั้งหมดที่มาก

ฉันไม่แน่ใจว่าจะตัดสินได้อย่างไรว่าจุดใดที่จุดทั้งสองกลายเป็น "ใกล้เกินไป" บางทีนี่อาจเป็นตัวเลือกการปรับแต่งที่เหลือให้กับผู้ใช้

(อุ๊ปส์! หลังจากที่ฉันโพสต์สิ่งนี้ฉันพบคำถามของคุณที่นี่ซึ่งทำให้คำตอบนี้เป็นคำตอบที่ละเอียดยิ่งขึ้นฉันหวังว่าการเชื่อมโยงไปยังคำตอบของฉันจะช่วย SEO ... )