คำถามติดแท็ก covariance

ขณะนี้ฉันกำลังเรียนรู้เกี่ยวกับการประมาณกำลังสองน้อยที่สุด (และอื่น ๆ ) สำหรับการถดถอยและจากสิ่งที่ฉันกำลังอ่านในวรรณกรรมอัลกอริทึมแบบปรับตัวบางครั้งมักใช้วลี "... และเนื่องจากพื้นผิวข้อผิดพลาดนูน ... " ปรากฏขึ้นและ ความลึกใด ๆ ที่เป็นสาเหตุว่าทำไมจึงต้องมีการนูนเพื่อเริ่มต้นด้วยไม่ว่าจะอยู่ที่ไหน ... ดังนั้นสิ่งที่ทำให้มันนูน ? ฉันพบว่าการละเลยซ้ำนี้น่ารำคาญเล็กน้อยเพราะฉันต้องการออกแบบอัลกอริธึมแบบปรับตัวเองพร้อมฟังก์ชั่นต้นทุนของตัวเอง แต่ถ้าฉันไม่สามารถบอกได้ว่าฟังก์ชั่นค่าใช้จ่ายของฉันส่งผลให้เกิดข้อผิดพลาดนูนหรือไม่ ไปไกลเกินกว่าที่จะใช้บางสิ่งบางอย่างเช่นการไล่ระดับสีแบบไล่ระดับเพราะจะไม่มีค่าขั้นต่ำระดับโลก บางทีฉันอาจต้องการที่จะสร้างสรรค์ - บางทีฉันอาจไม่ต้องการใช้กำลังสองน้อยที่สุดเป็นเกณฑ์ในข้อผิดพลาดของฉัน เมื่อขุดลึกลงไป (และคำถามของฉันเริ่มต้นที่นี่) ฉันพบว่าเพื่อให้สามารถบอกได้ว่าคุณมีพื้นผิวข้อผิดพลาดนูนหรือไม่คุณต้องตรวจสอบให้แน่ใจว่าเมทริกซ์ Hessianของคุณนั้นเป็นกึ่งบวกแน่นอน สำหรับการเข้าคู่แบบสมมาตรการทดสอบนี้ง่ายมาก - ตรวจสอบให้แน่ใจว่าค่าลักษณะเฉพาะทั้งหมดของเมทริกซ์ Hessian นั้นไม่เป็นลบ (หากเมทริกซ์ของคุณไม่สมมาตรคุณสามารถทำให้สมมาตรได้โดยการเพิ่มลงในทรานสโพสของตัวเองและทำการทดสอบค่าลักษณะเฉพาะเดียวกันโดยอาศัยอำนาจของGramianแต่นั่นไม่สำคัญเลย) Hessian matrix คืออะไร เมทริกซ์ของ Hessian ประมวลผลการผสมผสานระหว่างส่วนที่เป็นไปได้ของฟังก์ชันต้นทุนของคุณ มีกี่ Partials จำนวนคุณลักษณะในเวกเตอร์ฟีเจอร์ของคุณมากพอ ๆ วิธีคำนวณชิ้นงาน? ใช้อนุพันธ์บางส่วน 'ด้วยมือ' จากฟังก์ชันต้นทุนดั้งเดิม นั่นคือสิ่งที่ฉันทำ: ฉันคิดว่าเรามีเมทริกซ์ข้อมูลmmm x nnnซึ่งแสดงโดยเมทริกซ์XXXโดยที่mmmหมายถึงจำนวนตัวอย่างและnnnหมายถึงจำนวนคุณลักษณะต่อตัวอย่าง …

17 autocorrelation  covariance  least-squares  optimization 

ฉันพยายามที่จะคิดออกว่ามีความสัมพันธ์โดยตรงระหว่างแนวคิดเหล่านี้ อย่างเคร่งครัดจากคำจำกัดความพวกเขาดูเหมือนจะเป็นแนวคิดที่แตกต่างกันโดยทั่วไป ยิ่งฉันคิดถึงมันมากเท่าไหร่ฉันก็ยิ่งคิดว่าพวกมันคล้ายกันมากเท่านั้น ให้X,YX,YX,Yเป็นเวกเตอร์สุ่ม WSS ความแปรปรวนร่วมCXYCXYC_{XY}กำหนดโดยCXY=E[(X−μx)(Y−μy)H]CXY=E[(X−μx)(Y−μy)H]C_{XY}=E\left[(X-\mu_x)(Y-\mu_y)^H\right]โดยที่HHHหมายถึง Hermitian ของเวกเตอร์ ให้เป็นเวกเตอร์สุ่มของ WSS ฟังก์ชั่น autocorrelation, , มอบให้โดยZZZRXXRXXR_{XX}RZZ(τ)=E[(Z(n)−μz)(Z(n+τ)−μz)H]RZZ(τ)=E[(Z(n)−μz)(Z(n+τ)−μz)H]R_{ZZ}(\tau)=E\left[\left(Z(n)-\mu_z\right)\left(Z(n+\tau)-\mu_z\right)^H\right] แก้ไขหมายเหตุมีการแก้ไขคำจำกัดความนี้ตามที่ใช้กับการประมวลผลสัญญาณดูคำตอบของ Matt ด้านล่าง ความแปรปรวนร่วมไม่เกี่ยวข้องกับแนวคิดของเวลามันถือว่าแต่ละองค์ประกอบของเวกเตอร์แบบสุ่มเป็นการก่อให้เกิดความแตกต่างของเครื่องกำเนิดแบบสุ่ม ความสัมพันธ์อัตโนมัติถือว่าเวกเตอร์แบบสุ่มเป็นวิวัฒนาการเวลาของตัวสร้างแบบสุ่มเริ่มต้น แต่ในท้ายที่สุดแล้วพวกเขาทั้งสองเป็นเอนทิตีทางคณิตศาสตร์ที่เหมือนกันลำดับของตัวเลข ถ้าคุณปล่อยให้มันจะปรากฏขึ้นมีอะไรที่ฉันขาดหายไปอีกหรือเปล่า?X=Y=ZX=Y=ZX=Y=ZCXY=RZZCXY=RZZC_{XY}=R_{ZZ}

13 autocorrelation  covariance  proof 

ทุกครั้งที่ฉันคิดว่าฉันเข้าใจเมทริกซ์ความแปรปรวนร่วมแล้วบางคนก็คิดสูตรที่แตกต่างกัน ฉันกำลังอ่านเอกสารนี้: J. Benesty "อัลกอริธึม Adigenive eigenvalue decomposition สำหรับการแปลแหล่งกำเนิดเสียงแบบพาสซีฟ" , J. Acoust Soc Am เล่มที่107ฉบับที่ 1, หน้า 384-391 (2000) และฉันเจอสูตรที่ฉันไม่ค่อยเข้าใจ ที่นี่ผู้เขียนจะสร้างเมทริกซ์ความแปรปรวนร่วมระหว่างสองสัญญาณและx_2สัญญาณทั้งสองนั้นมาจากเซ็นเซอร์ที่แตกต่างกันx1x1x_1x2x2x_2 สำหรับเมทริกซ์ความแปรปรวนร่วมของสัญญาณเดียวฉันรู้ว่าเราสามารถหาได้โดยการคำนวณเมทริกซ์การถดถอยแล้วคูณมันด้วย Hermitian ของเมทริกซ์เดียวกันนั้นและหารด้วยความยาวของเวกเตอร์ดั้งเดิม ขนาดของเมทริกซ์ความแปรปรวนที่นี่สามารถ arbitrary มีขนาดสูงสุดเป็นNNNNN×NN×NN\times N สำหรับเมทริกซ์ความแปรปรวนร่วมของสัญญาณเชิงพื้นที่สองถ้าเราวางสัญญาณแรกในแถวแรกและสัญญาณที่สองในแถวที่สองของเมทริกซ์จากนั้นคูณด้วย Hermitian และหารด้วยแล้วเราจะได้คูณเมทริกซ์ความแปรปรวนร่วมของสัญญาณเชิงพื้นที่ทั้งคู่NNN2×22×22\times 2 อย่างไรก็ตามในบทความนี้ผู้เขียนคำนวณสิ่งที่มีลักษณะเหมือนสี่ matricies, , และแล้วใส่ลงในเมทริกซ์พิเศษและเรียกมันว่าเมทริกซ์ความแปรปรวนร่วม .R11,R12,R21R11,R12,R21R_1{}_1, R_1{}_2, R_2{}_1R22R22R_2{}_2 ทำไมถึงเป็นเช่นนั้น? นี่คือภาพของข้อความ:

9 covariance