ความต้องการสำหรับการจัดศูนย์กลางและข้อมูลที่เป็นมาตรฐานในการถดถอย

พิจารณาการถดถอยเชิงเส้นด้วยการทำให้เป็นมาตรฐาน: เช่นค้นหาที่ย่อเล็กสุด| | A x - b | | 2 + λ | | x | $x$$||Ax - b||^2+\lambda||x||_1$

โดยปกติคอลัมน์ของ A จะเป็นมาตรฐานที่จะมีค่าเฉลี่ยศูนย์และบรรทัดฐานของหน่วยในขณะที่ $b$อยู่ตรงกลางให้มีค่าเฉลี่ยเป็นศูนย์ ฉันต้องการตรวจสอบให้แน่ใจว่าการทำความเข้าใจเกี่ยวกับเหตุผลในการกำหนดมาตรฐานและการจัดกึ่งกลางถูกต้องหรือไม่

ด้วยการทำให้คอลัมน์และbเป็นศูนย์ทำให้เราไม่จำเป็นต้องมีคำดักจับอีกต่อไป มิฉะนั้นวัตถุประสงค์จะเป็น| | A x - x 0 1 - b | | 2 + λ | | x | | 1 . ด้วยการสร้างบรรทัดฐานของคอลัมน์ A เท่ากับ 1 เราจะลบความเป็นไปได้ของกรณีที่เพียงเพราะคอลัมน์หนึ่งคอลัมน์ A มีบรรทัดฐานสูงมากมันจะมีค่าสัมประสิทธิ์ต่ำในxซึ่งอาจทำให้เราสรุปได้ไม่ถูกต้องว่าคอลัมน์ของ A ไม่ "อธิบาย" $A$$b$$||Ax-x_01-b||^2+\lambda||x||_1$$x$$x$ดี

เหตุผลนี้ไม่เข้มงวดอย่างแน่นอน แต่สังหรณ์ใจว่าเป็นวิธีที่เหมาะสมที่จะคิด?

คุณถูกต้องเกี่ยวกับ zeroing วิธีการของคอลัมน์และ$A$$b$ข

อย่างไรก็ตามสำหรับการปรับเปลี่ยนบรรทัดฐานของคอลัมน์ให้พิจารณาว่าจะเกิดอะไรขึ้นถ้าคุณเริ่มต้นด้วยบรรทัดฐานAและองค์ประกอบทั้งหมดของxมีขนาดเท่ากัน แล้วให้เราคูณคอลัมน์หนึ่งโดยการพูด, 10 - 6 องค์ประกอบที่สอดคล้องกันของxในการถดถอยที่ไม่สม่ำเสมอนั้นจะเพิ่มขึ้นด้วยปัจจัย10 6 ดูว่าจะเกิดอะไรขึ้นกับข้อกำหนดการทำให้เป็นมาตรฐาน? การทำให้เป็นมาตรฐานจะใช้กับค่าสัมประสิทธิ์เดียวเท่านั้น $A$$A$$x$$10^{-6}$$x$$10^6$

โดยการสร้างบรรทัดฐานของคอลัมน์เราเขียนโดยสังหรณ์ใจทำให้คอลัมน์ทั้งหมดอยู่ในระดับเดียวกัน ดังนั้นความแตกต่างในขนาดขององค์ประกอบของxจะเกี่ยวข้องโดยตรงกับ "wigginess" ของฟังก์ชั่นการอธิบาย ( A x ) ซึ่งก็คือการพูดอย่างหลวม ๆ สิ่งที่เป็นมาตรฐานพยายามควบคุม โดยไม่ได้ค่าสัมประสิทธิ์การเช่น 0.1 เมื่อเทียบกับอีก 10.0 จะบอกคุณในกรณีที่ไม่มีความรู้เกี่ยวกับไม่มีอะไรเกี่ยวกับการที่ค่าสัมประสิทธิ์การได้รับการบริจาคมากที่สุดกับ "wiggliness" ของx (สำหรับฟังก์ชันเชิงเส้นเช่นA x "wigginess" เกี่ยวข้องกับการเบี่ยงเบนจาก 0)$A$$x$$Ax$$A$$Ax$$Ax$

เพื่อกลับไปยังคำอธิบายของคุณถ้าคอลัมน์หนึ่งของมีบรรทัดฐานสูงมากและด้วยเหตุผลบางอย่างที่ได้รับต่ำค่าสัมประสิทธิ์ในxเราจะไม่สรุปว่าคอลัมน์ของไม่ "อธิบาย" xดี Aไม่ได้ "อธิบาย" xเลย $A$$x$$A$$x$$A$$x$