อะไรจะทำให้ PCA เสื่อมเสียผลลัพธ์ของตัวจําแนก?

ฉันมีตัวจําแนกที่ฉันทําการตรวจสอบความถูกต้องข้ามพร้อมกับคุณสมบัติหนึ่งร้อยหรือมากกว่านั้นที่ฉันกําลังเลือกไปข้างหน้าเพื่อค้นหาชุดค่าผสมที่เหมาะสม ฉันยังเปรียบเทียบสิ่งนี้กับการเรียกใช้การทดสอบเดียวกันกับ PCA ซึ่งฉันใช้คุณสมบัติที่เป็นไปได้ใช้ SVD แปลงสัญญาณดั้งเดิมไปยังพื้นที่พิกัดใหม่และใช้คุณสมบัติอันดับสูงสุดในกระบวนการเลือกไปข้างหน้าของฉัน$k$

สัญชาตญาณของฉันคือ PCA จะปรับปรุงผลลัพธ์เนื่องจากสัญญาณจะเป็น "ข้อมูล" มากกว่าคุณลักษณะดั้งเดิม ความเข้าใจอันไร้เดียงสาของฉันเกี่ยวกับ PCA ทำให้ฉันมีปัญหาหรือไม่? ทุกคนสามารถแนะนำสาเหตุทั่วไปบางประการที่ทำให้ PCA อาจปรับปรุงผลลัพธ์ในบางสถานการณ์ แต่แย่ลงในกรณีอื่น ๆ

พิจารณากรณีการง่ายยกมาจากที่ยอดเยี่ยมและ undervalued บทความ"หมายเหตุเกี่ยวกับการใช้งานขององค์ประกอบหลักในการถดถอย"

สมมติว่าคุณมีเพียงสองคุณสมบัติ (ปรับขนาดและไม่มีความหมาย) แสดงว่าพวกเขาและมีความสัมพันธ์เชิงบวกเท่ากับ 0.5, จัดชิดในและตัวแปรตอบสนองที่สามคุณต้องการจัดประเภท สมมติว่าการจัดหมวดหมู่ของจะถูกกำหนดอย่างเต็มที่โดยสัญลักษณ์ของx_2x 2 X Y Y x 1 - x $x_1$$x_2$$X$$Y$$Y$$x_1 - x_2$

การแสดง PCA บนทำให้เกิดคุณลักษณะใหม่ (เรียงลำดับตามความแปรปรวน)เนื่องจาก2 ดังนั้นหากคุณลดขนาดของคุณเหลือ 1 เช่นองค์ประกอบหลักตัวแรกคุณจะทิ้งโซลูชันที่แน่นอนไว้ในการจำแนกประเภทของคุณ![ x 1 + x 2 , x 1 - x 2 ] Var ( x 1 + x 2 ) = 1 + 1 + 2 ρ > Var ( x 1 - x 2 ) = 2 - 2 $X$$[x_1 + x_2, x_1 - x_2]$$\operatorname{Var}( x_1 + x_2 ) = 1 + 1 + 2\rho > \operatorname{Var}(x_1 - x_2 ) = 2 - 2\rho$

ปัญหาเกิดขึ้นเนื่องจาก PCA คือไม่เชื่อเรื่องพระเจ้าYน่าเสียดายที่หนึ่งไม่สามารถรวมใน PCA ได้เนื่องจากจะทำให้ข้อมูลรั่วไหล$Y$$Y$

การรั่วไหลของข้อมูลคือเมื่อเมทริกซ์ของคุณถูกสร้างขึ้นโดยใช้ตัวทำนายเป้าหมายที่เป็นปัญหาดังนั้นการทำนายใด ๆ ที่ไม่อยู่ในกลุ่มตัวอย่างจะเป็นไปไม่ได้$X$

ตัวอย่างเช่น: ในอนุกรมเวลาทางการเงินพยายามทำนายการปิดบัญชีสิ้นวันของยุโรปซึ่งเกิดขึ้นเวลา 11:00 น. EST โดยใช้การปิดบัญชีสิ้นวันแบบอเมริกันเวลา 16:00 น. EST เป็นการรั่วไหลของข้อมูลตั้งแต่อเมริกันปิด ซึ่งเกิดขึ้นในเวลาต่อมาได้รวมราคาปิดของยุโรปไว้ด้วย

มีคำอธิบายทางเรขาคณิตอย่างง่าย ลองตัวอย่างต่อไปนี้ใน R และจำได้ว่าองค์ประกอบหลักแรกเพิ่มความแปรปรวนสูงสุด

library(ggplot2)

n <- 400
z <- matrix(rnorm(n * 2), nrow = n, ncol = 2)
y <- sample(c(-1,1), size = n, replace = TRUE)

# PCA helps
df.good <- data.frame(
    y = as.factor(y), 
    x = z + tcrossprod(y, c(10, 0))
)
qplot(x.1, x.2, data = df.good, color = y) + coord_equal()

# PCA hurts
df.bad <- data.frame(
    y = as.factor(y), 
    x = z %*% diag(c(10, 1), 2, 2) + tcrossprod(y, c(0, 8))
)
qplot(x.1, x.2, data = df.bad, color = y) + coord_equal()

PCA ช่วย

ทิศทางของความแปรปรวนสูงสุดเป็นแนวนอนและชั้นเรียนจะถูกแยกออกในแนวนอน

PCA เจ็บ

ทิศทางของความแปรปรวนสูงสุดเป็นแนวนอน แต่คลาสจะถูกแยกออกในแนวตั้ง

PCA เป็นเส้นตรงมันเจ็บเมื่อคุณต้องการดูการอ้างอิงเชิงเส้นที่ไม่ใช่

PCA ในภาพเป็นเวกเตอร์:

Non algorithm algorithm (NLDR) ที่ลดขนาดภาพลงเป็น 2 มิติการหมุนและขนาด:

ข้อมูลเพิ่มเติม: http://en.wikipedia.org/wiki/Nonlinear_dimensionality_reduction

ผมเห็นคำถามแล้วมีคำตอบที่ได้รับการยอมรับ แต่อยากจะแบ่งปันนี้กระดาษที่พูดคุยเกี่ยวกับการใช้ PCA สำหรับการเปลี่ยนแปลงคุณลักษณะก่อนการจัดหมวดหมู่

ข้อความกลับบ้าน (ซึ่งแสดงให้เห็นอย่างสวยงามในคำตอบของ @ vqv) คือ:

การวิเคราะห์องค์ประกอบหลัก (PCA) ขึ้นอยู่กับการแยกแกนซึ่งข้อมูลแสดงให้เห็นถึงความแปรปรวนสูงสุด แม้ว่า PCA จะ“ กระจายข้อมูล” ออกไปในรูปแบบใหม่และสามารถช่วยได้มากในการเรียนรู้ที่ไม่มีผู้ดูแล แต่ไม่มีการรับประกันว่าแกนใหม่นั้นสอดคล้องกับคุณสมบัติการจำแนกในปัญหาการจำแนก (ภายใต้การดูแล)

สำหรับผู้ที่สนใจถ้าคุณดูที่หมวด 4 ผลการทดลองพวกเขาเปรียบเทียบความถูกต้องของการจำแนกประเภทกับ 1) featuers ดั้งเดิม 2) PCA เปลี่ยนคุณสมบัติและ 3) ทั้งสองอย่างรวมกันซึ่งเป็นสิ่งที่ใหม่สำหรับฉัน

บทสรุปของฉัน:

การแปลงฟีเจอร์ที่ใช้ PCA ช่วยให้สามารถสรุปข้อมูลจากฟีเจอร์จำนวนมากไปเป็นส่วนประกอบจำนวน จำกัด เช่นการรวมกันเชิงเส้นของฟีเจอร์ดั้งเดิม อย่างไรก็ตามส่วนประกอบหลักมักจะตีความยาก (ไม่ใช่แบบง่าย ๆ ) และเนื่องจากผลลัพธ์เชิงประจักษ์ในบทความนี้ระบุว่าพวกเขามักจะไม่ปรับปรุงประสิทธิภาพการจำแนกประเภท

PS:ฉันทราบว่าหนึ่งในข้อ จำกัด ของกระดาษที่ได้รับการจดทะเบียนคือความจริงที่ว่าผู้เขียน จำกัด การประเมินผลงานของตัวจําแนกเพื่อ 'รับรู้' เท่านั้นซึ่งอาจเป็นตัวบ่งชี้ประสิทธิภาพลำเอียงมาก

สมมติกรณีง่าย ๆ ที่มีตัวแปรอิสระ 3 ตัวและเอาท์พุทและสมมติว่าและตอนนี้คุณควรจะได้รับโมเดล 0 error y x 3 = $x_1,x_2,x_3$$y$$x_3=y$

สมมติว่าในขณะนี้ว่าในการฝึกอบรมที่กำหนดรูปแบบของมีขนาดเล็กมากและอื่น ๆ นอกจากนี้ยังมีการเปลี่ยนแปลงของx_3 x $y$$x_3$

ตอนนี้ถ้าคุณเรียกใช้ PCA และคุณตัดสินใจที่จะเลือกเพียง 2 ตัวแปรที่คุณจะได้รับการรวมกันของและx_2ข้อมูลของที่เป็นตัวแปรเดียวที่สามารถอธิบายได้หายไปx 2 x 3$x_1$$x_2$$x_3$$y$