ตัวแปร“ Normalizing” สำหรับ SVD / PCA

สมมติว่าเรามีตัวแปร$N$วัดได้$(a_1, a_2, \ldots, a_N)$เราทำการวัดจำนวน$M > N$ของการวัดแล้วต้องการทำการแยกสลายค่าเอกพจน์บนผลลัพธ์เพื่อค้นหาแกนของความแปรปรวนสูงสุดสำหรับ$M$ points ในช่องว่างมิติ$N$( หมายเหตุ:คิดว่าวิธีการของฉันได้รับการหักออกเพื่อ⟨ ฉัน ⟩ = 0สำหรับทุกฉัน .)$a_i$$\langle a_i \rangle = 0$$i$

ทีนี้สมมติว่าตัวแปรหนึ่งตัว (หรือมากกว่า) มีขนาดลักษณะแตกต่างกันอย่างมีนัยสำคัญมากกว่าส่วนที่เหลือ เช่น1อาจมีค่าอยู่ในช่วง10 - 100ในขณะที่ส่วนที่เหลืออาจจะอยู่ที่ประมาณ0.1 - 1 นี้จะเอียงแกนของความแปรปรวนสูงสุดต่อ1ของแกนมาก$a_1$$10-100$$0.1-1$$a_1$

ความแตกต่างของขนาดอาจเป็นเพราะตัวเลือกการวัดที่โชคร้าย (ถ้าเรากำลังพูดถึงข้อมูลทางกายภาพเช่นกิโลเมตรเทียบกับเมตร) แต่ที่จริงแล้วตัวแปรที่แตกต่างกันอาจมีมิติที่แตกต่างกันโดยสิ้นเชิง (เช่นน้ำหนักเทียบกับปริมาตร) อาจไม่มีวิธีที่ชัดเจนในการเลือกหน่วย "เปรียบได้" สำหรับพวกเขา

คำถาม: ฉันต้องการทราบว่ามีวิธีการมาตรฐาน / ทั่วไปในการทำให้ข้อมูลเป็นมาตรฐานเพื่อหลีกเลี่ยงปัญหานี้หรือไม่ ผมสนใจในเทคนิคมาตรฐานที่ผลิตขนาดเทียบเคียง1 - Nเพื่อจุดประสงค์นี้มากกว่าขึ้นมาพร้อมกับสิ่งใหม่ ๆ$a_1 - a_N$

แก้ไข: ความเป็นไปได้อย่างหนึ่งคือทำให้ตัวแปรแต่ละตัวเป็นปกติโดยค่าเบี่ยงเบนมาตรฐานหรือสิ่งที่คล้ายกัน อย่างไรก็ตามปัญหาต่อไปนี้จะปรากฏขึ้น: ลองตีความข้อมูลเป็น cloud point ในพื้นที่$N$ -dimensional คลาวด์จุดนี้สามารถหมุนได้และการฟื้นฟูแบบนี้จะให้ผลลัพธ์สุดท้ายที่แตกต่างกัน (หลังจาก SVD) ขึ้นอยู่กับการหมุน (เช่นในกรณีที่รุนแรงที่สุดให้จินตนาการการหมุนข้อมูลอย่างแม่นยำเพื่อจัดแนวแกนหลักกับแกนหลัก)

ฉันคาดหวังว่าจะไม่มีวิธีการหมุนแบบคงที่ใด ๆ แต่ฉันจะขอบคุณถ้ามีคนสามารถชี้ให้ฉันไปพูดคุยเกี่ยวกับปัญหานี้ในวรรณกรรมโดยเฉพาะอย่างยิ่งเกี่ยวกับคำเตือนในการตีความผล

การปรับสภาพทั่วไปสามประการคือการจัดกึ่งกลางการปรับและการกำหนดมาตรฐาน

ปล่อย เป็นตัวแปรสุ่ม$X$

ตรงกลางเป็น

ผลลัพธ์จะมี¯ x * = 0$x^*$$\bar{x^*}=0$

การปรับสเกลคือ

ผลลัพธ์จะมี∑ i x ∗ i 2$x^*$1$\sum_{i}{{{x_i^*}}^2} = 1$

การกำหนดมาตรฐานคือการจัดกึ่งกลางจากนั้นปรับขนาด ผลลัพธ์จะมี¯ x * = 0และΣ ฉันx * ฉัน 2 = 1$x^*$$\bar{x^*}=0$$\sum_{i}{{{x_i^*}}^2} = 1$

คุณมีสิทธิ์อย่างแน่นอนที่การมีตัวแปรแต่ละตัวที่มีความแปรปรวนแตกต่างกันมากอาจเป็นปัญหาสำหรับ PCA โดยเฉพาะอย่างยิ่งหากความแตกต่างนี้เกิดจากหน่วยงานที่แตกต่างกัน ด้วยเหตุผลดังกล่าวเว้นแต่ว่าตัวแปรต่าง ๆ นั้นสามารถเปรียบเทียบกันได้ (ปริมาณทางกายภาพเดียวกันหน่วยเดียวกัน) ขอแนะนำให้ทำการ PCA บนเมทริกซ์สหสัมพันธ์แทนเมทริกซ์ความแปรปรวนร่วม ดูที่นี่:

• PCA เกี่ยวกับสหสัมพันธ์หรือความแปรปรวนร่วม?

การทำ PCA บนเมทริกซ์สหสัมพันธ์นั้นเทียบเท่ากับการสร้างมาตรฐานของตัวแปรทั้งหมดก่อนการวิเคราะห์ (แล้วทำ PCA ในเมทริกซ์ความแปรปรวนร่วม) การกำหนดมาตรฐานหมายถึงการจัดกึ่งกลางจากนั้นหารแต่ละตัวแปรด้วยค่าเบี่ยงเบนมาตรฐานเพื่อให้ทุกคนกลายเป็นความแปรปรวนของหน่วย สิ่งนี้สามารถมองเห็นได้ว่าเป็น "การเปลี่ยนแปลงของหน่วย" ที่สะดวกสบายเพื่อให้ทุกหน่วยเปรียบได้

หนึ่งสามารถถามว่าบางครั้งอาจมีวิธีที่ดีกว่าของตัวแปร "normalizing"; เช่นเราสามารถเลือกที่จะหารด้วยการประมาณค่าความแปรปรวนที่คาดเดาไม่ได้แทนโดยผลต่างดิบ สิ่งนี้ถูกถามในหัวข้อต่อไปนี้และดูการสนทนาที่ตามมา (แม้ว่าจะไม่ได้รับคำตอบที่ชัดเจน):

• ทำไมเราถึงหารด้วยค่าเบี่ยงเบนมาตรฐานและไม่ใช่ปัจจัยมาตรฐานอื่น ๆ ก่อนทำ PCA

ในที่สุดคุณก็กังวลว่าการทำให้เป็นปกติด้วยการเบี่ยงเบนมาตรฐาน (หรือบางอย่างที่คล้ายกัน) ไม่ใช่การหมุนคงที่ ก็ใช่มันไม่ใช่ แต่ตามที่ @whuber ได้กล่าวไว้ในความคิดเห็นข้างต้นไม่มีวิธีการหมุนแบบคงที่: การเปลี่ยนหน่วยของตัวแปรแต่ละตัวไม่ใช่การหมุนแบบคงที่ ! ไม่มีอะไรต้องกังวลเกี่ยวกับที่นี่

เทคนิคทั่วไปก่อนใช้ PCA คือการลบค่าเฉลี่ยจากตัวอย่าง หากคุณไม่ทำเช่นนั้นค่าตัวแรกจะเป็นค่าเฉลี่ย ฉันไม่แน่ใจว่าคุณได้ทำไปแล้วหรือเปล่า ถ้าเราพูดในรหัส MATLAB: นี่คือ

clear, clf
clc
%% Let us draw a line
scale = 1;
x = scale .* (1:0.25:5);
y = 1/2*x + 1;

%% and add some noise
y = y + rand(size(y));

%% plot and see
subplot(1,2,1), plot(x, y, '*k')
axis equal

%% Put the data in columns and see what SVD gives
A = [x;y];
[U, S, V] = svd(A);

hold on
plot([mean(x)-U(1,1)*S(1,1) mean(x)+U(1,1)*S(1,1)], ...
     [mean(y)-U(2,1)*S(1,1) mean(y)+U(2,1)*S(1,1)], ...
     ':k');
plot([mean(x)-U(1,2)*S(2,2) mean(x)+U(1,2)*S(2,2)], ...
     [mean(y)-U(2,2)*S(2,2) mean(y)+U(2,2)*S(2,2)], ...
     '-.k');
title('The left singular vectors found directly')

%% Now, subtract the mean and see its effect
A(1,:) = A(1,:) - mean(A(1,:));
A(2,:) = A(2,:) - mean(A(2,:));

[U, S, V] = svd(A);

subplot(1,2,2)
plot(x, y, '*k')
axis equal
hold on
plot([mean(x)-U(1,1)*S(1,1) mean(x)+U(1,1)*S(1,1)], ...
     [mean(y)-U(2,1)*S(1,1) mean(y)+U(2,1)*S(1,1)], ...
     ':k');
plot([mean(x)-U(1,2)*S(2,2) mean(x)+U(1,2)*S(2,2)], ...
     [mean(y)-U(2,2)*S(2,2) mean(y)+U(2,2)*S(2,2)], ...
     '-.k');
title('The left singular vectors found after subtracting mean')

ดังที่เห็นได้จากรูปฉันคิดว่าคุณควรลบค่าเฉลี่ยจากข้อมูลถ้าคุณต้องการวิเคราะห์ความแปรปรวน (co) ให้ดีขึ้น จากนั้นค่าจะไม่อยู่ระหว่าง 10-100 และ 0.1-1 แต่ค่าเฉลี่ยจะเป็นศูนย์ ความแปรปรวนจะพบว่าค่าลักษณะเฉพาะ (หรือกำลังสองของค่าเอกพจน์) eigenvector ที่พบนั้นไม่ได้รับผลกระทบจากขนาดของกรณีเมื่อเราลบค่าเฉลี่ยมากเท่ากับกรณีที่เราไม่ได้ ตัวอย่างเช่นฉันได้ทดสอบและสังเกตสิ่งต่อไปนี้ที่บอกการลบค่าเฉลี่ยที่อาจมีผลกับกรณีของคุณ ดังนั้นปัญหาอาจไม่ได้มาจากความแปรปรวน แต่มาจากความแตกต่างของการแปล

% scale = 0.5, without subtracting mean
U =

-0.5504   -0.8349
-0.8349    0.5504


% scale = 0.5, with subtracting mean
U =

-0.8311   -0.5561
-0.5561    0.8311


% scale = 1, without subtracting mean
U =

-0.7327   -0.6806
-0.6806    0.7327

% scale = 1, with subtracting mean
U =

-0.8464   -0.5325
-0.5325    0.8464


% scale = 100, without subtracting mean
U =

-0.8930   -0.4501
-0.4501    0.8930


% scale = 100, with subtracting mean
U =

-0.8943   -0.4474
-0.4474    0.8943

ในการทำให้ข้อมูลเป็นมาตรฐานสำหรับ PCA จะใช้สูตรต่อไปนี้

$\text{SC}=100\frac{X-\min(X)}{\max(X)-\min(X)}$

ที่ไหน $X$ เป็นค่า raw สำหรับตัวบ่งชี้นั้นสำหรับประเทศ $c$ ในปี $t$และ $X$ อธิบายค่าดิบทั้งหมดในทุกประเทศสำหรับตัวบ่งชี้นั้นตลอดทั้งปี