ความสัมพันธ์แปลก ๆ ในผลลัพธ์ SVD ของข้อมูลแบบสุ่ม พวกเขามีคำอธิบายทางคณิตศาสตร์หรือเป็นข้อบกพร่อง LAPACK?

ฉันสังเกตพฤติกรรมที่แปลกประหลาดมากในผลลัพธ์ SVD ของข้อมูลแบบสุ่มซึ่งฉันสามารถทำซ้ำได้ทั้งใน Matlab และ R ดูเหมือนว่าปัญหาตัวเลขในห้องสมุด LAPACK ใช่ไหม?

ผมวาด$n=1000$ตัวอย่างจาก$k=2$มิติแบบเกาส์กับศูนย์เฉลี่ยและเอกลักษณ์ของความแปรปรวน: $X\sim \mathcal N (0, \mathbf I)$ ) ฉันรวบรวมพวกเขาใน$1000 \times 2$ Data Matrix X$\mathbf X$(ฉันสามารถเลือกศูนย์$\mathbf X$หรือไม่ก็ไม่ได้มีผลต่อการต่อไป.) แล้วฉันจะดำเนินการสลายตัวมูลค่าเอกพจน์ (SVD) เพื่อให้ได้$\mathbf X=\mathbf{USV}^\top$ ⊤ ลองหาองค์ประกอบสองอย่างของ$\mathbf U$เช่น$U_{11}$และและขอให้สิ่งที่เป็นความสัมพันธ์ระหว่างพวกเขาข้ามที่แตกต่างกันดึงของX ผมจะคาดหวังว่าถ้าจำนวน N R อีพีของดึงมีขนาดใหญ่พอสมควรแล้วทั้งหมดความสัมพันธ์ดังกล่าวควรจะเป็นรอบศูนย์ (เช่นความสัมพันธ์ของประชากรควรจะเป็นศูนย์และความสัมพันธ์ของกลุ่มตัวอย่างจะมีขนาดเล็ก)$U_{22}$$\mathbf X$$N_\mathrm{rep}$

แต่ผมสังเกตเห็นบางความสัมพันธ์ที่แข็งแกร่งวิจิตรพิสดาร (ประมาณ ) ระหว่างU 11 , U 12 , U 21และU 22และเฉพาะระหว่างองค์ประกอบเหล่านี้ องค์ประกอบคู่อื่น ๆ ทั้งหมดมีสหสัมพันธ์ประมาณศูนย์ตามที่คาดไว้ นี่คือลักษณะของเมทริกซ์สหสัมพันธ์สำหรับองค์ประกอบ20 "บน" ของU ที่ดูเหมือน ( 10องค์ประกอบแรกของคอลัมน์แรกจากนั้นองค์ประกอบ10แรกของคอลัมน์ที่สอง):$\pm0.2$$U_{11}$$U_{12}$$U_{21}$$U_{22}$$20$$\mathbf U$$10$$10$

สังเกตุว่ามีค่าสูงแปลก ๆ ที่มุมซ้ายบนของแต่ละควอแดรนท์

มันเป็นความเห็นของ @ whuberที่ทำให้เอฟเฟคนี้เป็นที่สนใจของฉัน @whuber แย้งว่า PC1 และ PC2 ไม่เป็นอิสระและนำเสนอความสัมพันธ์ที่แข็งแกร่งนี้เป็นหลักฐานสำหรับการที่ อย่างไรก็ตามความประทับใจของฉันคือเขาบังเอิญค้นพบข้อบกพร่องเชิงตัวเลขในห้องสมุด LAPACK เกิดขึ้นที่นี่คืออะไร?

นี่คือรหัส R ของ @ whuber:

stat <- function(x) {u <- svd(x)$u; c(u[1,1], u[2, 2])};
Sigma <- matrix(c(1,0,0,1), 2);
sim <- t(replicate(1e3, stat(MASS::mvrnorm(10, c(0,0), Sigma))));
cor.test(sim[,1], sim[,2]);

นี่คือรหัส Matlab ของฉัน:

clear all
rng(7)

n = 1000;     %// Number of variables
k = 2;        %// Number of observations
Nrep = 1000;  %// Number of iterations (draws)

for rep = 1:Nrep
    X = randn(n,k);
    %// X = bsxfun(@minus, X, mean(X));
    [U,S,V] = svd(X,0);

    t(rep,:) = [U(1:10,1)' U(1:10,2)'];
end

figure
imagesc(corr(t), [-.5 .5])
axis square
hold on
plot(xlim, [10.5 10.5], 'k')
plot([10.5 10.5], ylim, 'k')

นี่ไม่ใช่ข้อผิดพลาด

ตามที่เราได้สำรวจ (อย่างกว้างขวาง) ในความคิดเห็นมีสองสิ่งที่เกิดขึ้น ประการแรกคือคอลัมน์ของ$U$ถูก จำกัด ให้เป็นไปตามข้อกำหนดของ SVD: แต่ละคอลัมน์จะต้องมีความยาวหน่วยและเป็นมุมฉากสำหรับส่วนอื่น ๆ ทั้งหมด การดู$U$เป็นตัวแปรสุ่มที่สร้างจากเมทริกซ์สุ่ม$X$ผ่านอัลกอริธึม SVD เฉพาะเราจึงทราบว่าk ( k +เหล่านี้$k(k+1)/2$จำกัด อิสระหน้าที่สร้างอ้างอิงทางสถิติในหมู่คอลัมน์ของU$U$

อ้างอิงเหล่านี้อาจได้รับการเปิดเผยในระดับที่มากหรือน้อยโดยการศึกษาความสัมพันธ์ระหว่างองค์ประกอบของ$U$ , แต่เป็นปรากฏการณ์ที่สองโผล่ออก : วิธีการแก้ปัญหา SVD ที่ไม่ซ้ำกัน อย่างน้อยที่สุดแต่ละคอลัมน์ของ$U$สามารถถูกทำให้เป็นอิสระได้โดยอิสระให้โซลูชันที่แตกต่างอย่างน้อย$2^k$กับคอลัมน์$k$ความสัมพันธ์ที่แข็งแกร่ง (เกิน$1/2$ ) สามารถชักนำโดยการเปลี่ยนสัญญาณของคอลัมน์ที่เหมาะสม (วิธีหนึ่งที่จะทำเช่นนี้จะได้รับในการแสดงความคิดเห็นครั้งแรกของฉันที่จะตอบอะมีบาของในหัวข้อนี้: ผมบังคับให้ทุก$u_{ii},i=1,\ldots, k$จะมีเครื่องหมายเดียวกันทำให้พวกเขาทั้งหมดเป็นลบหรือบวกทั้งหมดด้วยความน่าจะเป็นที่เท่าเทียมกัน) ในอีกทางหนึ่งความสัมพันธ์ทั้งหมดสามารถทำให้หายไปได้โดยการเลือกสัญญาณแบบสุ่มอิสระด้วยความน่าจะเป็นที่เท่าเทียมกัน (ฉันยกตัวอย่างด้านล่างในส่วน "แก้ไข")

ด้วยการดูแลที่เราบางส่วนสามารถมองเห็นทั้งสองปรากฏการณ์เหล่านี้เมื่ออ่านเมทริกซ์ scatterplot ของส่วนประกอบของU$U$ลักษณะบางอย่าง - เช่นการปรากฏตัวของจุดเกือบกระจายอย่างสม่ำเสมอในภูมิภาควงกลมที่กำหนดอย่างดี - การขาดความเป็นอิสระ คนอื่น ๆ เช่น scatterplots แสดงความสัมพันธ์ที่ไม่ใช่ศูนย์ชัดเจนขึ้นอยู่กับตัวเลือกที่ทำในอัลกอริทึม - แต่ตัวเลือกดังกล่าวเป็นไปได้เพียงเพราะการขาดความเป็นอิสระในตอนแรก

การทดสอบขั้นสุดท้ายของอัลกอริธึมการสลายตัวอย่างเช่น SVD (หรือ Cholesky, LR, LU และอื่น ๆ ) ไม่ว่าจะเป็นสิ่งที่มันอ้าง ในกรณีนี้มันพอเพียงที่จะตรวจสอบว่าเมื่อ SVD ส่งกลับเมทริกซ์สามเท่า$(U, D, V)$ , $X$นั้นจะถูกกู้คืน, ขึ้นอยู่กับข้อผิดพลาดของจุดลอยตัวที่คาดไว้โดยผลิตภัณฑ์$UDV^\prime$ ; คอลัมน์ของ$U$และ$V$เป็น orthonormal; และ$D$นั้นเป็นเส้นทแยงมุม, องค์ประกอบในแนวทแยงนั้นไม่เป็นลบ, และถูกจัดเรียงตามลำดับจากมากไปน้อย ฉันใช้การทดสอบดังกล่าวกับsvdอัลกอริทึมในRและไม่เคยพบว่ามีข้อผิดพลาด แม้ว่าจะไม่ได้รับประกันว่ามันจะถูกต้องอย่างสมบูรณ์ประสบการณ์เช่นนี้ - ซึ่งฉันเชื่อว่ามีผู้คนมากมายร่วมแบ่งปัน - ชี้ให้เห็นว่าข้อผิดพลาดใด ๆ ที่จะต้องมีการป้อนข้อมูลพิเศษบางอย่างเพื่อให้ประจักษ์

สิ่งที่ตามมาคือการวิเคราะห์รายละเอียดเพิ่มเติมของประเด็นเฉพาะที่เกิดขึ้นในคำถาม

ใช้R's svdขั้นตอนแรกที่คุณสามารถตรวจสอบว่าเป็น$k$การเพิ่มขึ้นของความสัมพันธ์ระหว่างค่าสัมประสิทธิ์ของ$U$เติบโตอ่อนแอแต่พวกเขายังคงเป็นศูนย์ หากคุณเพียงแค่ทำการจำลองที่มีขนาดใหญ่ขึ้นคุณจะพบว่าพวกเขามีความสำคัญ (เมื่อไหร่$k=3$ , 50,000 การทำซ้ำควรจะพอเพียง) ตรงกันข้ามกับการยืนยันในคำถามความสัมพันธ์ไม่ "หายไปอย่างสิ้นเชิง"

ประการที่สองวิธีที่ดีกว่าในการศึกษาปรากฏการณ์นี้คือกลับไปที่คำถามพื้นฐานเรื่องความเป็นอิสระของสัมประสิทธิ์ แม้ว่าความสัมพันธ์มีแนวโน้มที่จะใกล้ศูนย์ในกรณีส่วนใหญ่ขาดความเป็นอิสระที่เห็นได้ชัด นี้จะทำที่ชัดเจนมากที่สุดโดยการศึกษาการกระจายหลายตัวแปรเต็มรูปแบบของค่าสัมประสิทธิ์ของU$U$ธรรมชาติของการแจกแจงปรากฏขึ้นแม้ในสถานการณ์จำลองขนาดเล็กซึ่งไม่สามารถตรวจพบความสัมพันธ์ที่ไม่ใช่ศูนย์ได้ ตัวอย่างเช่นตรวจสอบเมทริกซ์กระจายของค่าสัมประสิทธิ์ เพื่อให้สามารถใช้งานได้จริงฉันตั้งค่าขนาดของชุดข้อมูลจำลองแต่ละชุดเป็น$4$และเก็บ$k=2$ไว้ดังนั้นจึงวาด$1000$การรับรู้ของเมทริกซ์U × $4\times 2$สร้างเมทริกซ์1000 × 8 นี่คือเมทริกซ์ scatterplot เต็มรูปแบบโดยมีตัวแปรตามตำแหน่งภายในU :$U$$1000\times 8$$U$

สแกนลงคอลัมน์แรกเผยให้เห็นถึงการขาดความน่าสนใจของการเป็นอิสระระหว่าง$u_{11}$และอื่น ๆ$u_{ij}$ : ดูที่วิธีการด้านบนของ scatterplot กับ$u_{21}$เกือบจะว่างเช่น; หรือตรวจสอบคลาวด์แบบขึ้น - ลงที่เป็นรูปไข่ซึ่งอธิบายถึงความสัมพันธ์$(u_{11}, u_{22})$และเมฆที่ลาดลงสำหรับ$(u_{21}, u_{12})$คู่ การมองอย่างใกล้ชิดแสดงให้เห็นถึงการขาดความเป็นอิสระอย่างชัดเจนในหมู่ค่าสัมประสิทธิ์เกือบทั้งหมด: มีน้อยคนที่ดูเป็นอิสระจากระยะไกลแม้ว่าส่วนใหญ่จะมีความสัมพันธ์ใกล้เคียงกันก็ตาม

(หมายเหตุ: เมฆทรงกลมส่วนใหญ่เป็นการคาดการณ์จาก hypersphere ที่สร้างขึ้นโดยเงื่อนไขการทำให้เป็นมาตรฐานบังคับให้ผลรวมของกำลังสองของส่วนประกอบทั้งหมดของแต่ละคอลัมน์เป็นเอกภาพ)

Scatterplot เมทริกซ์ที่มี$k=3$และ$k=4$แสดงรูปแบบที่คล้ายกัน: ปรากฏการณ์เหล่านี้ไม่ได้ จำกัด อยู่ที่$k=2$และไม่ขึ้นอยู่กับขนาดของชุดข้อมูลจำลองแต่ละอัน: พวกมันเพียงสร้างและตรวจสอบได้ยากขึ้น

คำอธิบายสำหรับรูปแบบเหล่านี้ไปยังอัลกอริทึมที่ใช้เพื่อให้ได้$U$ในการสลายตัวของค่าเอกพจน์ แต่เรารู้ว่ารูปแบบของความไม่อิสระดังกล่าวจะต้องมีอยู่โดยคุณสมบัติที่กำหนดของ$U$ : เนื่องจากแต่ละคอลัมน์ที่ต่อเนื่องกัน เงื่อนไข orthogonality เหล่านี้กำหนดการพึ่งพาการทำงานระหว่างค่าสัมประสิทธิ์ซึ่งแปลการพึ่งพาทางสถิติระหว่างตัวแปรสุ่มที่สอดคล้องกัน

แก้ไข

ในการตอบสนองต่อความคิดเห็นมันอาจคุ้มค่าที่จะกล่าวถึงขอบเขตที่ปรากฏการณ์การพึ่งพาอาศัยเหล่านี้สะท้อนถึงอัลกอริธึมพื้นฐาน (เพื่อคำนวณ SVD) และจำนวนที่มีอยู่ในธรรมชาติของกระบวนการ

เฉพาะรูปแบบของความสัมพันธ์ระหว่างค่าสัมประสิทธิ์ขึ้นอยู่กับการจัดการที่ดีเกี่ยวกับทางเลือกโดยพลการทำโดยอัลกอริทึม SVD,เพราะวิธีการแก้ปัญหาที่ไม่ซ้ำกัน: คอลัมน์ของ$U$เสมออาจเป็นอิสระคูณ$-1$หรือ1$1$ไม่มีวิธีที่แท้จริงในการเลือกสัญญาณ ดังนั้นเมื่ออัลกอริธึม SVD สองตัวสร้างทางเลือกที่แตกต่างกัน (โดยพลการหรือสุ่ม) พวกเขาสามารถทำให้เกิดรูปแบบที่แตกต่างกันของ scatterplots ของ$(u_{ij}, u_{i^\prime j^\prime})$ค่า หากคุณต้องการที่จะเห็นสิ่งนี้แทนที่statฟังก์ชั่นในรหัสด้านล่างโดย

stat <- function(x) {
  i <- sample.int(dim(x)[1]) # Make a random permutation of the rows of x
  u <- svd(x[i, ])$u         # Perform SVD
  as.vector(u[order(i), ])   # Unpermute the rows of u
}

นี่เป็นครั้งแรกที่สุ่มสั่งการสังเกตการณ์xดำเนินการ SVD จากนั้นใช้การเรียงลำดับผกผันเพื่อuให้ตรงกับลำดับการสังเกตเดิม เนื่องจากเอฟเฟ็กต์คือสร้างรูปแบบผสมของสแคทเทอร์พล็อตดั้งเดิมที่มีการสะท้อนและแบบหมุนดังนั้นสแลตต์พล็อตในเมทริกซ์จะดูสม่ำเสมอกว่ามาก ความสัมพันธ์ตัวอย่างทั้งหมดจะใกล้เคียงกับศูนย์มาก (โดยการก่อสร้าง: ความสัมพันธ์พื้นฐานคือศูนย์อย่างแน่นอน ) อย่างไรก็ตามการขาดความเป็นอิสระจะยังคงชัดเจน (ในรูปทรงกลมสม่ำเสมอที่ปรากฏขึ้นโดยเฉพาะระหว่าง$u_{i,j}$และ$u_{i,j^\prime}$ )

การขาดข้อมูลในจตุภาคของบางส่วนของสแคทเทอร์พล็อตดั้งเดิม (ดังแสดงในรูปด้านบน) เกิดขึ้นจากวิธีที่ Rอัลกอริธึม SVD เลือกสัญญาณสำหรับคอลัมน์

ไม่มีอะไรเปลี่ยนแปลงเกี่ยวกับข้อสรุป เพราะคอลัมน์ที่สองของ$U$คือ orthogonal ถึงแรกมัน (พิจารณาว่าเป็นตัวแปรสุ่มหลายตัวแปร) จึงขึ้นอยู่กับแรก (ถือเป็นตัวแปรสุ่มหลายตัวแปร) คุณไม่สามารถมีองค์ประกอบทั้งหมดของหนึ่งคอลัมน์ที่เป็นอิสระจากองค์ประกอบทั้งหมดของอื่น ๆ ; สิ่งที่คุณทำได้คือการดูข้อมูลในรูปแบบที่ไม่ชัดเจนการพึ่งพา - แต่การพึ่งพาจะยังคงมีอยู่

นี่คือRโค้ดที่ได้รับการอัพเดตเพื่อจัดการเคส$k\gt 2$และวาดส่วนของเมทริกซ์สแคทเทอร์ล็อต

k <- 2    # Number of variables
p <- 4    # Number of observations
n <- 1e3  # Number of iterations
stat <- function(x) as.vector(svd(x)$u)
Sigma <- diag(1, k, k); Mu <- rep(0, k)
set.seed(17)
sim <- t(replicate(n, stat(MASS::mvrnorm(p, Mu, Sigma))))
colnames(sim) <- as.vector(outer(1:p, 1:k, function(i,j) paste0(i,",",j)))
pairs(sim[, 1:min(11, p*k)], pch=".")

คำตอบนี้นำเสนอการจำลองแบบผลลัพธ์ของ @ whuber ใน Matlab และการสาธิตโดยตรงว่าสหสัมพันธ์เป็น "ส่วนประดิษฐ์" ของวิธีการใช้งาน SVD เลือกเครื่องหมายสำหรับส่วนประกอบ

ด้วยสายยาวของความคิดเห็นที่อาจทำให้สับสนฉันต้องการเน้นสำหรับผู้อ่านในอนาคตที่ฉันเห็นด้วยอย่างยิ่งกับสิ่งต่อไปนี้:

1. ในบริบทของการสนทนานี้แน่นอนว่าเป็นตัวแปรสุ่ม$\mathbf U$
2. คอลัมน์ของจะต้องมีความยาว1 ซึ่งหมายความว่าองค์ประกอบภายในแต่ละคอลัมน์ไม่เป็นอิสระ กำลังสองรวมเป็นหนึ่ง อย่างไรก็ตามสิ่งนี้ไม่ได้บ่งบอกถึงความสัมพันธ์ระหว่างU i 1และU j 1สำหรับi ≠ jและความสัมพันธ์ตัวอย่างควรมีขนาดเล็กสำหรับจำนวนมากN r e $\mathbf U$$1$$U_{i1}$$U_{j1}$$i\ne j$$N_\mathrm{rep}$สุ่มดึง
3. คอลัมน์ของจะต้องเป็นมุมฉาก ซึ่งหมายความว่าองค์ประกอบจากคอลัมน์ต่าง ๆ ไม่ได้เป็นอิสระ ผลิตภัณฑ์ดอทของพวกเขาคือศูนย์ อีกครั้งสิ่งนี้ไม่ได้บ่งบอกถึงความสัมพันธ์ระหว่างU i 1และ$\mathbf U$$U_{i1}$และความสัมพันธ์ตัวอย่างควรมีขนาดเล็ก$U_{j2}$

คำถามของฉันคือ: ทำไมเราเห็นสหสัมพันธ์สูงของแม้สำหรับจำนวนมากของการสุ่มจับN R E P = 1000 ?$\sim 0.2$$N_\mathrm{rep}=1000$

นี่คือการจำลองแบบของตัวอย่าง @ whuber กับ , k = 2 , และn r e p = 1,000ใน Matlab:$n=4$$k=2$$N_\mathrm{rep}=1000$

ด้านซ้ายเป็นเมทริกซ์สหสัมพันธ์ทางด้านขวา - แผนการกระจายคล้ายกับ @ whuber ข้อตกลงระหว่างการจำลองของเรานั้นสมบูรณ์แบบ

ตอนนี้ตามคำแนะนำอันชาญฉลาดโดย @ttnphns ฉันกำหนดสัญญาณสุ่มให้กับคอลัมน์ของเช่นหลังจากบรรทัดนี้:$U$

[U,S,V] = svd(X,0);

ฉันเพิ่มสองบรรทัดต่อไปนี้:

U(:,1) = U(:,1) * sign(randn(1));
U(:,2) = U(:,2) * sign(randn(1));

นี่คือผลลัพธ์ที่ได้:

ความสัมพันธ์ทั้งหมดหายไปอย่างที่ฉันคาดไว้ตั้งแต่ต้น !

$1$$1$

Summarizing the whole issue, we see that strong correlations appear because LAPACK chooses signs for columns of $\mathbf U$ in a specific way that seems to depend on the first two data points. It is certainly not a bug because the decomposition is correct. But LAPACK essentially creates these "artifact" correlations by exploiting the freedom to assign signs. These correlations do not reflect the dependence of the elements of $\mathbf U$; instead, they reflect the freedom in the SVD solution and a particular LAPACK's convention to fix it.

PS. Congratulations to @whuber for passing 100k reputation today!

ตรวจสอบบรรทัดฐานของเวกเตอร์เอกพจน์ของคุณ U และ V มันคือ 1 ตามคำจำกัดความ คุณไม่จำเป็นต้องผ่าน SVD เพื่อให้ได้เมทริกซ์ที่แน่นอนเหมือนกับที่คุณพล็อตโดยเพียงแค่สร้างตัวแปรสุ่มสองตัว$x$ และ $y$ ด้วยข้อ จำกัด ที่ผลรวมของกำลังสองของพวกเขาคือ 1:

สมมติว่าค่าเฉลี่ยเป็นศูนย์จากนั้น

สิ่งนี้จะไม่เท่ากับศูนย์ คุณสามารถเสียบมาตรฐานปกติเข้า$x$ และ $y$ เพื่อดูว่ามูลค่าความแปรปรวนร่วมที่คาดหวังที่นี่คืออะไร