“ การฉายแบบสุ่ม” ไม่ใช่การฉายอย่างเคร่งครัดหรือไม่?

10

การใช้งานปัจจุบันของอัลกอริธึมการฉายแบบสุ่มลดมิติข้อมูลตัวอย่างโดยการแมปจากถึงโดยใช้เมทริกซ์การฉายซึ่งรายการนั้นมีการกระจายที่เหมาะสม (เช่นจาก ): $\mathbb R^d$ $\mathbb R^k$ $d\times k$ $R$ $\mathcal N(0,1)$

$x^\prime = \frac{1}{\sqrt k}xR$

สะดวกพิสูจน์หลักฐานทางทฤษฎีที่มีอยู่แสดงให้เห็นว่าการทำแผนที่นี้ประมาณรักษาระยะทางคู่

อย่างไรก็ตามเมื่อเร็ว ๆ นี้ฉันพบบันทึกเหล่านี้ที่ผู้เขียนอ้างว่าการแมปนี้ด้วยเมทริกซ์แบบสุ่มไม่ใช่การฉายภาพในความหมายเชิงพีชคณิตเชิงเส้นที่เข้มงวดของคำ (หน้า 6) จากคำอธิบายที่ให้มีนี้เป็นเพราะคอลัมน์ของไม่ได้ฉากอย่างเคร่งครัดเมื่อรายการของตนได้รับการแต่งตั้งเป็นอิสระจาก(0,1) ดังนั้นรุ่นก่อนหน้าของ RP ที่มีการบังคับใช้มุมฉากของคอลัมน์ถูกบังคับให้ถือเป็นเส้นโครง $R$ $\mathcal N(0,1)$ $R$

คุณสามารถให้คำอธิบายโดยละเอียดเพิ่มเติมเกี่ยวกับ (1) คำจำกัดความของการฉายภาพในแง่ที่เข้มงวดนี้คืออะไรและ (2) เหตุใด RP จึงไม่ฉายภายใต้คำจำกัดความนี้

— Daniel López
แหล่งที่มา

1

คุณสามารถหาคำตอบ (1) โดยการค้นหาเว็บไซต์ของเรา การยืนยัน (2) นั้นเกิดขึ้นทันทีเพราะหากคอลัมน์อยู่เสมอมุมฉากรายการของพวกเขาอาจไม่เป็นอิสระ

— whuber

4

คำจำกัดความของการฉายภาพในความหมาย (พีชคณิตเชิงเส้น) ที่เข้มงวดนี้คืออะไร (ของคำ)

https://en.wikipedia.org/wiki/Projection_(linear_algebra)

ในพีชคณิตเชิงเส้นและการวิเคราะห์การทำงาน, การฉายเป็นแปลงเชิงเส้นจากปริภูมิเวกเตอร์ให้ตัวเองดังกล่าวว่าP นั่นคือเมื่อใดก็ตามที่ถูกนำไปใช้สองครั้งกับค่าใด ๆ ก็จะให้ผลลัพธ์เช่นเดียวกับที่มันถูกนำมาใช้ครั้งเดียว (idempotent) $P$ $P^2 = P$ $P$

สำหรับการฉายภาพมุมฉากหรือการฉายภาพเวกเตอร์คุณมีสิ่งนั้น

https://en.wikipedia.org/wiki/Projection_(linear_algebra)

โปรเจคชันมุมฉากคือโปรเจคชันที่ช่วง U และพื้นที่ว่าง V เป็นพื้นที่ย่อยมุมฉาก
ทำไม RP จึงไม่ฉายภาพภายใต้คำจำกัดความนี้?

Michael Mahoney เขียนในเอกสารประกอบการบรรยายของคุณว่ามันขึ้นอยู่กับวิธีการสร้าง RPหรือไม่ RP นั้นเป็นเส้นโครงในความรู้สึกเชิงพีชคณิตเชิงเส้นแบบดั้งเดิมหรือไม่ สิ่งนี้เขาทำได้ในจุดที่สามและสี่:

ประการที่สามถ้าเวกเตอร์สุ่มเป็น orthogonal (เหมือนกับที่พวกมันอยู่ในโครงสร้างเดิมของ JL) เราก็จะได้ว่าการฉาย JL เป็นมุมฉากแบบ orthogonal

...

แต่ถึงแม้ว่านี่จะเป็นเรื่องจริงสำหรับ Gaussians,ตัวแปรสุ่มและสิ่งปลูกสร้างอื่น ๆ ส่วนใหญ่เราสามารถพิสูจน์ได้ว่าเวกเตอร์ที่ได้นั้นมีความยาวประมาณหน่วยและประมาณ orthogonal $\lbrace \pm \rbrace$

...

นี่คือ“ ดีพอ”

โดยหลักแล้วการฉายแบบสุ่มด้วยโครงสร้างที่แตกต่างกันซึ่ง จำกัด อยู่ที่เมทริกซ์มุมฉาก (แม้ว่าจะไม่จำเป็นก็ตาม) ดูตัวอย่างงานต้นฉบับ:

Johnson, William B. และ Joram Lindenstrauss "ส่วนขยายของการจับคู่ Lipschitz ลงในช่องว่างของ Hilbert" คณิตศาสตร์ร่วมสมัย 26.189-206 (1984): 1

... ถ้าใครเลือกสุ่มอันดับ orthogonal เงื้อมใน $k$ $l_2^n$

...

นี้เพื่อให้แม่นยำเราปล่อยให้จะฉายบนแรกพิกัดของและให้จะปกติ Haar วัดในกลุ่มมุมฉากใน n จากนั้นตัวแปรสุ่มกำหนดโดยตัวกำหนดความคิดของ "การจัดอันดับสุ่มแบบสุ่ม" $Q$ $k$ $l_2^n$ $\sigma$ $O(n)$ $l_2^n$
$f : (O (n), σ) \to L (l_{2}^{n})$ $f: (O(n), \sigma) \to L(l_2^n)$ $f (u) = U^{⋆} Q U$ $f(u) = U^\star Q U$ $k$

รายการวิกิพีเดียอธิบายการฉายแบบสุ่มด้วยวิธีนี้ (เหมือนกันในบันทึกการบรรยายในหน้า 10 และ 11)

https://en.wikipedia.org/wiki/Random_projection#Gaussian_random_projection

แถวแรกคือเวกเตอร์หน่วยสุ่มที่เลือกจากอย่างสม่ำเสมอ แถวที่สองคือเวกเตอร์หน่วยสุ่มจาก space orthogonal ไปยังแถวแรกแถวที่สามคือเวกเตอร์หน่วยสุ่มจาก space orthogonal ถึงสองแถวแรกและอื่น ๆ $S^{d − 1}$

แต่โดยทั่วไปคุณจะไม่ได้รับ orthogonality นี้เมื่อคุณนำเมทริกซ์ - รายการทั้งหมดในเมทริกซ์สุ่มและตัวแปรอิสระที่มีการแจกแจงแบบปกติ (ตามที่ Whuber พูดถึงในความคิดเห็นของเขาด้วยผลลัพธ์ที่ง่ายมาก "ถ้าคอลัมน์นั้น ไม่อิสระ ")

เมทริกซ์และสินค้าในกรณีของคอลัมน์ orthonormal ที่สามารถมองเห็นเป็นฉายเพราะมันเกี่ยวข้องกับการฉายเมทริกซ์R นี่เป็นเหมือนกับการเห็นการถดถอยสี่เหลี่ยมจัตุรัสน้อยที่สุดแบบธรรมดา ผลิตภัณฑ์ไม่ใช่การฉายภาพ แต่ให้พิกัดในเวกเตอร์พื้นฐานที่แตกต่างกัน ประมาณการ 'จริง' เป็นและเมทริกซ์ฉายอยู่R $R$ $P = R^TR$ $b = R^T x$ $x' = Rb = R^TRx$ $R^TR$

เมทริกซ์การฉายจำเป็นต้องเป็นตัวดำเนินการประจำตัวใน subspaceซึ่งเป็นช่วงของการฉายภาพ (ดูคุณสมบัติที่กล่าวถึงในหน้าวิกิพีเดีย) หรือกล่าวอย่างอื่นว่ามันต้องมีค่าลักษณะเฉพาะ 1 และ 0 เช่นว่า subspace ซึ่งเป็นเมทริกซ์เอกลักษณ์คือช่วงของ eigenvector ที่เกี่ยวข้องกับค่าลักษณะเฉพาะ 1. ด้วยเมทริกซ์สุ่มรายการคุณจะไม่ได้รับคุณสมบัตินี้ นี่คือจุดที่สองในบันทึกการบรรยาย $P=R^TR$ $U$

... มัน“ดูเหมือน” เมทริกซ์มุมฉากในหลาย ๆ ที่ ...เป็นสเปซกระจายเหมือนกัน ... แต่ค่าลักษณะเฉพาะไม่ได้อยู่ใน\ $range(P^T P)$ $\lbrace 0, 1 \rbrace$

^{โปรดสังเกตว่าในใบเสนอราคานี้เมทริกซ์เกี่ยวข้องกับเมทริกซ์ในคำถามและไม่ใช่เมทริกซ์ประมาณการที่ส่อให้เห็นโดยเมทริกซ์ $P$ $R$ $P = R^TR$ $R$}

ดังนั้นการฉายแบบสุ่มโดยการสร้างที่แตกต่างกันเช่นการใช้รายการแบบสุ่มในเมทริกซ์จึงไม่เท่ากับการฉายฉากมุมฉาก แต่มันง่ายกว่าการคำนวณและอ้างอิงจาก Michael Mahoney มัน“ ดีพอ”

— Sextus Empiricus
แหล่งที่มา

1

ขอบคุณสำหรับคำตอบของคุณฉันคิดว่ามันเป็นไปในทิศทางเดียวกับที่ฉันให้ไว้ข้างต้น เพียงชี้แจงฉันคิดว่าคุณควรจะระบุว่า T ถ้าหากรายการของเป็น iid จากเราไม่สามารถมั่นใจได้ว่าหรือมีค่าลักษณะเฉพาะใน\} ในทางกลับกันหากคอลัมน์ของเป็นแบบออโธเฟนนัลทั้งสองเงื่อนไขจะเป็นจริง แต่มันเป็นกุญแจสำคัญในการบ่งบอกว่าการฉายเป็นไม่ใช่เพียงอย่างเดียว!

P = R R^{T}

$P = RR^T$

R \in R^{d \times k}

$R\in\mathbb R^{d\times k}$

N (0, 1)

$\mathcal N(0,1)$

P^{2} = P

$P^2 = P$

P

$P$

{0, 1}

$\{0,1\}$

R

$R$

R R^{T}

$RR^T$

R

$R$

— Daniel López

1

@ DanielLópezฉันได้อัปเดตแล้ว

— Sextus Empiricus

6

ถูกต้อง: "การฉายแบบสุ่ม" เป็นการพูดอย่างเคร่งครัดไม่ใช่การฉาย

ฉายถูกกำหนดไว้อย่างชัดเจนวัตถุทางคณิตศาสตร์: https://en.wikipedia.org/wiki/Projection_(linear_algebra) - มันเป็นผู้ประกอบการ idempotentent เชิงเส้นคือเส้นตรงผู้ประกอบการดังกล่าวว่าP การใช้การฉายสองครั้งนั้นเหมือนกับการใช้เพียงครั้งเดียวเพราะหลังจากที่มีการฉายจุดบนพื้นที่ย่อยแล้วมันควรจะอยู่ที่นั่นหากฉายอีกครั้ง ไม่มีอะไรเกี่ยวกับความตั้งฉากในคำจำกัดความนี้ ในความเป็นจริงการฉายภาพสามารถเอียง (ดู Wikipedia) $P$ $P^2 = P$

โปรดทราบว่าเมทริกซ์จตุรัสเท่านั้นที่สามารถเป็นตัวแทนของ "การคาดการณ์" ในแง่นี้ "การฉายภาพแบบสุ่ม" ใช้การสุ่มเมทริกซ์กับดังนั้นจึงไม่อาจเป็นการฉายภาพในความหมายของคำนิยามข้างต้น $d\times k$ $R$ $k\ll d$

แม้ว่าคุณจะสร้างคอลัมน์ของ orthonormal (เช่นโดยใช้กระบวนการ Gram-Schmidt) อาร์กิวเมนต์นี้จะยังคงใช้ บางคนเพิ่งถามคำถามนี้เกี่ยวกับ PCA: สิ่งที่ควรเรียกว่า "matrix matrix" ในบริบทของ PCA - a matrixของ orthonormal eigenvectors พูดอย่างเคร่งครัดไม่ใช่การฉายภาพเช่นกัน $R$ $d\times k$ $U$

— อะมีบา
แหล่งที่มา

3

ในย่อหน้าสุดท้ายของคุณคุณบอกว่าถ้าคอลัมน์เป็น orthonormal แล้วการฉายยังไม่ได้ฉายในแง่ของการฉายในพีชคณิตเชิงเส้น อย่างไรก็ตามนี่เป็นเพราะเมทริกซ์ไม่ใช่เมทริกซ์จตุรัส สิ่งนี้เกิดจากสัญกรณ์มากกว่าหลักการ หากคุณขยายเมทริกซ์ด้วยค่าศูนย์แล้วเมทริกซ์คือการฉายภาพเชิงเส้น

— Sextus Empiricus

1

@ Martijn Weterings ไม่ฉันไม่คิดอย่างนั้น ใช้ช่องว่าง 2D และ U ที่ 1x2 และมีลักษณะดังนี้: [sqrt (2) / 2, sqrt (2) / 2] (ตรงกับเส้นโครงในแนวทแยงมุม) ตอนนี้ขยายด้วยศูนย์ มันจะไม่เท่ากับตัวเองกำลังสอง

— อะมีบา

1

มันควรจะขยายวิธีอื่นสามารถทำได้

— kjetil b halvorsen

2

R (R^{T} R)^{- 1} R^{T}

$R (R^TR)^{-1}R^T$

I

$I$

U

$U$

P^{2} = P

$P^2=P$

— Sextus Empiricus

2

R

$R$

1

$d\times k$ $R$ $R$ $x\in \mathbb R^d$ $R$

$p = xR(R^TR)^{-1}R^T$ $p\in\mathbb R^d$

$R$ $R^TR = I\in \mathbb R^{k\times k}$ $x$ $R$

$p = xRR^T$ $p\in\mathbb R^d$

$RR^T\in\mathbb R^{d\times d}$ $(RR^T)^2=RR^TRR^T=RR^T$

$R$ $\mathbb R^k$ $\mathbb R^d$ $x\in\mathbb R^d$ $xRR^T$ $R$ $RR^T$

ฉันจะขอบคุณถ้าคุณสามารถยืนยัน / แก้ไขเหตุผลของฉันที่นี่

อ้างอิง:

[1] http://www.dankalman.net/AUhome/classes/classesS17/linalg/projections.pdf

— Daniel López
แหล่งที่มา

1

R (R^{T} R)^{- 1} R^{T}

$R(R^T R)^{-1} R^T$

1

R R^{T}

$RR^T$

R

$R$

2

R (R^{T} R)^{- 1} R^{T}

$R(R^TR)^{-1}R^T$

(R^{T} R)^{- 1} R^{T}

$(R^TR)^{-1}R^T$

R^{T}

$R^T$

R^{T}

$R^T$

β = (R^{T} R)^{- 1} R^{T} y

$\beta=(R^TR)^{-1}R^Ty$

β

$\beta$

\hat{y} = R (R^{T} R)^{- 1} R^{T} y

$\hat{y}=R(R^TR)^{-1}R^Ty$

β

$\beta$

-1

หากคุณใช้การพลิกสัญญาณแบบสุ่ม recomputable หรือการเปลี่ยนแปลงก่อนที่ Fast Walsh Hadamard เปลี่ยนการฉายแบบสุ่มเป็นมุมฉาก

— ฌอนโอคอนเนอร์
แหล่งที่มา