ข้อกำหนดหน่วยความจำสำหรับการคูณเมทริกซ์ที่รวดเร็ว

12

สมมติว่าเราต้องการที่จะคูณเมทริกซ์ อัลกอริทึมการคูณเมทริกซ์ที่ช้าทำงานในเวลาและใช้หน่วยความจำการคูณเมทริกซ์ที่เร็วที่สุดจะทำงานในเวลาโดยที่คือค่าคงที่พีชคณิตเชิงเส้น แต่สิ่งที่รู้เกี่ยวกับความซับซ้อนของหน่วยความจำ $n \times n$ $O(n^3)$ $O(n^2)$ $n^{\omega + o(1)}$ $\omega$

ดูเหมือนว่าอาจเป็นไปได้ที่การนิรนัยที่การคูณเมทริกซ์เร็วจะใช้หน่วยความจำมีการรับประกันว่าสามารถทำได้ในหน่วยความจำหรือไม่? เป็นกรณีที่อัลกอริทึมการคูณเมทริกซ์รู้จักกันในปัจจุบันใช้หน่วยความจำหรือไม่? $n^{\omega}$ $O(n^2)$ $O(n^2)$

(จริง ๆ แล้วฉันสนใจในการคูณเมทริกซ์สี่เหลี่ยม แต่ฉันคิดว่าคำตอบจะเหมือนกันในกรณีนั้นสำหรับกรณีสี่เหลี่ยมจัตุรัสและกรณีสี่เหลี่ยมจะศึกษาดีกว่า)

ds.algorithms linear-algebra

— เดวิดแฮร์ริส
แหล่งที่มา

16

การใช้พื้นที่เป็นอย่างมากสำหรับอัลกอริธึม Strassen ที่เหมือนกันทั้งหมด (เช่นที่อิงตามขอบเขตบนของการคูณเมทริกซ์พีชคณิต) ดูความซับซ้อนของอวกาศของอัลกอริทึม Coppersmith – Winograd $O(n^2)$

อย่างไรก็ตามฉันรู้ว่าในคำตอบก่อนหน้าของฉันว่าฉันไม่ได้อธิบายว่าทำไมการใช้พื้นที่เป็น ... ดังนั้นนี่จึงเป็นเรื่องมือหยัก พิจารณาสิ่งที่อัลกอริทึมคล้าย Strassen ทำ มันเริ่มต้นจากขั้นตอนวิธีการคงที่สำหรับคูณเมทริกซ์ที่ใช้คูณสำหรับบางคนคง 3โดยเฉพาะอัลกอริทึมนี้ (ไม่ว่าจะเป็นอะไร) สามารถเขียน WLOG เพื่อ $O(n^2)$ $K \times K$ $K^c$ $c < 3$

มันคำนวณเมทริกซ์ที่แตกต่างกันซึ่งรายการคูณแรกเมทริกซ์โดยเกลาต่างๆและเมทริกซ์จากเมทริกซ์ที่สองของรูปแบบที่คล้ายกัน $K^c$ $L_1,\ldots,L_{K^c}$ $A$ $K^c$ $R_1,\ldots,R_{K^c}$ $B$
มันคูณชุดค่าผสมเชิงเส้นเหล่านั้นแล้ว $L_i \cdot R_i$
มันคูณรายการของโดยเกลาต่างๆแล้วเพิ่มการฝึกอบรมเหล่านี้ทั้งหมดขึ้น entrywise ที่จะได้รับ B $L_i \cdot R_i$ $A \cdot B$

(นี่คืออัลกอริธึมที่เรียกว่า "bilinear" แต่ปรากฎว่าอัลกอริทึมการคูณเมทริกซ์ "พีชคณิต" ทุกตัวสามารถเขียนด้วยวิธีนี้ได้) สำหรับอัลกอริทึมนี้จะต้องเก็บ ผลิตภัณฑ์ในปัจจุบันและมูลค่าปัจจุบันของ (ตั้งค่าเริ่มต้นของทุก-เลขศูนย์) ในหน่วยความจำที่จุดใดก็ตามดังนั้นการใช้พื้นที่เป็น ) $i=1,\ldots,K^c$ $L_i \cdot R_i$ $A \cdot B$ $O(K^2)$

ที่กำหนดขั้นตอนวิธีการ จำกัด นี้ก็จะขยายออกไปแล้วโดยพลเมทริกซ์โดยการทำลายเมทริกซ์ขนาดใหญ่เป็นบล็อกของมิติ , การใช้ จำกัดขั้นตอนวิธีการบล็อก เมทริกซ์และเรียกอัลกอริทึมแบบเรียกซ้ำทุกครั้งที่ต้องการคูณสองบล็อก ในการเรียกซ้ำแต่ละระดับเราต้องเก็บองค์ประกอบฟิลด์ไว้ในหน่วยความจำเท่านั้น (เก็บ $K^{\ell} \times K^{\ell}$ $K \times K$ $K^{\ell-1}\times K^{\ell-1}$ $K \times K$ $O(K^{2\ell})$ $O(1)$ เมทริกซ์ต่างกัน) สมมติว่าการใช้พื้นที่สำหรับคูณเมทริกซ์คือการใช้พื้นที่ของอัลกอริทึมแบบเรียกซ้ำนี้คือซึ่งสำหรับ $K^{\ell} \times K^{\ell}$ $K^{\ell-1}\times K^{\ell-1}$ $S(\ell-1)$ $S(\ell) \leq S(\ell-1) + O(K^{2\ell})$ $S(1) = 2K^2$ แก้เพื่อ ) $S(\ell) \leq O(K^{2\ell})$

— Ryan Williams
แหล่งที่มา

n^{ω}

$n^\omega$

ω

$\omega$

n^{ω}

$n^\omega$

ω (n^{2})

$\omega(n^2)$

1

O (n^{ω + δ})

$O(n^{\omega + \delta})$

O (n^{2})

$O(n^2)$

δ > 0

$\delta > 0$

f (i) * n^{2}

$f(i) * n^2$

i = 0, . . ., k

$i = 0, ..., k$

n^{ω + o (1)}

$n^{\omega+o(1)}$

n^{2 + o (1)}

$n^{2+o(1)}$

k

$k$

f

$f$

k

$k$

f^{- 1}

$f^{-1}$

f

$f$

k

$k$

k

$k$

n^{2 + o (1)}

$n^{2+o(1)}$

n

$n$

k

$k$

k

$k$

n

$n$

f (k (n)) = n^{o (1)}

$f(k(n)) = n^{o(1)}$

k (n) \to \infty

$k(n) \rightarrow \infty$

n

$n$

n^{ω + o (1)}

$n^{\omega+o(1)}$

4

$p$ $O(n^2/p)$

— Alexander Tiskin
แหล่งที่มา