การคูณเมทริกซ์โซ่และการยกกำลัง

ถ้าฉันมีเมทริกซ์และสองขนาดและตามลำดับและต้องการคำนวณมันมีประสิทธิภาพมากกว่าที่จะเขียนนิพจน์ใหม่เป็นและเพียงแล้วประเมินตัวเลขเพราะเป็นมิติแต่เป็นของมิติ2 $A$ $B$ $1000\times2$ $2\times1000$ $(AB)^{5000}$ $A(BA)^{4999}B$ $AB$ $1000\times1000$ $BA$ $2\times2$

ฉันต้องการแก้ปัญหานี้โดยทั่วไป มีอัลกอริธึมที่มีประสิทธิภาพพอสมควร (ไม่ใช่แรงเดรัจฉาน) เพื่อปรับการแสดงออกที่มี:

ตัวแปรเมทริกซ์อิสระของขนาดที่รู้จัก
ผลิตภัณฑ์ของ subexpressions โดยพลการ
subexpressions โดยพลการยกกำลังธรรมชาติ

... เพื่อที่จะใช้เวลาน้อยที่สุดในการประเมินตัวเลขหลังจากการแทนที่ตัวแปรเมทริกซ์อิสระด้วยค่าเมทริกซ์คอนกรีต?

ห่วงโซ่คูณเมทริกซ์ปัญหาเป็นกรณีพิเศษของปัญหาของฉัน

แก้ไข:

นี่คือคำตอบเบื้องต้น ดูเหมือนว่าเหมาะสมกับฉัน แต่ฉันก็ไม่มีข้อพิสูจน์ว่าถูกต้อง หากปรากฎว่าถูกต้องฉันยังคงสนใจในการพิสูจน์ (หากมันไม่ถูกต้องแน่นอนโปรดแก้ไขให้ถูกต้อง)

สำหรับทุกผลิตภัณฑ์ที่ยกระดับพลังงานให้พูดว่าให้พิจารณาการเปลี่ยนรูปแบบวนรอบของปัจจัยทั้งหมด: $(A_1 A_2 \ldots A_k)^n$

$(A_1 A_2 \ldots A_k)^n$
$A_1 (A_2 \ldots A_k A_1)^{n-1} A_2 \ldots A_k$
$A_1 A_2 (A_3 \ldots A_k A_1 A_2)^{n-1} A_3 \ldots A_k$
...
$A_1 A_2 \ldots A_{k-1} (A_k A_1 A_2 \ldots A_{k-1})^{n-1} A_k$

... วนซ้ำ พลังงานแต่ละอันจะถูกคำนวณโดยใช้การยกกำลังด้วยการยกกำลังสอง (ชัด) และผลิตภัณฑ์อื่น ๆ ทั้งหมดจะถูกคำนวณโดยใช้ลำดับที่ดีที่สุดที่ส่งคืนโดยอัลกอริทึมการคูณเมทริกซ์โซ่

แก้ไข:

แนวคิดที่ระบุไว้ในการแก้ไขครั้งก่อนของฉันยังค่อนข้างไม่เหมาะสม การยกกำลังด้วยอัลกอริทึมกำลังสองจริงประเมินนิพจน์ของรูปแบบหรือโดยที่ไม่จำเป็นต้องเป็นเมทริกซ์เอกลักษณ์ แต่อัลกอริทึมของฉันไม่ได้พิจารณาถึงความเป็นไปได้ในการใช้การยกกำลังด้วยวิธีกำลังสองกับไม่เท่ากับเมทริกซ์เอกลักษณ์ $K A^n$ $A^n K$ $K$ $K$

optimization dynamic-programming linear-algebra

— pyon
แหล่งที่มา

@ gnasher729: ขออภัยฉันควรชัดเจนกว่านี้ ฉันไม่ต้องการให้เกิดความเป็นไปได้ทั้งหมดด้วยเหตุผลเดียวกันกับที่คุณไม่ต้องการแก้ปัญหาการคูณเมทริกซ์เชนด้วยแรงเดรัจฉาน ฉันเพิ่งแก้ไขคำถามตาม

— pyon

โปรดทราบว่าแม้หลังจากที่คุณปัจจัยที่ชาญฉลาดแสดงออกก็ยังคงเป็นที่ฉลาดมากขึ้นในปัจจัยที่เป็น B ประเด็นก็คือคุณอาจต้องผสมระหว่างการคูณเมทริกซ์เชนกับอัลกอริธึมมาตรฐานอื่น ๆ เพื่อการยกกำลังอย่างรวดเร็ว

A (B A)^{4999} B

$A(BA)^{4999}B$

A (B A)^{2 * (2 * 1249 + 1) + 1} B

$A(BA)^{2*(2*1249+1)+1}B$

— อภิวัฒน์จันทวิบูลย์

@Billiska: แน่นอนว่านั่นคือสิ่งที่ฉันต้องการจะทำ: รวมการคูณเมทริกซ์เชนและการยกกำลังด้วยการยกกำลังเป็นอัลกอริทึมเดียวสำหรับปัญหาที่รวมกัน แต่มีปัญหาที่น่ารำคาญอยู่บ้าง ให้

ฉันจะป้องกันอัลกอริทึมจากการลอง

,และอื่น ๆ ได้อย่างไร

A (B A)^{n - 1} B

$A(BA)^{n-1}B$

A B (A B)^{n - 2} A B

$AB(AB)^{n-2}AB$

A B A (B A)^{n - 3} B A B

$ABA(BA)^{n-3}BAB$

— pyon

เราเปลี่ยนพื้นฐานของเวกเตอร์ Eigen สำหรับการยกกำลังเมทริกซ์และเมื่อเมทริกซ์ทั้งหมดมีกำลัง 1 แล้วเราสามารถใช้การคูณเมทริกซ์เชน

— Deep Joshi

@ ลึก Joshi ขออภัยฉันพบความคิดเห็นของคุณค่อนข้างสั้น แต่ถ้าผมเข้าใจความคิดของคุณอย่างถูกต้องฉันเกรงว่ามันจะไม่ทำงานในกรณีทั่วไปเนื่องจากขนาดของ eigenspaces ของที่

เมทริกซ์ไม่จำเป็นที่จะต้องเพิ่มขึ้นถึงn

กล่าวอีกนัยหนึ่งมันไม่ใช่กรณีที่เวกเตอร์ทุกตัวสามารถแสดงเป็นการรวมเชิงเส้นของ eigenvector

n \times n

$n \times n$

n

$n$

— pyon

คำตอบ:

ข้อสงวนสิทธิ์: วิธีการต่อไปนี้ยังไม่ได้รับการพิสูจน์อย่างเข้มงวดว่าเหมาะสมที่สุด มีการพิสูจน์อย่างไม่เป็นทางการ

ปัญหาจะลดลงเพื่อค้นหาการสั่งซื้อที่มีประสิทธิภาพสูงสุดเมื่อพิจารณาถึงกำลังสองของผลิตภัณฑ์

ตัวอย่างเช่นเมื่อมองเช่นเราจะต้องดีที่สุดแก้นับตั้งแต่นี้เพื่อขยาย Cไม่มีการเพิ่มข้อมูลการสั่งซื้อที่เป็นประโยชน์โดยต่ออีกครั้ง สัญชาตญาณที่นี่คือเนื่องจากปัญหาของการเรียงลำดับที่ดีที่สุดสามารถแก้ไขจากล่างขึ้นบนได้ลำดับที่สูงขึ้นประกอบด้วยองค์ประกอบมากขึ้นโดยใช้เมทริกซ์เดียวกันจึงไม่เกี่ยวข้อง $(ABC)^{50}$ $(ABC)^2$ $ABCABC$ $ABC$

การค้นหาลำดับที่ดีที่สุดของช่วยลดปัญหาการคูณเมทริกซ์เชน หลังจากค้นหาคำสั่งที่ดีที่สุดให้ใช้การยกกำลังกับ triplet (โดยทั่วไปแล้วจะเป็น n-tuple) ในการสั่งซื้อ $ABCABC$

ในฐานะที่เป็นเช่นถ้าสั่งซื้อที่เหมาะสมที่สุดสำหรับตารางคือ , วิธีการแก้ปัญหาที่เกิดขึ้นเป็นครั้งแรก C $A(B(CA))BC$ $A(B(CA))^{49}BC$

สรุป:
1) ขั้นตอนแรกในการแก้คือการแก้ปัญหา 2 2) การแก้ปัญหาเป็นวิธีที่ดีที่สุดที่จะเป็นตัวอย่างของปัญหาการคูณเมทริกซ์เชน 3) การใช้ n-tuple การสั่งซื้อจากสารละลายใน (2) จะให้ทางออกแก่ (1) เป็นรสชาติของ $(A_1 A_2 \cdots A_n)^m$ $(A_1 A_2 \cdots A_n)^2$
$(A_1 A_2 \cdots A_n)^2$
$G$ (โปรดสังเกตว่าการจัดกลุ่มอื่น ๆ จากการแก้ (2) ควรใช้เช่นกัน) $A_1 \cdot A_2 \cdot G^{m-1} \cdot A_n$

หลักฐานที่ไม่เป็นทางการ
เมื่อพิจารณากรณีที่ง่ายที่สุดโดยใช้เมทริกซ์สองตัวเราทราบว่าและมีมิติและตามลำดับ ผลิตภัณฑ์ใด ๆ ที่ใช้และมีหนึ่งในมิติต่อไปนี้: $(AB)^n$ $A$ $B$ $X \times Y$ $Y \times X$ $A$ $B$

$X \times Y$
$Y \times X$
$Y \times Y$
$X \times X$

เรามีทั้งหรือ X $X < Y$ $Y ≤ X$

สมมติฐาน 1a): มีมิติและการสั่งซื้อนี้รับประกันว่าจะดีที่สุดจากวิธีการจากล่างขึ้นบน การกำหนดค่าอื่น ๆ ของและนั้นดีไม่แพ้กัน ดังนั้นปัญหาจะแก้ไขได้อย่างดีที่สุดเท่าที่ n $X < Y$
$AB$ $X \times X$ $A$ $B$ $(AB)^n$

อัสสัมชั 1b): มีขนาด Yนี่คือการสั่งซื้อที่เหมาะสมสำหรับผลิตภัณฑ์ทั้งหมดที่เกี่ยวข้องกับและBดังนั้นวิธีการแก้ปัญหาที่พบได้อย่างดีที่สุดเท่าที่ B $Y ≤ X$
$BA$ $Y \times Y$ $A$ $B$ $A(BA)^{n-1}B$

นี่เป็นการสรุปหลักฐานและเราได้ดูเพียงสองลำดับที่พบในซึ่งเป็นปัญหากำลังสอง $ABAB$

การใช้เมทริกซ์เพิ่มเติมอาร์กิวเมนต์จะคล้ายกัน บางทีการพิสูจน์อุปนัยเป็นไปได้? แนวคิดทั่วไปคือการแก้ MCM สำหรับสแควร์จะพบขนาดที่เหมาะสมที่สุดสำหรับการดำเนินการกับเมทริกซ์ที่เกี่ยวข้องทั้งหมดที่พิจารณา

กรณีศึกษา:

julia> a=rand(1000,2);
julia> b=rand(2,1000);
julia> c=rand(1000,100);
julia> d=rand(100,1000);
julia> e=rand(1000,1000);

julia> @time (a*b*c*d*e)^30;
  0.395549 seconds (26 allocations: 77.058 MB, 1.58% gc time)

# Here I use an MCM solver to find out the optimal ordering for the square problem
julia> Using MatrixChainMultiply
julia> matrixchainmultiply("SOLVE_SQUARED", a,b,c,d,e,a,b,c,d,e)
Operation: SOLVE_SQUARED(A...) = begin  # none, line 1:
    A[1] * (((((A[2] * A[3]) * (A[4] * (A[5] * A[6]))) * (A[7] * A[8])) * A[9]) * A[10])
  end
Cost: 6800800

# Use the ordering found, note that exponentiation is applied to the group of 5 elements
julia> @time a*(((((b*c)*(d*(e*a)))^29*(b*c))*d)*e);
  0.009990 seconds (21 allocations: 7.684 MB)

# I also tried using the MCM for solving the problem directly
julia> @time matrixchainmultiply([30 instances of a,b,c,d,e]);
  0.094490 seconds (4.02 k allocations: 9.073 MB)

— matteyas
แหล่งที่มา

คุณสามารถปรับการอ้างสิทธิ์ที่เพียงพอที่จะพิจารณา

หรือไม่ ดูเหมือนจะไม่ชัดเจนสำหรับฉัน

(A B C)^{2}

$(ABC)^2$

— David Richerby

@DavidRicherby ฉันไม่มีข้อพิสูจน์สำหรับเรื่องนี้ แต่ดูเหมือนว่าสัญชาตญาณเพราะปัญหาคือวงจรในธรรมชาติและการสั่งซื้อวงจรที่ไม่ซ้ำกันเกิดขึ้นใน

และไม่มีเงื่อนไขเพิ่มเติมให้กลุ่มวงจรใหม่ สมมติฐานของฉันคือ

คำนวณอย่างเหมาะสมเป็นหนึ่งในสิ่งต่อไปนี้:

หรือ

A B C A B C

$ABCABC$

(A B C)^{n}

$(ABC)^n$

(A B C)^{n}

$(ABC)^n$

A (B C A)^{n - 1} B C

$A(BCA)^{n-1}BC$

ฉันจะลองพิสูจน์พรุ่งนี้ถ้ามีเวลา

A B (C A B)^{n - 1} C

$AB(CAB)^{n-1}C$

— matteyas

@DavidRicherby เป็นหลักฐานเพิ่มเติมอย่างไม่เป็นทางการจากการใช้งานหรือไม่?

— matteyas

@matteyas: นั่นคือสิ่งที่ฉันพูดมากหรือน้อยในการแก้ไขครั้งแรกสำหรับคำถามของฉันใช่ไหม?

— pyon

@atteyas ตกลงดังนั้นฉันคิดว่าประเด็นก็คือเพราะเรามีลำดับการทำซ้ำมีเพียงจำนวนขนาดกลางของเมทริกซ์กลางและคุณได้เห็นสิ่งเหล่านี้ทั้งหมดเมื่อคุณดู

A B C A B C

$ABCABC$

— David Richerby

-1

$A_1$ $A_n$ $A_i$ $A_j$ $O (n^3)$

— gnasher729
แหล่งที่มา

สิ่งนี้ไม่ได้คำนึงถึง subexpressions ที่ยกมาเป็นพลังงาน (ถ้าพลังงานมีขนาดใหญ่สิ่งนี้อาจไม่มีประสิทธิภาพมาก) และไม่คำนึงถึงโอกาสที่จะใช้การยกกำลังอย่างรวดเร็วเพื่อให้ได้ความเร็วสูงสุดที่ดีกว่าดังนั้นฉันจึงสงสัยว่า ยังไม่ได้คำตอบที่ดีที่สุด

— DW