Python: วิธีที่เร็วที่สุดในการสร้างรายการ n รายการ

ดังนั้นฉันจึงสงสัยว่าจะสร้างรายการว่างให้ดีที่สุดได้อย่างไร:

[[],[],[]...]

เนื่องจาก Python ทำงานกับรายการในหน่วยความจำจึงไม่ได้ผล:

[[]]*n

สิ่งนี้สร้าง[[],[],...]แต่แต่ละองค์ประกอบเป็นรายการเดียวกัน:

d = [[]]*n
d[0].append(1)
#[[1],[1],...]

สิ่งที่เหมือนกับการทำความเข้าใจรายการทำงาน:

d = [[] for x in xrange(0,n)]

แต่ใช้ Python VM สำหรับการวนซ้ำ มีวิธีใดบ้างในการใช้การวนซ้ำโดยนัย (โดยใช้ประโยชน์จากการเขียนด้วย C)?

d = []
map(lambda n: d.append([]),xrange(0,10))

นี่ช้ากว่าจริง :(

อาจเป็นวิธีเดียวที่เร็วกว่าเล็กน้อย

d = [[] for x in xrange(n)]

คือ

from itertools import repeat
d = [[] for i in repeat(None, n)]

ไม่ต้องสร้างintออบเจ็กต์ใหม่ในทุก ๆ การทำซ้ำและเร็วขึ้นประมาณ 15% บนเครื่องของฉัน

แก้ไข : การใช้ NumPy คุณสามารถหลีกเลี่ยงการวนซ้ำ Python โดยใช้ไฟล์

d = numpy.empty((n, 0)).tolist()

แต่จริงๆแล้วช้ากว่าความเข้าใจรายการ 2.5 เท่า

comprehensions รายการจริงจะดำเนินการได้อย่างมีประสิทธิภาพมากขึ้นกว่าการวนลูปอย่างชัดเจน (ดูเอาท์พุทสำหรับฟังก์ชั่นตัวอย่าง ) และวิธีที่มีการเรียกวัตถุ callable ophaque ทวนทุกซึ่งเกิดขึ้นจากค่าใช้จ่ายค่าใช้จ่ายมากdismap

ไม่ว่า[[] for _dummy in xrange(n)]จะเป็นวิธีที่ถูกต้องในการทำและไม่มีความแตกต่างด้านความเร็วเล็ก ๆ น้อย ๆ (ถ้ามีอยู่เลย) ความแตกต่างของความเร็วระหว่างวิธีอื่น ๆควรมีความสำคัญ เว้นแต่คุณจะใช้เวลาส่วนใหญ่ในการทำสิ่งนี้ - แต่ในกรณีนี้คุณควรทำงานกับอัลกอริทึมของคุณแทน คุณสร้างรายการเหล่านี้บ่อยแค่ไหน?

ต่อไปนี้เป็นสองวิธีวิธีหนึ่งที่เรียบง่ายและเรียบง่าย (และแนวความคิด) อีกวิธีเป็นทางการมากขึ้นและสามารถขยายได้ในสถานการณ์ต่างๆหลังจากอ่านชุดข้อมูลแล้ว

วิธีที่ 1: แนวความคิด

X2=[]
X1=[1,2,3]
X2.append(X1)
X3=[4,5,6]
X2.append(X3)
X2 thus has [[1,2,3],[4,5,6]] ie a list of lists. 

วิธีที่ 2: เป็นทางการและขยายได้

อีกวิธีหนึ่งที่ยอดเยี่ยมในการจัดเก็บรายการเป็นรายการของตัวเลขที่แตกต่างกันซึ่งอ่านจากไฟล์ (ไฟล์ที่นี่มีชุดข้อมูลรถไฟ) Train คือชุดข้อมูลที่มีคำพูด 50 แถวและ 20 คอลัมน์ กล่าวคือ. Train [0] ให้แถวที่ 1 ของไฟล์ csv, train [1] ให้แถวที่ 2 ไปเรื่อย ๆ ฉันสนใจที่จะแยกชุดข้อมูลที่มี 50 แถวเป็นรายการเดียวยกเว้นคอลัมน์ 0 ซึ่งเป็นตัวแปรที่ฉันอธิบายไว้ที่นี่ดังนั้นจึงต้องลบออกจากชุดข้อมูลรถไฟดั้งเดิมจากนั้นจึงปรับขนาดรายการตามรายการ - นั่นคือรายการของรายการ . นี่คือรหัสที่ทำเช่นนั้น

โปรดทราบว่าฉันกำลังอ่าน "1" ในวงในเนื่องจากฉันสนใจตัวแปรที่อธิบายเท่านั้น และฉันเริ่มต้น X1 = [] อีกครั้งในลูปอื่นอีกครั้ง X2.append ([0: (len (train [0]) - 1)]) จะเขียน X1 ซ้ำแล้วซ้ำอีก - นอกจากนี้หน่วยความจำจะมีประสิทธิภาพมากขึ้น

X2=[]
for j in range(0,len(train)):
    X1=[]
    for k in range(1,len(train[0])):
        txt2=train[j][k]
        X1.append(txt2)
    X2.append(X1[0:(len(train[0])-1)])

ในการสร้างรายการและรายชื่อใช้ไวยากรณ์ด้านล่าง

     x = [[] for i in range(10)]

สิ่งนี้จะสร้างรายการ 1-d และเริ่มต้นให้ใส่หมายเลขใน [[หมายเลข] และกำหนดความยาวของรายการใส่ความยาวในช่วง (ความยาว)

• ในการสร้างรายการใช้ไวยากรณ์ด้านล่าง

    x = [[[0] for i in range(3)] for i in range(10)]

สิ่งนี้จะเริ่มต้นรายการด้วยมิติข้อมูล 10 * 3 และมีค่า 0

• ในการเข้าถึง / จัดการองค์ประกอบ

    x[1][5]=value

ดังนั้นฉันจึงทำการเปรียบเทียบความเร็วเพื่อให้ได้วิธีที่เร็วที่สุด ความเข้าใจในรายการนั้นเร็วมาก วิธีเดียวที่จะเข้าใกล้ได้คือหลีกเลี่ยงการถูก exectuded bytecode ระหว่างการสร้างรายการ ความพยายามครั้งแรกของฉันคือวิธีการต่อไปนี้ซึ่งโดยหลักการแล้วจะเร็วกว่า:

l = [[]]
for _ in range(n): l.extend(map(list,l))

(สร้างรายการความยาว 2 ** n แน่นอน) โครงสร้างนี้ช้าเป็นสองเท่าของความเข้าใจรายการตามเวลาสำหรับรายการทั้งแบบสั้นและแบบยาว (หนึ่งล้านรายการ)

ความพยายามครั้งที่สองของฉันคือใช้ starmap เพื่อเรียกตัวสร้างรายการสำหรับฉันมีโครงสร้างหนึ่งซึ่งดูเหมือนจะเรียกใช้ตัวสร้างรายการด้วยความเร็วสูงสุด แต่ก็ยังช้ากว่า แต่เพียงเล็กน้อยเท่านั้น:

from itertools import starmap
l = list(starmap(list,[()]*(1<<n)))

เวลาดำเนินการที่น่าสนใจเพียงพอแสดงให้เห็นว่าเป็นการเรียกรายการสุดท้ายที่ทำให้โซลูชัน starmap ช้าเนื่องจากเวลาดำเนินการเกือบจะเท่ากับความเร็วของ:

l = list([] for _ in range(1<<n))

ความพยายามครั้งที่สามของฉันเกิดขึ้นเมื่อฉันรู้ว่ารายการ (()) สร้างรายการด้วยดังนั้นฉันจึงลองใช้วิธีง่ายๆอย่างเห็นได้ชัด:

l = list(map(list, [()]*(1<<n)))

แต่มันช้ากว่าการโทรแบบสตาร์แมป

สรุป: สำหรับคนบ้าความเร็ว: ใช้ความเข้าใจในรายการ ฟังก์ชั่นการโทรเท่านั้นถ้าคุณต้องการ ใช้บิลท์อิน