ฉันจะสร้างอาร์เรย์ numpy จากเครื่องกำเนิดไฟฟ้าได้อย่างไร

ฉันจะสร้างอาร์เรย์ numpy จากวัตถุตัวสร้างได้อย่างไร

ให้ฉันอธิบายปัญหา:

>>> import numpy
>>> def gimme():
...   for x in xrange(10):
...     yield x
...
>>> gimme()
<generator object at 0x28a1758>
>>> list(gimme())
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> numpy.array(xrange(10))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> numpy.array(gimme())
array(<generator object at 0x28a1758>, dtype=object)
>>> numpy.array(list(gimme()))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

ในตัวอย่างนี้gimme()เป็นตัวกำเนิดที่มีผลลัพธ์ที่ฉันต้องการเปลี่ยนเป็นอาร์เรย์ อย่างไรก็ตามตัวสร้างอาร์เรย์ไม่ได้วนซ้ำกับตัวกำเนิดมันเพียงเก็บตัวเอง พฤติกรรมที่ฉันต้องการคือจากnumpy.array(list(gimme()))แต่ฉันไม่ต้องการจ่ายค่าใช้จ่ายหน่วยความจำของการมีรายการกลางและอาร์เรย์สุดท้ายในหน่วยความจำในเวลาเดียวกัน มีวิธีที่ประหยัดพื้นที่มากกว่านี้ไหม?

อาร์เรย์ Numpy ต้องการระยะเวลาในการสร้างอย่างชัดเจนซึ่งแตกต่างจากรายการหลาม นี่เป็นสิ่งจำเป็นเพื่อให้สามารถจัดสรรพื้นที่สำหรับแต่ละรายการในหน่วยความจำอย่างต่อเนื่อง การจัดสรรอย่างต่อเนื่องเป็นคุณสมบัติหลักของอาร์เรย์ numpy: สิ่งนี้รวมกับการใช้โค้ดเนทีฟทำให้การดำเนินการกับพวกมันเร็วกว่ารายการปกติมาก

โดยคำนึงถึงเรื่องนี้เป็นไปไม่ได้ในทางเทคนิคที่จะนำตัวกำเนิดวัตถุและเปลี่ยนเป็นอาร์เรย์ยกเว้นว่าคุณจะ:

1. สามารถทำนายจำนวนองค์ประกอบที่จะให้ผลเมื่อทำงาน:

   my_array = numpy.empty(predict_length())
   for i, el in enumerate(gimme()): my_array[i] = el

2. ยินดีที่จะเก็บองค์ประกอบไว้ในรายการระดับกลาง:

   my_array = numpy.array(list(gimme()))

3. สามารถสร้างเครื่องกำเนิดไฟฟ้าที่เหมือนกันสองเครื่องวิ่งผ่านเครื่องแรกเพื่อค้นหาความยาวทั้งหมดเริ่มต้นอาร์เรย์จากนั้นเรียกใช้เครื่องกำเนิดไฟฟ้าอีกครั้งเพื่อค้นหาแต่ละองค์ประกอบ:

   length = sum(1 for el in gimme())
   my_array = numpy.empty(length)
   for i, el in enumerate(gimme()): my_array[i] = el

1อาจเป็นสิ่งที่คุณกำลังมองหา 2คือพื้นที่ไม่มีประสิทธิภาพและ3คือเวลาไม่มีประสิทธิภาพ (คุณต้องผ่านตัวกำเนิดสองครั้ง)

หนึ่งของ Google ที่อยู่เบื้องหลังผล StackOverflow numpy.fromiter(data, dtype, count)นี้ผมพบว่ามี ค่าเริ่มต้นcount=-1ใช้องค์ประกอบทั้งหมดจาก iterable มันต้องมีdtypeการตั้งค่าอย่างชัดเจน ในกรณีของฉันสิ่งนี้ได้ผล:

numpy.fromiter(something.generate(from_this_input), float)

ในขณะที่คุณสามารถสร้างอาร์เรย์ 1D จากตัวสร้างด้วยnumpy.fromiter()คุณสามารถสร้างอาร์เรย์ ND จากตัวสร้างด้วยnumpy.stack:

>>> mygen = (np.ones((5, 3)) for _ in range(10))
>>> x = numpy.stack(mygen)
>>> x.shape
(10, 5, 3)

มันยังใช้งานได้กับ 1D arrays:

>>> numpy.stack(2*i for i in range(10))
array([ 0,  2,  4,  6,  8, 10, 12, 14, 16, 18])

ทราบว่ามีการบริโภคภายในเครื่องกำเนิดไฟฟ้าและการสร้างรายการกลางด้วยnumpy.stack arrays = [asanyarray(arr) for arr in arrays]การดำเนินงานที่สามารถพบได้ที่นี่

ค่อนข้างเป็นวง แต่ถ้าเครื่องกำเนิดของคุณเข้าใจรายการคุณสามารถใช้numpy.whereเพื่อให้ได้ผลลัพธ์ของคุณได้อย่างมีประสิทธิภาพมากขึ้น (ฉันค้นพบสิ่งนี้ในรหัสของตัวเองหลังจากเห็นโพสต์นี้)

vstack , hstackและdstackฟังก์ชั่นสามารถใช้เป็นเครื่องกำเนิดไฟฟ้าการป้อนข้อมูลที่ให้อาร์เรย์หลายมิติ