ฉันต้องการคำนวณจำนวนองค์ประกอบที่ไม่ใช่ NaN ในเมทริกซ์ numpy ndarray เราจะทำสิ่งนี้อย่างมีประสิทธิภาพใน Python ได้อย่างไร? นี่คือรหัสง่ายๆของฉันสำหรับการบรรลุสิ่งนี้:

import numpy as np

def numberOfNonNans(data):
    count = 0
    for i in data:
        if not np.isnan(i):
            count += 1
    return count 

มีฟังก์ชันในตัวสำหรับสิ่งนี้เป็นตัวเลขหรือไม่? ประสิทธิภาพเป็นสิ่งสำคัญเพราะฉันกำลังทำการวิเคราะห์ข้อมูลขนาดใหญ่

ขอบคุณสำหรับความช่วยเหลือ!

np.count_nonzero(~np.isnan(data))

~np.isnanตีความเมทริกซ์บูลีนกลับมาจาก

np.count_nonzeroนับค่าที่ไม่ใช่ 0 \ false .sumควรให้ผลลัพธ์เดียวกัน แต่อาจจะชัดเจนกว่าที่จะใช้count_nonzero

ความเร็วในการทดสอบ:

In [23]: data = np.random.random((10000,10000))

In [24]: data[[np.random.random_integers(0,10000, 100)],:][:, [np.random.random_integers(0,99, 100)]] = np.nan

In [25]: %timeit data.size - np.count_nonzero(np.isnan(data))
1 loops, best of 3: 309 ms per loop

In [26]: %timeit np.count_nonzero(~np.isnan(data))
1 loops, best of 3: 345 ms per loop

In [27]: %timeit data.size - np.isnan(data).sum()
1 loops, best of 3: 339 ms per loop

data.size - np.count_nonzero(np.isnan(data))ดูเหมือนว่าจะเร็วที่สุดที่นี่ ข้อมูลอื่น ๆ อาจให้ผลลัพธ์ความเร็วสัมพัทธ์ที่แตกต่างกัน

การเปลี่ยนแปลงที่รวดเร็วในการเขียน

แม้ว่าจะไม่ใช่ตัวเลือกที่เร็วที่สุด แต่หากประสิทธิภาพไม่ใช่ปัญหาคุณสามารถใช้:

sum(~np.isnan(data)).

ประสิทธิภาพ:

In [7]: %timeit data.size - np.count_nonzero(np.isnan(data))
10 loops, best of 3: 67.5 ms per loop

In [8]: %timeit sum(~np.isnan(data))
10 loops, best of 3: 154 ms per loop

In [9]: %timeit np.sum(~np.isnan(data))
10 loops, best of 3: 140 ms per loop

อีกทางเลือกหนึ่ง แต่ทางเลือกที่ช้ากว่าเล็กน้อยคือการทำดัชนีมากกว่า

np.isnan(data)[np.isnan(data) == False].size

In [30]: %timeit np.isnan(data)[np.isnan(data) == False].size
1 loops, best of 3: 498 ms per loop 

การใช้np.isnan(data)และตัว==ดำเนินการสองครั้งอาจจะใช้งานมากเกินไปดังนั้นฉันจึงโพสต์คำตอบเพื่อความสมบูรณ์

ในการตรวจสอบว่าอาร์เรย์กระจัดกระจายหรือไม่อาจช่วยให้ได้สัดส่วนของค่านาโน

np.isnan(ndarr).sum() / ndarr.size

หากสัดส่วนนั้นเกินเกณฑ์ให้ใช้อาร์เรย์แบบกระจัดกระจายเช่น - https://sparse.pydata.org/en/latest/