การเก็บข้อมูลใน python ด้วย scipy / numpy

มีวิธีที่มีประสิทธิภาพมากกว่าในการหาค่าเฉลี่ยของอาร์เรย์ในถังขยะที่กำหนดไว้ล่วงหน้าหรือไม่? ตัวอย่างเช่นฉันมีอาร์เรย์ของตัวเลขและอาร์เรย์ที่ตรงกับตำแหน่งเริ่มต้นและจุดสิ้นสุดของ bin ในอาร์เรย์นั้นและฉันต้องการหาค่าเฉลี่ยในถังขยะเหล่านั้นหรือไม่ ฉันมีโค้ดที่ทำด้านล่าง แต่ฉันสงสัยว่าจะตัดทอนและปรับปรุงได้อย่างไร ขอบคุณ.

from scipy import *
from numpy import *

def get_bin_mean(a, b_start, b_end):
    ind_upper = nonzero(a >= b_start)[0]
    a_upper = a[ind_upper]
    a_range = a_upper[nonzero(a_upper < b_end)[0]]
    mean_val = mean(a_range)
    return mean_val


data = rand(100)
bins = linspace(0, 1, 10)
binned_data = []

n = 0
for n in range(0, len(bins)-1):
    b_start = bins[n]
    b_end = bins[n+1]
    binned_data.append(get_bin_mean(data, b_start, b_end))

print binned_data

อาจเร็วกว่าและใช้งานง่ายกว่าnumpy.digitize():

import numpy
data = numpy.random.random(100)
bins = numpy.linspace(0, 1, 10)
digitized = numpy.digitize(data, bins)
bin_means = [data[digitized == i].mean() for i in range(1, len(bins))]

อีกทางเลือกหนึ่งคือการใช้numpy.histogram():

bin_means = (numpy.histogram(data, bins, weights=data)[0] /
             numpy.histogram(data, bins)[0])

ลองด้วยตัวคุณเองว่าอันไหนเร็วกว่า ... :)

ฟังก์ชัน Scipy (> = 0.11) scipy.stats.binned_statisticตอบคำถามข้างต้นโดยเฉพาะ

สำหรับตัวอย่างเดียวกับคำตอบก่อนหน้านี้โซลูชัน Scipy จะเป็น

import numpy as np
from scipy.stats import binned_statistic

data = np.random.rand(100)
bin_means = binned_statistic(data, data, bins=10, range=(0, 1))[0]

ไม่แน่ใจว่าทำไมเธรดนี้ถึงตาย แต่นี่คือคำตอบที่ได้รับการอนุมัติในปี 2014 ซึ่งน่าจะเร็วกว่ามาก:

import numpy as np

data = np.random.rand(100)
bins = 10
slices = np.linspace(0, 100, bins+1, True).astype(np.int)
counts = np.diff(slices)

mean = np.add.reduceat(data, slices[:-1]) / counts
print mean

numpy_indexedแพคเกจ (Disclaimer: ผมผู้เขียน) มีฟังก์ชันการทำงานที่มีประสิทธิภาพในการดำเนินการประเภทนี้:

import numpy_indexed as npi
print(npi.group_by(np.digitize(data, bins)).mean(data))

นี่เป็นวิธีแก้ปัญหาเดียวกับที่ฉันโพสต์ก่อนหน้านี้ แต่ตอนนี้รวมอยู่ในอินเทอร์เฟซที่ดีพร้อมการทดสอบและทั้งหมด :)

ฉันจะเพิ่มและเพื่อตอบคำถามให้ค้นหาค่า bin เฉลี่ยโดยใช้ฮิสโตแกรม 2d pythonที่ scipy ยังมีฟังก์ชันที่ออกแบบมาเป็นพิเศษเพื่อคำนวณสถิติ binned แบบสองมิติสำหรับชุดข้อมูลหนึ่งชุดขึ้นไป

import numpy as np
from scipy.stats import binned_statistic_2d

x = np.random.rand(100)
y = np.random.rand(100)
values = np.random.rand(100)
bin_means = binned_statistic_2d(x, y, values, bins=10).statistic

ฟังก์ชันscipy.stats.binned_statistic_ddเป็นลักษณะทั่วไปของ funcion นี้สำหรับชุดข้อมูลมิติที่สูงขึ้น

อีกทางเลือกหนึ่งคือการใช้ ufunc.at วิธีนี้ใช้แทนการดำเนินการที่ต้องการในดัชนีที่ระบุ เราสามารถรับตำแหน่ง bin สำหรับแต่ละจุดข้อมูลโดยใช้วิธีการค้นหา จากนั้นเราสามารถใช้เพื่อเพิ่มขึ้นทีละ 1 ตำแหน่งของฮิสโตแกรมที่ดัชนีที่กำหนดโดย bin_indexes ทุกครั้งที่เราพบดัชนีที่ bin_indexes

np.random.seed(1)
data = np.random.random(100) * 100
bins = np.linspace(0, 100, 10)

histogram = np.zeros_like(bins)

bin_indexes = np.searchsorted(bins, data)
np.add.at(histogram, bin_indexes, 1)