อาร์เรย์ NumPy ไม่ใช่ JSON ที่ปรับแต่งได้

หลังจากสร้างอาร์เรย์ NumPy และบันทึกเป็นตัวแปรบริบท Django ฉันได้รับข้อผิดพลาดต่อไปนี้เมื่อโหลดหน้าเว็บ:

array([   0,  239,  479,  717,  952, 1192, 1432, 1667], dtype=int64) is not JSON serializable

สิ่งนี้หมายความว่า?

ฉันเป็นประจำ "jsonify" np.arrays ลองใช้วิธี ".tolist ()" ในอาร์เรย์ก่อนเช่นนี้:

import numpy as np
import codecs, json 

a = np.arange(10).reshape(2,5) # a 2 by 5 array
b = a.tolist() # nested lists with same data, indices
file_path = "/path.json" ## your path variable
json.dump(b, codecs.open(file_path, 'w', encoding='utf-8'), separators=(',', ':'), sort_keys=True, indent=4) ### this saves the array in .json format

เพื่อ "unjsonify" การใช้อาร์เรย์:

obj_text = codecs.open(file_path, 'r', encoding='utf-8').read()
b_new = json.loads(obj_text)
a_new = np.array(b_new)

จัดเก็บเป็น JSON เป็น numpy.ndarray หรือองค์ประกอบที่ซ้อนกัน

class NumpyEncoder(json.JSONEncoder):
    def default(self, obj):
        if isinstance(obj, np.ndarray):
            return obj.tolist()
        return json.JSONEncoder.default(self, obj)

a = np.array([[1, 2, 3], [4, 5, 6]])
print(a.shape)
json_dump = json.dumps({'a': a, 'aa': [2, (2, 3, 4), a], 'bb': [2]}, cls=NumpyEncoder)
print(json_dump)

จะส่งออก:

(2, 3)
{"a": [[1, 2, 3], [4, 5, 6]], "aa": [2, [2, 3, 4], [[1, 2, 3], [4, 5, 6]]], "bb": [2]}

ในการกู้คืนจาก JSON:

json_load = json.loads(json_dump)
a_restored = np.asarray(json_load["a"])
print(a_restored)
print(a_restored.shape)

จะส่งออก:

[[1 2 3]
 [4 5 6]]
(2, 3)

คุณสามารถใช้หมีแพนด้า :

import pandas as pd
pd.Series(your_array).to_json(orient='values')

ฉันพบทางออกที่ดีที่สุดหากคุณมีอาร์เรย์ numpy ในพจนานุกรม:

import json
import numpy as np

class NumpyEncoder(json.JSONEncoder):
    """ Special json encoder for numpy types """
    def default(self, obj):
        if isinstance(obj, np.integer):
            return int(obj)
        elif isinstance(obj, np.floating):
            return float(obj)
        elif isinstance(obj, np.ndarray):
            return obj.tolist()
        return json.JSONEncoder.default(self, obj)

dumped = json.dumps(data, cls=NumpyEncoder)

with open(path, 'w') as f:
    json.dump(dumped, f)

ขอบคุณผู้ชายคนนี้

ใช้json.dumps defaultkwarg:

ค่าเริ่มต้นควรเป็นฟังก์ชันที่เรียกใช้วัตถุที่ไม่สามารถต่อเนื่องกันได้

ในdefaultฟังก์ชั่นการตรวจสอบว่าวัตถุมาจากโมดูลก้อนถ้าเป็นเช่นนั้นใช้ndarray.tolistสำหรับndarrayหรือใช้.itemสำหรับประเภทที่เฉพาะเจาะจงอื่น ๆ numpy

import numpy as np

def default(obj):
    if type(obj).__module__ == np.__name__:
        if isinstance(obj, np.ndarray):
            return obj.tolist()
        else:
            return obj.item()
    raise TypeError('Unknown type:', type(obj))

dumped = json.dumps(data, default=default)

ค่าเริ่มต้นนี้ไม่ได้รับการสนับสนุน แต่คุณสามารถทำให้มันใช้งานได้ง่าย! มีหลายสิ่งที่คุณต้องการเข้ารหัสหากคุณต้องการให้ข้อมูลเดิมกลับคืนมา:

• ข้อมูลเองซึ่งคุณสามารถรับได้ด้วย obj.tolist() @travelingbones ที่กล่าวถึง บางครั้งสิ่งนี้อาจดีพอ
• ประเภทข้อมูล ฉันรู้สึกว่านี่เป็นสิ่งสำคัญในบางกรณี
• มิติ (ไม่จำเป็นต้องเป็น 2D) ซึ่งอาจได้มาจากด้านบนหากคุณถือว่าอินพุตเป็นตาราง 'สี่เหลี่ยม' เสมอ
• ลำดับหน่วยความจำ (แถว - หรือคอลัมน์หลัก) สิ่งนี้ไม่สำคัญ แต่บางครั้งก็ทำได้ (เช่นประสิทธิภาพ) ดังนั้นทำไมไม่บันทึกทุกอย่าง

นอกจากนี้อาร์เรย์ numpy ของคุณอาจเป็นส่วนหนึ่งของโครงสร้างข้อมูลของคุณเช่นคุณมีรายการที่มีเมทริกซ์อยู่ภายใน เพื่อให้คุณสามารถใช้โปรแกรมเปลี่ยนรหัสที่กำหนดเองซึ่งโดยทั่วไปแล้วจะทำข้างต้น

นี่ควรจะเพียงพอที่จะใช้โซลูชัน หรือคุณสามารถใช้json-tricksซึ่งทำได้เพียงแค่นี้ (และสนับสนุนประเภทอื่น ๆ อีกมากมาย) (ข้อจำกัดความรับผิดชอบ: ฉันสร้างมันขึ้นมา)

pip install json-tricks

แล้วก็

data = [
    arange(0, 10, 1, dtype=int).reshape((2, 5)),
    datetime(year=2017, month=1, day=19, hour=23, minute=00, second=00),
    1 + 2j,
    Decimal(42),
    Fraction(1, 3),
    MyTestCls(s='ub', dct={'7': 7}),  # see later
    set(range(7)),
]
# Encode with metadata to preserve types when decoding
print(dumps(data))

ฉันมีปัญหาคล้ายกันกับพจนานุกรมที่ซ้อนกันซึ่งมี numpy.ndarrays อยู่ในนั้น

def jsonify(data):
    json_data = dict()
    for key, value in data.iteritems():
        if isinstance(value, list): # for lists
            value = [ jsonify(item) if isinstance(item, dict) else item for item in value ]
        if isinstance(value, dict): # for nested lists
            value = jsonify(value)
        if isinstance(key, int): # if key is integer: > to string
            key = str(key)
        if type(value).__module__=='numpy': # if value is numpy.*: > to python list
            value = value.tolist()
        json_data[key] = value
    return json_data

คุณสามารถใช้defaultอาร์กิวเมนต์ตัวอย่างเช่น:

def myconverter(o):
    if isinstance(o, np.float32):
        return float(o)

json.dump(data, default=myconverter)

นอกจากนี้ยังมีข้อมูลที่น่าสนใจเพิ่มเติมเกี่ยวกับรายการและอาร์เรย์ใน Python ~> รายการ Python เทียบกับ Array - เมื่อใดควรใช้

อาจสังเกตได้ว่าเมื่อฉันแปลงอาร์เรย์ของฉันเป็นรายการก่อนที่จะบันทึกในไฟล์ JSON ในการปรับใช้ของฉันตอนนี้เมื่อฉันอ่านไฟล์ JSON นั้นเพื่อใช้ในภายหลังฉันสามารถใช้มันในรูปแบบรายการต่อไป ตรงข้ามกับการแปลงกลับเป็นอาร์เรย์)

และจริง ๆ แล้วดูดีกว่า (ในความคิดของฉัน) บนหน้าจอเป็นรายการ (คั่นด้วยเครื่องหมายจุลภาค) เทียบกับอาร์เรย์ (ไม่ใช่คั่นด้วยเครื่องหมายจุลภาค) ด้วยวิธีนี้

การใช้วิธีการ @ .toolbones's .tolist () ด้านบนฉันใช้เช่นนี้ (พบข้อผิดพลาดเล็กน้อยที่ฉันพบด้วย):

บันทึกพจนานุกรม

def writeDict(values, name):
    writeName = DIR+name+'.json'
    with open(writeName, "w") as outfile:
        json.dump(values, outfile)

อ่านพจนานุกรม

def readDict(name):
    readName = DIR+name+'.json'
    try:
        with open(readName, "r") as infile:
            dictValues = json.load(infile)
            return(dictValues)
    except IOError as e:
        print(e)
        return('None')
    except ValueError as e:
        print(e)
        return('None')

หวังว่านี่จะช่วยได้!

นี่คือการใช้งานที่เหมาะกับฉันและลบ nans ทั้งหมด (สมมติว่านี่เป็นวัตถุแบบง่าย (รายการหรือ dict)):

from numpy import isnan

def remove_nans(my_obj, val=None):
    if isinstance(my_obj, list):
        for i, item in enumerate(my_obj):
            if isinstance(item, list) or isinstance(item, dict):
                my_obj[i] = remove_nans(my_obj[i], val=val)

            else:
                try:
                    if isnan(item):
                        my_obj[i] = val
                except Exception:
                    pass

    elif isinstance(my_obj, dict):
        for key, item in my_obj.iteritems():
            if isinstance(item, list) or isinstance(item, dict):
                my_obj[key] = remove_nans(my_obj[key], val=val)

            else:
                try:
                    if isnan(item):
                        my_obj[key] = val
                except Exception:
                    pass

    return my_obj

นี่เป็นคำตอบที่แตกต่างกัน แต่สิ่งนี้อาจช่วยให้ผู้ที่พยายามบันทึกข้อมูลจากนั้นอ่านอีกครั้ง
มี hickle ซึ่งเร็วกว่าดองและง่ายขึ้น
ฉันพยายามบันทึกและอ่านมันใน pickle dump แต่ในขณะที่อ่านมีปัญหามากมายและเสียเวลาหนึ่งชั่วโมงและยังไม่พบวิธีแก้ปัญหาแม้ว่าฉันกำลังทำงานกับข้อมูลของตัวเองเพื่อสร้างบอทแชท

vec_xและvec_yเป็นอาร์เรย์ numpy:

data=[vec_x,vec_y]
hkl.dump( data, 'new_data_file.hkl' )

จากนั้นคุณก็อ่านมันและดำเนินการ:

data2 = hkl.load( 'new_data_file.hkl' )

อาจทำได้ง่ายสำหรับลูปที่มีประเภทการตรวจสอบ:

with open("jsondontdoit.json", 'w') as fp:
    for key in bests.keys():
        if type(bests[key]) == np.ndarray:
            bests[key] = bests[key].tolist()
            continue
        for idx in bests[key]:
            if type(bests[key][idx]) == np.ndarray:
                bests[key][idx] = bests[key][idx].tolist()
    json.dump(bests, fp)
    fp.close()

ใช้ NumpyEncoder มันจะประมวลผลการถ่ายโอนข้อมูล json ประสบความสำเร็จโดยไม่ต้องโยน - อาร์เรย์ NumPy ไม่ JSON ต่อเนื่องได้

import numpy as np
import json
from numpyencoder import NumpyEncoder
arr = array([   0,  239,  479,  717,  952, 1192, 1432, 1667], dtype=int64) 
json.dumps(arr,cls=NumpyEncoder)

TypeError: array ([[0.46872085, 0.67374235, 1.0218339, 0.13210179, 0.5440686, 0.9140083, 0.58720225, 0.2199381]], dtype = float32) ไม่ได้เรียงลำดับ JSON

ข้อผิดพลาดที่กล่าวถึงข้างต้นเกิดขึ้นเมื่อฉันพยายามส่งรายการข้อมูลไปยัง model.predict () เมื่อฉันต้องการการตอบสนองในรูปแบบ json

> 1        json_file = open('model.json','r')
> 2        loaded_model_json = json_file.read()
> 3        json_file.close()
> 4        loaded_model = model_from_json(loaded_model_json)
> 5        #load weights into new model
> 6        loaded_model.load_weights("model.h5")
> 7        loaded_model.compile(optimizer='adam', loss='mean_squared_error')
> 8        X =  [[874,12450,678,0.922500,0.113569]]
> 9        d = pd.DataFrame(X)
> 10       prediction = loaded_model.predict(d)
> 11       return jsonify(prediction)

แต่โชคดีที่พบคำใบ้ในการแก้ไขข้อผิดพลาดที่เกิดขึ้นการทำให้เป็นอันดับของวัตถุนั้นสามารถใช้ได้กับการแปลงต่อไปนี้เท่านั้นการทำแผนที่ควรเป็นไปตามวัตถุ - อาร์เรย์ dict - สตริงรายการ - จำนวนเต็มสตริง - จำนวนเต็ม

หากคุณเลื่อนขึ้นเพื่อดูหมายเลขบรรทัด 10 การทำนาย = load_model.predict (d) ที่บรรทัดของรหัสนี้สร้างผลลัพธ์ของประเภทข้อมูลอาร์เรย์ประเภทเมื่อคุณพยายามแปลงอาร์เรย์เป็นรูปแบบ json เป็นไปไม่ได้

ในที่สุดฉันก็พบวิธีแก้ปัญหาเพียงแค่แปลงผลลัพธ์ที่ได้รับไปยังรายการประเภทโดยบรรทัดของรหัสต่อไปนี้

prediction = load_model.predict (d)
listtype = prediction.tolist () return jsonify (listtype)

Bhoom! ในที่สุดก็ได้ผลลัพธ์ที่คาดหวัง