การจัดลำดับ JSON ของโมเดล Google App Engine


86

ฉันค้นหามาระยะหนึ่งแล้วโดยไม่ประสบความสำเร็จ โปรเจ็กต์ของฉันไม่ได้ใช้ Django มีวิธีง่ายๆในการทำให้โมเดล App Engine เป็นซีเรียลไลซ์ (google.appengine.ext.db.Model) เป็น JSON หรือไม่หรือฉันต้องเขียนซีเรียลไลเซอร์ของตัวเอง

รุ่น:

class Photo(db.Model):
    filename = db.StringProperty()
    title = db.StringProperty()
    description = db.StringProperty(multiline=True)
    date_taken = db.DateTimeProperty()
    date_uploaded = db.DateTimeProperty(auto_now_add=True)
    album = db.ReferenceProperty(Album, collection_name='photo')

คำตอบ:


62

สามารถใช้ฟังก์ชันเรียกซ้ำอย่างง่ายเพื่อแปลงเอนทิตี (และการอ้างอิงใด ๆ ) เป็นพจนานุกรมแบบซ้อนที่สามารถส่งผ่านไปยังsimplejson:

import datetime
import time

SIMPLE_TYPES = (int, long, float, bool, dict, basestring, list)

def to_dict(model):
    output = {}

    for key, prop in model.properties().iteritems():
        value = getattr(model, key)

        if value is None or isinstance(value, SIMPLE_TYPES):
            output[key] = value
        elif isinstance(value, datetime.date):
            # Convert date/datetime to MILLISECONDS-since-epoch (JS "new Date()").
            ms = time.mktime(value.utctimetuple()) * 1000
            ms += getattr(value, 'microseconds', 0) / 1000
            output[key] = int(ms)
        elif isinstance(value, db.GeoPt):
            output[key] = {'lat': value.lat, 'lon': value.lon}
        elif isinstance(value, db.Model):
            output[key] = to_dict(value)
        else:
            raise ValueError('cannot encode ' + repr(prop))

    return output

2
มีข้อผิดพลาดเล็กน้อยในรหัส: โดยที่คุณมี "output [key] = to_dict (model)" ควรเป็น: "output [key] = to_dict (value)" นอกจากนั้นยังสมบูรณ์แบบ ขอบคุณ!
arikfr

1
รหัสนี้จะล้มเหลวเมื่อพบ UserProperty ฉันแก้ไขมันด้วยการทำ "output [key] = str (value)" ในขั้นสุดท้ายอื่นแทนที่จะเพิ่มข้อผิดพลาด
Boris Terzic

1
สิ่งที่ดี การปรับปรุงเล็กน้อยคือใช้ iterkeys () แทนเนื่องจากคุณไม่ได้ใช้ "prop" ที่นั่น
PEZ

7
ฉันไม่ได้ลองทุกประเภทที่เป็นไปได้ (วันที่, GeoPt, ... ) แต่ดูเหมือนว่าพื้นที่เก็บข้อมูลจะมีวิธีนี้ทุกประการและตอนนี้ก็ใช้งานได้กับสตริงและจำนวนเต็มสำหรับฉันแล้ว: developers.google.com/appengine/ docs / python / datastore / …ดังนั้นฉันไม่แน่ใจว่าคุณต้องสร้างล้อใหม่เพื่อทำให้เป็นอนุกรมกับ json:json.dumps(db.to_dict(Photo))
gentimouton

@gentimouton วิธีนั้นเป็นการเพิ่มใหม่ มันไม่มีอยู่จริงในปี 2009
dmw

60

นี่เป็นวิธีแก้ปัญหาที่ง่ายที่สุดที่ฉันพบ ต้องใช้รหัสเพียง 3 บรรทัด

เพียงเพิ่มวิธีการในแบบจำลองของคุณเพื่อส่งคืนพจนานุกรม:

class DictModel(db.Model):
    def to_dict(self):
       return dict([(p, unicode(getattr(self, p))) for p in self.properties()])

SimpleJSON ทำงานได้อย่างถูกต้องแล้ว:

class Photo(DictModel):
   filename = db.StringProperty()
   title = db.StringProperty()
   description = db.StringProperty(multiline=True)
   date_taken = db.DateTimeProperty()
   date_uploaded = db.DateTimeProperty(auto_now_add=True)
   album = db.ReferenceProperty(Album, collection_name='photo')

from django.utils import simplejson
from google.appengine.ext import webapp

class PhotoHandler(webapp.RequestHandler):
   def get(self):
      photos = Photo.all()
      self.response.out.write(simplejson.dumps([p.to_dict() for p in photos]))

เฮ้ขอบคุณสำหรับเคล็ดลับ วิธีนี้ใช้งานได้ดียกเว้นดูเหมือนว่าฉันไม่สามารถจัดลำดับฟิลด์วันที่ได้ ฉันได้รับ: TypeError: datetime.datetime (2010, 5, 1, 9, 25, 22, 891937) ไม่ใช่ JSON แบบอนุกรม
givp

สวัสดีขอบคุณที่ชี้ปัญหา วิธีแก้ไขคือการแปลงวัตถุวันที่เป็นสตริง ตัวอย่างเช่นคุณสามารถปิดคำเรียก "getattr (self, p)" ด้วย "unicode ()" ฉันแก้ไขโค้ดเพื่อสะท้อนสิ่งนี้
mtgred

1
ในการลบฟิลด์เมตาของ db.Model ให้ใช้สิ่งนี้: dict ([(p, unicode (getattr (self, p))) สำหรับ p ใน self.properties () ถ้าไม่ใช่ p.startswith ("_")])
Wonil

สำหรับ ndb ดูคำตอบของ fredva
Kenji Noguchi

self.properties () ไม่ได้ผลสำหรับฉัน ฉันใช้ self._properties Full line: return dict ([(p, unicode (getattr (self, p))) สำหรับ p ใน self._properties])
Eyal Levin

15

ใน (1.5.2) รุ่นล่าสุดของ App Engine SDK ซึ่งเป็นฟังก์ชั่นที่อินสแตนซ์แปลงรูปแบบพจนานุกรมเป็นที่รู้จักในto_dict() db.pyดูบันทึกประจำรุ่น

ขณะนี้ยังไม่มีการอ้างอิงถึงฟังก์ชันนี้ในเอกสาร แต่ฉันได้ลองใช้งานด้วยตัวเองแล้วและทำงานได้ตามที่คาดไว้


ฉันสงสัยว่าสิ่งนี้ถูกลบออกหรือไม่? ฉันได้รับAttributeError: 'module' object has no attribute 'to_dict'เมื่อฉันfrom google.appengine.ext import dbและใช้simplejson.dumps(db.to_dict(r))(โดยที่ r คืออินสแตนซ์ของคลาสย่อย db.Model) ฉันไม่เห็น "to_dict" ใน google_appengine / google / appengine / ext / db / *
idbrii

1
จะต้องใช้เช่น "db.to_dict (ObjectOfClassModel)"
Dmitry Dushkin

2
สำหรับวัตถุ ndb self.to_dict () จะทำงาน หากคุณต้องการทำให้คลาสเป็นอนุกรมโดยโมดูล json มาตรฐานให้เพิ่ม 'def default (self, o): return o.to_dict () `ไปที่คลาส
Kenji Noguchi

7

ในการทำให้เป็นอนุกรมให้เพิ่มตัวเข้ารหัส json ที่กำหนดเองดังใน python ต่อไปนี้:

import datetime
from google.appengine.api import users
from google.appengine.ext import db
from django.utils import simplejson

class jsonEncoder(simplejson.JSONEncoder):
    def default(self, obj):
        if isinstance(obj, datetime.datetime):
            return obj.isoformat()

        elif isinstance(obj, db.Model):
            return dict((p, getattr(obj, p)) 
                        for p in obj.properties())

        elif isinstance(obj, users.User):
            return obj.email()

        else:
            return simplejson.JSONEncoder.default(self, obj)


# use the encoder as: 
simplejson.dumps(model, cls=jsonEncoder)

สิ่งนี้จะเข้ารหัส:

  • วันที่เป็นสตริง isoformat ( ตามคำแนะนำนี้ )
  • แบบจำลองเป็นคำสั่งของคุณสมบัติ
  • ผู้ใช้เป็นอีเมลของเขา

ในการถอดรหัสวันที่คุณสามารถใช้จาวาสคริปต์นี้:

function decodeJsonDate(s){
  return new Date( s.slice(0,19).replace('T',' ') + ' GMT' );
} // Note that this function truncates milliseconds.

หมายเหตุ: ขอบคุณผู้ใช้pydaveที่แก้ไขโค้ดนี้เพื่อให้อ่านง่ายขึ้น แต่เดิมฉันเคยใช้นิพจน์ if / else ของ python เพื่อแสดงjsonEncoderในบรรทัดน้อยลงดังนี้: (ฉันได้เพิ่มความคิดเห็นและใช้google.appengine.ext.db.to_dictเพื่อให้ชัดเจนกว่าต้นฉบับ)

class jsonEncoder(simplejson.JSONEncoder):
  def default(self, obj):
    isa=lambda x: isinstance(obj, x) # isa(<type>)==True if obj is of type <type>
    return obj.isoformat() if isa(datetime.datetime) else \
           db.to_dict(obj) if isa(db.Model) else \
           obj.email()     if isa(users.User) else \
           simplejson.JSONEncoder.default(self, obj)

4

คุณไม่จำเป็นต้องเขียน "parser" ของคุณเอง (parser น่าจะเปลี่ยน JSON เป็นออบเจ็กต์ Python) แต่คุณยังสามารถทำให้ออบเจ็กต์ Python เป็นอนุกรมได้ด้วยตัวเอง

ใช้simplejson :

import simplejson as json
serialized = json.dumps({
    'filename': self.filename,
    'title': self.title,
    'date_taken': date_taken.isoformat(),
    # etc.
})

1
ใช่ แต่ฉันไม่ต้องการให้ทำแบบนี้กับทุกรุ่น ฉันกำลังพยายามหาแนวทางที่ปรับขนาดได้
user111677

โอ้และฉันประหลาดใจมากที่ไม่พบแนวทางปฏิบัติที่ดีที่สุดในเรื่องนี้ ฉันคิดว่า app engine model + rpc + json ได้รับ ...
user111677

4

สำหรับกรณีที่เรียบง่ายผมชอบวิธีการสนับสนุนที่นี่ในตอนท้ายของบทความ:

  # after obtaining a list of entities in some way, e.g.:
  user = users.get_current_user().email().lower();
  col = models.Entity.gql('WHERE user=:1',user).fetch(300, 0)

  # ...you can make a json serialization of name/key pairs as follows:
  json = simplejson.dumps(col, default=lambda o: {o.name :str(o.key())})

บทความนี้ยังมีที่ปลายอีกด้านหนึ่งของสเปกตรัมซึ่งเป็นคลาสซีเรียล_metaไลเซอร์ที่ซับซ้อนซึ่งเพิ่มคุณค่าของ django (และไม่จำเป็นต้องใช้- ไม่แน่ใจว่าเหตุใดคุณจึงได้รับข้อผิดพลาดเกี่ยวกับ _meta ที่หายไปอาจเป็นข้อผิดพลาดที่อธิบายไว้ที่นี่ ) ด้วยความสามารถในการคำนวณอนุกรม คุณสมบัติ / วิธีการ เวลาส่วนใหญ่ที่คุณต้องทำให้เป็นอนุกรมจะต้องอยู่ตรงกลางและสำหรับแนวทางที่ครุ่นคิดเช่น @David Wilson's อาจดีกว่า


3

แม้ว่าคุณจะไม่ได้ใช้ django เป็นเฟรมเวิร์ก แต่ไลบรารีเหล่านั้นก็ยังพร้อมให้คุณใช้งานได้

from django.core import serializers
data = serializers.serialize("xml", Photo.objects.all())

คุณหมายถึง serializers.serialize ("json", ... ) ใช่หรือไม่ ที่พ่น "AttributeError: วัตถุ" ภาพถ่าย "ไม่มีแอตทริบิวต์" _meta "" FYI - serializers.serialize ("xml", Photo.objects.all ()) พ่น "AttributeError: type object" Photo "ไม่มีแอตทริบิวต์" objects " serializers.serialize ("xml", Photo.all ()) พ่น "SerializationError: Non-model object (<class 'model.Photo'>) ที่พบระหว่างการทำให้เป็นอนุกรม"
user111677

2

หากคุณใช้app-engine-patchระบบจะประกาศ_metaแอตทริบิวต์ให้คุณโดยอัตโนมัติจากนั้นคุณสามารถใช้งานได้django.core.serializersตามปกติในรุ่น django (ตามรหัสของ sledge)

App-engine-patch มีคุณสมบัติที่น่าสนใจอื่น ๆ เช่นมีการตรวจสอบความถูกต้องแบบไฮบริด (django + บัญชี Google) และส่วนผู้ดูแลระบบของ django ทำงานได้


ความแตกต่างระหว่าง app-engine-patch กับ google-app-engine-django กับเวอร์ชัน django ที่มาพร้อมกับ app engine python sdk คืออะไร จากสิ่งที่ฉันเข้าใจ app-engine-patch สมบูรณ์กว่า?
user111677

ฉันไม่ได้ลองเวอร์ชันของ django บนแอปเอ็นจิ้น แต่ฉันคิดว่ามันรวมเข้าด้วยกัน google-app-engine-django ถ้าฉันจำไม่ผิดพยายามทำให้โมเดลของ django ทำงานร่วมกับ app-engine (มีข้อ จำกัด บางประการ) app-engine-patch ใช้โมเดล app-engine โดยตรงพวกเขาเพียงแค่เพิ่มสิ่งเล็กน้อยลงไป มีการเปรียบเทียบระหว่างทั้งสองบนเว็บไซต์ของพวกเขา
mtourne

2

คำตอบของ Mtgred ข้างต้นใช้งานได้ดีสำหรับฉัน - ฉันแก้ไขเล็กน้อยเพื่อให้ฉันได้รับกุญแจสำหรับรายการ รหัสไม่กี่บรรทัด แต่ให้รหัสเฉพาะแก่ฉัน:

class DictModel(db.Model):
def to_dict(self):
    tempdict1 = dict([(p, unicode(getattr(self, p))) for p in self.properties()])
    tempdict2 = {'key':unicode(self.key())}
    tempdict1.update(tempdict2)
    return tempdict1

2

ฉันได้ขยายคลาส JSON Encoder ที่เขียนโดยdpatruเพื่อรองรับ:

  • คุณสมบัติผลลัพธ์การค้นหา (เช่น car.owner_set)
  • ReferenceProperty - เปลี่ยนเป็น JSON ซ้ำ ๆ
  • คุณสมบัติการกรอง - เฉพาะคุณสมบัติที่verbose_nameจะเข้ารหัสเป็น JSON

    class DBModelJSONEncoder(json.JSONEncoder):
        """Encodes a db.Model into JSON"""
    
        def default(self, obj):
            if (isinstance(obj, db.Query)):
                # It's a reference query (holding several model instances)
                return [self.default(item) for item in obj]
    
            elif (isinstance(obj, db.Model)):
                # Only properties with a verbose name will be displayed in the JSON output
                properties = obj.properties()
                filtered_properties = filter(lambda p: properties[p].verbose_name != None, properties)
    
                # Turn each property of the DB model into a JSON-serializeable entity
                json_dict = dict([(
                        p,
                        getattr(obj, p)
                            if (not isinstance(getattr(obj, p), db.Model))
                            else
                        self.default(getattr(obj, p)) # A referenced model property
                    ) for p in filtered_properties])
    
                json_dict['id'] = obj.key().id() # Add the model instance's ID (optional - delete this if you do not use it)
    
                return json_dict
    
            else:
                # Use original JSON encoding
                return json.JSONEncoder.default(self, obj)
    

2

ดังที่กล่าวไว้โดยhttps://stackoverflow.com/users/806432/fredva to_dict ใช้งานได้ดี นี่คือรหัสของฉันที่ฉันใช้

foos = query.fetch(10)
prepJson = []

for f in foos:
  prepJson.append(db.to_dict(f))

myJson = json.dumps(prepJson))

ใช่และยังมี "to_dict" บน Model ... ฟังก์ชันนี้เป็นกุญแจสำคัญในการทำให้ปัญหาทั้งหมดนี้ไม่สำคัญเท่าที่ควร มันยังใช้ได้กับ NDB ด้วยคุณสมบัติ "โครงสร้าง" และ "ซ้ำ"!
Nick Perkins

1

มีเมธอด "Model.properties ()" ซึ่งกำหนดไว้สำหรับคลาส Model ทั้งหมด มันส่งคืนคำสั่งที่คุณต้องการ

from django.utils import simplejson
class Photo(db.Model):
  # ...

my_photo = Photo(...)
simplejson.dumps(my_photo.properties())

ดูคุณสมบัติของโมเดลในเอกสาร


ออบเจ็กต์บางอย่างไม่ "JSON ทำให้เป็นอนุกรม":TypeError: <google.appengine.ext.db.StringProperty object at 0x4694550> is not JSON serializable
idbrii

1

ไม่แนะนำให้ใช้ API เหล่านี้ (google.appengine.ext.db) อีกต่อไป แอปที่ใช้ API เหล่านี้จะทำงานได้เฉพาะในรันไทม์ของ App Engine Python 2 และจะต้องย้ายไปยัง API และบริการอื่น ๆ ก่อนที่จะย้ายไปยังรันไทม์ของ App Engine Python 3 หากต้องการทราบข้อมูลเพิ่มเติม: คลิกที่นี่


0

ในการทำให้อินสแตนซ์ Datastore Model เป็นอนุกรมคุณไม่สามารถใช้ json.dumps (ยังไม่ได้ทดสอบ แต่ Lorenzo ชี้ให้เห็น) ไม่แน่ในอนาคตสิ่งต่อไปนี้จะได้ผล

http://docs.python.org/2/library/json.html

import json
string = json.dumps(['foo', {'bar': ('baz', None, 1.0, 2)}])
object = json.loads(self.request.body)

คำถามเกี่ยวกับการแปลงอินสแตนซ์ AppEngine Datastore Model เป็น JSON วิธีแก้ปัญหาของคุณคือการแปลงพจนานุกรม Python เป็น JSON เท่านั้น
ปรับแต่งเมื่อ

@tunedconsulting ฉันยังไม่ได้ลองทำให้อินสแตนซ์ Datastore Model เป็นอนุกรมกับ json.dumps แต่คิดว่ามันจะใช้ได้กับวัตถุใด ๆ ควรส่งรายงานข้อบกพร่องหากไม่เป็นไปตามที่เอกสารระบุว่า json.dumps รับวัตถุเป็นพารามิเตอร์ มันถูกเพิ่มเป็นความคิดเห็นที่มีเพียงความคิดเห็นอีกครั้งที่ไม่มีในปี 2009 เพิ่มคำตอบนี้เพราะดูเหมือนว่าจะล้าสมัยไปหน่อย แต่ถ้ามันใช้ไม่ได้ฉันยินดีที่จะลบออก
HMR

1
หากคุณพยายาม json.dumps อ็อบเจ็กต์เอนทิตีหรือคลาสโมเดลคุณจะได้รับ TypeError: 'ไม่ใช่ JSON ที่ทำให้เป็นอนุกรมได้' <Object at 0x0xxxxxx> Datastore ของ GAE มีประเภทข้อมูลของตัวเอง (เช่นวันที่เป็นต้น) คำตอบที่ถูกต้องในปัจจุบันซึ่งผ่านการทดสอบและใช้งานได้คือคำตอบจาก dmw ที่เปลี่ยนประเภทข้อมูลที่มีปัญหาให้เป็นแบบอนุกรม
ปรับ

@tunedconsulting ขอบคุณสำหรับความคิดเห็นของคุณเกี่ยวกับเรื่องนี้ฉันจะอัปเดตคำตอบของฉัน
HMR
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.