จัดเก็บตัวแปรสภาพแวดล้อมใน GAE อย่างปลอดภัยด้วย app.yaml

ฉันต้องการจัดเก็บคีย์ API และข้อมูลที่ละเอียดอ่อนอื่น ๆapp.yamlเป็นตัวแปรสภาพแวดล้อมสำหรับการปรับใช้บน GAE ปัญหาเกี่ยวกับเรื่องนี้คือถ้าฉันกดapp.yamlไปที่ GitHub ข้อมูลนี้จะกลายเป็นสาธารณะ (ไม่ดี) ฉันไม่ต้องการเก็บข้อมูลไว้ในที่เก็บข้อมูลเนื่องจากไม่เหมาะกับโครงการ แต่ฉันต้องการเปลี่ยนค่าจากไฟล์ที่แสดงอยู่ใน.gitignoreการปรับใช้แต่ละแอป

นี่คือไฟล์ app.yaml ของฉัน:

application: myapp
version: 3 
runtime: python27
api_version: 1
threadsafe: true

libraries:
- name: webapp2
  version: latest
- name: jinja2
  version: latest

handlers:
- url: /static
  static_dir: static

- url: /.*
  script: main.application  
  login: required
  secure: always
# auth_fail_action: unauthorized

env_variables:
  CLIENT_ID: ${CLIENT_ID}
  CLIENT_SECRET: ${CLIENT_SECRET}
  ORG: ${ORG}
  ACCESS_TOKEN: ${ACCESS_TOKEN}
  SESSION_SECRET: ${SESSION_SECRET}

ความคิดใด ๆ ?

หากเป็นข้อมูลที่ละเอียดอ่อนคุณไม่ควรเก็บไว้ในซอร์สโค้ดเนื่องจากจะถูกตรวจสอบในการควบคุมแหล่งที่มา คนที่ไม่ถูกต้อง (ภายในหรือภายนอกองค์กรของคุณ) อาจพบได้ที่นั่น นอกจากนี้สภาพแวดล้อมการพัฒนาของคุณอาจใช้ค่ากำหนดค่าที่แตกต่างจากสภาพแวดล้อมการผลิตของคุณ หากค่าเหล่านี้ถูกเก็บไว้ในโค้ดคุณจะต้องรันโค้ดที่แตกต่างกันในการพัฒนาและการผลิตซึ่งเป็นวิธีที่ยุ่งและไม่ดี

ในโครงการของฉันฉันใส่ข้อมูลการกำหนดค่าในที่เก็บข้อมูลโดยใช้คลาสนี้:

from google.appengine.ext import ndb

class Settings(ndb.Model):
  name = ndb.StringProperty()
  value = ndb.StringProperty()

  @staticmethod
  def get(name):
    NOT_SET_VALUE = "NOT SET"
    retval = Settings.query(Settings.name == name).get()
    if not retval:
      retval = Settings()
      retval.name = name
      retval.value = NOT_SET_VALUE
      retval.put()
    if retval.value == NOT_SET_VALUE:
      raise Exception(('Setting %s not found in the database. A placeholder ' +
        'record has been created. Go to the Developers Console for your app ' +
        'in App Engine, look up the Settings record with name=%s and enter ' +
        'its value in that record\'s value field.') % (name, name))
    return retval.value

แอปพลิเคชันของคุณจะทำสิ่งนี้เพื่อรับค่า:

API_KEY = Settings.get('API_KEY')

หากมีค่าสำหรับคีย์นั้นในที่เก็บข้อมูลคุณจะได้รับ หากไม่มีระบบจะสร้างเรกคอร์ดตัวยึดตำแหน่งและข้อยกเว้นจะถูกโยนทิ้ง ข้อยกเว้นจะเตือนให้คุณไปที่ Developers Console และอัปเดตระเบียนตัวยึด

ฉันพบว่าสิ่งนี้ไม่สามารถคาดเดาได้จากการตั้งค่าการกำหนดค่า หากคุณไม่แน่ใจว่าจะตั้งค่า config อะไรแค่รันโค้ดแล้วมันจะบอกคุณเอง!

โค้ดด้านบนใช้ไลบรารี ndb ซึ่งใช้ memcache และ datastore ภายใต้ประทุนดังนั้นจึงรวดเร็ว

อัปเดต:

jelderถามถึงวิธีค้นหาค่า Datastore ในคอนโซล App Engine และตั้งค่า นี่คือวิธี:

1. ไปที่https://console.cloud.google.com/datastore/

2. เลือกโครงการของคุณที่ด้านบนสุดของหน้าหากยังไม่ได้เลือก

3. ในชนิดกล่องแบบหล่นลงเลือกการตั้งค่า

4. หากคุณรันโค้ดด้านบนคีย์ของคุณจะปรากฏขึ้น พวกเขาทั้งหมดจะมีค่าไม่ได้ตั้งค่า คลิกแต่ละอันแล้วตั้งค่า

หวังว่านี่จะช่วยได้!

วิธีนี้ทำได้ง่าย แต่อาจไม่เหมาะกับทุกทีม

ขั้นแรกให้ใส่ตัวแปรสภาพแวดล้อมในenv_variables.yamlเช่น

env_variables:
  SECRET: 'my_secret'

จากนั้นรวมสิ่งนี้env_variables.yamlไว้ในไฟล์app.yaml

includes:
  - env_variables.yaml

สุดท้ายเพิ่มenv_variables.yamlto เพื่อ.gitignoreไม่ให้ตัวแปรลับมีอยู่ในที่เก็บ

ในกรณีนี้env_variables.yamlจำเป็นต้องใช้ร่วมกันระหว่างผู้จัดการการปรับใช้

วิธีการของฉันคือการเก็บความลับของลูกค้าเฉพาะภายในแอป App Engine ตัวเอง ความลับของไคลเอ็นต์ไม่ได้อยู่ในการควบคุมแหล่งที่มาหรือบนคอมพิวเตอร์ภายในเครื่องใด ๆ สิ่งนี้มีประโยชน์ที่ผู้ทำงานร่วมกันของ App Engine สามารถปรับใช้การเปลี่ยนแปลงโค้ดได้โดยไม่ต้องกังวลเกี่ยวกับความลับของไคลเอ็นต์

ฉันเก็บความลับของไคลเอ็นต์ไว้ใน Datastore โดยตรงและใช้ Memcache เพื่อปรับปรุงเวลาในการตอบสนองในการเข้าถึงความลับ ต้องสร้างเอนทิตี Datastore เพียงครั้งเดียวและจะยังคงมีอยู่ตลอดการใช้งานในอนาคต แน่นอนว่าคุณสามารถใช้คอนโซล App Engine เพื่ออัปเดตเอนทิตีเหล่านี้ได้ตลอดเวลา

มีสองตัวเลือกในการสร้างเอนทิตีแบบครั้งเดียว:

• ใช้เชลล์แบบโต้ตอบApp Engine Remote APIเพื่อสร้างเอนทิตี
• สร้างตัวจัดการเฉพาะผู้ดูแลระบบที่จะเริ่มต้นเอนทิตีด้วยค่าดัมมี่ เรียกใช้ตัวจัดการผู้ดูแลระบบนี้ด้วยตนเองจากนั้นใช้คอนโซล App Engine เพื่ออัปเดตเอนทิตีด้วยความลับไคลเอ็นต์ที่ใช้งานจริง

สิ่งนี้ไม่ได้เกิดขึ้นเมื่อคุณโพสต์ แต่สำหรับใครก็ตามที่สะดุดที่นี่ตอนนี้ Google มีบริการที่เรียกว่าSecret Managerผู้จัดการลับ

เป็นบริการ REST ที่เรียบง่าย (แน่นอนว่ามี SDK ห่อไว้) เพื่อจัดเก็บความลับของคุณในตำแหน่งที่ปลอดภัยบนแพลตฟอร์มคลาวด์ของ Google นี่เป็นแนวทางที่ดีกว่าที่เก็บข้อมูลโดยต้องมีขั้นตอนเพิ่มเติมในการดูความลับที่จัดเก็บไว้และมีรูปแบบการอนุญาตที่ละเอียดยิ่งขึ้นคุณสามารถรักษาความลับแต่ละรายการให้แตกต่างกันไปสำหรับแง่มุมต่างๆในโครงการของคุณได้หากต้องการ

มีการกำหนดเวอร์ชันเพื่อให้คุณสามารถจัดการกับการเปลี่ยนแปลงรหัสผ่านได้อย่างง่ายดายรวมทั้งแบบสอบถามและเลเยอร์การจัดการที่มีประสิทธิภาพช่วยให้คุณค้นพบและสร้างความลับในรันไทม์ได้หากจำเป็น

Python SDK

ตัวอย่างการใช้งาน:

from google.cloud import secretmanager_v1beta1 as secretmanager

secret_id = 'my_secret_key'
project_id = 'my_project'
version = 1    # use the management tools to determine version at runtime

client = secretmanager.SecretManagerServiceClient()

secret_path = client.secret_verion_path(project_id, secret_id, version)
response = client.access_secret_version(secret_path)
password_string = response.payload.data.decode('UTF-8')

# use password_string -- set up database connection, call third party service, whatever

วิธีที่ดีที่สุดคือเก็บคีย์ไว้ในไฟล์ client_secrets.json และแยกไม่ให้อัปโหลดไปยัง git โดยระบุไว้ในไฟล์. gitignore หากคุณมีคีย์ที่แตกต่างกันสำหรับสภาพแวดล้อมที่แตกต่างกันคุณสามารถใช้ app_identity api เพื่อกำหนดว่า id ของแอปคืออะไรและโหลดอย่างเหมาะสม

มีตัวอย่างที่ค่อนข้างครอบคลุมที่นี่ -> https://developers.google.com/api-client-library/python/guide/aaa_client_secrets https://developers.google.com/api-client-library/python/guide/aaa_client_secrets

นี่คือตัวอย่างโค้ด:

# declare your app ids as globals ...
APPID_LIVE = 'awesomeapp'
APPID_DEV = 'awesomeapp-dev'
APPID_PILOT = 'awesomeapp-pilot'

# create a dictionary mapping the app_ids to the filepaths ...
client_secrets_map = {APPID_LIVE:'client_secrets_live.json',
                      APPID_DEV:'client_secrets_dev.json',
                      APPID_PILOT:'client_secrets_pilot.json'}

# get the filename based on the current app_id ...
client_secrets_filename = client_secrets_map.get(
    app_identity.get_application_id(),
    APPID_DEV # fall back to dev
    )

# use the filename to construct the flow ...
flow = flow_from_clientsecrets(filename=client_secrets_filename,
                               scope=scope,
                               redirect_uri=redirect_uri)

# or, you could load up the json file manually if you need more control ...
f = open(client_secrets_filename, 'r')
client_secrets = json.loads(f.read())
f.close()

โซลูชันนี้อาศัย appcfg.py ที่เลิกใช้แล้ว

คุณสามารถใช้ตัวเลือกบรรทัดคำสั่ง -E ของ appcfg.py เพื่อตั้งค่าตัวแปรสภาพแวดล้อมเมื่อคุณปรับใช้แอปของคุณกับ GAE (อัปเดต appcfg.py)

$ appcfg.py
...
-E NAME:VALUE, --env_variable=NAME:VALUE
                    Set an environment variable, potentially overriding an
                    env_variable value from app.yaml file (flag may be
                    repeated to set multiple variables).
...

คำตอบส่วนใหญ่ล้าสมัย การใช้ Google cloud datastore นั้นแตกต่างไปเล็กน้อยในตอนนี้ https://cloud.google.com/python/getting-started/using-cloud-datastore

นี่คือตัวอย่าง:

from google.cloud import datastore
client = datastore.Client()
datastore_entity = client.get(client.key('settings', 'TWITTER_APP_KEY'))
connection_string_prod = datastore_entity.get('value')

สิ่งนี้ถือว่าชื่อเอนทิตีคือ 'TWITTER_APP_KEY' ชนิดคือ 'การตั้งค่า' และ 'ค่า' เป็นคุณสมบัติของเอนทิตี TWITTER_APP_KEY

คุณควรเข้ารหัสตัวแปรด้วย google kms และฝังไว้ในซอร์สโค้ดของคุณ ( https://cloud.google.com/kms/ )

echo -n the-twitter-app-key | gcloud kms encrypt \
> --project my-project \
> --location us-central1 \
> --keyring THEKEYRING \
> --key THECRYPTOKEY \
> --plaintext-file - \
> --ciphertext-file - \
> | base64

ใส่ค่าที่มีสัญญาณรบกวน (เข้ารหัสและเข้ารหัส base64) ลงในตัวแปรสภาพแวดล้อมของคุณ (ในไฟล์ yaml)

รหัส pythonish บางอย่างเพื่อให้คุณเริ่มถอดรหัส

kms_client = kms_v1.KeyManagementServiceClient()
name = kms_client.crypto_key_path_path("project", "global", "THEKEYRING", "THECRYPTOKEY")

twitter_app_key = kms_client.decrypt(name, base64.b64decode(os.environ.get("TWITTER_APP_KEY"))).plaintext

ดูเหมือนว่าคุณสามารถทำได้หลายวิธี เรามีปัญหาที่คล้ายกันและดำเนินการดังต่อไปนี้ (ปรับให้เข้ากับกรณีการใช้งานของคุณ):

• สร้างไฟล์ที่เก็บค่าไดนามิก app.yaml และวางไว้บนเซิร์ฟเวอร์ที่ปลอดภัยในสภาพแวดล้อมการสร้างของคุณ หากคุณหวาดระแวงจริงๆคุณสามารถเข้ารหัสค่าแบบไม่สมมาตรได้ คุณสามารถเก็บสิ่งนี้ไว้ใน repo ส่วนตัวได้หากคุณต้องการการควบคุมเวอร์ชัน / การดึงแบบไดนามิกหรือเพียงแค่ใช้เชลล์สคริปต์เพื่อคัดลอก / ดึงจากตำแหน่งที่เหมาะสม
• ดึงจาก git ระหว่างสคริปต์การปรับใช้
• หลังจากการดึงคอมไพล์ให้แก้ไข app.yaml โดยการอ่านและเขียนใน python โดยใช้ไลบรารี yaml

วิธีที่ง่ายที่สุดในการทำเช่นนี้คือการใช้เซิร์ฟเวอร์รวมอย่างต่อเนื่องเช่นฮัดสัน , ไม้ไผ่หรือเจนกินส์เจนกินส์เพียงเพิ่มปลั๊กอินขั้นตอนสคริปต์หรือเวิร์กโฟลว์ที่ทำตามรายการข้างต้นทั้งหมดที่ฉันกล่าวถึง คุณสามารถส่งผ่านตัวแปรสภาพแวดล้อมที่กำหนดค่าไว้ใน Bamboo ได้เช่น

โดยสรุปเพียงแค่พุชค่าในระหว่างขั้นตอนการสร้างของคุณในสภาพแวดล้อมที่คุณเข้าถึงได้เท่านั้น หากคุณยังไม่ได้สร้างงานสร้างโดยอัตโนมัติคุณควรจะเป็น

อีกทางเลือกหนึ่งคือสิ่งที่คุณพูดใส่ไว้ในฐานข้อมูล หากเหตุผลของคุณที่ไม่ทำเช่นนั้นคือสิ่งต่างๆช้าเกินไปเพียงแค่กดค่าลงใน memcache เป็นแคชชั้นที่ 2 แล้วตรึงค่าไว้ที่อินสแตนซ์เป็นแคชชั้นหนึ่ง หากค่าสามารถเปลี่ยนแปลงได้และคุณจำเป็นต้องอัปเดตอินสแตนซ์โดยไม่ต้องรีบูตเพียงแค่เก็บแฮชที่คุณสามารถตรวจสอบเพื่อให้ทราบว่ามีการเปลี่ยนแปลงหรือทริกเกอร์เมื่อใดก็ตามที่คุณทำเปลี่ยนแปลงค่า ที่ควรจะเป็น

@ สัน F ของคำตอบขึ้นอยู่กับการใช้งาน Google Datastore อยู่ใกล้ แต่รหัสเป็นบิตล้าสมัยตามการใช้งานตัวอย่างในเอกสารห้องสมุด นี่คือตัวอย่างที่ใช้ได้ผลสำหรับฉัน:

from google.cloud import datastore

client = datastore.Client('<your project id>')
key = client.key('<kind e.g settings>', '<entity name>') # note: entity name not property
# get by key for this entity
result = client.get(key)
print(result) # prints all the properties ( a dict). index a specific value like result['MY_SECRET_KEY'])

ส่วนหนึ่งได้รับแรงบันดาลใจจากโพสต์ขนาดกลางนี้

แค่อยากทราบว่าฉันแก้ปัญหานี้ใน javascript / nodejs ได้อย่างไร สำหรับการพัฒนาท้องถิ่นฉันใช้แพ็คเกจ npm 'dotenv' ซึ่งโหลดตัวแปรสภาพแวดล้อมจากไฟล์. env ไปยัง process.env เมื่อฉันเริ่มใช้ GAE ฉันได้เรียนรู้ว่าต้องตั้งค่าตัวแปรสภาพแวดล้อมในไฟล์ "app.yaml" ฉันไม่ต้องการใช้ 'dotenv' สำหรับการพัฒนาในพื้นที่และ 'app.yaml' สำหรับ GAE (และทำซ้ำตัวแปรสภาพแวดล้อมของฉันระหว่างสองไฟล์) ดังนั้นฉันจึงเขียนสคริปต์เล็กน้อยที่โหลดตัวแปรสภาพแวดล้อม app.yaml เข้าสู่กระบวนการ .env เพื่อการพัฒนาท้องถิ่น. หวังว่านี่จะช่วยใครบางคน:

yaml_env.js:

(function () {
    const yaml = require('js-yaml');
    const fs = require('fs');
    const isObject = require('lodash.isobject')

    var doc = yaml.safeLoad(
        fs.readFileSync('app.yaml', 'utf8'), 
        { json: true }
    );

    // The .env file will take precedence over the settings the app.yaml file
    // which allows me to override stuff in app.yaml (the database connection string (DATABASE_URL), for example)
    // This is optional of course. If you don't use dotenv then remove this line:
    require('dotenv/config');

    if(isObject(doc) && isObject(doc.env_variables)) {
        Object.keys(doc.env_variables).forEach(function (key) {
            // Dont set environment with the yaml file value if it's already set
            process.env[key] = process.env[key] || doc.env_variables[key]
        })
    }
})()

ตอนนี้รวมไฟล์นี้ไว้ในโค้ดของคุณโดยเร็วที่สุดเท่าที่จะเป็นไปได้และคุณทำเสร็จแล้ว:

require('../yaml_env')

ขยายคำตอบของ Martin

from google.appengine.ext import ndb

class Settings(ndb.Model):
    """
    Get sensitive data setting from DataStore.

    key:String -> value:String
    key:String -> Exception

    Thanks to: Martin Omander @ Stackoverflow
    https://stackoverflow.com/a/35261091/1463812
    """
    name = ndb.StringProperty()
    value = ndb.StringProperty()

    @staticmethod
    def get(name):
        retval = Settings.query(Settings.name == name).get()
        if not retval:
            raise Exception(('Setting %s not found in the database. A placeholder ' +
                             'record has been created. Go to the Developers Console for your app ' +
                             'in App Engine, look up the Settings record with name=%s and enter ' +
                             'its value in that record\'s value field.') % (name, name))
        return retval.value

    @staticmethod
    def set(name, value):
        exists = Settings.query(Settings.name == name).get()
        if not exists:
            s = Settings(name=name, value=value)
            s.put()
        else:
            exists.value = value
            exists.put()

        return True

มีแพ็คเกจ pypi ที่เรียกว่าgae_envที่ให้คุณบันทึกตัวแปรสภาพแวดล้อมของ appengine ใน Cloud Datastore ภายใต้ฝากระโปรงยังใช้ Memcache จึงรวดเร็ว

การใช้งาน:

import gae_env

API_KEY = gae_env.get('API_KEY')

หากมีค่าสำหรับคีย์นั้นในที่เก็บข้อมูลระบบจะส่งคืน หากไม่มี__NOT_SET__จะมีการสร้างเรกคอร์ดตัวยึดตำแหน่งและValueNotSetErrorจะถูกโยนทิ้ง ข้อยกเว้นจะเตือนให้คุณไปที่Developers Consoleและอัปเดตระเบียนตัวยึด

คล้ายกับคำตอบของ Martin นี่คือวิธีอัปเดตค่าสำหรับคีย์ใน Datastore:

1. ไปที่ส่วน Datastoreในคอนโซลนักพัฒนา

2. เลือกโครงการของคุณที่ด้านบนสุดของหน้าหากยังไม่ได้เลือก

3. ในชนิดGaeEnvSettingsกล่องแบบหล่นลงเลือก

4. __NOT_SET__คีย์ที่มีข้อยกเว้นถูกยกขึ้นจะมีค่า

ไปที่หน้า GitHub ของแพ็คเกจเพื่อดูข้อมูลเพิ่มเติมเกี่ยวกับการใช้งาน / การกำหนดค่า