การแยก JSON ด้วยเครื่องมือ Unix

ฉันพยายามที่จะแยก JSON กลับมาจากการขอขดเช่น:

curl 'http://twitter.com/users/username.json' |
    sed -e 's/[{}]/''/g' | 
    awk -v k="text" '{n=split($0,a,","); for (i=1; i<=n; i++) print a[i]}'

ด้านบนจะแยก JSON ออกเป็นฟิลด์เช่น:

% ...
"geo_enabled":false
"friends_count":245
"profile_text_color":"000000"
"status":"in_reply_to_screen_name":null
"source":"web"
"truncated":false
"text":"My status"
"favorited":false
% ...

ฉันจะพิมพ์ฟิลด์เฉพาะ (แสดงโดย-v k=text) ได้อย่างไร

มีเครื่องมือจำนวนหนึ่งที่ออกแบบมาโดยเฉพาะเพื่อวัตถุประสงค์ในการจัดการ JSON จากบรรทัดคำสั่งและจะง่ายขึ้นและเชื่อถือได้มากกว่าการทำกับ Awk เช่นjq:

curl -s 'https://api.github.com/users/lambda' | jq -r '.name'

คุณสามารถทำได้ด้วยเครื่องมือที่ติดตั้งไว้แล้วในระบบของคุณเช่น Python ใช้jsonโมดูลและหลีกเลี่ยงการพึ่งพาพิเศษใด ๆ ในขณะที่ยังคงได้รับประโยชน์จากตัวแยกวิเคราะห์ JSON ที่เหมาะสม ข้อสันนิษฐานต่อไปนี้คุณต้องการใช้ UTF-8 ซึ่ง JSON ดั้งเดิมควรเข้ารหัสและสิ่งที่เทอร์มินัลสมัยใหม่ส่วนใหญ่ใช้เช่นกัน:

Python 3:

curl -s 'https://api.github.com/users/lambda' | \
    python3 -c "import sys, json; print(json.load(sys.stdin)['name'])"

Python 2:

export PYTHONIOENCODING=utf8
curl -s 'https://api.github.com/users/lambda' | \
    python2 -c "import sys, json; print json.load(sys.stdin)['name']"

บันทึกทางประวัติศาสตร์

คำตอบนี้ แต่เดิมแนะนำให้ใช้jsawkซึ่งควรใช้งานได้ แต่ยุ่งยากกว่าเล็กน้อยในการใช้jqและขึ้นอยู่กับล่าม JavaScript แบบสแตนด์อโลนที่ติดตั้งซึ่งพบได้น้อยกว่าล่าม Python ดังนั้นคำตอบข้างต้นน่าจะดีกว่า:

curl -s 'https://api.github.com/users/lambda' | jsawk -a 'return this.name'

คำตอบนี้เดิมทีใช้ Twitter API จากคำถาม แต่ API นั้นไม่ทำงานอีกต่อไปทำให้ยากที่จะคัดลอกตัวอย่างเพื่อทดสอบและ Twitter API ใหม่ต้องใช้คีย์ API ดังนั้นฉันจึงเปลี่ยนไปใช้ GitHub API ซึ่ง สามารถใช้งานได้ง่ายโดยไม่ต้องใช้คีย์ API คำตอบแรกสำหรับคำถามเดิมคือ:

curl 'http://twitter.com/users/username.json' | jq -r '.text'

ในการแยกค่าสำหรับคีย์ใดคีย์หนึ่งอย่างรวดเร็วฉันเองชอบใช้ "grep -o" ซึ่งจะคืนค่าการจับคู่ของ regex เท่านั้น ตัวอย่างเช่นหากต้องการรับฟิลด์ "ข้อความ" จากทวีตมีลักษณะดังนี้:

grep -Po '"text":.*?[^\\]",' tweets.json

Regex นี้มีประสิทธิภาพมากกว่าที่คุณคิด ตัวอย่างเช่นมันจัดการได้ดีกับสตริงที่มีเครื่องหมายจุลภาคฝังตัวและหนีคำพูดอยู่ข้างใน ฉันคิดว่ามีงานอีกเล็กน้อยที่คุณสามารถสร้างงานที่รับรองว่าจะดึงค่าออกมาจริง ๆ ถ้าเป็นอะตอม (หากมีการซ้อนกันอยู่ regex ก็ไม่สามารถทำได้แน่นอน)

และเพื่อการทำความสะอาดเพิ่มเติม (แม้ว่าจะเป็นการรักษาสตริงเดิม) คุณสามารถใช้สิ่ง| perl -pe 's/"text"://; s/^"//; s/",$//'ต่อไปนี้: (ฉันทำสิ่งนี้เพื่อการวิเคราะห์นี้)

สำหรับผู้ที่เกลียดชังทุกคนที่ยืนยันคุณควรใช้ตัวแยกวิเคราะห์ JSON จริง - ใช่นั่นเป็นสิ่งสำคัญสำหรับความถูกต้อง แต่

1. เพื่อทำการวิเคราะห์ที่รวดเร็วมาก ๆ เช่นการนับค่าเพื่อตรวจสอบข้อผิดพลาดในการทำความสะอาดข้อมูลหรือรับความรู้สึกทั่วไปของข้อมูล การเปิดตัวแก้ไขเพื่อเขียนสคริปต์ทำให้เสียสมาธิ
2. grep -oคือขนาดของคำสั่งที่เร็วกว่าjsonไลบรารีมาตรฐานของ Python อย่างน้อยก็เมื่อทำสิ่งนี้เพื่อทวีต (ซึ่งแต่ละ ~ 2 KB) ฉันไม่แน่ใจว่านี่เป็นเพียงเพราะjsonช้า (ฉันควรเปรียบเทียบกับ yajl บางครั้ง); แต่โดยหลักการแล้ว regex ควรจะเร็วกว่าเนื่องจากมีสถานะ จำกัด และปรับให้เหมาะสมได้มากกว่าแทนที่จะเป็น parser ที่ต้องรองรับการเรียกซ้ำและในกรณีนี้ใช้ต้นไม้สร้าง CPU จำนวนมากสำหรับโครงสร้างที่คุณไม่สนใจ (ถ้ามีคนเขียนตัวแปลงสัญญาณสถานะอัน จำกัด ที่ทำการแยก (JSON) ที่เหมาะสม (ความลึก - จำกัด ) JSON นั่นจะยอดเยี่ยม! ในระหว่างนี้เรามี "grep -o")

ในการเขียนโค้ดที่สามารถบำรุงรักษาได้ฉันมักจะใช้ห้องสมุดการแยกวิเคราะห์จริง ฉันไม่ได้ลองjsawkแต่ถ้ามันใช้งานได้ดีมันจะพูดถึงประเด็นที่ 1

หนึ่งที่ผ่านมาแปลกประหลาดวิธีแก้ปัญหา: ฉันเขียนสคริปต์ที่ใช้ Python jsonและแยกคีย์ที่คุณต้องการลงในคอลัมน์ที่คั่นด้วยแท็บ จากนั้นฉันไปป์ผ่าน wrapper รอบ ๆawkที่อนุญาตให้เข้าถึงชื่อคอลัมน์ ในที่นี่: The json2tsv และ tsvawk สคริปต์ ดังนั้นสำหรับตัวอย่างนี้มันจะเป็น:

json2tsv id text < tweets.json | tsvawk '{print "tweet " $id " is: " $text}'

วิธีนี้ไม่ได้อยู่ # 2 มีประสิทธิภาพมากกว่าสคริปต์ Python เดียวและค่อนข้างเปราะบาง: มันบังคับให้บรรทัดใหม่และแท็บในค่าสตริงกลับสู่มาตรฐานเพื่อให้เล่นได้ดีกับมุมมองของเขตข้อมูล / ระเบียนที่คั่นด้วย awk ของโลก grep -oแต่ก็ไม่ให้คุณอยู่ในบรรทัดคำสั่งที่มีความถูกต้องมากกว่า

บนพื้นฐานที่คำแนะนำบางอย่างที่นี่ (โดยเฉพาะในความคิดเห็น) แนะนำให้ใช้ Python ฉันรู้สึกผิดหวังที่ไม่ได้หาตัวอย่าง

ดังนั้นนี่คือหนึ่งสายการบินเพื่อรับค่าเดียวจากข้อมูล JSON บางส่วน สมมติว่าคุณกำลังไพพ์ข้อมูลใน (จากที่อื่น) และดังนั้นควรมีประโยชน์ในบริบทการเขียนสคริปต์

echo '{"hostname":"test","domainname":"example.com"}' | python -c 'import json,sys;obj=json.load(sys.stdin);print obj["hostname"]'

ตาม MartinR และนำของ Boecko:

$ curl -s 'http://twitter.com/users/username.json' | python -mjson.tool

นั่นจะให้ผลลัพธ์ที่เป็นมิตรกับคุณอย่างมาก สะดวกมาก:

$ curl -s 'http://twitter.com/users/username.json' | python -mjson.tool | grep my_key

คุณสามารถดาวน์โหลดjqไบนารีสำหรับแพลตฟอร์มของคุณและรัน ( chmod +x jq):

$ curl 'https://twitter.com/users/username.json' | ./jq -r '.name'

มันแยก"name"คุณลักษณะจากวัตถุ json

jqหน้าแรกบอกว่ามันเป็นเหมือนsedสำหรับข้อมูล JSON

ใช้ Node.js

หากระบบมี ปมติดตั้งแล้วเป็นไปได้ที่จะใช้ค่าสถานะการ-pพิมพ์และการถอน-eสคริปต์ด้วยJSON.parseเพื่อดึงค่าใด ๆ ที่จำเป็น

ตัวอย่างง่ายๆโดยใช้สตริง JSON { "foo": "bar" }และดึงค่า "foo" ออกมา:

$ node -pe 'JSON.parse(process.argv[1]).foo' '{ "foo": "bar" }'
bar

เนื่องจากเราสามารถเข้าถึงcatและยูทิลิตี้อื่น ๆ เราจึงสามารถใช้สิ่งนี้สำหรับไฟล์:

$ node -pe 'JSON.parse(process.argv[1]).foo' "$(cat foobar.json)"
bar

หรือรูปแบบอื่น ๆ เช่น URL ที่มี JSON:

$ node -pe 'JSON.parse(process.argv[1]).name' "$(curl -s https://api.github.com/users/trevorsenior)"
Trevor Senior

ใช้การสนับสนุน JSON ของ Pythonแทนการใช้ awk!

บางสิ่งเช่นนี้

curl -s http://twitter.com/users/username.json | \
    python -c "import json,sys;obj=json.load(sys.stdin);print obj['name'];"

คุณถามว่าจะยิงตัวเองอย่างไรและฉันมาที่นี่เพื่อให้กระสุน:

curl -s 'http://twitter.com/users/username.json' | sed -e 's/[{}]/''/g' | awk -v RS=',"' -F: '/^text/ {print $2}'

คุณสามารถใช้แทนtr -d '{}' sedแต่การปล่อยพวกเขาออกไปอย่างสมบูรณ์ดูเหมือนจะมีผลตามที่ต้องการเช่นกัน

หากคุณต้องการตัดเครื่องหมายอัญประกาศด้านนอกให้ไพพ์ผลลัพธ์ของข้างบนผ่าน sed 's/\(^"\|"$\)//g'

ฉันคิดว่าคนอื่นฟังเสียงปลุกเพียงพอแล้ว ฉันจะยืนอยู่ข้างๆด้วยโทรศัพท์มือถือเพื่อเรียกรถพยาบาล ไฟไหม้เมื่อพร้อม

ใช้ Bash กับ Python

สร้างฟังก์ชั่นทุบตีในไฟล์. bash_rc ของคุณ

function getJsonVal () { 
    python -c "import json,sys;sys.stdout.write(json.dumps(json.load(sys.stdin)$1))"; 
}

แล้วก็

$ curl 'http://twitter.com/users/username.json' | getJsonVal "['text']"
My status
$ 

นี่คือฟังก์ชั่นเดียวกัน แต่มีการตรวจสอบข้อผิดพลาด

function getJsonVal() {
   if [ \( $# -ne 1 \) -o \( -t 0 \) ]; then
       cat <<EOF
Usage: getJsonVal 'key' < /tmp/
 -- or -- 
 cat /tmp/input | getJsonVal 'key'
EOF
       return;
   fi;
   python -c "import json,sys;sys.stdout.write(json.dumps(json.load(sys.stdin)$1))";
}

โดยที่ $ # -ne 1 ตรวจสอบว่ามีอย่างน้อย 1 อินพุตและ -t 0 ตรวจสอบให้แน่ใจว่าคุณเปลี่ยนเส้นทางจากไพพ์

สิ่งที่ดีเกี่ยวกับการใช้งานนี้คือคุณสามารถเข้าถึงค่า json ที่ซ้อนกันและรับ json เป็นการตอบแทน! =)

ตัวอย่าง:

$ echo '{"foo": {"bar": "baz", "a": [1,2,3]}}' |  getJsonVal "['foo']['a'][1]"
2

ถ้าคุณต้องการที่จะแฟนซีจริงๆคุณสามารถพิมพ์ข้อมูล:

function getJsonVal () { 
    python -c "import json,sys;sys.stdout.write(json.dumps(json.load(sys.stdin)$1, sort_keys=True, indent=4))"; 
}

$ echo '{"foo": {"bar": "baz", "a": [1,2,3]}}' |  getJsonVal "['foo']"
{
    "a": [
        1, 
        2, 
        3
    ], 
    "bar": "baz"
}

TickTickเป็นตัวแยกวิเคราะห์ JSON ที่เขียนใน bash (รหัส <250 บรรทัด)

นี่คือข้อมูลสั้น ๆ ของผู้แต่งจากบทความของเขาลองจินตนาการถึงโลกที่ Bash สนับสนุน JSON :

#!/bin/bash
. ticktick.sh

``  
  people = { 
    "Writers": [
      "Rod Serling",
      "Charles Beaumont",
      "Richard Matheson"
    ],  
    "Cast": {
      "Rod Serling": { "Episodes": 156 },
      "Martin Landau": { "Episodes": 2 },
      "William Shatner": { "Episodes": 2 } 
    }   
  }   
``  

function printDirectors() {
  echo "  The ``people.Directors.length()`` Directors are:"

  for director in ``people.Directors.items()``; do
    printf "    - %s\n" ${!director}
  done
}   

`` people.Directors = [ "John Brahm", "Douglas Heyes" ] ``
printDirectors

newDirector="Lamont Johnson"
`` people.Directors.push($newDirector) ``
printDirectors

echo "Shifted: "``people.Directors.shift()``
printDirectors

echo "Popped: "``people.Directors.pop()``
printDirectors

การแยก JSON ด้วย PHP CLI

ปิดเนื้อหาได้อย่างชัดเจน แต่เนื่องจากความสำคัญเหนือกว่าคำถามนี้ยังคงไม่สมบูรณ์หากไม่มีการกล่าวถึง PHP ที่ไว้วางใจและซื่อสัตย์ของเราใช่ไหม

ใช้ JSON ตัวอย่างเดียวกัน แต่ให้กำหนดให้ตัวแปรเพื่อลดความสับสน

$ export JSON='{"hostname":"test","domainname":"example.com"}'

ตอนนี้สำหรับความดีของ PHP โดยใช้file_get_contentsและphp: // stdin stream wrapper

$ echo $JSON|php -r 'echo json_decode(file_get_contents("php://stdin"))->hostname;'

หรือเป็นแหลมออกโดยใช้fgetsและกระแสเปิดแล้วที่ CLI คงSTDIN

$ echo $JSON|php -r 'echo json_decode(fgets(STDIN))->hostname;'

Njoy!

Native Bash: ทำงานได้ดีกับแบ็กสแลช (\) และเครื่องหมายคำพูด (")

function parse_json()
{
    echo $1 | \
    sed -e 's/[{}]/''/g' | \
    sed -e 's/", "/'\",\"'/g' | \
    sed -e 's/" ,"/'\",\"'/g' | \
    sed -e 's/" , "/'\",\"'/g' | \
    sed -e 's/","/'\"---SEPERATOR---\"'/g' | \
    awk -F=':' -v RS='---SEPERATOR---' "\$1~/\"$2\"/ {print}" | \
    sed -e "s/\"$2\"://" | \
    tr -d "\n\t" | \
    sed -e 's/\\"/"/g' | \
    sed -e 's/\\\\/\\/g' | \
    sed -e 's/^[ \t]*//g' | \
    sed -e 's/^"//'  -e 's/"$//'
}


parse_json '{"username":"john, doe","email":"john@doe.com"}' username
parse_json '{"username":"john doe","email":"john@doe.com"}' email

--- outputs ---

john, doe
johh@doe.com

เวอร์ชันที่ใช้ Ruby และhttp://flori.github.com/json/

$ < file.json ruby -e "require 'rubygems'; require 'json'; puts JSON.pretty_generate(JSON[STDIN.read]);"

หรือสั้นกระชับ:

$ < file.json ruby -r rubygems -r json -e "puts JSON.pretty_generate(JSON[STDIN.read]);"

น่าเสียดายที่คำตอบที่ได้รับการโหวตสูงสุดที่ใช้grepคืนค่าการจับคู่แบบเต็มที่ไม่ทำงานในสถานการณ์ของฉัน แต่ถ้าคุณรู้ว่ารูปแบบ JSON จะคงที่คุณสามารถใช้lookbehindและlookaheadเพื่อแยกค่าที่ต้องการ

# echo '{"TotalPages":33,"FooBar":"he\"llo","anotherValue":100}' | grep -Po '(?<="FooBar":")(.*?)(?=",)'
he\"llo
# echo '{"TotalPages":33,"FooBar":"he\"llo","anotherValue":100}' | grep -Po '(?<="TotalPages":)(.*?)(?=,)'
33
#  echo '{"TotalPages":33,"FooBar":"he\"llo","anotherValue":100}' | grep -Po '(?<="anotherValue":)(.*?)(?=})'
100

หากมีคนต้องการแยกค่าจากออบเจ็กต์ JSON แบบง่ายโดยไม่ต้องใช้โครงสร้างที่ซ้อนกันคุณสามารถใช้นิพจน์ทั่วไปโดยไม่ต้องออกจาก bash

นี่คือฟังก์ชันที่ฉันกำหนดโดยใช้นิพจน์ทั่วไปของ bash ตามมาตรฐาน JSON :

function json_extract() {
  local key=$1
  local json=$2

  local string_regex='"([^"\]|\\.)*"'
  local number_regex='-?(0|[1-9][0-9]*)(\.[0-9]+)?([eE][+-]?[0-9]+)?'
  local value_regex="${string_regex}|${number_regex}|true|false|null"
  local pair_regex="\"${key}\"[[:space:]]*:[[:space:]]*(${value_regex})"

  if [[ ${json} =~ ${pair_regex} ]]; then
    echo $(sed 's/^"\|"$//g' <<< "${BASH_REMATCH[1]}")
  else
    return 1
  fi
}

Caveats: วัตถุและอาร์เรย์ไม่ได้รับการสนับสนุนเป็นค่า แต่สนับสนุนประเภทค่าอื่น ๆ ทั้งหมดที่กำหนดไว้ในมาตรฐาน นอกจากนี้คู่จะถูกจับคู่ไม่ว่าเอกสาร JSON จะลึกแค่ไหนตราบใดที่มีชื่อคีย์เหมือนกันทั้งหมด

ใช้ตัวอย่างของ OP:

$ json_extract text "$(curl 'http://twitter.com/users/username.json')"
My status

$ json_extract friends_count "$(curl 'http://twitter.com/users/username.json')"
245

มีวิธีที่ง่ายกว่าในการรับคุณสมบัติจากสตริง json ใช้package.jsonไฟล์เป็นตัวอย่างลองสิ่งนี้:

#!/usr/bin/env bash
my_val="$(json=$(<package.json) node -pe "JSON.parse(process.env.json)['version']")"

เรากำลังใช้process.envเพราะจะทำให้เนื้อหาของไฟล์นั้นอยู่ใน node.js เป็นสตริงโดยไม่มีความเสี่ยงของเนื้อหาที่เป็นอันตรายซึ่งจะทำให้ข้อความของพวกเขาถูกแยกวิเคราะห์และถูกแยกเป็นรหัส

ตอนนี้ Powershell เป็นแพลตฟอร์มข้ามฉันคิดว่าฉันจะออกไปที่นั่นเนื่องจากฉันคิดว่ามันใช้งานง่ายและค่อนข้างง่าย

curl -s 'https://api.github.com/users/lambda' | ConvertFrom-Json 

ConvertFrom-Json แปลง JSON เป็นวัตถุที่กำหนดเอง Powershell ดังนั้นคุณสามารถทำงานกับคุณสมบัติจากจุดนั้นไปข้างหน้าได้อย่างง่ายดาย หากคุณต้องการเพียงแค่คุณสมบัติ 'id' คุณจะทำเช่นนี้:

curl -s 'https://api.github.com/users/lambda' | ConvertFrom-Json | select -ExpandProperty id

หากคุณต้องการเรียกใช้สิ่งทั้งหมดจากภายใน Bash คุณจะต้องเรียกมันว่า:

powershell 'curl -s "https://api.github.com/users/lambda" | ConvertFrom-Json'

แน่นอนมีวิธี Powershell บริสุทธิ์ที่จะทำโดยไม่ต้องขดซึ่งจะเป็น:

Invoke-WebRequest 'https://api.github.com/users/lambda' | select -ExpandProperty Content | ConvertFrom-Json

ในที่สุดก็มี 'ConvertTo-Json' ซึ่งแปลงวัตถุที่กำหนดเองเป็น JSON ได้อย่างง่ายดาย นี่คือตัวอย่าง:

(New-Object PsObject -Property @{ Name = "Tester"; SomeList = @('one','two','three')}) | ConvertTo-Json

ซึ่งจะสร้าง JSON ที่ดีเช่นนี้:

{
"Name":  "Tester",
"SomeList":  [
                 "one",
                 "two",
                 "three"
             ]

}

เป็นที่ยอมรับกันว่าการใช้เชลล์ของ Windows บน Unix ค่อนข้างเป็นเรื่องน่าสังเวช แต่ Powershell นั้นเก่งในบางเรื่องและการแยก JSON และ XML ออกมาเป็นคู่ นี่คือหน้า GitHub สำหรับเวอร์ชันไขว้ของแพลตฟอร์มhttps://github.com/PowerShell/PowerShell

ใครบางคนที่ยังมีไฟล์ XML, อาจต้องการที่จะดูที่ฉันXidel มันเป็นตัวประมวลผลJSONiq ของ cli ที่ปราศจากการพึ่งพา (เช่นมันยังรองรับ XQuery สำหรับการประมวลผล xml หรือ json)

ตัวอย่างในคำถามจะเป็น:

 xidel -e 'json("http://twitter.com/users/username.json")("name")'

หรือด้วยไวยากรณ์ส่วนขยายที่ไม่ใช่ของฉันเอง:

 xidel -e 'json("http://twitter.com/users/username.json").name'

ฉันไม่สามารถใช้คำตอบใด ๆ ที่นี่ ไม่มี jq ที่พร้อมใช้งาน, ไม่มีอาร์เรย์เชลล์, ไม่ประกาศ, ไม่มี grep -P, lookbehind และ lookahead, Python, Perl ไม่มี, Ruby ไม่มี, ไม่ - แม้แต่ Bash ... คำตอบที่เหลืออยู่ใช้งานได้ดี จาวาสคริปต์ฟังดูคุ้นเคย แต่ตัวกระป๋องบอกว่า Nescaffe - มันก็ไม่เป็นไรเหมือนกัน :) แม้ว่าจะมีให้สำหรับความต้องการง่ายๆของฉัน - พวกมันจะ overkill และช้า

แต่มันเป็นสิ่งสำคัญอย่างยิ่งสำหรับฉันที่จะได้รับตัวแปรมากมายจากการตอบกลับในรูปแบบ json ของโมเด็มของฉัน ฉันกำลังทำมันในดวลจุดโทษด้วย BusyBox ลงที่เราเตอร์ของฉัน! ไม่มีปัญหาในการใช้ awk เพียงอย่างเดียว: เพียงตั้งค่าตัวคั่นและอ่านข้อมูล สำหรับตัวแปรเดียวนั่นคือทั้งหมด!

awk 'BEGIN { FS="\""; RS="," }; { if ($2 == "login") {print $4} }' test.json

จำฉันได้ไหม? ฉันต้องกำหนดภายในข้อมูลที่แยกวิเคราะห์ awk ให้กับตัวแปร 11 ตัวที่ฉันต้องการในเชลล์สคริปต์ เมื่อใดก็ตามที่ฉันดูนั่นก็บอกว่าเป็นภารกิจที่เป็นไปไม่ได้ ไม่มีปัญหาด้วยเช่นกัน

ทางออกของฉันง่าย รหัสนี้จะ: 1) แยกวิเคราะห์ไฟล์. json จากคำถาม (อันที่จริงฉันยืมตัวอย่างข้อมูลการทำงานจากคำตอบ upvote ที่สุด) และเลือกข้อมูลที่ยกมาบวก 2) สร้างตัวแปรเชลล์จากภายใน awk กำหนดเชลล์ชื่อฟรี ชื่อตัวแปร

eval $( curl -s 'https://api.github.com/users/lambda' | 
awk ' BEGIN { FS="\""; RS="," };
{
    if ($2 == "login") { print "Login=\""$4"\"" }
    if ($2 == "name") { print "Name=\""$4"\"" }
    if ($2 == "updated_at") { print "Updated=\""$4"\"" }
}' )
echo "$Login, $Name, $Updated"

ไม่มีปัญหากับช่องว่างภายใน ในการใช้งานของฉันคำสั่งเดียวกันจะแยกวิเคราะห์เอาต์พุตบรรทัดยาวเดี่ยว วิธีนี้เหมาะสำหรับข้อมูลที่เชื่อถือได้เท่านั้น มันง่ายต่อการปรับให้เข้ากับการรับข้อมูลที่ไม่มีการอ้างอิง สำหรับตัวแปรจำนวนมากการเพิ่มความเร็วเล็กน้อยสามารถทำได้หากใช้อย่างอื่น เห็นได้ชัดว่าการขาดอาร์เรย์หมายถึง: ไม่มีหลายระเบียนโดยไม่มีการเล่นซอเพิ่มเติม แต่ถ้ามีอาร์เรย์ให้ปรับใช้โซลูชันนี้เป็นงานง่าย

@maikel sed ตอบเกือบทำงาน (แต่ฉันไม่สามารถแสดงความคิดเห็นได้) สำหรับข้อมูลที่จัดรูปแบบของฉัน - มันใช้งานได้ ไม่มากกับตัวอย่างที่ใช้ที่นี่ (คำพูดที่หายไปทิ้งมันออกไป) มันซับซ้อนและยากที่จะแก้ไข นอกจากนี้ฉันไม่ต้องการโทร 11 สายเพื่อแยก 11 ตัวแปร ทำไม? ฉันจับเวลา 100 ลูปเพื่อแยกตัวแปร 9 ตัว: ฟังก์ชั่น sed ใช้เวลา 48.99 วินาทีและโซลูชันของฉันใช้เวลา 0.91 วินาที! ไม่ยุติธรรม? ทำการแยกเพียง 9 ตัวแปร: 0.51 เทียบกับ 0.02 วินาที

คุณสามารถลองสิ่งนี้ -

curl -s 'http://twitter.com/users/jaypalsingh.json' | 
awk -F=":" -v RS="," '$1~/"text"/ {print}'

คุณสามารถใช้jshon:

curl 'http://twitter.com/users/username.json' | jshon -e text

นี่เป็นวิธีหนึ่งที่คุณสามารถทำได้ด้วย awk

curl -sL 'http://twitter.com/users/username.json' | awk -F"," -v k="text" '{
    gsub(/{|}/,"")
    for(i=1;i<=NF;i++){
        if ( $i ~ k ){
            print $i
        }
    }
}'

สำหรับการแยกวิเคราะห์ JSON ที่ซับซ้อนมากขึ้นฉันแนะนำให้ใช้โมดูล python jsonpath (โดย Stefan Goessner) -

1. ติดตั้ง -

sudo easy_install -U jsonpath

1. ใช้มัน -

ตัวอย่าง file.json (จากhttp://goessner.net/articles/JsonPath ) -

{ "store": {
    "book": [ 
      { "category": "reference",
        "author": "Nigel Rees",
        "title": "Sayings of the Century",
        "price": 8.95
      },
      { "category": "fiction",
        "author": "Evelyn Waugh",
        "title": "Sword of Honour",
        "price": 12.99
      },
      { "category": "fiction",
        "author": "Herman Melville",
        "title": "Moby Dick",
        "isbn": "0-553-21311-3",
        "price": 8.99
      },
      { "category": "fiction",
        "author": "J. R. R. Tolkien",
        "title": "The Lord of the Rings",
        "isbn": "0-395-19395-8",
        "price": 22.99
      }
    ],
    "bicycle": {
      "color": "red",
      "price": 19.95
    }
  }
}

แยกวิเคราะห์ (แยกชื่อหนังสือทั้งหมดด้วยราคา <10) -

$ cat file.json | python -c "import sys, json, jsonpath; print '\n'.join(jsonpath.jsonpath(json.load(sys.stdin), 'store.book[?(@.price < 10)].title'))"

จะส่งออก -

Sayings of the Century
Moby Dick

หมายเหตุ: บรรทัดคำสั่งด้านบนไม่รวมการตรวจสอบข้อผิดพลาด สำหรับการแก้ปัญหาอย่างเต็มรูปแบบด้วยการตรวจสอบข้อผิดพลาดคุณควรสร้างสคริปต์ไพ ธ อนขนาดเล็กและล้อมรอบโค้ดด้วยลองยกเว้น

หากคุณมีphp :

php -r 'var_export(json_decode(`curl http://twitter.com/users/username.json`, 1));'

ตัวอย่างเช่น:
เรามีทรัพยากรที่ให้ json กับรหัสประเทศ iso: http://country.io/iso3.jsonและเราสามารถเห็นมันในเชลล์ด้วย curl:

curl http://country.io/iso3.json

แต่มันดูไม่สะดวกและไม่สามารถอ่านได้แจงแจงที่ดีกว่าและดูโครงสร้างที่อ่านได้:

php -r 'var_export(json_decode(`curl http://country.io/iso3.json`, 1));'

รหัสนี้จะพิมพ์สิ่งที่ชอบ:

array (
  'BD' => 'BGD',
  'BE' => 'BEL',
  'BF' => 'BFA',
  'BG' => 'BGR',
  'BA' => 'BIH',
  'BB' => 'BRB',
  'WF' => 'WLF',
  'BL' => 'BLM',
  ...

หากคุณมีอาร์เรย์ที่ซ้อนกันเอาต์พุตนี้จะดูดีขึ้น ...

หวังว่านี่จะเป็นประโยชน์ ...

นอกจากนี้ยังมีเครื่องมือประมวลผลJSON CLI ที่เรียบง่าย แต่ทรงพลังfx - https://github.com/antonmedv/fx

ตัวอย่าง

ใช้ฟังก์ชั่นที่ไม่ระบุชื่อ:

$ echo '{"key": "value"}' | fx "x => x.key"
value

หากคุณไม่ผ่านฟังก์ชันที่ไม่ระบุชื่อพารามิเตอร์ => ... โค้ดจะถูกเปลี่ยนเป็นฟังก์ชันที่ไม่ระบุชื่อโดยอัตโนมัติ และคุณสามารถเข้าถึง JSON ด้วยคำหลักนี้:

$ echo '[1,2,3]' | fx "this.map(x => x * 2)"
[2, 4, 6]

หรือเพียงแค่ใช้จุดซินแท็กซ์เช่นกัน:

$ echo '{"items": {"one": 1}}' | fx .items.one
1

คุณสามารถส่งผ่านฟังก์ชั่นนิรนามใด ๆ เพื่อลด JSON:

$ echo '{"items": ["one", "two"]}' | fx "this.items" "this[1]"
two

คุณสามารถอัพเดต JSON ที่มีอยู่โดยใช้ตัวดำเนินการสเปรด

$ echo '{"count": 0}' | fx "{...this, count: 1}"
{"count": 1}

JavaScript เพียงธรรมดา ไม่จำเป็นต้องเรียนรู้ไวยากรณ์ใหม่

อัพเดท 2018-11-06

fxตอนนี้มีโหมดโต้ตอบ ( ! )

https://github.com/antonmedv/fx

นี่เป็นอีกหนึ่งคำตอบbash& pythonไฮบริด ฉันโพสต์คำตอบนี้เพราะฉันต้องการประมวลผลเอาต์พุต JSON ที่ซับซ้อนมากขึ้น แต่ลดความซับซ้อนของแอปพลิเคชันทุบตีของฉัน ฉันต้องการแตกเปิดวัตถุ JSON ต่อไปนี้จากhttp://www.arcgis.com/sharing/rest/info?f=jsonในbash:

{
  "owningSystemUrl": "http://www.arcgis.com",
  "authInfo": {
    "tokenServicesUrl": "https://www.arcgis.com/sharing/rest/generateToken",
    "isTokenBasedSecurity": true
  }
}

ในตัวอย่างต่อไปนี้ฉันสร้างการใช้งานjqและการunquoteใช้ประโยชน์ของpythonตนเอง คุณจะทราบว่าเมื่อเรานำเข้าวัตถุหลามจากjsonพจนานุกรมหลามเราสามารถใช้ไวยากรณ์หลามเพื่อสำรวจพจนานุกรม เพื่อนำทางด้านบนไวยากรณ์คือ:

• data
• data[ "authInfo" ]
• data[ "authInfo" ][ "tokenServicesUrl" ]

โดยการใช้เวทย์มนตร์ใน bash เราจะละเว้นdataและใส่ข้อความ python ทางด้านขวาของข้อมูลเท่านั้น

• jq
• jq '[ "authInfo" ]'
• jq '[ "authInfo" ][ "tokenServicesUrl" ]'

หมายเหตุไม่มีพารามิเตอร์ jqทำหน้าที่เป็นตัวเลือก JSON ด้วยพารามิเตอร์เราสามารถใช้ python ไวยากรณ์เพื่อแยกสิ่งที่เราต้องการจากพจนานุกรมรวมถึงการนำย่อยและองค์ประกอบอาร์เรย์

นี่คือตัวอย่างการทำงานที่แสดงให้เห็นข้างต้น:

jq_py() {
cat <<EOF
import json, sys
data = json.load( sys.stdin )
print( json.dumps( data$1, indent = 4 ) )
EOF
}

jq() {
  python -c "$( jq_py "$1" )"
}

unquote_py() {
cat <<EOF
import json,sys
print( json.load( sys.stdin ) )
EOF
}

unquote() {
  python -c "$( unquote_py )"
}

curl http://www.arcgis.com/sharing/rest/info?f=json | tee arcgis.json
# {"owningSystemUrl":"https://www.arcgis.com","authInfo":{"tokenServicesUrl":"https://www.arcgis.com/sharing/rest/generateToken","isTokenBasedSecurity":true}}

cat arcgis.json | jq
# {
#     "owningSystemUrl": "https://www.arcgis.com",
#     "authInfo": {
#         "tokenServicesUrl": "https://www.arcgis.com/sharing/rest/generateToken",
#         "isTokenBasedSecurity": true
#     }
# }

cat arcgis.json | jq '[ "authInfo" ]'
# {
#     "tokenServicesUrl": "https://www.arcgis.com/sharing/rest/generateToken",
#     "isTokenBasedSecurity": true
# }

cat arcgis.json | jq '[ "authInfo" ][ "tokenServicesUrl" ]'
# "https://www.arcgis.com/sharing/rest/generateToken"

cat arcgis.json | jq '[ "authInfo" ][ "tokenServicesUrl" ]' | unquote
# https://www.arcgis.com/sharing/rest/generateToken

ฉันได้ทำนี้ "แจง" ตอบ json สำหรับค่าเฉพาะดังนี้

curl $url | grep $var | awk '{print $2}' | sed s/\"//g 

เห็นได้ชัดว่า $ url ที่นี่จะเป็น twitter url และ $ var จะเป็น "text" เพื่อรับการตอบกลับสำหรับ var นั้น

จริง ๆ แล้วฉันคิดว่าสิ่งเดียวที่ฉันกำลังทำ OP อยู่คือ grep สำหรับบรรทัดที่มีตัวแปรเฉพาะที่เขาค้นหา Awk คว้ารายการที่สองในบรรทัดและฉันจะตัดเครื่องหมายคำพูดออก

บางคนฉลาดกว่าที่ฉันสามารถทำได้ทั้งหมดคิดด้วย awk หรือ grep

ตอนนี้คุณสามารถทำได้ทุกอย่างด้วยเพียงแค่:

curl $url | sed '/text/!d' | sed s/\"text\"://g | sed s/\"//g | sed s/\ //g

ดังนั้นไม่ต้องตกใจไม่มี grep ... ฉันไม่รู้ว่าทำไมฉันไม่เคยคิดถึงเรื่องนี้มาก่อน อืมม ...

การแยก JSON นั้นเจ็บปวดในเชลล์สคริปต์ ด้วยภาษาที่เหมาะสมยิ่งขึ้นให้สร้างเครื่องมือที่แยกแอ็ตทริบิวต์ JSON ในวิธีที่สอดคล้องกับระเบียบสคริปต์เชลล์ คุณสามารถใช้เครื่องมือใหม่ของคุณเพื่อแก้ไขปัญหาการเขียนสคริปต์เชลล์ทันทีจากนั้นเพิ่มลงในชุดอุปกรณ์ของคุณสำหรับสถานการณ์ในอนาคต

ตัวอย่างเช่นลองใช้เครื่องมือjsonlookupซึ่งถ้าฉันบอกว่าjsonlookup access token idมันจะคืนค่าIDแอตทริบิวต์ที่กำหนดไว้ภายในโทเค็นของแอตทริบิวต์ที่กำหนดไว้ภายในการเข้าถึงคุณลักษณะจาก stdin ซึ่งเป็นข้อมูล JSON ที่น่าจะเป็นไปได้ หากไม่มีแอตทริบิวต์เครื่องมือจะไม่ส่งคืนสิ่งใด (สถานะออก 1) หากการวิเคราะห์คำล้มเหลวให้ออกจากสถานะ 2 และข้อความถึง stderr หากการค้นหาสำเร็จเครื่องมือจะพิมพ์ค่าของแอททริบิวต์

การสร้างเครื่องมือ unix เพื่อจุดประสงค์ที่แม่นยำในการแตกค่า JSON คุณสามารถใช้มันในเชลล์สคริปต์ได้อย่างง่ายดาย:

access_token=$(curl <some horrible crap> | jsonlookup access token id)

ภาษาใดจะทำสำหรับการดำเนินงานของjsonlookup นี่เป็นเวอร์ชั่นงูหลามที่ค่อนข้างกระชับ:

#!/usr/bin/python                                                               

import sys
import json

try: rep = json.loads(sys.stdin.read())
except:
    sys.stderr.write(sys.argv[0] + ": unable to parse JSON from stdin\n")
    sys.exit(2)
for key in sys.argv[1:]:
    if key not in rep:
        sys.exit(1)
    rep = rep[key]
print rep

สองซับซึ่งใช้ไพ ธ อน มันทำงานได้ดีเป็นพิเศษหากคุณเขียนไฟล์. sh ไฟล์เดียวและคุณไม่ต้องการพึ่งพาไฟล์. py ตัวอื่น |นอกจากนี้ยังใช้ประโยชน์จากการใช้งานของท่อ echo "{\"field\": \"value\"}"สามารถถูกแทนที่ด้วยสิ่งที่พิมพ์ json ไปยัง stdout

echo "{\"field\": \"value\"}" | python -c 'import sys, json
print(json.load(sys.stdin)["field"])'

นี่คือ usecase ที่ดีสำหรับpythonpy :

curl 'http://twitter.com/users/username.json' | py 'json.load(sys.stdin)["name"]'