เหตุใดข้อผิดพลาดของ cURL ส่งคืนข้อผิดพลาด“ (23) เนื้อความการเขียนล้มเหลว”

มันทำงานได้ดีเป็นเครื่องมือเดียว:

curl "someURL"
curl -o - "someURL"

แต่มันไม่ทำงานในขั้นตอน:

curl "someURL" | tr -d '\n'
curl -o - "someURL" | tr -d '\n'

มันกลับมา:

(23) Failed writing body

ปัญหาในการไพพ์เอาต์พุต cURL คืออะไร วิธีบัฟเฟอร์เอาต์พุต cURL ทั้งหมดจากนั้นจัดการ?

สิ่งนี้จะเกิดขึ้นเมื่อโปรแกรม piped (เช่น grep) ปิดไปป์อ่านก่อนที่โปรแกรมก่อนหน้าจะเขียนหน้าทั้งหมดเสร็จสิ้น

ในcurl "url" | grep -qs fooทันทีที่ grep มีสิ่งที่ต้องการมันจะปิดสตรีมการอ่านจาก curl cURL ไม่คาดหวังสิ่งนี้และส่งข้อผิดพลาด "เนื้อหาที่เขียนล้มเหลว"

วิธีแก้ไขคือไปป์ที่สตรีมผ่านโปรแกรมตัวกลางที่อ่านหน้าทั้งหมดก่อนที่จะป้อนเข้าสู่โปรแกรมถัดไป

เช่น

curl "url" | tac | tac | grep -qs foo

tacเป็นโปรแกรม Unix อย่างง่ายที่อ่านหน้าอินพุตทั้งหมดและกลับคำสั่งซื้อบรรทัด (ดังนั้นเราจึงรันสองครั้ง) เนื่องจากต้องอ่านอินพุตทั้งหมดเพื่อค้นหาบรรทัดสุดท้ายมันจะไม่เอาต์พุตอะไรให้ grep จนกว่า cURL จะเสร็จสิ้น Grep จะยังคงปิดสตรีมการอ่านเมื่อมีสิ่งที่ต้องการ แต่จะมีผลกับแทคซึ่งจะไม่ส่งข้อผิดพลาด

สำหรับการค้นหาที่สมบูรณ์และในอนาคต:

มันเป็นเรื่องของวิธีที่ cURL จัดการบัฟเฟอร์บัฟเฟอร์ปิดใช้งานสตรีมเอาต์พุตด้วยตัวเลือก -N

ตัวอย่าง: curl -s -N "URL" | grep -q Welcome

ความเป็นไปได้อีกประการหนึ่งหากใช้-oตัวเลือก (ไฟล์เอาต์พุต) - ไดเรกทอรีปลายทางไม่มีอยู่

เช่น. หากคุณมี-o /tmp/download/abc.txtและ / tmp / download ไม่มีอยู่

ดังนั้นให้แน่ใจว่ามีการสร้าง / สร้างไดเรกทอรีที่จำเป็นก่อนใช้--create-dirsตัวเลือกและ - oหากจำเป็น

มันเป็นปัญหาของการเข้ารหัส Iconv แก้ปัญหา

curl 'http://www.multitran.ru/c/m.exe?CL=1&s=hello&l1=1' | iconv -f windows-1251 | tr -dc '[:print:]' | ...

คุณสามารถทำได้แทนที่จะใช้-oตัวเลือก:

curl [url] > [file]

ฉันมีข้อผิดพลาดเดียวกัน แต่ด้วยเหตุผลที่แตกต่างกัน ในกรณีของฉันฉันมีพาร์ทิชัน (tmpfs) ที่มีพื้นที่เพียง 1GB และฉันกำลังดาวน์โหลดไฟล์ขนาดใหญ่ซึ่งในที่สุดก็เต็มหน่วยความจำทั้งหมดในพาร์ติชันนั้นและฉันได้รับข้อผิดพลาดเช่นเดียวกับคุณ

เซิร์ฟเวอร์มีเนื้อที่ดิสก์ไม่เพียงพอในกรณีของฉัน

ตรวจสอบด้วย df -k .

ผมได้รับการแจ้งเตือนไปยังขาดพื้นที่ดิสก์เมื่อฉันพยายามท่อผ่านtacสองครั้งตามที่อธิบายไว้ในหนึ่งในคำตอบอื่น ๆ : https://stackoverflow.com/a/28879552/336694 write error: No space left on deviceมันแสดงให้ฉันเห็นข้อผิดพลาด

ฉันพบข้อความแสดงข้อผิดพลาดขณะพยายามติดตั้งวานิชแคชบนอูบุนตู การค้นหา google ทำให้ฉันมีข้อผิดพลาดที่นี่ฉัน(23) Failed writing bodyจึงโพสต์โซลูชันที่เหมาะกับฉัน

พบข้อผิดพลาดขณะเรียกใช้คำสั่งในฐานะรูท curl -L https://packagecloud.io/varnishcache/varnish5/gpgkey | apt-key add -

การแก้ปัญหาคือการทำงานapt-key addในฐานะที่ไม่ใช่รูต

curl -L https://packagecloud.io/varnishcache/varnish5/gpgkey | apt-key add -

หากคุณพยายามทำสิ่งที่คล้ายกันsource <( curl -sS $url )และได้รับ(23) Failed writing bodyข้อผิดพลาดอาจเป็นเพราะการจัดหาการทดแทนกระบวนการไม่ทำงานbash 3.2(ค่าเริ่มต้นสำหรับ macOS)

คุณสามารถใช้วิธีแก้ปัญหานี้แทน

source /dev/stdin <<<"$( curl -sS $url )"

สำหรับฉันมันเป็นปัญหาสิทธิ์ นักวิ่งเรียกใช้ด้วยโปรไฟล์ผู้ใช้ แต่รูทเป็นผู้ใช้ภายในคอนเทนเนอร์ วิธีแก้ไขคือทำให้การเขียน curl ไปยัง / tmp เนื่องจากมีสิทธิ์การเขียนสำหรับผู้ใช้ทั้งหมดไม่ใช่แค่รูท

ฉันใช้ตัวเลือก -o

-o / tmp / file_to_download

ใน Bash และ zsh (และบางทีเชลล์อื่น ๆ ) คุณสามารถใช้การทดแทนกระบวนการ ( Bash / zsh ) เพื่อสร้างไฟล์ได้ทันทีจากนั้นใช้สิ่งนั้นเป็นอินพุตไปยังกระบวนการถัดไปในไปป์ไลน์ไปป์ไลน์

ตัวอย่างเช่นฉันพยายามแยกเอาต์พุต JSON จาก cURL โดยใช้jqและlessได้รับFailed writing bodyข้อผิดพลาด

# Note: this does NOT work
curl https://gitlab.com/api/v4/projects/ | jq | less

เมื่อฉันเขียนใหม่โดยใช้การทดแทนกระบวนการมันใช้งานได้!

# this works!
jq "" <(curl https://gitlab.com/api/v4/projects/) | less

หมายเหตุ: jqใช้อาร์กิวเมนต์ตัวที่ 2 เพื่อระบุไฟล์อินพุต

โบนัส: หากคุณใช้งานjqเหมือนฉันและต้องการเก็บเอาท์พุท colorizedไว้lessให้ใช้บรรทัดคำสั่งต่อไปนี้แทน:

jq -C "" <(curl https://gitlab.com/api/v4/projects/) | less -r

(ขอบคุณKowaruสำหรับคำอธิบายว่าทำไมถึง Failed writing bodyเกิดขึ้นอย่างไรก็ตามวิธีแก้ปัญหาในการใช้tacสองครั้งไม่ได้ผลสำหรับฉันฉันยังต้องการค้นหาวิธีแก้ปัญหาที่จะขยายขนาดให้ดีขึ้นสำหรับไฟล์ขนาดใหญ่และพยายามหลีกเลี่ยงปัญหาอื่น ๆ กับคำตอบนั้น)