ฉันจะใช้ไฟล์จาก HTTP เป็นสิ่งที่จำเป็นต้องมีใน GNU ได้อย่างไร

ฉันต้องการใช้ไฟล์จากเวิลด์ไวด์เว็บเป็นข้อกำหนดเบื้องต้นใน makefiles ของฉัน:

local.dat: http://example.org/example.gz
    curl -s $< | gzip -d | transmogrify >$@

ฉันแค่ต้องการ "ส่งผ่าน" หากไฟล์รีโมตใหม่กว่าไฟล์โลคัลเช่นเดียวกับที่ทำให้ใช้งานได้ตามปกติ

ฉันไม่ต้องการเก็บตัวอย่าง example.gz ที่เก็บไว้ชั่วคราว- ไฟล์มีขนาดใหญ่และฉันไม่ต้องการข้อมูลดิบ ฉันต้องการหลีกเลี่ยงการดาวน์โหลดไฟล์ทั้งหมด เป้าหมายคือการประมวลผลสองสามขนานพร้อมกันโดยใช้-jแฟล็ก make

วิธีที่สะอาดในการแก้ปัญหานี้คืออะไร? ฉันสามารถนึกถึงวิธีไปสองสามวิธี:

• เก็บไฟล์ดัมมี่ที่ว่างเปล่าออกไปอัพเดตทุกครั้งที่เป้าหมายถูกสร้างขึ้นใหม่
• ปลั๊กอินบางตัวที่ใช้ระบบปลั๊กอินใหม่ของ GNU make (ซึ่งฉันไม่รู้อะไรเลย)
• วิธีการที่ไม่เชื่อเรื่องพระเจ้าที่เมาท์เซิร์ฟเวอร์ HTTP ในระบบไฟล์โลคอล

ก่อนที่จะขุดเพิ่มเติมฉันต้องการคำแนะนำตัวอย่างที่ดีกว่า!

ลองสิ่งนี้ใน Makefile ของคุณ:

.PHONY: local.dat

local.dat:
    [ -e example.gz ] || touch -d '00:00' example.gz
    curl -z example.gz -s http://example.org/example.gz -o example.gz
    [ -e $@ ] || touch -d 'yesterday 00:00' $@
    if [     "$(shell stat --printf '%Y' example.gz)" \
         -gt "$(shell stat --printf '%Y' $@)"         ] ; then \
      zcat example.gz | transmogrify >$@ ; \
    fi
    truncate -s 0 example.gz
    touch -r $@ example.gz

(หมายเหตุ: นี่คือ Makefile ดังนั้นการเยื้องเป็นแท็บไม่ใช่การเว้นวรรคแน่นอนมันเป็นสิ่งสำคัญเช่นกันที่ไม่มีช่องว่างหลังจาก\บนบรรทัดการต่อเนื่อง - หรือกำจัด backslash-escapes และทำให้ยาวหนึ่งครั้ง เกือบจะไม่สามารถอ่านบรรทัด)

นี้ GNU makeสูตรตรวจสอบก่อนว่าไฟล์ที่เรียกว่าexample.gzมีอยู่ (เพราะเรากำลังจะใช้มันกับ-zในcurl) และสร้างมันด้วยtouchถ้ามันไม่ได้ การสัมผัสสร้างด้วยเวลาประทับ 00:00 น. (12.00 น. ของวันปัจจุบัน)

จากนั้นก็จะใช้curl's -z( --time-cond) ตัวเลือกในการดาวน์โหลดเฉพาะexample.gzถ้ามันได้รับการแก้ไขตั้งแต่ครั้งสุดท้ายที่ถูกดาวน์โหลด -zสามารถได้รับการแสดงออกวันที่จริงหรือชื่อไฟล์ หากได้รับชื่อไฟล์มันจะใช้เวลาแก้ไขของไฟล์เป็นเงื่อนไขเวลา

หลังจากนั้นหากlocal.datไม่ได้อยู่มันจะสร้างมันด้วยtouchการใช้การประทับเวลารับประกันว่าจะเก่าexample.gzกว่า สิ่งนี้จำเป็นเนื่องจากlocal.datจะต้องมีอยู่สำหรับคำสั่งถัดไปเพื่อใช้statในการรับการประทับเวลา mtime

จากนั้นหากexample.gzมีการประทับเวลาใหม่กว่าlocal.datมันท่อexample.gzเข้าและการเปลี่ยนเส้นทางออกไปtransmogrifylocal.dat

ในที่สุดก็ทำสิ่งที่การทำบัญชีและการทำความสะอาด:

• มันตัดทอนexample.gz(เพราะคุณจะต้องเก็บบันทึกเวลาและไม่ใช่ไฟล์ทั้งหมด)
• touches example.gzเพื่อให้มีการประทับเวลาเช่นเดียวกับlocal.dat

เป้าหมาย. PHONY ช่วยให้มั่นใจได้ว่าlocal.datเป้าหมายจะถูกดำเนินการเสมอแม้ว่าไฟล์ของชื่อนั้นจะมีอยู่แล้ว

ขอบคุณ @Toby Speight ที่ชี้ให้เห็นในความคิดเห็นว่ารุ่นดั้งเดิมของฉันใช้งานไม่ได้และทำไม

อีกทางเลือกหนึ่งถ้าคุณต้องการไพพ์ไฟล์โดยตรงtransmogrifyโดยไม่ต้องดาวน์โหลดลงในระบบไฟล์ก่อน:

.PHONY: local.dat

local.dat:
    [ -e example.gz ] || touch -d '00:00' example.gz
    [ -e $@ ] || touch -d 'yesterday 00:00' $@
    if [     "$(shell stat --printf '%Y' example.gz)" \
         -gt "$(shell stat --printf '%Y' $@)"         ] ; then \
      curl -z example.gz -s http://example.org/example.gz | transmogrify >$@ ; \
    fi
    touch -r $@ example.gz

หมายเหตุ:ส่วนใหญ่จะไม่ผ่านการทดสอบดังนั้นอาจต้องมีการเปลี่ยนแปลงเล็กน้อยเพื่อให้ได้ไวยากรณ์ที่ถูกต้อง สิ่งสำคัญที่นี่คือวิธีการไม่ใช่โซลูชันการคัดลอกและวางสินค้า - ลัทธิ

ฉันใช้วิธีนี้หลายรูปแบบ (เช่นtouchการทำไฟล์ประทับเวลา) makeมานานหลายทศวรรษ มันใช้งานได้และมักจะอนุญาตให้ฉันหลีกเลี่ยงการเขียนรหัสการแก้ปัญหาการพึ่งพาของตัวเองใน sh (แม้ว่าฉันจะต้องทำสิ่งที่คล้ายกับstat --printf %Yที่นี่)

ทุกคนรู้ว่าmakeเป็นเครื่องมือที่ยอดเยี่ยมในการรวบรวมซอฟต์แวร์ ... IMO ยังเป็นเครื่องมือที่ยอดเยี่ยมสำหรับผู้ดูแลระบบและงานเขียนสคริปต์

อีกทางเลือกหนึ่งคือการใช้ระบบสร้างที่ใช้การตรวจสอบการพึ่งพาเพื่อตรวจสอบว่าจะก่อให้เกิดการสร้างใหม่ ฉันใช้เคล็ดลับ "touch" กับ Gnu Make a lot แต่มันง่ายกว่ามากเมื่อคุณสามารถระบุการพึ่งพาแบบไดนามิกและเมื่อไฟล์ที่ไม่เปลี่ยนแปลงไม่ได้สร้างทริกเกอร์ใหม่ นี่คือตัวอย่างการใช้GoodMake :

#! /usr/local/goodmake.py /bin/sh -se

#! *.date
    # Get the last-modified date
    curl -s -v -X HEAD http://${1%.date} 2>&1 | grep -i '^< Last-Modified:' >$1

#? local.dat
    site=http://example.org/example.gz
    $0 $site.date
    curl -s $site | gzip -d | transmogrify >$1