ฉันจะแยกลิงก์ภายนอกทั้งหมดของหน้าเว็บและบันทึกลงในไฟล์ได้อย่างไร

ฉันจะแยกลิงก์ภายนอกทั้งหมดของหน้าเว็บและบันทึกลงในไฟล์ได้อย่างไร

หากคุณมีเครื่องมือบรรทัดคำสั่งใด ๆ ที่จะดี

คุณจะต้องใช้ 2 เครื่องมือlynxและawkลองสิ่งนี้:

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' > links.txt

หากคุณต้องการหมายเลขบรรทัดใช้ command nlลองทำดังนี้:

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' | nl > links.txt

นี่คือการปรับปรุงคำตอบของ lelton: คุณไม่ต้องการ awk เลยเพราะ lynx มีตัวเลือกที่มีประโยชน์

lynx -listonly -nonumbers -dump http://www.google.com.br

ถ้าคุณต้องการตัวเลข

lynx -listonly -dump http://www.google.com.br

1. ใช้ซุปสวย ๆเพื่อดึงหน้าเว็บที่เป็นปัญหา
2. ใช้ awk เพื่อค้นหา URL ทั้งหมดที่ไม่ได้ชี้ไปที่โดเมนของคุณ

ฉันอยากจะแนะนำ Beautiful Soup ผ่านเทคนิคการคัดแยกหน้าจอ

หากบรรทัดคำสั่งไม่ใช่แรงคุณสามารถใช้ส่วนขยายCopy All Links Firefox