โปรแกรมรวบรวมข้อมูลอย่างง่ายโดยใช้ Cheerio
นี่เป็นสูตรของฉันในการสร้างโปรแกรมรวบรวมข้อมูลอย่างง่าย ๆ ใน Node.js นี่เป็นเหตุผลหลักที่ทำให้คุณต้องการจัดการ DOM บนฝั่งเซิร์ฟเวอร์และอาจเป็นสาเหตุที่คุณมาที่นี่
ก่อนอื่นให้ใช้ requestเพื่อดาวน์โหลดหน้าเพื่อแยกวิเคราะห์ เมื่อการดาวน์โหลดเสร็จสิ้นให้จัดการcheerioและเริ่มการจัดการ DOM เช่นเดียวกับการใช้ jQuery
ตัวอย่างการทำงาน:
var
request = require('request'),
cheerio = require('cheerio');
function parse(url) {
request(url, function (error, response, body) {
var
$ = cheerio.load(body);
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
ตัวอย่างนี้จะพิมพ์ไปยังคอนโซลคำถามยอดนิยมทั้งหมดที่แสดงในหน้าแรกดังนั้น นี่คือเหตุผลที่ฉันรัก Node.js และชุมชน มันไม่ง่ายไปกว่านั้น :-)
ติดตั้งการพึ่งพา:
ขอติดตั้ง NPM เชียร์
และเรียกใช้ (สมมติว่าสคริปต์ด้านบนอยู่ในไฟล์ crawler.js ):
node crawler.js
การเข้ารหัส
บางหน้าจะมีเนื้อหาที่ไม่ใช่ภาษาอังกฤษในการเข้ารหัสบางอย่างและคุณจะต้องถอดรหัสให้UTF-8เป็น ตัวอย่างเช่นหน้าในภาษาบราซิลโปรตุเกส (หรือภาษาอื่น ๆ ที่มีต้นกำเนิดละติน) จะถูกเข้ารหัสในISO-8859-1(aka "latin1") เมื่อต้องการถอดรหัสฉันrequestไม่บอกให้ตีความเนื้อหาในทางใดทางหนึ่งและใช้แทนiconv-liteเพื่อทำงานแทน
ตัวอย่างการทำงาน:
var
request = require('request'),
iconv = require('iconv-lite'),
cheerio = require('cheerio');
var
PAGE_ENCODING = 'utf-8'; // change to match page encoding
function parse(url) {
request({
url: url,
encoding: null // do not interpret content yet
}, function (error, response, body) {
var
$ = cheerio.load(iconv.decode(body, PAGE_ENCODING));
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
ก่อนรันให้ติดตั้งการพึ่งพา:
คำขอติดตั้ง npm iconv-lite เชียร์
และในที่สุดก็:
node crawler.js
ลิงค์ต่อไปนี้
ขั้นตอนต่อไปคือติดตามลิงก์ สมมติว่าคุณต้องการแสดงรายชื่อผู้โพสต์ทั้งหมดจากคำถามยอดนิยมแต่ละข้อเกี่ยวกับ SO คุณต้องแสดงรายการคำถามยอดนิยมทั้งหมดก่อน (ตัวอย่างข้างต้น) จากนั้นป้อนแต่ละลิงก์แยกวิเคราะห์หน้าคำถามแต่ละข้อเพื่อรับรายการผู้ใช้ที่เกี่ยวข้อง
เมื่อคุณเริ่มติดตามลิงก์นรกโทรกลับสามารถเริ่มต้นได้ เพื่อหลีกเลี่ยงปัญหานี้คุณควรใช้สัญญาบางอย่างฟิวเจอร์สหรืออะไรก็ตาม ฉันมักจะให้asyncในแถบเครื่องมือของฉัน ดังนั้นนี่คือตัวอย่างเต็มรูปแบบของโปรแกรมรวบรวมข้อมูลที่ใช้ async:
var
url = require('url'),
request = require('request'),
async = require('async'),
cheerio = require('cheerio');
var
baseUrl = 'http://stackoverflow.com/';
// Gets a page and returns a callback with a $ object
function getPage(url, parseFn) {
request({
url: url
}, function (error, response, body) {
parseFn(cheerio.load(body))
});
}
getPage(baseUrl, function ($) {
var
questions;
// Get list of questions
questions = $('.question-summary .question-hyperlink').map(function () {
return {
title: $(this).text(),
url: url.resolve(baseUrl, $(this).attr('href'))
};
}).get().slice(0, 5); // limit to the top 5 questions
// For each question
async.map(questions, function (question, questionDone) {
getPage(question.url, function ($$) {
// Get list of users
question.users = $$('.post-signature .user-details a').map(function () {
return $$(this).text();
}).get();
questionDone(null, question);
});
}, function (err, questionsWithPosters) {
// This function is called by async when all questions have been parsed
questionsWithPosters.forEach(function (question) {
// Prints each question along with its user list
console.info(question.title);
question.users.forEach(function (user) {
console.info('\t%s', user);
});
});
});
});
ก่อนใช้งาน:
npm ขอให้ติดตั้ง async cheerio
ทำการทดสอบ:
node crawler.js
ตัวอย่างผลลัพธ์:
Is it possible to pause a Docker image build?
conradk
Thomasleveil
PHP Image Crop Issue
Elyor
Houston Molinar
Add two object in rails
user1670773
Makoto
max
Asymmetric encryption discrepancy - Android vs Java
Cookie Monster
Wand Maker
Objective-C: Adding 10 seconds to timer in SpriteKit
Christian K Rider
และนั่นเป็นพื้นฐานที่คุณควรรู้ในการเริ่มสร้างซอฟต์แวร์รวบรวมข้อมูลของคุณเอง :-)
ห้องสมุดที่ใช้