ข้อเท็จจริงบางประการ:
Google นำเสนอ API เว็บเซอร์ค้นหาสาธารณะซึ่งจะส่งกลับJSON : http://ajax.googleapis.com/ajax/services/search/web เอกสารที่นี่
Java เสนอjava.net.URLและjava.net.URLConnectionเริ่มทำงานและจัดการคำขอ HTTP
JSON ใน Java สามารถแปลงเป็นอ็อบเจ็กต์ Javabean ที่สมบูรณ์โดยใช้ Java JSON API โดยพลการ หนึ่งในที่ดีที่สุดคือGoogle Gson
ตอนนี้ทำคณิตศาสตร์:
public static void main(String[] args) throws Exception {
String google = "http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=";
String search = "stackoverflow";
String charset = "UTF-8";
URL url = new URL(google + URLEncoder.encode(search, charset));
Reader reader = new InputStreamReader(url.openStream(), charset);
GoogleResults results = new Gson().fromJson(reader, GoogleResults.class);
// Show title and URL of 1st result.
System.out.println(results.getResponseData().getResults().get(0).getTitle());
System.out.println(results.getResponseData().getResults().get(0).getUrl());
}
ด้วยคลาส Javabean นี้แสดงถึงข้อมูล JSON ที่สำคัญที่สุดตามที่ Google ส่งคืน (จริง ๆ แล้วจะส่งคืนข้อมูลมากกว่า แต่ก็ขึ้นอยู่กับคุณเป็นแบบฝึกหัดเพื่อขยายโค้ด Javabean ตามนี้):
public class GoogleResults {
private ResponseData responseData;
public ResponseData getResponseData() { return responseData; }
public void setResponseData(ResponseData responseData) { this.responseData = responseData; }
public String toString() { return "ResponseData[" + responseData + "]"; }
static class ResponseData {
private List<Result> results;
public List<Result> getResults() { return results; }
public void setResults(List<Result> results) { this.results = results; }
public String toString() { return "Results[" + results + "]"; }
}
static class Result {
private String url;
private String title;
public String getUrl() { return url; }
public String getTitle() { return title; }
public void setUrl(String url) { this.url = url; }
public void setTitle(String title) { this.title = title; }
public String toString() { return "Result[url:" + url +",title:" + title + "]"; }
}
}
ดูสิ่งนี้ด้วย:
อัปเดตตั้งแต่เดือนพฤศจิกายน 2010 (2 เดือนหลังจากคำตอบด้านบน) เว็บบริการการค้นหาสาธารณะเลิกใช้งานแล้ว (และวันสุดท้ายที่เสนอบริการคือ 29 กันยายน 2014) ทางออกที่ดีที่สุดของคุณคือตอนนี้สอบถามhttp://www.google.com/searchโดยตรงพร้อมกับตัวแทนของผู้ใช้ที่ซื่อสัตย์และแล้วแยกผลโดยใช้parser HTML หากคุณละเว้น user agent คุณจะได้รับ 403 กลับมา หากคุณโกหกตัวแทนผู้ใช้และจำลองเว็บเบราว์เซอร์ (เช่น Chrome หรือ Firefox) คุณจะได้รับการตอบสนอง HTML ที่ใหญ่กว่ามากซึ่งเป็นการสิ้นเปลืองแบนด์วิดท์และประสิทธิภาพ
นี่คือตัวอย่างการเริ่มต้นโดยใช้Jsoupเป็นตัวแยกวิเคราะห์ HTML:
String google = "http://www.google.com/search?q=";
String search = "stackoverflow";
String charset = "UTF-8";
String userAgent = "ExampleBot 1.0 (+http://example.com/bot)"; // Change this to your company's name and bot homepage!
Elements links = Jsoup.connect(google + URLEncoder.encode(search, charset)).userAgent(userAgent).get().select(".g>.r>a");
for (Element link : links) {
String title = link.text();
String url = link.absUrl("href"); // Google returns URLs in format "http://www.google.com/url?q=<url>&sa=U&ei=<someKey>".
url = URLDecoder.decode(url.substring(url.indexOf('=') + 1, url.indexOf('&')), "UTF-8");
if (!url.startsWith("http")) {
continue; // Ads/news/etc.
}
System.out.println("Title: " + title);
System.out.println("URL: " + url);
}