ตอนนี้มีทางเลือกอะไรบ้างที่ API การค้นหาเว็บของ Google เลิกใช้แล้ว [ปิด]

322

Google Web Search API เลิกใช้แล้วและแทนที่ด้วย Custom Search API (ดูhttp://code.google.com/apis/websearch/ )

ฉันต้องการค้นหาทั้งเว็บ แต่ดูเหมือนว่าด้วย API ใหม่เฉพาะเว็บไซต์ที่กำหนดเองเท่านั้นที่สามารถค้นหาได้

มีวิธีการค้นหาทั้งเว็บโดยทางโปรแกรมหรือไม่ ฉันสามารถสืบค้น API เก่าโดยใช้ JSON จากโปรแกรม Java

google-api  deprecated  google-search  google-custom-search 
— แดน
แหล่งที่มา
3
ตกลงฉันได้ทำการวิจัยมากมายเกี่ยวกับสิ่งนี้และดูเหมือนว่าทางออกเดียวคือ Yahoo Boss
— Dan
API การค้นหาที่กำหนดเองไม่ใช่สิ่งที่คนส่วนใหญ่มองหา: - / ให้searchapi.ioดู!
— Stan Smulders
ฉันได้ทำ POCs ใน API การค้นหาที่หลากหลายซึ่งมีคุณสมบัติมากมายและใช้งานได้ง่ายภายในไม่กี่นาที Swiftype ( swiftype.com ), Cludo ( cludo.com/en ), Algolia ( algolia.com/doc ) เป็น API ที่ฉันได้นำไปใช้และทดสอบเช่นกัน ฉันสามารถให้คำตอบรายละเอียดด้วย แต่คำถามนี้ถูกปิด
— Ashish Kumar
2
ทางออกที่ดีที่สุดคือการใช้บริการบุคคลที่สามเช่นSerpApi
— Hartator
— เป็นไร 9

คำตอบ:

32

คุณสามารถส่งพวกเขาผ่านอย่างที่เบราว์เซอร์ทำแล้วแยกวิเคราะห์ HTML นั่นคือสิ่งที่ฉันทำมาตลอดแม้กระทั่งสิ่งต่างๆเช่น Youtube

— Zimm3r
แหล่งที่มา
64
ฉันบอกว่าเงื่อนไขการให้บริการของ Google ห้าม spidering ...
— Steven A. Lowe
52
จากTOS : "คุณตกลงเป็นการเฉพาะที่จะไม่เข้าถึง (หรือพยายามเข้าถึง) บริการใด ๆ ด้วยวิธีการอัตโนมัติ (รวมถึงการใช้สคริปต์หรือโปรแกรมรวบรวมข้อมูลเว็บ) ... "
— ændrük
18
"ละเมิดข้อกำหนดในการให้บริการกับผู้ให้บริการ" ไม่ใช่คำแนะนำที่ดี การแยกหน้าเว็บเป็นสิ่งที่หยุดพักจากวันหนึ่งไปอีกวันโดยไม่มีการเตือนนี่เป็นคำแนะนำที่แย่มากนั่นคือเหตุผลที่ทำให้ downvotes มากกว่าที่เป็น upvoted
— WhyNotHugo
143
ใช่มันผิดเงื่อนไขการให้บริการ แต่โดยส่วนตัวฉันไม่ต้องกังวลเกี่ยวกับเรื่องนั้น Google สามารถรับมือกับการคัดลอกเล็กน้อยได้หลังจากที่พวกเขาได้สร้างเว็บไซต์ที่น่าสนใจสำหรับคนอื่น
— jimbo2087
106
มากับผู้คน อย่าไร้เดียงสาเลย Google ไม่สามารถบังคับให้ ToS คว่ำคอของคุณได้ ในการที่จะละเมิด ToS คุณต้องเห็นด้วยก่อน (เป็นลายลักษณ์อักษรหรือโดยการคลิกปุ่มเช่น 'ใช่ฉันยอมรับข้อกำหนด') คิดอย่างนี้: ฉันวาง ToS ไว้ในหน้าเว็บของฉันที่ทุกคนที่เข้าชมหน้านั้นต้องให้ $ 10,000 ฉันสามารถบังคับใช้ ToS นี้กับผู้เยี่ยมชมของฉันได้ไหม จะต้องให้ฉันทันที
— Migrate2Lazarus ดูโปรไฟล์ของฉัน
482

ใช่ตอนนี้ Google Custom Search ได้แทนที่ Search API เก่าแล้ว แต่คุณยังสามารถใช้ Google Custom Search เพื่อค้นหาทั้งเว็บได้แม้ว่าขั้นตอนจะไม่ชัดเจนจากการตั้งค่า Custom Search

วิธีสร้างเครื่องมือ Google Custom Search ที่ค้นหาทั้งเว็บ:

  1. จากหน้าแรกของ Google Custom Search ( http://www.google.com/cse/ ) ให้คลิกสร้าง Custom Search Engine
  2. พิมพ์ชื่อและคำอธิบายสำหรับเครื่องมือค้นหาของคุณ
  3. ภายใต้กำหนดเครื่องมือค้นหาของคุณในกล่อง Sites to Search ให้ป้อน URL ที่ถูกต้องอย่างน้อยหนึ่งรายการ (สำหรับตอนนี้เพียงใส่ www.anyurl.com เพื่อให้ผ่านหน้าจอนี้เพิ่มเติมเกี่ยวกับเรื่องนี้ภายหลัง)
  4. เลือก CSE edition ที่คุณต้องการและยอมรับข้อกำหนดในการให้บริการแล้วคลิกถัดไป เลือกตัวเลือกเค้าโครงที่คุณต้องการแล้วคลิกถัดไป
  5. คลิกที่ลิงค์ใด ๆ ภายใต้ส่วนขั้นตอนถัดไปเพื่อนำทางไปยังแผงควบคุมของคุณ
  6. ในเมนูด้านซ้ายใต้แผงควบคุมคลิกพื้นฐาน
  7. ในส่วนการตั้งค่าการค้นหาเลือกค้นหาทั้งเว็บ แต่เน้นเว็บไซต์ที่รวมไว้
  8. คลิกบันทึกการเปลี่ยนแปลง
  9. ในเมนูด้านซ้ายใต้แผงควบคุมคลิกไซต์
  10. ลบไซต์ที่คุณป้อนระหว่างขั้นตอนการตั้งค่าเริ่มต้น

ตอนนี้เครื่องมือค้นหาที่กำหนดเองของคุณจะค้นหาทั้งเว็บ

การตั้งราคา

  • Google Custom Search ให้ 100 ข้อความค้นหาต่อวันฟรี
  • หลังจากนั้นคุณจ่าย $ 5 ต่อการค้นหา 1,000 ครั้ง
  • มีการค้นหาสูงสุด 10,000 คำต่อวัน

ที่มา: https://developers.google.com/custom-search/json-api/v1/overview#Pricing

  • คุณภาพการค้นหาต่ำกว่าการค้นหาปกติของ Google มาก (ไม่มีคำพ้องความหมาย "ปัญญา" ฯลฯ )
  • ดูเหมือนว่า Google กำลังวางแผนที่จะปิดบริการนี้อย่างสมบูรณ์
— ในเขตกรุงเทพมหานคร
แหล่งที่มา
26
ขอบคุณสำหรับสิ่งนี้. หวังว่านี่เป็นขั้นตอนที่ถูกต้องและไม่ใช่ช่องโหว่ที่รอโดย Google!
— Mazatec
9
ขอบคุณ! นี่อาจเป็นคำตอบเดียวในอินเทอร์เน็ตที่ตอบคำถามของฉัน เป็นเรื่องที่น่าเหลือเชื่อว่าทำไม Google จะยุติการสนับสนุน API โดยตรงสำหรับบริการหลักของพวกเขา
— spamguy
7
แต่วิธีการใช้กับ json?
— วาระ
61
คำเตือน: เราทำการพัฒนาโดยใช้รุ่นฟรี แต่เพื่ออัปเกรดเป็นรุ่นที่ต้องชำระเงิน (เพื่อทำการค้นหามากกว่า 100 ครั้ง) google บังคับให้คุณปิด "ค้นหาทั้งเว็บ แต่เน้นเว็บไซต์ที่รวมอยู่ด้วย"
— Bryan Larsen
5
"ในวันที่ 1 เมษายน 2017 Google จะหยุดการขายการค้นหาไซต์ของ Google การซื้อและการต่ออายุใหม่ทั้งหมดจะต้องเกิดขึ้นก่อนวันที่นี้ผลิตภัณฑ์จะถูกปิดอย่างสมบูรณ์ภายในวันที่ 1 เมษายน 2018"
— Gajus
55

Google Custom Search (ตามที่ได้รับการสนับสนุนในคำตอบที่ได้รับคะแนนสูงสุด) ทำงานได้ดี แต่มีราคาแพงมากเมื่อเทียบกับคู่แข่ง (ด้านล่าง) หรือเปรียบเทียบกับ Google API อื่น ๆ มีระดับฟรีขนาดเล็ก (100 คิวรี / วัน) และราคาสูงมากที่ $ 5 ต่อการค้นหา 1,000 ครั้ง

พวกเขาเสนอตัวเลือกในการอัปเกรดเป็น Site Search ซึ่งมีราคาที่ดีขึ้นเล็กน้อย แต่มีไว้สำหรับการค้นหาเว็บไซต์เดียว (ของคุณเอง) ดังนั้นจึงเป็นสิ่งที่แตกต่างออกไปจริงๆ - ไม่ใช่การอัปเกรด

ทางเลือกหลักดูเหมือนจะ:

Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
ซึ่งมีระดับของฟรี 5,000q / เดือนและราคาเริ่มต้นที่ 5 แบบสอบถามต่อเพนนีและไม่มีขีด จำกัด ยาก

อัปเดต: ณ สิ้นปี 2016 API นี้ถูกปิดในความโปรดปรานของ Azure คู่ "Cognitive Services Bing Search API":
https://azure.microsoft.com/en-us/services/cognitive-services/search/

ดูแผนภูมิการกำหนดราคาที่นี่ซึ่งเริ่มต้นที่ US $ 3 / m สำหรับธุรกรรม 1,000 รายการ นอกจากว่าฉันจะพลาดบางสิ่งบางอย่างมันค่อนข้างแพง

API การค้นหา Yahoo BOSS
อัปเดต: ถูกยกเลิกในวันที่ 31 มีนาคม 2016 http://developer.yahoo.com/boss/search/
ด้วยราคาเริ่มต้นที่ 12 คิวรี / เพนนีสำหรับการค้นหาเว็บทั้งหมด

และบางอย่างที่ฉันไม่เคยได้ยินมาก่อน:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[ยกเลิก - ตามที่อธิบายด้านล่าง]

มีการอภิปรายเล็กน้อยของสิ่งเหล่านี้ในโพสต์ SOนี้
[ถูกปิดเพราะไม่อยู่หัวข้อและตอนนี้หายไป]

— ทอม
แหล่งที่มา
2
ค้นหา Bing API รุ่น 5 ตอนนี้ช่วยให้ได้ถึง 1,000 รายการต่อเดือนในทุก Bing ค้นหา APIs (เว็บ, รูปภาพ, วิดีโอ, ข่าว Search) - microsoft.com/cognitive-services/en-us/pricing ฉันรวบรวมตัวอย่างบางส่วน - mvark.blogspot.in/2016/06/…
— mvark
wholeweb.com ได้หยุดให้บริการตามที่เห็นที่นี่wholeweb.com/services
— Wessam El Mahdy
ในวันที่ 15 ธันวาคม 2559 Bing Web Search API จะย้ายไปอยู่ภายใต้ Cognitive Services โดย Azure Marketplace ( azure.microsoft.com/en-us/services/cognitive-services/search ) ซึ่งต้องการการยืนยันทางโทรศัพท์ + บัตรเครดิตสำหรับการสมัครสมาชิก (แม้ ฟรี)
— gilad mayani
จาก Bing API: "DataMarket และ Data Services กำลังจะถูกยกเลิกและจะหยุดรับคำสั่งซื้อใหม่หลังจาก 12/31/2016 การสมัครสมาชิกที่มีอยู่จะถูกยกเลิกและยกเลิกตั้งแต่วันที่ 3/31/2017 โปรดติดต่อผู้ให้บริการของคุณหากคุณต้องการ ต้องการรับบริการต่อไป "
— Dmitri Zaitsev
ขอบคุณที่ชี้ให้เห็นการเปลี่ยนแปลง - ฉันได้ปรับปรุงคำตอบแล้ว
— ทอม
27

นี่คือตัวเลือกที่ด้านล่างของแผงควบคุมการค้นหาที่กำหนดเอง: "ไซต์ที่ต้องการค้นหา"คุณสามารถเลือก"ค้นหาทั้งเว็บ แต่เน้นเว็บไซต์ที่รวมไว้"

แผงควบคุมการค้นหาที่กำหนดเอง - ไซต์ที่ต้องการค้นหา

— Yishu Fang
แหล่งที่มา
1
มันยังใช้งานได้สำหรับคุณหรือไม่
— Dejell
ใช่มันยังใช้งานได้
5
Google บังคับให้คุณปิดตัวเลือกนั้นเมื่อคุณอัปเกรดเป็นการค้นหาแบบเสียค่าใช้จ่าย และฟรีมีขีด จำกัด การค้นหา 100 รายการ
— ไบรอันลาร์เซ่น
1
@Yishu ทำไมหน้าhttps://support.google.com/customsearch/answer/141877?hl=thระบุว่า " คุณไม่สามารถกำหนดค่า Google Site Search ให้ค้นหาทั้งเว็บได้ "
— Pacerier
@Pierier ฉันไม่มีความคิดเกี่ยวกับมัน อาจมีการเปลี่ยนแปลงนโยบายหรือไม่
— Yishu Fang
14

Faroo มีWeb Search API ฟรี

— ช่องเสียบ
แหล่งที่มา
ผลลัพธ์ของพวกเขามี จำกัด แต่เป็นจุดเริ่มต้นที่ดี
— afro360
@ แจ็คไม่เคยได้ยินเรื่องนี้มาก่อน พวกเขาได้รับผลการค้นหาจากที่ไหน
— Pacerier
7
ตัวจัดการดีลที่เป็นไปได้สำหรับ Faroo คือคีย์ API ของคุณถูก จำกัด เฉพาะที่อยู่ IP ที่คุณระบุระหว่างการลงทะเบียน
— Uncaught Exception
6
พวกเหล่านี้ยังคงทำงานอยู่หรือไม่? ฉันขอคีย์ API และไม่ได้ยินอะไรเลย
— พอลเวแลน
5

ฉันเพิ่งเจอสิ่งนี้จากการรวบรวมข้อมูลทั่วไป

http://www.commoncrawl.org/

อาจเป็นคำตอบที่เราทุกคนกำลังมองหา !!

— แดน
แหล่งที่มา
3
มีดัชนี จำกัด รีเฟรชประมาณปีละครั้ง และในที่สุดมันก็ค่อนข้างแพงเพราะคุณต้องเสียบเข้ากับ Amazon S3
— Guillaume Lebourgeois
@ GuillaumeLebourgeois ราคาแพง? ฉันไม่คิดว่ามันเป็นเรื่องจริง มันไม่แสวงหาผลกำไร ข้อมูลทั้งหมด 102 TB สามารถดาวน์โหลดได้ฟรี
— Pacerier
ค่าใช้จ่ายสำหรับการเชื่อมต่อกับ AWS ซึ่งคุณสามารถเข้าถึงได้ หากคุณเป็นนักเรียนคุณมีสิทธิ์ได้รับระดับฟรีของพวกเขา แต่อาจมีค่าใช้จ่ายการโอนและอื่น ๆ ; และถ้าคุณไม่ได้อยู่ในระดับฟรีมีค่าใช้จ่ายในการทำงาน
— tripleee
ดูเหมือนว่าการรวบรวมข้อมูลทั่วไปจะได้รับการอัปเดตทุกเดือนในขณะนี้
— Jack Tuck
4

มีโน้ตอยู่ด้านบนของเอกสาร :

หมายเหตุ: Google Web Search API ได้เลิกใช้งานอย่างเป็นทางการตั้งแต่วันที่ 1 พฤศจิกายน 2010 ซึ่งจะทำงานต่อไปตามนโยบายการคัดค้านของเราแต่จำนวนคำขอที่คุณอาจทำต่อวันจะถูก จำกัด ดังนั้นเราขอแนะนำให้คุณย้ายไปที่Custom Search APIใหม่

นโยบายการปฏิเสธบอกว่าพวกเขาจะยังคงทำงานของ API เป็นเวลา 3 ปี ดังนั้นหากคุณมีแอปพลิเคชั่นที่ใช้ API เก่าอยู่แล้วคุณยังไม่ต้องเปลี่ยนสิ่งใดเลย หากคุณกำลังเขียนใบสมัครใหม่ใช้ค้นหาที่กำหนดเอง API ดูคำตอบของฉันที่นี่สำหรับวิธีการทำสิ่งนี้ใน Python แต่ความคิดนั้นเหมือนกันสำหรับทุกภาษา

— moinudin
แหล่งที่มา
8
และมันไม่ฟรี .... "$ 5 ต่อ 1,000 ข้อความค้นหา" ... ไม่มากฟรี!
— UpTheCreek
1
คำตอบนี้ล้าสมัยไปแล้วเมื่อสามปีที่ผ่านมาและ 2014/09/29 ได้ผ่านไปแล้ว
— nanofarad
CustomeSearchAPI ไม่ได้อยู่ในเว็บไซต์ทั้งหมด - สำหรับเว็บไซต์ผู้ใช้
— Dejell
1

คุณสามารถสร้างเครื่องมือค้นหาที่กำหนดเองได้ทุกที่จากหน้าแรกของ Google Custom Search ( http://www.google.com/cse/ ) คุณควรคลิก 'ขั้นสูง' ในระหว่างการเพิ่มเอ็นจิ้นใหม่ คุณสามารถระบุประเภทไซต์ Schema.org ได้ ' Thing ' เป็นประเภททั่วไปที่สุดซึ่งครอบคลุมทุกเว็บ

— testlnord
แหล่งที่มา
ฉันไม่ได้รับมัน มันใช้งานได้สำหรับคุณหรือไม่
— Dejell
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.