วิธีรับหน้าเว็บนับสิบล้านหน้าซึ่งจัดทำดัชนีโดย Google bot

ขณะนี้เรากำลังพัฒนาเว็บไซต์ที่ปัจจุบันมีหน้าเว็บที่ไม่ซ้ำกัน 8 ล้านหน้าซึ่งจะเพิ่มขึ้นเป็นประมาณ 20 ล้านหน้าและในที่สุดจะอยู่ที่ประมาณ 50 ล้านหรือมากกว่านั้น

ก่อนที่คุณจะวิพากษ์วิจารณ์ ... ใช่มันมีเนื้อหาที่มีประโยชน์และไม่ซ้ำใคร เราทำการประมวลผลข้อมูลดิบจากบันทึกสาธารณะอย่างต่อเนื่องและด้วยการขัดข้อมูลบางส่วนการเปิดตัวเอนทิตี้และการจับคู่ความสัมพันธ์เราสามารถสร้างเนื้อหาที่มีคุณภาพได้การพัฒนาเว็บไซต์ที่ค่อนข้างมีประโยชน์และไม่เหมือนใครส่วนหนึ่งเนื่องจากความกว้าง ข้อมูล.

PR คือ 0 (โดเมนใหม่ไม่มีลิงก์) และเราได้รับ spidered ในอัตราประมาณ 500 หน้าต่อวันทำให้เราอยู่ที่ประมาณ 30,000 หน้าจัดทำดัชนี ในอัตรานี้เราใช้เวลานานกว่า 400 ปีในการจัดทำดัชนีข้อมูลทั้งหมดของเรา

ฉันมีสองคำถาม:

1. คืออัตราของการจัดทำดัชนีมีความสัมพันธ์โดยตรงกับ PR และโดยที่ฉันหมายถึงมันมีความสัมพันธ์เพียงพอที่โดยการซื้อโดเมนเก่าที่มี PR ที่ดีจะทำให้เราได้รับอัตราการจัดทำดัชนี (ในละแวก 100,000 หน้าต่อวัน)
2. มีที่ปรึกษา SEO คนใดที่เชี่ยวชาญในการช่วยกระบวนการจัดทำดัชนีเอง เราทำได้ดีมากกับ SEO โดยเฉพาะอย่างยิ่งบนหน้านอกจากนี้การแข่งขันสำหรับวลีคำหลัก "หางยาว" ของเรานั้นค่อนข้างต่ำดังนั้นความสำเร็จของเราจึงขึ้นอยู่กับจำนวนหน้าที่จัดทำดัชนี

คู่แข่งหลักของเราประสบความสำเร็จในการจัดทำดัชนีหน้าเว็บประมาณ 20 มม. ในเวลาเพียงหนึ่งปีพร้อมกับอันดับ Alexa 2000-ish

คุณสมบัติสำคัญที่เรามี:

• ความเร็วในการดาวน์โหลดหน้าค่อนข้างดี (250-500 ms)
• ไม่มีข้อผิดพลาด (ไม่มีข้อผิดพลาด 404 หรือ 500 เมื่อได้รับการ spidered)
• เราใช้เครื่องมือเว็บมาสเตอร์ของ Google และเข้าสู่ระบบทุกวัน
• มี URL ที่จดจำง่าย
• ฉันกลัวที่จะส่งแผนผังไซต์ การโพสต์ชุมชน SEO บางแห่งแนะนำเว็บไซต์ใหม่ที่มีหน้านับล้านหน้าและไม่มีการประชาสัมพันธ์ มีวิดีโอ Google ของ Matt Cutts ที่พูดถึงการแสดงบนไซต์ขนาดใหญ่เช่นกันเพื่อหลีกเลี่ยงการตรวจสอบที่เพิ่มขึ้น (ประมาณ 2:30 ในวิดีโอ)

• ลิงก์ของไซต์ที่คลิกได้จะแสดงหน้าทั้งหมดไม่เกินสี่หน้าและโดยทั่วไปจะมีลิงก์ภายในไม่เกิน 250 (-ish) ลิงก์บนหน้าเว็บ
• ยึดข้อความสำหรับลิงก์ภายในเป็นตรรกะและเพิ่มความเกี่ยวข้องแบบลำดับชั้นให้กับข้อมูลในหน้ารายละเอียด
• ก่อนหน้านี้เราได้ตั้งค่าอัตราการรวบรวมข้อมูลไว้ที่ระดับสูงสุดในเครื่องมือของผู้ดูแลเว็บ (ประมาณหน้าเดียวทุกสองวินาทีสูงสุด) ฉันเพิ่งเปลี่ยนกลับเป็น "ให้ Google ตัดสินใจ" ซึ่งเป็นคำแนะนำ

กลยุทธ์ที่มีศักยภาพบางอย่าง:

• Google Webmaster Tools อนุญาตให้คุณขออัตราการรวบรวมข้อมูลเพิ่มขึ้น ลองทำดูถ้าคุณยังไม่ได้ทำ
• ลองดูสถาปัตยกรรมการนำทางของคุณอีกครั้งเพื่อดูว่าคุณไม่สามารถปรับปรุงการเข้าถึงเนื้อหาเพิ่มเติมของคุณได้หรือไม่ ดูจากมุมมองของผู้ใช้: หากผู้ใช้ค้นหาข้อมูลที่ต้องการได้ยากมันอาจเป็นเรื่องยากสำหรับเครื่องมือค้นหา
• ตรวจสอบให้แน่ใจว่าคุณไม่มีเนื้อหาที่ซ้ำกันเนื่องจากพารามิเตอร์ URL ไม่สอดคล้องกันหรือใช้เครื่องหมายทับอย่างไม่เหมาะสม ด้วยการกำจัดเนื้อหาที่ซ้ำกันคุณจะสามารถลดเวลาที่ Googlebot ใช้ในการรวบรวมข้อมูลบางอย่างที่ได้จัดทำดัชนีแล้ว
• ใช้ลิงค์เนื้อหาที่เกี่ยวข้องและลิงค์ในเว็บไซต์ภายในเนื้อหาของคุณเมื่อทำได้
• สุ่มลิงค์ของคุณบางส่วน แถบด้านข้างที่มีเนื้อหาภายในแบบสุ่มเป็นรูปแบบที่ยอดเยี่ยมในการใช้
• ใช้วันที่และอื่น ๆไมโครฟอร์แมต
• ใช้ฟีด RSS ทุกที่ที่เป็นไปได้ ฟีด RSS จะทำงานเหมือนกับแผนผังไซต์ (อันที่จริงแล้วเครื่องมือของผู้ดูแลเว็บช่วยให้คุณสามารถส่งฟีดเป็นแผนผังไซต์)
• เกี่ยวกับแผนผังไซต์โปรดดูคำถามนี้
• ค้นหาวิธีรับลิงค์ภายนอกไปยังเนื้อหาของคุณ สิ่งนี้อาจเร่งกระบวนการของการสร้างดัชนี หากเหมาะสมกับประเภทของเนื้อหาการทำให้ง่ายต่อการแบ่งปันทางสังคมหรือทางอีเมลจะช่วยในเรื่องนี้
• จัดทำ API เพื่อกระตุ้นการใช้ข้อมูลและลิงก์ภายนอกไปยังข้อมูลของคุณ คุณสามารถมีลิงค์แสดงที่มาเป็นข้อกำหนดสำหรับการใช้ข้อมูล
• ยอมรับชุมชน หากคุณเข้าถึงคนที่ใช่ในทางที่ถูกต้องคุณจะได้รับลิงก์ภายนอกผ่านบล็อกและ Twitter
• ค้นหาวิธีสร้างชุมชนรอบ ๆ ข้อมูลของคุณ ค้นหาวิธีที่จะทำให้มันเป็นสังคม API, mashups, วิดเจ็ตโซเชียลช่วยได้ทั้งหมด แต่บล็อกการแสดงของชุมชนฟอรัมและกลไกการเล่นเกม (เช่นดูวิดีโอนี้ด้วย )
• จัดลำดับความสำคัญของเนื้อหาที่คุณจัดทำดัชนีไว้ ด้วยข้อมูลจำนวนมากนั้นไม่ใช่ว่ามันจะมีความสำคัญอย่างยิ่ง ตัดสินใจเชิงกลยุทธ์เกี่ยวกับเนื้อหาที่สำคัญที่สุดเช่นจะเป็นที่นิยมมากที่สุดมีโอกาสที่ดีที่สุดสำหรับ ROI มันจะมีประโยชน์มากที่สุดเป็นต้นและต้องแน่ใจว่าเนื้อหานั้นได้รับการจัดทำดัชนีเป็นอันดับแรก
• ทำการวิเคราะห์อย่างละเอียดถึงสิ่งที่คู่แข่งของคุณกำลังทำเพื่อให้ได้รับการจัดทำดัชนีเนื้อหา ดูสถาปัตยกรรมไซต์การนำทางลิงก์ภายนอก ฯลฯ

ในที่สุดฉันควรจะพูดสิ่งนี้ SEO และการจัดทำดัชนีเป็นเพียงส่วนเล็ก ๆ ในการใช้งานเว็บไซต์ธุรกิจ อย่าเสียความสำคัญกับ ROI เพื่อประโยชน์ของ SEO แม้ว่าคุณจะมีการรับส่งข้อมูลจำนวนมากจาก Google แต่ก็ไม่สำคัญว่าคุณจะไม่สามารถแปลงได้ SEO เป็นสิ่งสำคัญ แต่ต้องเก็บไว้ในมุมมอง

แก้ไข :

เป็นส่วนเสริมสำหรับกรณีการใช้งานของคุณ: คุณอาจพิจารณาเสนอความเห็นหรือคำรับรองสำหรับแต่ละบุคคลหรือธุรกิจ นอกจากนี้การแจกป้ายผู้ใช้เช่น StackOverflow อาจดึงดูดผู้คนบางคนให้เชื่อมโยงไปยังโปรไฟล์ของตนเองในเว็บไซต์ของคุณ นั่นจะเป็นการกระตุ้นให้มีการเชื่อมโยงไปยังหน้าเว็บหน้าลึกของคุณซึ่งอาจหมายถึงการทำดัชนีให้เร็วขึ้น

วิธีรับหน้าเว็บนับสิบล้านหน้าซึ่งจัดทำดัชนีโดย Google bot

มันจะไม่เกิดขึ้นในชั่วข้ามคืนอย่างไรก็ตามฉันรับประกันได้ว่าคุณจะเห็นหน้าของคุณมากขึ้น spidered เร็วยิ่งขึ้นถ้าลิงค์ขาเข้าสู่เนื้อหาลึก (โดยเฉพาะหน้า sitemap หรือดัชนีไดเรกทอรีที่ชี้ไปยังเนื้อหาลึก) ถูกเพิ่มจากเว็บไซต์ขนาดใหญ่ที่คล้ายกัน ได้รับรอบในขณะที่

โดเมนเก่าจะเพียงพอที่จะสร้างดัชนี 100,000 หน้าต่อวันหรือไม่

สงสัยถ้าคุณกำลังพูดถึงโดเมนเก่าที่มีกิจกรรมจำนวนมากในนั้น (เช่นเนื้อหาสะสมและลิงค์ขาเข้า) ในช่วงหลายปีที่ผ่านมา

มีที่ปรึกษา SEO คนใดที่เชี่ยวชาญในการช่วยกระบวนการจัดทำดัชนีเอง

เมื่อคุณถามคำถามแบบนั้นฉันแน่ใจว่าคุณจะพบ SEO มากมายที่ประกาศเสียงดัง "ใช่!" แต่ในตอนท้ายของวันข้อเสนอแนะของ Virtuosi Media เป็นคำแนะนำที่ดีพอ ๆ กับที่คุณจะได้รับจากสิ่งเหล่านี้

จากเสียงคุณควรพิจารณาใช้การพัฒนาธุรกิจและช่องทางการประชาสัมพันธ์เพื่อสร้างการจัดอันดับเว็บไซต์ของคุณ ณ จุดนี้ - รับลิงก์เพิ่มเติมไปยังเนื้อหาของคุณ (โดยเฉพาะการเป็นพันธมิตรกับไซต์ที่มีอยู่แล้วซึ่งมีเนื้อหาที่กำหนดเป้าหมายระดับภูมิภาค ตัวอย่างเช่นเนื้อหาที่แบ่งตามภูมิภาครับผู้เข้าชมเว็บไซต์ของคุณมากขึ้น (บางคนจะมีแถบเครื่องมือ Google ติดตั้งเพื่อให้ปริมาณการใช้งานของพวกเขาอาจไปสู่การค้นหาหน้า) และหากเป็นไปได้ให้ธุรกิจของคุณพูดคุยเกี่ยวกับข่าวหรือชุมชน ของคนที่มีความต้องการมัน (ถ้าคุณวางแผนที่จะคิดค่าบริการบางอย่างให้ลองโฆษณาระยะเวลาทดลองใช้ฟรีเพื่อดึงดูดความสนใจ)

มีสองตัวเลือกที่เป็นไปได้ที่ฉันรู้ว่าพวกเขาเป็นของความช่วยเหลือ aome

หนึ่ง: เคล็ดลับเล็กน้อยที่ฉันลองกับเว็บไซต์ที่มีสามล้านหน้าซึ่งทำงานได้ดีอย่างน่าประหลาดใจคือสิ่งที่เพื่อนร่วมงานของฉันชื่อว่าการวนรอบการรวบรวมข้อมูล คุณอาจต้องปรับเปลี่ยนแนวคิดเล็กน้อยเพื่อให้เหมาะสมกับไซต์ของคุณ

โดยทั่วไปเรากำหนดวันที่เราไม่คิดว่าเราจะได้รับปริมาณการใช้งานมาก (คริสต์มาส) และเราคัดลอกรายการลิงค์ทุกลิงค์ในเว็บไซต์ของเราและวางทุกอันลงในไฟล์ php ที่ถูกเรียกบนหน้าเว็บทุกหน้า (ไฟล์ PHP แถบด้านข้าง)

จากนั้นเราก็ไปที่ google search console (เดิมคือ google webmaster tools) และบอกให้ google ดึง url และรวบรวมข้อมูลทุก ๆ ลิงก์ในหน้า url นั้น

เมื่อคุณมีลิงค์มากมายและหน้าเว็บที่ลิงค์เหล่านั้นมีลิงค์เยอะแยะ google ก็เริ่มวนไปวนมาแล้วคลานเข้าไปในเว็บไซต์อย่างรวดเร็ว ตอนแรกฉันไม่เชื่อ แต่มันก็ทำงานได้เหมือนมีเสน่ห์

ก่อนที่คุณจะทำสิ่งนี้คุณต้องแน่ใจว่าคุณมีการตั้งค่าฐานข้อมูลที่มีประสิทธิภาพสูงสุดและเซิร์ฟเวอร์ที่ทรงพลังมากมิฉะนั้นอาจทำให้เซิร์ฟเวอร์ทำงานหนักเกินไปหรือทำให้ SEO ของคุณเสียหายเนื่องจากการโหลดหน้าเว็บช้า

หากนั่นไม่ใช่ตัวเลือกสำหรับคุณคุณสามารถดู apis ของคอนโซลระบบคลาวด์ของ Google ได้ตลอดเวลา พวกเขามี api ของคอนโซลการค้นหาดังนั้นคุณสามารถเขียนสคริปต์เพื่อเพิ่มแต่ละหน้าเว็บเป็นอินสแตนซ์ของเว็บไซต์ของตัวเองในคอนโซลการค้นหาหรือให้ google ดึง URL ทุกรายการของคุณ

apis สามารถซับซ้อนได้อย่างรวดเร็วมาก แต่เป็นเครื่องมือที่น่าอัศจรรย์เมื่อใช้อย่างถูกต้อง

โชคดี!

การเล่นเกมระบบไม่ใช่ความคิดที่ดีหากคุณดำเนินธุรกิจที่ชอบด้วยกฎหมายซึ่งให้ความสำคัญกับชื่อเสียงทางออนไลน์ ยิ่งไปกว่านั้นถ้าเว็บไซต์ของคุณให้คุณค่าอย่างแท้จริงแล้วอีกต่อไปมันอยู่ใกล้ (ฉันคิดว่าคุณกำลังทำการตลาดบางรูปแบบ?) ยิ่งมีลิงก์ย้อนกลับมากขึ้นเรื่อย ๆ ดังนั้น PR ของคุณก็จะสูงขึ้นและอัตราการรวบรวมข้อมูลของคุณจะสูงขึ้น

นอกจากนี้หากคุณมีโครงสร้างลิงก์ที่ดีในเว็บไซต์ของคุณ (หน้าเว็บทั้งหมดของคุณสามารถค้นพบได้ในจำนวนคลิก / ลิงก์ที่สมเหตุสมผล) คุณจะต้องส่งดัชนีหลักผ่านแผนผังไซต์เท่านั้น เมื่อหน้าเหล่านั้นได้รับการจัดทำดัชนีโดย Google พวกเขาจะถูกรวบรวมข้อมูลโดย Google และ Google จะจัดทำดัชนีส่วนที่เหลือของหน้าด้วยตัวเอง

สิ่งหนึ่งที่ฉันสังเกตเห็นด้วยเครื่องมือผู้ดูแลเว็บของ google คือพวกเขาเริ่มต้นโดยอนุญาตให้มีอัตราการรวบรวมข้อมูลสูงสุดประมาณสองคำขอต่อวินาที จากนั้นประมาณหนึ่งสัปดาห์หรือหลังจากนั้นหากพวกเขาพบว่ามีการเข้าถึงเว็บไซต์บ่อยครั้งพวกเขาจะช่วยให้คุณเพิ่มขีด จำกัด ได้

ฉันทำงานเว็บไซต์ที่โฮสต์ภาพต้นฉบับ 500,000 ภาพและในบางครั้งขีด จำกัด สูงสุดของฉันคือ 10 คำขอต่อวินาทีเพราะฉันได้รับความนิยมอย่างน้อย 700 ถึง 1,000 ครั้งต่อวันหากไม่มาก

ดังนั้นสิ่งที่คุณอาจต้องทำคือตรวจสอบกับเครื่องมือของผู้ดูแลเว็บทุกสัปดาห์เพื่อดูว่าคุณสามารถเพิ่มขีด จำกัด การรวบรวมข้อมูลได้หรือไม่ เมื่อคุณเปลี่ยนข้อ จำกัด ในการรวบรวมข้อมูล Google จะรีเซ็ตกลับเป็นการตั้งค่าที่ต้องการหลังจากผ่านไปหนึ่งวัน (ซึ่งอินเทอร์เฟซจะแสดงให้คุณเห็น) จากนั้นในวันนั้นให้เพิ่มขีด จำกัด อีกครั้ง

ฉันเคยมีประสบการณ์เกี่ยวกับเว็บไซต์ประเภทนี้ ฉันใช้ไดเรกทอรีบทความเป็นเวลาหลายปีที่ผ่านมาและ% ของหน้าที่จัดทำดัชนีและที่สำคัญกว่านั้นคือการทำงานจริง ๆ มีความสัมพันธ์โดยตรงกับจำนวนโดเมนอ้างอิง - เช่นจำนวนเว็บไซต์ที่ไม่ซ้ำกันที่เชื่อมโยงมาไซต์ใหญ่ที่มีหน้าเว็บนับล้าน โดเมนที่สมเหตุสมผลเชื่อมโยงเพื่อดำเนินการในสิทธิของตนเอง

มันจะไม่เกิดขึ้นข้ามคืนแน่นอน แต่คุณสร้างลิงก์ที่ดี 5-10 ต่อวันในเวลาที่มันจะเริ่มเกิดขึ้นแล้วคุณจะอยู่ในตำแหน่งเพื่อสร้างรายได้และใช้ที่จ่ายชุด SEO มืออาชีพเพื่อสร้างลิงก์ สำหรับคุณ.

ฉันกำลังสร้างเว็บไซต์ที่ให้ข้อมูลที่คล้ายกันในขณะนี้วันแรก ๆ ของวันนี้ แต่ฉันมีปัญหาแบบเดียวกันกับเนื้อหาประมาณ 4 ล้านหน้าด้วยอัตราการรวบรวมข้อมูล 700-1,000 หน้าต่อวัน