บริษัท มีสิทธิ์ในการรวบรวมข้อมูลเว็บไซต์ของฉันหรือไม่


30

ฉันได้พบว่า McAfee SiteAdvisor ได้รายงานว่าเว็บไซต์ของฉันเป็น"อาจจะมีปัญหาด้านความปลอดภัย"

ฉันสนใจนิดหน่อยเกี่ยวกับสิ่งที่ McAfee คิดเกี่ยวกับเว็บไซต์ของฉัน (ฉันสามารถรักษาความปลอดภัยให้ตัวเองได้และถ้าไม่ใช่ McAfee แน่นอนไม่ใช่ บริษัท ที่ฉันขอความช่วยเหลือขอบคุณมาก) แต่สิ่งที่รบกวนจิตใจฉันก็คือพวกเขามีเว็บไซต์รวบรวมข้อมูลของฉันโดยไม่ได้รับอนุญาตจากฉัน

เพื่อชี้แจง: ยังไม่มีเนื้อหาในเว็บไซต์ของฉันเพียงแค่มีตัวยึดและไฟล์สำหรับการใช้งานส่วนตัวของฉัน ไม่มี ToS

คำถามของฉันคือ: McAffee มีสิทธิ์ดาวน์โหลดเนื้อหาจาก / รวบรวมข้อมูลเว็บไซต์ของฉันหรือไม่ ฉันสามารถห้ามไม่ให้พวกเขาทำเช่นนั้นได้หรือไม่? ฉันมีความรู้สึกว่าควรมีหลักการ "ปราสาทของฉันกฎของฉัน" บางอย่าง แต่โดยทั่วไปฉันไม่รู้อะไรเลยเกี่ยวกับกฎหมายทั้งหมด

อัปเดต:ฉันน่าจะพูดถึงผู้ให้บริการเซิร์ฟเวอร์ของฉันว่าส่งอีเมลถึงฉันเกี่ยวกับการค้นพบของ SiteAdvisor เป็นประจำ - นั่นคือสิ่งที่ฉันค้นพบเกี่ยวกับ 'อันดับ' ของพวกเขาและนั่นคือสาเหตุที่ฉันรำคาญ


78
คุณจะบอกว่าคนมีสิทธิ์ที่จะดูเว็บไซต์ของคุณ? ถ้าใช่ทำไมต้องเลือกปฏิบัติกับผู้รับใช้หุ่นยนต์ของมนุษย์? ถ้าไม่ทำไมมันเป็นเว็บไซต์ตั้งแต่แรก?
jwodder

47
คุณทราบได้อย่างไรว่า SiteAdvisor ตั้งค่าสถานะเว็บไซต์ของคุณ คุณไม่ได้ดูไซต์ของพวกเขาใช่ไหม ถ้าเป็นเช่นนั้นสิ่งที่ให้คุณถูกต้อง?
Joe Sniderman

17
อนึ่งฉันจะไม่ละทิ้งรายงานที่ปรึกษาเว็บไซต์โดยทั่วไปเมื่อฉันเห็นรายงานที่คล้ายกันว่ารายงานนั้นถูกกฎหมาย กรณีที่พบบ่อยที่สุดคือการใช้ CMS (WordPress, Joomla, Drupal, ... ) รุ่นเก่าที่ไม่มีใครเทียบได้และถูกใช้ประโยชน์โดยสคริปต์อัตโนมัติเพื่อวางเนื้อหาที่เป็นอันตราย (หน้า "แทรมโพลีน" ที่ใช้สำหรับสแปม / ฟิชชิง) อีเมลหลอกลวงช่องโหว่เบราว์เซอร์คุณตั้งชื่อมัน); คุณอาจโฮสต์สิ่งที่ไม่ดีโดยไม่รู้ตัว นอกจากนี้เนื่องจากผู้ใช้หลายคนใช้เครื่องมือดังกล่าวโดยทั่วไปแล้วคุณต้องการบันทึกที่สะอาดเนื่องจากคำเตือนดังกล่าวทำให้ผู้ใช้กลัว
Matteo Italia

35
หากคุณต้องการบางสิ่งบางอย่างที่ถูกล็อคลงล็อคมันลง คุณวางเว็บไซต์และกำหนดค่าเซิร์ฟเวอร์เพื่อตอบสนองต่อคำขอ GET คุณเชิญทุกคนใน - ทุกคนอย่างแท้จริง สิ่งนี้ไม่ถูกต้อง "โดยนัย" เป็นวิธีการที่เว็บเซิร์ฟเวอร์ทำงาน ยกเว้นข้อ จำกัด ของ robots.txt หรือ IP หรือการ จำกัด ผู้ใช้ที่เข้าสู่ระบบ
mfinni

20
@RolazaroAzeveires: กระบวนการอัตโนมัติไม่เป็นไรเพราะการอนุญาตให้ผู้เยี่ยมชมบอกเป็นนัยถึงมนุษย์ แต่เพราะหากมีการโจมตีมากพวกเขาจะถามว่า: "ฉันมีไฟล์เหล่านี้ได้ไหม?" และคุณได้กำหนดค่าเว็บเซิร์ฟเวอร์เพื่อตอบสนอง: "แน่นอน! ไปเลยต้องการอะไรอีกไหม" นั่นไม่ใช่การรวบรวมข้อมูลโดยไม่ได้รับอนุญาตจากคุณ แต่เป็นการรวบรวมข้อมูลโดยได้รับอนุญาตจากคุณ
Marcks Thomas

คำตอบ:


49

มีแบบอย่างทางกฎหมายสำหรับสิ่งนี้ Field v. Google Inc. , 412 F. Supp 2d 1106, (สหรัฐอเมริกา Dist. Ct. เนวาดา 2006) Google ได้รับการตัดสินสรุปจากปัจจัยหลายประการโดยเฉพาะอย่างยิ่งที่ผู้เขียนไม่ได้ใช้ไฟล์ robots.txt ใน metatags บนเว็บไซต์ของเขาซึ่งจะทำให้ Google ไม่สามารถรวบรวมข้อมูลและแคชหน้าเว็บที่เจ้าของเว็บไซต์ไม่ต้องการให้จัดทำดัชนี

วินิจฉัย pdf

ไม่มีกฎหมายของสหรัฐอเมริกาที่เกี่ยวข้องกับไฟล์ robots.txt โดยเฉพาะ อย่างไรก็ตามคดีในศาลอื่นได้กำหนดแบบอย่างบางอย่างที่ในที่สุดอาจนำไปสู่ไฟล์ robots.txt ที่ถูกพิจารณาว่าเป็นการหลีกเลี่ยงมาตรการทางอิเล็กทรอนิกส์โดยเจตนาเพื่อปกป้องเนื้อหา ในการให้คำปรึกษาด้านการดูแลสุขภาพ, INC Vs การแข็ง, EARLEY, FOLLMER & FRAILEY, et al, Advocates ด้านการดูแลสุขภาพระบุว่าฮาร์ดิงและอัลเจาะความสามารถของเครื่อง Wayback เพื่อเข้าถึงไฟล์แคชของหน้าเว็บที่มีเวอร์ชั่นใหม่กว่าด้วยไฟล์ robots.txt ในขณะที่ผู้ให้การสนับสนุนด้านการดูแลสุขภาพแพ้คดีนี้ศาลแขวงระบุว่าปัญหาไม่ใช่ว่า Harding et al "หยิบกุญแจ" แต่พวกเขาสามารถเข้าถึงไฟล์ได้เนื่องจากมีปัญหาการโหลดเซิร์ฟเวอร์กับเครื่อง Wayback ที่ให้สิทธิ์การเข้าถึง ไฟล์แคชเมื่อมันไม่ควร '

คำตัดสินของศาล

มันเป็นเพียงเรื่องของ IMHO เวลาจนกว่าจะมีคนใช้เวลาการพิจารณาคดีนี้และเปลี่ยนมันอยู่ด้านข้าง: ศาลระบุ robots.txt ที่เป็นล็อคเพื่อป้องกันการรวบรวมข้อมูลและการหลีกเลี่ยงมันถูก หยิบล็อค

น่าเสียดายที่คดีส่วนใหญ่เหล่านี้ไม่ง่ายเหมือน "ฉันพยายามบอกโปรแกรมรวบรวมข้อมูลของคุณว่าไม่อนุญาตและโปรแกรมรวบรวมข้อมูลของคุณเพิกเฉยต่อการตั้งค่า / คำสั่งเหล่านั้น" มีโฮสต์ของปัญหาอื่น ๆ ในกรณีเหล่านี้ทั้งหมดซึ่งส่งผลกระทบต่อผลลัพธ์ในท้ายที่สุดมากกว่าประเด็นหลักว่าไฟล์ robots.txt ควรได้รับการพิจารณาว่าเป็นวิธีการป้องกันทางอิเล็กทรอนิกส์ภายใต้กฎหมาย DCMA ของสหรัฐอเมริกาหรือไม่

ที่กล่าวมานี้เป็นกฎหมายของสหรัฐอเมริกาและใครบางคนจากประเทศจีนสามารถทำสิ่งที่พวกเขาต้องการ - ไม่ใช่เพราะปัญหาทางกฎหมาย แต่เป็นเพราะจีนจะไม่บังคับใช้เครื่องหมายการค้าและการคุ้มครองลิขสิทธิ์ของสหรัฐฯ

ไม่ใช่คำตอบสั้น ๆ แต่จริงๆแล้วไม่ใช่คำตอบสั้น ๆ ง่ายๆสำหรับคำถามของคุณ!


1
นี่คือคำตอบที่ดีขอบคุณ สิ่งที่ฉันไม่ชอบเกี่ยวกับ robots.txt ก็คือมันไม่ใช่มาตรฐานที่แท้จริง (ไม่เป็นไปตามมาตรฐานที่กฎหมายกำหนด) บริษัท เหล่านี้สามารถเพิกเฉยได้ ฉันไม่ชอบอยู่ในตำแหน่งที่พวกเขาบอกฉันว่า"คุณควรจะวางไฟล์ robots.txt และบางทีเราอาจจะไม่รวบรวมข้อมูลเว็บไซต์ของคุณ แต่บางทีเราจะทำเราจะทำสิ่งที่เราชอบ" มันจะดีถ้ามีมาตรฐานในการระบุ ToS ของเว็บไซต์ในข้อมูลเมตาของเว็บไซต์
kralyk

5
@jcanker ทั้งสองกรณีเกี่ยวกับการเรียกร้องการละเมิดลิขสิทธิ์ ในพฤติกรรมของซอฟต์แวร์รวบรวมข้อมูลที่แคชเนื้อหาเช่นเดียวกับที่ดำเนินการโดย Google และ archive.org มันเหมาะสมอย่างยิ่งที่ปัญหาลิขสิทธิ์เกิดขึ้น แต่ McAfee SiteAdvisor ไม่ได้คัดลอกและจัดเก็บเนื้อหา (เปิดเผยต่อสาธารณะน้อยมาก) จากเว็บไซต์ที่เข้าถึงอยู่ใช่ไหม? แม้ว่าฉันจะไม่ใช่ทนายความ แต่ฉันคิดว่าความแตกต่างนี้ทำให้เรามีข้อสงสัยอย่างมากว่ากรณีใดก็ตามที่เกี่ยวข้องกับพฤติกรรมของระบบเช่น SiteAdvisor โดยไม่คำนึงว่าจะเคารพ robots.txt หรือไม่ก็ตาม
Eliah Kagan

12
@kralyk - อีกครั้ง "บริษัท เหล่านี้สามารถเพิกเฉยได้" ก็ใช่ นั่นคือวิธีที่อินเทอร์เน็ตใช้งานได้ และแม้ว่ามันจะเป็นพื้นฐานมากกว่าก็ตามมันก็จะเป็นเรื่องไม่สำคัญไม่สำคัญเลยสำหรับผู้รวบรวมข้อมูลที่จะแกล้งทำเป็นว่ามันเป็นมนุษย์ที่เข้าถึงหน้าเว็บของคุณ คุณจะขอทางเทคนิคเป็นไปไม่ได้ แน่นอนถ้าคุณคิดในสิ่งที่คุณถามสิ่งที่คุณค้นหานั้นไม่สมเหตุสมผลมันไม่มีความหมาย ยกเว้นในความแตกต่างทางกฎหมาย การป้องกันที่เป็นไปได้เพียงอย่างเดียวของคุณคือ (1) การซ่อนเนื้อหาสำคัญหลังการพิสูจน์ตัวตนเข้าสู่ระบบของผู้ใช้และ (2) การคุ้มครองทางกฎหมายตามที่กล่าวไว้ในคำตอบนี้
ToolmakerSteve

@ToolmakerSteve ฉันรู้ว่ามันเป็นไปไม่ได้ในทางเทคนิคที่จะห้ามหุ่นยนต์โดยสมบูรณ์ นี่เป็นสถานการณ์ที่แตกต่าง - ฉันไม่ได้มองหาวิธีแก้ปัญหาด้านเทคนิคฉันถามว่ามันถูกกฎหมายหรือไม่โปรดทราบว่า McAffee แจ้งให้ฉันทราบว่าพวกเขารวบรวมข้อมูลเว็บไซต์ของฉันฉันไม่จำเป็นต้องตรวจจับ
kralyk

นอกจากนี้ยังมีแบบอย่างทางกฎหมายอีกทางคือ: ขอบของผู้ประมูล ebay v
John

91

ใช่พวกเขามีสิทธิ์ที่จะทำเช่นนั้น - คุณได้สร้างเว็บไซต์สาธารณะอะไรที่ทำให้คุณคิดว่าพวกเขาไม่ทำ?

แน่นอนคุณก็มีสิทธิ์ที่จะหยุดพวกเขาเช่นกัน คุณสามารถขอให้พวกเขาไม่ได้รวบรวมข้อมูลเว็บไซต์ของคุณด้วยrobots.txtหรือแข็งขันป้องกันพวกเขาจากการเข้าถึงกับสิ่งที่ต้องการfail2ban

หรือไม่ต้องกังวลเกี่ยวกับมันและดำเนินชีวิตของคุณต่อไป มันไม่ได้ทำร้ายอะไรเลยและแน่นอนว่ามันจะเป็นอันตรายต่ออินเทอร์เน็ต


4
> "ใช่พวกเขามีสิทธิ์ที่จะทำเช่นนั้น - คุณได้สร้างเว็บไซต์สาธารณะอะไรที่ทำให้คุณคิดว่าพวกเขาไม่ทำ" ถ้าบางสิ่งบางอย่างเป็นไปได้ทางเทคนิคก็ไม่ได้แปลว่าถูกกฎหมาย ตัวอย่างเช่น ToS ของ YouTube ห้ามมิให้ดาวน์โหลดวิดีโอดังนั้นแม้จะเป็นเรื่องง่ายในทางเทคนิค แต่ก็ยังไม่ได้รับอนุญาต ฉันจะไม่กังวลเกี่ยวกับ SiteAdvisor ถ้ามันไม่ใช่สำหรับผู้ให้บริการของฉันที่ส่งอีเมลเกี่ยวกับเว็บไซต์ของฉัน "อาจจะมีปัญหา" ...
kralyk

16
@kralyk - หากคุณไม่ต้องการให้สาธารณะ (ซึ่งรวมถึง McAfee) มองดูอย่าวางไว้บนเว็บ มันง่ายมาก คุณควบคุมเว็บไซต์ของคุณ ไม่มีใครบังคับให้คุณนำมันออกมาและถ้าคุณไม่ต้องการให้คนอื่นมองมันก็ไม่ควรเอามันออกไป หากคุณกำลังจะวางมันไว้ที่นั่นอย่าแปลกใจที่ผู้คน (รวมถึงคนที่ต้องการขายของให้คุณ) กำลังดูอยู่ หยุดพยายามเปลี่ยนความต้องการของคุณให้เป็นปัญหาของคนอื่น
Michael Kohne

9
@kralyk: จริงจังเหรอ? คุณคิดว่าปัญหานี้เป็นสองมาตรฐานจริงหรือ ไม่มีใครใน McAfee ที่รู้และไม่สนใจเกี่ยวกับเว็บไซต์ของคุณ พวกเขาไม่ควร มันจะไร้สาระที่จะคาดหวังว่าทุกคนที่รวบรวมข้อมูลเว็บเพื่ออ่าน ToS ของทุกคน นั่นเป็นเหตุผลที่ robot.txt ถูกประดิษฐ์ขึ้น
ToolmakerSteve

3
@kralyk การเข้าถึงทรัพยากรที่เป็นปัญหาต้องได้รับการ gated เพื่อให้ ToS อยู่ใกล้ทุกที่ที่มีความหมาย หุ่นยนต์รวบรวมข้อมูลหน้าเว็บที่ไม่มีการป้องกันของคุณแตกต่างจากผู้ที่ลงทะเบียนบัญชียอมรับ ToS และจากนั้นป้อนข้อมูลประจำตัวของหุ่นยนต์
แอนดรู B

4
@kralyk - TOS ประเภทใดที่คุณมีบนเว็บไซต์ของคุณที่คุณรู้สึกว่า McAfee กำลังละเมิด (ไม่เคารพ)
Kevin Fegan

11

พฤติกรรมนี้มีจริยธรรมหรือไม่ไม่ชัดเจนอย่างสมบูรณ์

การรวบรวมข้อมูลเว็บไซต์สาธารณะนั้นไม่ได้ผิดจรรยาบรรณ (เว้นแต่คุณจะถูกห้ามไม่ให้ใช้ robots.txt หรือมาตรการทางเทคโนโลยีอื่น ๆ อย่างชัดเจน

สิ่งที่พวกเขากำลังทำอยู่นั้นเทียบเท่ากับการโทรหาคุณอย่างเย็นชาในขณะที่ประกาศให้โลกรู้ว่าคุณอาจไม่ปลอดภัย หากนั่นทำให้ชื่อเสียงของคุณเสียหายและไม่ยุติธรรมก็เป็นการผิดจรรยาบรรณ หากมันเป็นเช่นนั้นและความละเอียดเพียงอย่างเดียวที่เกี่ยวข้องกับคุณคือการจ่ายเงินมันเป็นการฉ้อโกง แต่ฉันไม่คิดว่านี่คือสิ่งที่เกิดขึ้น

อีกครั้งที่สิ่งนี้ผิดจรรยาบรรณคือเมื่อมีคนรวบรวมข้อมูลเว็บไซต์ของคุณเพื่อให้เหมาะสมกับเนื้อหาหรือข้อมูลของคุณแล้วแสดงว่าเป็นของตนเอง แต่นั่นก็ไม่ใช่สิ่งที่เกิดขึ้น

ดังนั้นฉันขอแนะนำว่าพฤติกรรมของพวกเขาในกรณีนี้มีจริยธรรมและคุณสามารถเพิกเฉยได้เช่นกัน

พฤติกรรมที่เกี่ยวข้องกับการส่งสแปมของคุณนั้นผิดจรรยาบรรณหากคุณไม่มีความสัมพันธ์กับพวกเขาและไม่ได้ร้องขออีเมล แต่ฉันคิดว่าพวกเขามีการยกเลิกการสมัคร


1
ฉันไม่แน่ใจว่าฉันจะเรียกDisallowคำสั่งในไฟล์ robots.txt ว่า "การวัดทางเทคโนโลยี" robots.txt ทำหน้าที่เป็นคำร้องขอมารยาทและในขณะที่บอทที่ประพฤติดีจะปฏิบัติตามนั้นไม่มีข้อผูกมัดและไม่มีการรักษาความปลอดภัยที่แท้จริง ในความเป็นจริงบอทที่มีพฤติกรรมไม่ดีอาจรับข้อมูลใน robots.txt เป็นคำเชิญให้คลานเส้นทางที่เฉพาะเจาะจงนั้น ...
CVn

2
@ MichaelKjörlingเห็นด้วยเพียงครึ่งเดียว ไม่มีความปลอดภัยที่แท้จริง แต่มีข้อผูกมัด มันเป็นสัญญาณออกและภาระผูกพันของคุณคือต้องออกเพราะคุณไม่ได้รับอนุญาตให้เข้า
Ben

มันเป็นเครื่องหมาย "ป้องกัน" โดยไม่มีล็อค ลองที่บ้านของคุณและดูว่าคุณได้รับความเห็นอกเห็นใจมากเท่าไหร่หลังจากที่โจรโทรมา! (ที่จริงแล้วมันเป็นเครื่องหมาย "ออก" ที่แสดงรายการประตูและหน้าต่างที่ไม่ได้ล็อคอย่างชัดเจนซึ่งคุณต้องการให้ผู้คนอยู่ห่าง ๆ )
Randy Orrison

2

วิธีการทางเทคนิคในการบล็อกบุคคลหรือ บริษัท จากการเข้าถึงเว็บไซต์ของคุณ:

คุณสามารถบล็อกที่อยู่ IP ที่เฉพาะเจาะจงหรือช่วงของที่อยู่จากการเข้าถึงหน้าเว็บไซต์ของคุณ นี่คือไฟล์. htaccess (หากไซต์ของคุณทำงานบน Apache Web Server)

http://www.htaccess-guide.com/deny-visitors-by-ip-address/

ให้ที่อยู่ IP ของบันทึกการใช้เว็บเซิร์ฟเวอร์ของคุณเข้าถึงและค้นหาที่อยู่ IP เหล่านั้นเพื่อค้นหาที่เชื่อมโยงกับ McAfee น่าจะบอกได้ง่ายตอนนี้ถ้าคุณไม่มีผู้เยี่ยมชมเป็นประจำ

แน่นอนพวกเขาอาจเปลี่ยนที่อยู่ IP ในอนาคต ถึงกระนั้นหากคุณค้นหาที่อยู่ IP ที่คุณพบเพื่อดูว่าใครเป็นเจ้าของที่อยู่เหล่านั้นคุณอาจสามารถเรียนรู้เกี่ยวกับที่อยู่ทั้งหมดของ McAfee และบล็อกทั้งหมด


สำหรับพื้นฐานทางกฎหมายในการทำเช่นนั้น:

"เจ้าของเว็บไซต์สามารถปิดกั้นผู้ใช้บางรายกฎของศาล"

http://www.computerworld.com/s/article/9241730/Website_owners_can_legally_block_some_users_court_rules

(หากเว็บไซต์ของคุณเป็นส่วนตัวไม่มีใครจะโต้แย้งสิทธิ์ของคุณในการบล็อกผู้ใช้บางคน แต่ถ้าเป็นเว็บไซต์สำหรับธุรกิจจะมีข้อโต้แย้งทางกฎหมายและศีลธรรมทั้งสองด้านของการสนทนาธุรกิจของคุณก็จะเล็กลง มันจะได้รับการคุ้มครองตามกฎหมาย - และคนอื่น ๆ จะสนใจพอที่จะบ่นได้)


คุณอาจสนใจ "ปฏิเสธผู้เยี่ยมชมด้วยการอ้างอิง"

"หากคุณเคยดูบันทึกของคุณและสังเกตเห็นว่าปริมาณการใช้งานเพิ่มขึ้นอย่างน่าประหลาดใจ แต่ก็ไม่มีการเพิ่มขึ้นของการร้องขอไฟล์จริงอาจเป็นเพราะบางคนกำลังบีบเนื้อหา (เช่นไฟล์ CSS) หรือมีคนพยายามแฮ็คเว็บไซต์ของคุณ เพื่อค้นหาเนื้อหาที่ไม่ใช่สาธารณะ) "

http://www.htaccess-guide.com/deny-visitors-by-referrer/

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.