รับโดเมนย่อยจาก URL

การรับโดเมนย่อยจาก URL นั้นฟังดูง่ายในตอนแรก

http://www.domain.example

สแกนหาช่วงแรกจากนั้นส่งคืนสิ่งที่ตามมาหลัง "http: //" ...

แล้วคุณจำไว้

http://super.duper.domain.example

โอ้. ถ้าอย่างนั้นคุณก็คิดว่าโอเคหาคาบสุดท้ายย้อนกลับคำและรับทุกอย่างก่อน!

แล้วคุณจำไว้

http://super.duper.domain.co.uk

และคุณกลับมาที่กำลังสอง ใครมีไอเดียดีๆนอกเหนือจากการจัดเก็บรายการ TLD ทั้งหมด

ใครมีไอเดียดีๆนอกเหนือจากการจัดเก็บรายการ TLD ทั้งหมด

ไม่ได้เนื่องจาก TLD แต่ละอันแตกต่างกันไปตามจำนวนโดเมนย่อยโดเมนระดับที่สองเป็นต้น

โปรดทราบว่ามีโดเมนระดับบนสุดโดเมนระดับที่สองและโดเมนย่อย ในทางเทคนิคแล้วทุกอย่างยกเว้น TLD เป็นโดเมนย่อย

ในตัวอย่าง domain.com.uk "domain" คือโดเมนย่อย "com" เป็นโดเมนระดับที่สองและ "uk" คือ TLD

ดังนั้นคำถามยังคงซับซ้อนกว่าในตอนแรกบลัชออนและขึ้นอยู่กับวิธีจัดการ TLD แต่ละอัน คุณจะต้องมีฐานข้อมูลของ TLD ทั้งหมดที่มีการแบ่งพาร์ติชันโดยเฉพาะและสิ่งที่นับเป็นโดเมนระดับที่สองและโดเมนย่อย แม้ว่าจะมี TLD ไม่มากเกินไปดังนั้นรายการจึงสามารถจัดการได้อย่างสมเหตุสมผล แต่การรวบรวมข้อมูลทั้งหมดนั้นไม่ใช่เรื่องเล็กน้อย อาจมีรายการดังกล่าวอยู่แล้ว

ดูเหมือนว่าhttp://publicsuffix.org/จะเป็นรายการหนึ่งซึ่งเป็นคำต่อท้ายทั่วไปทั้งหมด (. com, .co.uk ฯลฯ ) ในรายการที่เหมาะสำหรับการค้นหา การแยกวิเคราะห์ยังคงไม่ใช่เรื่องง่าย แต่อย่างน้อยคุณก็ไม่จำเป็นต้องรักษารายชื่อไว้

"คำต่อท้ายสาธารณะ" คือสิ่งที่ผู้ใช้อินเทอร์เน็ตสามารถลงทะเบียนชื่อได้โดยตรง ตัวอย่างบางส่วนของคำต่อท้ายสาธารณะ ได้แก่ ".com", ".co.uk" และ "pvt.k12.wy.us" Public Suffix List คือรายการของคำต่อท้ายสาธารณะที่รู้จักกันทั้งหมด

Public Suffix List เป็นโครงการริเริ่มของ Mozilla Foundation มีให้ใช้งานในซอฟต์แวร์ใด ๆ แต่เดิมสร้างขึ้นเพื่อตอบสนองความต้องการของผู้ผลิตเบราว์เซอร์ อนุญาตให้เบราว์เซอร์ตัวอย่างเช่น:

• หลีกเลี่ยงการตั้งค่า "ซูเปอร์คุกกี้" ที่สร้างความเสียหายต่อความเป็นส่วนตัวสำหรับคำต่อท้ายชื่อโดเมนระดับสูง
• เน้นส่วนที่สำคัญที่สุดของชื่อโดเมนในอินเทอร์เฟซผู้ใช้
• จัดเรียงรายการประวัติตามไซต์อย่างถูกต้อง

เมื่อดูรายชื่อคุณจะเห็นว่าไม่ใช่ปัญหาเล็กน้อย ฉันคิดว่ารายการเป็นวิธีเดียวที่ถูกต้องในการทำสิ่งนี้ ...

ดังที่อดัมกล่าวว่าไม่ใช่เรื่องง่ายและในปัจจุบันวิธีเดียวที่ใช้ได้จริงคือการใช้รายการ

ถึงอย่างนั้นก็มีข้อยกเว้น - ตัวอย่างเช่น.ukมีโดเมนจำนวนหนึ่งที่ใช้ได้ทันทีในระดับนั้นที่ไม่ได้อยู่ใน.co.ukนั้นดังนั้นจึงต้องเพิ่มเป็นข้อยกเว้น

ปัจจุบันวิธีการหลักเบราว์เซอร์ทำเช่นนี้นี่คือ - มันเป็นสิ่งที่จำเป็นเพื่อให้มั่นใจว่าexample.co.ukไม่สามารถตั้งค่าคุกกี้สำหรับ.co.ukซึ่งก็จะถูกส่งไปยังเว็บไซต์อื่น ๆ .co.ukภายใต้

ข่าวดีก็คือว่ามีอยู่แล้วรายการที่มีอยู่ในhttp://publicsuffix.org/

นอกจากนี้ยังมีงานบางอย่างในIETFเพื่อสร้างมาตรฐานบางประเภทเพื่อให้ TLD สามารถประกาศได้ว่าโครงสร้างโดเมนของพวกเขามีลักษณะอย่างไร สิ่งนี้มีความซับซ้อนเล็กน้อยแม้ว่าจะมี.uk.comการกด.comไลค์ซึ่งดำเนินการราวกับว่าเป็นส่วนต่อท้ายสาธารณะ แต่รีจิสทรีไม่ได้ขาย

Publicsuffix.org ดูเหมือนว่าจะทำ มีการใช้งานมากมายเพื่อแยกวิเคราะห์เนื้อหาของไฟล์ข้อมูล publicsuffix ได้อย่างง่ายดาย:

• Perl: โดเมน :: PublicSuffix
• Java: http://sourceforge.net/projects/publicsuffix/
• PHP: php-domain-parser
• C # / .NET: https://github.com/danesparza/domainname-parser
• Python: http://pypi.python.org/pypi/publicsuffix
• Ruby: domainatrix , public_suffix

ดังที่ได้กล่าวไปแล้วโดย Adam และ John publicsuffix.orgเป็นวิธีที่ถูกต้อง แต่ถ้าด้วยเหตุผลใดก็ตามที่คุณไม่สามารถใช้แนวทางนี้นี่คือฮิวริสติกตามสมมติฐานที่ใช้ได้กับ 99% ของโดเมนทั้งหมด:

มีคุณสมบัติอย่างหนึ่งที่แยกความแตกต่าง (ไม่ใช่ทั้งหมด แต่เกือบทั้งหมด) โดเมน "จริง" จากโดเมนย่อยและ TLD และนั่นคือระเบียน MX ของ DNS คุณสามารถสร้างอัลกอริทึมที่ค้นหาสิ่งนี้: ลบส่วนต่างๆของชื่อโฮสต์ทีละรายการและค้นหา DNS จนกว่าคุณจะพบระเบียน MX ตัวอย่าง:

super.duper.domain.co.uk => no MX record, proceed
duper.domain.co.uk       => no MX record, proceed
domain.co.uk             => MX record found! assume that's the domain

นี่คือตัวอย่างใน php:

function getDomainWithMX($url) {
    //parse hostname from URL 
    //http://www.example.co.uk/index.php => www.example.co.uk
    $urlParts = parse_url($url);
    if ($urlParts === false || empty($urlParts["host"])) 
        throw new InvalidArgumentException("Malformed URL");

    //find first partial name with MX record
    $hostnameParts = explode(".", $urlParts["host"]);
    do {
        $hostname = implode(".", $hostnameParts);
        if (checkdnsrr($hostname, "MX")) return $hostname;
    } while (array_shift($hostnameParts) !== null);

    throw new DomainException("No MX record found");
}

ดังที่ได้กล่าวไปแล้วรายการคำต่อท้ายสาธารณะเป็นเพียงวิธีเดียวในการแยกวิเคราะห์โดเมนอย่างถูกต้อง สำหรับ PHP คุณสามารถลองTLDExtract นี่คือโค้ดตัวอย่าง:

$extract = new LayerShifter\TLDExtract\Extract();

$result = $extract->parse('super.duper.domain.co.uk');
$result->getSubdomain(); // will return (string) 'super.duper'
$result->getSubdomains(); // will return (array) ['super', 'duper']
$result->getHostname(); // will return (string) 'domain'
$result->getSuffix(); // will return (string) 'co.uk'

เพิ่งเขียนโปรแกรมสำหรับสิ่งนี้ใน clojure โดยอาศัยข้อมูลจาก publicsuffix.org:

https://github.com/isaksky/url_dom

ตัวอย่างเช่น:

(parse "sub1.sub2.domain.co.uk") 
;=> {:public-suffix "co.uk", :domain "domain.co.uk", :rule-used "*.uk"}

สำหรับไลบรารี C (ด้วยการสร้างตารางข้อมูลใน Python) ฉันเขียนhttp://code.google.com/p/domain-registry-provider/ซึ่งทั้งรวดเร็วและประหยัดพื้นที่

ไลบรารีใช้ ~ 30kB สำหรับตารางข้อมูลและ ~ 10kB สำหรับรหัส C ไม่มีค่าใช้จ่ายในการเริ่มต้นระบบเนื่องจากตารางถูกสร้างขึ้นในเวลาคอมไพล์ ดูhttp://code.google.com/p/domain-registry-provider/wiki/DesignDocสำหรับรายละเอียดเพิ่มเติม

เพื่อให้เข้าใจโค้ดการสร้างตาราง (Python) ได้ดีขึ้นให้เริ่มที่นี่: http://code.google.com/p/domain-registry-provider/source/browse/trunk/src/registry_tables_generator/registry_tables_generator.py

หากต้องการทำความเข้าใจ C API ให้ดีขึ้นโปรดดู: http://code.google.com/p/domain-registry-provider/source/browse/trunk/src/domain_registry/domain_registry.h

มันไม่ได้ผลอย่างแน่นอน แต่คุณอาจได้รับคำตอบที่เป็นประโยชน์โดยพยายามดึงโดเมนทีละชิ้นและตรวจสอบการตอบสนองเช่นดึง ' http: // uk ' จากนั้น ' http://co.uk ' แล้ว " http://domain.co.uk " เมื่อคุณได้รับการตอบสนองที่ไม่มีข้อผิดพลาดแสดงว่าคุณมีโดเมนและส่วนที่เหลือเป็นโดเมนย่อย

บางครั้งคุณก็ต้องลอง :)

แก้ไข:

Tom Leys ชี้ให้เห็นในความคิดเห็นว่าบางโดเมนได้รับการตั้งค่าเฉพาะในโดเมนย่อย www ซึ่งจะทำให้เราได้คำตอบที่ไม่ถูกต้องในการทดสอบข้างต้น จุดดี! บางทีวิธีที่ดีที่สุดคือตรวจสอบแต่ละส่วนด้วย " http: // www " และ "http: //" และนับการเข้าชมเป็น Hit สำหรับส่วนนั้นของชื่อโดเมนหรือไม่ เรายังขาดการจัดการ 'ทางเลือก' บางอย่างเช่น 'web.domain.com' แต่ฉันไม่ได้พบกับหนึ่งในนั้นมาสักพักแล้ว :)

ใช้ URIBuilder แล้วรับแอตทริบิวต์ URIBUilder.host แยกออกเป็นอาร์เรย์บน "." ตอนนี้คุณมีอาร์เรย์ที่แยกโดเมนออก

echo tld('http://www.example.co.uk/test?123'); // co.uk

/**
 * http://publicsuffix.org/
 * http://www.alandix.com/blog/code/public-suffix/
 * http://tobyinkster.co.uk/blog/2007/07/19/php-domain-class/
 */
function tld($url_or_domain = null)
{
    $domain = $url_or_domain ?: $_SERVER['HTTP_HOST'];
    preg_match('/^[a-z]+:\/\//i', $domain) and 
        $domain = parse_url($domain, PHP_URL_HOST);
    $domain = mb_strtolower($domain, 'UTF-8');
    if (strpos($domain, '.') === false) return null;

    $url = 'http://mxr.mozilla.org/mozilla-central/source/netwerk/dns/effective_tld_names.dat?raw=1';

    if (($rules = file($url)) !== false)
    {
        $rules = array_filter(array_map('trim', $rules));
        array_walk($rules, function($v, $k) use(&$rules) { 
            if (strpos($v, '//') !== false) unset($rules[$k]);
        });

        $segments = '';
        foreach (array_reverse(explode('.', $domain)) as $s)
        {
            $wildcard = rtrim('*.'.$segments, '.');
            $segments = rtrim($s.'.'.$segments, '.');

            if (in_array('!'.$segments, $rules))
            {
                $tld = substr($wildcard, 2);
                break;
            }
            elseif (in_array($wildcard, $rules) or 
                    in_array($segments, $rules))
            {
                $tld = $segments;
            }
        }

        if (isset($tld)) return $tld;
    }

    return false;
}

ฉันเพิ่งเขียน objc library: https://github.com/kejinlu/KKDomain

คุณสามารถใช้ lib tld.js: JavaScript API เพื่อทำงานกับชื่อโดเมนที่ซับซ้อนโดเมนย่อยและ URI

tldjs.getDomain('mail.google.co.uk');
// -> 'google.co.uk'

หากคุณได้รับโดเมนรากในเบราว์เซอร์ คุณสามารถใช้ lib AngusFu / browser-root-domainนี้

var KEY = '__rT_dM__' + (+new Date());
var R = new RegExp('(^|;)\\s*' + KEY + '=1');
var Y1970 = (new Date(0)).toUTCString();

module.exports = function getRootDomain() {
  var domain = document.domain || location.hostname;
  var list = domain.split('.');
  var len = list.length;
  var temp = '';
  var temp2 = '';

  while (len--) {
    temp = list.slice(len).join('.');
    temp2 = KEY + '=1;domain=.' + temp;

    // try to set cookie
    document.cookie = temp2;

    if (R.test(document.cookie)) {
      // clear
      document.cookie = temp2 + ';expires=' + Y1970;
      return temp;
    }
  }
};

การใช้คุกกี้เป็นเรื่องยุ่งยาก

หากคุณต้องการแยกโดเมนย่อยและ / หรือโดเมนออกจากรายการ URL ตามอำเภอใจสคริปต์ python นี้อาจเป็นประโยชน์ ระวังให้ดีแม้ว่ามันจะไม่สมบูรณ์แบบ นี่เป็นปัญหาที่ยุ่งยากในการแก้ไขโดยทั่วไปและจะมีประโยชน์มากหากคุณมีโดเมนที่อนุญาตพิเศษที่คุณต้องการ

1. รับโดเมนระดับบนสุดจาก publicsuffix.org

คำขอนำเข้า

url = 'https://publicsuffix.org/list/public_suffix_list.dat'
เพจ = request.get (url)

โดเมน = []
สำหรับบรรทัดใน page.text.splitlines ():
    ถ้า line.startswith ('//'):
        ดำเนินการต่อ
    อื่น:
        โดเมน = line.strip ()
        ถ้าโดเมน:
            domains.append (โดเมน)

โดเมน = [d [2:] ถ้า d.startswith ('*.') else d สำหรับ d ในโดเมน]
พิมพ์ ('found {} domains'.format (len (domains)))

2. สร้าง regex

นำเข้าใหม่

_regex = ''
สำหรับโดเมนในโดเมน:
    _regex + = r '{} |' .format (domain.replace ('.', '\.'))

subdomain_regex = r '/([^/]*)\. [^/.]+\.({})/.*$' รูปแบบ (_regex)
domain_regex = r '([^ /.] + \. ({})) /.*$' รูปแบบ (_regex)

3. ใช้ regex ในรายการ URL

FILE_NAME = '' # ใส่ชื่อไฟล์ CSV ที่นี่
URL_COLNAME = '' # ใส่ชื่อคอลัมน์ URL ที่นี่

นำเข้าแพนด้าเป็น pd

df = pd.read_csv (FILE_NAME)
urls = df [URL_COLNAME] .astype (str) + '/' # หมายเหตุ: การเพิ่ม / เป็นการแฮ็กเพื่อช่วย regex

df ['sub_domain_extracted'] = urls.str.extract (pat = subdomain_regex, expand = True) [0]
df ['domain_extracted'] = urls.str.extract (pat = domain_regex, expand = True) [0]

df.to_csv ('extract_domains.csv', index = False)

รายการคำต่อท้ายทั่วไป (.co.uk, .com, และอื่น ๆ ) เพื่อตัดออกพร้อมกับ http: // จากนั้นคุณจะมีเพียง "sub.domain" ที่จะใช้แทน " http: // sub domain.suffix "หรืออย่างน้อยนั่นคือสิ่งที่ฉันอาจทำ

ปัญหาใหญ่ที่สุดคือรายการคำต่อท้ายที่เป็นไปได้ มีจำนวนมากหลังจากทั้งหมด

จากการดูรายการ publicsuffix.org อย่างรวดเร็วพบว่าคุณสามารถประมาณได้อย่างสมเหตุสมผลโดยการลบสามส่วนสุดท้าย ("ส่วน" ในที่นี้หมายถึงส่วนระหว่างจุดสองจุด) จากโดเมนที่ส่วนสุดท้ายมีความยาวสองอักขระ โดยสมมติว่าเป็นรหัสประเทศและจะแบ่งย่อยออกไปอีก หากกลุ่มสุดท้ายคือ "เรา" และส่วนที่สองถึงสุดท้ายเป็นอักขระสองตัวด้วยให้ลบสี่ส่วนสุดท้ายออก ในกรณีอื่น ๆ ทั้งหมดให้ลบสองส่วนสุดท้ายออก เช่น:

• http: //www.domain.example

"example" ไม่ใช่อักขระสองตัวดังนั้นให้ลบ "domain.example" ออกจาก "www"

• http: //super.duper.domain.example

"example" ไม่ใช่อักขระสองตัวดังนั้นให้ลบ "domain.example" ออกจาก "super.duper"

• http://super.duper.domain.co.uk

"uk" เป็นอักขระ 2 ตัว (แต่ไม่ใช่ "us") ดังนั้นให้ลบ "domain.co.uk" ออกจาก "super.duper"

• http://foo.pvt.k12.wy.us

"us" เป็นอักขระสองตัวและเป็น "เรา" และ "wy" เป็นอักขระสองตัวด้วยดังนั้นให้ลบ "pvt.k12.wy.us" ออกจาก "foo"

โปรดทราบว่าแม้ว่าจะใช้ได้กับทุกตัวอย่างที่ฉันเห็นในคำตอบจนถึงตอนนี้ แต่ก็ยังคงเป็นเพียงการประมาณที่สมเหตุสมผล มันไม่ถูกต้องทั้งหมดแม้ว่าฉันจะสงสัยว่ามันใกล้เคียงที่สุดเท่าที่คุณจะได้รับโดยไม่ต้องสร้าง / รับรายการจริงเพื่อใช้อ้างอิง