ฉันได้รับurlจากผู้ใช้และฉันต้องตอบกลับด้วย HTML ที่ดึงมา

ฉันจะตรวจสอบว่า URL ผิดรูปแบบหรือไม่?

ตัวอย่างเช่น :

url='google'  // Malformed
url='google.com'  // Malformed
url='http://google.com'  // Valid
url='http://google'   // Malformed

เราจะบรรลุสิ่งนี้ได้อย่างไร?

django url validation regex (ที่มา ):

import re
regex = re.compile(
        r'^(?:http|ftp)s?://' # http:// or https://
        r'(?:(?:[A-Z0-9](?:[A-Z0-9-]{0,61}[A-Z0-9])?\.)+(?:[A-Z]{2,6}\.?|[A-Z0-9-]{2,}\.?)|' #domain...
        r'localhost|' #localhost...
        r'\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})' # ...or ip
        r'(?::\d+)?' # optional port
        r'(?:/?|[/?]\S+)$', re.IGNORECASE)

print(re.match(regex, "http://www.example.com") is not None) # True
print(re.match(regex, "example.com") is not None)            # False

จริงๆแล้วฉันคิดว่านี่เป็นวิธีที่ดีที่สุด

from django.core.validators import URLValidator
from django.core.exceptions import ValidationError

val = URLValidator(verify_exists=False)
try:
    val('http://www.google.com')
except ValidationError, e:
    print e

หากคุณตั้งค่าverify_existsเป็นTrueก็จริงจะตรวจสอบว่า URL ที่มีอยู่มิฉะนั้นมันก็จะตรวจสอบว่าเป็นรูปแบบที่ถูกต้อง

แก้ไข: ใช่คำถามนี้ซ้ำกัน: ฉันจะตรวจสอบได้อย่างไรว่ามี URL ที่มีเครื่องมือตรวจสอบความถูกต้องของ Django หรือไม่

ใช้แพ็คเกจvalidators :

>>> import validators
>>> validators.url("http://google.com")
True
>>> validators.url("http://google")
ValidationFailure(func=url, args={'value': 'http://google', 'require_tld': True})
>>> if not validators.url("http://google"):
...     print "not valid"
... 
not valid
>>>

ติดตั้งจาก PyPIด้วย pip ( pip install validators)

เวอร์ชันจริงหรือเท็จขึ้นอยู่กับคำตอบ @DMfll:

try:
    # python2
    from urlparse import urlparse
except:
    # python3
    from urllib.parse import urlparse

a = 'http://www.cwi.nl:80/%7Eguido/Python.html'
b = '/data/Python.html'
c = 532
d = u'dkakasdkjdjakdjadjfalskdjfalk'

def uri_validator(x):
    try:
        result = urlparse(x)
        return all([result.scheme, result.netloc, result.path])
    except:
        return False

print(uri_validator(a))
print(uri_validator(b))
print(uri_validator(c))
print(uri_validator(d))

ให้:

True
False
False
False

ทุกวันนี้ฉันใช้สิ่งต่อไปนี้ตามคำตอบของ Padam:

$ python --version
Python 3.6.5

และนี่คือลักษณะ:

from urllib.parse import urlparse

def is_url(url):
  try:
    result = urlparse(url)
    return all([result.scheme, result.netloc])
  except ValueError:
    return False

เพียงแค่ใช้is_url("http://www.asdf.com").

หวังว่าจะช่วยได้!

บันทึก - ไม่รองรับ lepl อีกต่อไปขออภัย (คุณสามารถใช้งานได้และฉันคิดว่าโค้ดด้านล่างใช้งานได้ แต่จะไม่ได้รับการอัปเดต)

rfc 3696 http://www.faqs.org/rfcs/rfc3696.htmlกำหนดวิธีการดำเนินการนี้ (สำหรับ http urls และอีเมล) ฉันใช้คำแนะนำใน python โดยใช้ lepl (ไลบรารี parser) ดูhttp://acooke.org/lepl/rfc3696.html

ใช้:

> easy_install lepl
...
> python
...
>>> from lepl.apps.rfc3696 import HttpUrl
>>> validator = HttpUrl()
>>> validator('google')
False
>>> validator('http://google')
False
>>> validator('http://google.com')
True

ฉันเข้ามาที่หน้านี้เพื่อพยายามหาวิธีที่ดีในการตรวจสอบสตริงเป็น URL "ถูกต้อง" ฉันแบ่งปันวิธีแก้ปัญหาของฉันที่นี่โดยใช้ python3 ไม่จำเป็นต้องมีห้องสมุดเพิ่มเติม

ดูhttps://docs.python.org/2/library/urlparse.htmlหากคุณใช้ python2

ดูhttps://docs.python.org/3.0/library/urllib.parse.htmlถ้าคุณใช้ python3 เหมือนฉัน

import urllib
from pprint import pprint

invalid_url = 'dkakasdkjdjakdjadjfalskdjfalk'
valid_url = 'https://stackoverflow.com'
tokens = [urllib.parse.urlparse(url) for url in (invalid_url, valid_url)]

for token in tokens:
    pprint(token)

min_attributes = ('scheme', 'netloc')  # add attrs to your liking
for token in tokens:
    if not all([getattr(token, attr) for attr in min_attributes]):
        error = "'{url}' string has no scheme or netloc.".format(url=token.geturl())
        print(error)
    else:
        print("'{url}' is probably a valid url.".format(url=token.geturl()))

ParseResult (Scheme = '', netloc = '', path = 'dkakasdkjdjakdjadjfalskdjfalk', params = '', query = '', fragment = '')

ParseResult (Scheme = 'https', netloc = 'stackoverflow.com', path = '', params = '', query = '', fragment = '')

สตริง "dkakasdkjdjakdjadjfalskdjfalk" ไม่มีแบบแผนหรือ netloc

" https://stackoverflow.com " น่าจะเป็น URL ที่ถูกต้อง

นี่คือฟังก์ชั่นที่กระชับมากขึ้น:

from urllib.parse import urlparse

min_attributes = ('scheme', 'netloc')


def is_valid(url, qualifying=min_attributes):
    tokens = urlparse(url)
    return all([getattr(tokens, qualifying_attr)
                for qualifying_attr in qualifying])

แก้ไข

ตามที่ @Kwame ชี้ไว้รหัสด้านล่างนี้จะตรวจสอบความถูกต้องของ URL แม้ว่าจะไม่มี.comหรือ.coอื่น ๆ ก็ตาม

ยังระบุโดย @Blaise URL เช่นhttps://www.googleเป็น URL ที่ถูกต้องและคุณต้องทำการตรวจสอบ DNS เพื่อตรวจสอบว่าแก้ไขได้หรือไม่แยกต่างหาก

มันง่ายและใช้งานได้:

ดังนั้นจึงmin_attrมีชุดของสตริงพื้นฐานที่จำเป็นต้องมีเพื่อกำหนดความถูกต้องของ URL นั่นคือhttp://บางส่วนและgoogle.comบางส่วน

urlparse.schemeร้านค้าhttp://และ

urlparse.netloc เก็บชื่อโดเมน google.com

from urlparse import urlparse
def url_check(url):

    min_attr = ('scheme' , 'netloc')
    try:
        result = urlparse(url)
        if all([result.scheme, result.netloc]):
            return True
        else:
            return False
    except:
        return False

all()คืนค่าจริงหากตัวแปรทั้งหมดที่อยู่ในนั้นส่งคืนจริง ดังนั้นถ้าresult.schemeและresult.netlocเป็นปัจจุบันเช่นมีค่าบางอย่างแล้ว URL Trueที่ถูกต้องและด้วยเหตุนี้ผลตอบแทน

ตรวจสอบ URL ด้วยurllibและ regex ที่เหมือน Django

regex การตรวจสอบ URL Django นั้นค่อนข้างดี แต่ฉันต้องปรับแต่งเล็กน้อยสำหรับกรณีการใช้งานของฉัน อย่าลังเลที่จะปรับให้เข้ากับของคุณ!

Python 3.7

import re
import urllib

# Check https://regex101.com/r/A326u1/5 for reference
DOMAIN_FORMAT = re.compile(
    r"(?:^(\w{1,255}):(.{1,255})@|^)" # http basic authentication [optional]
    r"(?:(?:(?=\S{0,253}(?:$|:))" # check full domain length to be less than or equal to 253 (starting after http basic auth, stopping before port)
    r"((?:[a-z0-9](?:[a-z0-9-]{0,61}[a-z0-9])?\.)+" # check for at least one subdomain (maximum length per subdomain: 63 characters), dashes in between allowed
    r"(?:[a-z0-9]{1,63})))" # check for top level domain, no dashes allowed
    r"|localhost)" # accept also "localhost" only
    r"(:\d{1,5})?", # port [optional]
    re.IGNORECASE
)
SCHEME_FORMAT = re.compile(
    r"^(http|hxxp|ftp|fxp)s?$", # scheme: http(s) or ftp(s)
    re.IGNORECASE
)

def validate_url(url: str):
    url = url.strip()

    if not url:
        raise Exception("No URL specified")

    if len(url) > 2048:
        raise Exception("URL exceeds its maximum length of 2048 characters (given length={})".format(len(url)))

    result = urllib.parse.urlparse(url)
    scheme = result.scheme
    domain = result.netloc

    if not scheme:
        raise Exception("No URL scheme specified")

    if not re.fullmatch(SCHEME_FORMAT, scheme):
        raise Exception("URL scheme must either be http(s) or ftp(s) (given scheme={})".format(scheme))

    if not domain:
        raise Exception("No URL domain specified")

    if not re.fullmatch(DOMAIN_FORMAT, domain):
        raise Exception("URL domain malformed (domain={})".format(domain))

    return url

คำอธิบาย

• รหัสนี้ตรวจสอบความถูกต้องschemeและnetlocบางส่วนของ URL ที่ระบุเท่านั้น (ในการดำเนินการนี้อย่างถูกต้องฉันแบ่ง URL ออกurllib.parse.urlparse()เป็นสองส่วนตามส่วนที่จับคู่กับคำศัพท์ regex ที่เกี่ยวข้อง)

• netlocส่วนหนึ่งหยุดก่อนที่จะเกิดขึ้นครั้งแรกของการเฉือน/ดังนั้นportตัวเลขยังคงเป็นส่วนหนึ่งของnetlocเช่น:

  https://www.google.com:80/search?q=python
  ^^^^^   ^^^^^^^^^^^^^^^^^
    |             |      
    |             +-- netloc (aka "domain" in my code)
    +-- scheme

• ที่อยู่ IPv4 ได้รับการตรวจสอบความถูกต้องด้วย

รองรับ IPv6

หากคุณต้องการให้เครื่องมือตรวจสอบ URL ทำงานกับที่อยู่ IPv6 ให้ทำดังต่อไปนี้:

• เพิ่มis_valid_ipv6(ip)จากคำตอบของ Markus Jarderotซึ่งมี regex ตัวตรวจสอบ IPv6 ที่ดีมาก
• เพิ่มand not is_valid_ipv6(domain)ในรายการสุดท้ายif

ตัวอย่าง

นี่คือตัวอย่างบางส่วนของ regex สำหรับส่วนnetloc(aka domain) ในการดำเนินการ:

• IPv4 และตัวเลขคละกัน: https://regex101.com/r/A326u1/5
• IPv6: https://regex101.com/r/lKIIgq/1 (พร้อม regex จากคำตอบของ Markus Jarderot )

วิธีแก้ปัญหาทั้งหมดข้างต้นถือว่าสตริง " http://www.google.com/path,www.yahoo.com/path " ถูกต้อง วิธีนี้ใช้ได้ผลเสมอเท่าที่ควร

import re

# URL-link validation
ip_middle_octet = u"(?:\.(?:1?\d{1,2}|2[0-4]\d|25[0-5]))"
ip_last_octet = u"(?:\.(?:[1-9]\d?|1\d\d|2[0-4]\d|25[0-4]))"

URL_PATTERN = re.compile(
                        u"^"
                        # protocol identifier
                        u"(?:(?:https?|ftp|rtsp|rtp|mmp)://)"
                        # user:pass authentication
                        u"(?:\S+(?::\S*)?@)?"
                        u"(?:"
                        u"(?P<private_ip>"
                        # IP address exclusion
                        # private & local networks
                        u"(?:localhost)|"
                        u"(?:(?:10|127)" + ip_middle_octet + u"{2}" + ip_last_octet + u")|"
                        u"(?:(?:169\.254|192\.168)" + ip_middle_octet + ip_last_octet + u")|"
                        u"(?:172\.(?:1[6-9]|2\d|3[0-1])" + ip_middle_octet + ip_last_octet + u"))"
                        u"|"
                        # IP address dotted notation octets
                        # excludes loopback network 0.0.0.0
                        # excludes reserved space >= 224.0.0.0
                        # excludes network & broadcast addresses
                        # (first & last IP address of each class)
                        u"(?P<public_ip>"
                        u"(?:[1-9]\d?|1\d\d|2[01]\d|22[0-3])"
                        u"" + ip_middle_octet + u"{2}"
                        u"" + ip_last_octet + u")"
                        u"|"
                        # host name
                        u"(?:(?:[a-z\u00a1-\uffff0-9_-]-?)*[a-z\u00a1-\uffff0-9_-]+)"
                        # domain name
                        u"(?:\.(?:[a-z\u00a1-\uffff0-9_-]-?)*[a-z\u00a1-\uffff0-9_-]+)*"
                        # TLD identifier
                        u"(?:\.(?:[a-z\u00a1-\uffff]{2,}))"
                        u")"
                        # port number
                        u"(?::\d{2,5})?"
                        # resource path
                        u"(?:/\S*)?"
                        # query string
                        u"(?:\?\S*)?"
                        u"$",
                        re.UNICODE | re.IGNORECASE
                       )
def url_validate(url):   
    """ URL string validation
    """                                                                                                                                                      
    return re.compile(URL_PATTERN).match(url)