คำถามติดแท็ก urllib

ฉันมียูทิลิตี้ขนาดเล็กที่ฉันใช้เพื่อดาวน์โหลดไฟล์ MP3 จากเว็บไซต์ตามกำหนดเวลาจากนั้นสร้าง / อัปเดตไฟล์พอดคาสต์ XML ที่ฉันเพิ่มลงใน iTunes การประมวลผลข้อความที่สร้าง / อัปเดตไฟล์ XML นั้นเขียนด้วย Python อย่างไรก็ตามฉันใช้ wget ใน.batไฟล์Windows เพื่อดาวน์โหลดไฟล์ MP3 ที่แท้จริง ฉันต้องการเขียนโปรแกรมอรรถประโยชน์ทั้งหมดใน Python wgetฉันพยายามที่จะหาวิธีที่จะจริงดาวน์โหลดไฟล์ในหลามที่เป็นเหตุผลว่าทำไมผมจึงหันไปใช้ ดังนั้นฉันจะดาวน์โหลดไฟล์โดยใช้ Python ได้อย่างไร

874 python  http  urllib 

ในหลามสิ่งที่เป็นความแตกต่างระหว่างurllib, urllib2, urllib3และrequestsโมดูล? ทำไมถึงมีสาม? พวกเขาดูเหมือนจะทำสิ่งเดียวกัน ...

750 python  python-requests  urllib2  urllib  python-2.x 

ฉันพยายามที่จะ urlencode สตริงนี้ก่อนที่ฉันจะส่ง queryString = 'eventName=' + evt.fields["eventName"] + '&' + 'eventDescription=' + evt.fields["eventDescription"];

552 python  urllib  urlencode 

ถ้าฉันทำ url = "http://example.com?p=" + urllib.quote(query) มันไม่ได้เข้ารหัส/ไปที่%2F(หยุดพักการฟื้นฟู OAuth) มันไม่ได้จัดการกับ Unicode (มันส่งข้อยกเว้น) มีห้องสมุดที่ดีกว่านี้ไหม

299 python  url  encoding  urllib  urlencode 

ฉันได้รับข้อผิดพลาดต่อไปนี้: Exception in thread Thread-3: Traceback (most recent call last): File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 810, in __bootstrap_inner self.run() File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 763, in run self.__target(*self.__args, **self.__kwargs) File "/Users/Matthew/Desktop/Skypebot 2.0/bot.py", line 271, in process info = urllib2.urlopen(req).read() File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 154, in urlopen return opener.open(url, data, timeout) File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 431, in …

279 python  python-2.7  ssl  ssl-certificate  urllib 

ฉันพบสคริปต์นี้ออนไลน์: import httplib, urllib params = urllib.urlencode({'number': 12524, 'type': 'issue', 'action': 'show'}) headers = {"Content-type": "application/x-www-form-urlencoded", "Accept": "text/plain"} conn = httplib.HTTPConnection("bugs.python.org") conn.request("POST", "", params, headers) response = conn.getresponse() print response.status, response.reason 302 Found data = response.read() data 'Redirecting to <a href="http://bugs.python.org/issue12524">http://bugs.python.org/issue12524</a>' conn.close() แต่ฉันไม่เข้าใจวิธีการใช้กับ PHP หรือทุกอย่างภายในตัวแปร params คืออะไรหรือจะใช้อย่างไร ฉันขอความช่วยเหลือเล็กน้อยจากการพยายามทำให้มันใช้งานได้หรือไม่?

260 python  urllib  httplib 

ฉันพยายามขูดเว็บไซต์ แต่มันทำให้ฉันมีข้อผิดพลาด ฉันใช้รหัสต่อไปนี้: import urllib.request from bs4 import BeautifulSoup get = urllib.request.urlopen("https://www.website.com/") html = get.read() soup = BeautifulSoup(html) print(soup) และฉันได้รับข้อผิดพลาดต่อไปนี้: File "C:\Python34\lib\encodings\cp1252.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] UnicodeEncodeError: 'charmap' codec can't encode characters in position 70924-70950: character maps to <undefined> ฉันจะแก้ไขสิ่งนี้ได้อย่างไร

205 python  beautifulsoup  urllib 

ดังนั้นฉันจึงพยายามสร้างสคริปต์ Python ที่ดาวน์โหลดคอมมิคส์และวางไว้ในโฟลเดอร์บนเดสก์ท็อปของฉัน ฉันพบโปรแกรมที่คล้ายกันสองสามรายการที่นี่ซึ่งทำสิ่งที่คล้ายกัน แต่ไม่มีอะไรที่เหมือนกับสิ่งที่ฉันต้องการ สิ่งที่ฉันคิดว่าคล้ายกันมากที่สุดอยู่ที่นี่ ( http://bytes.com/topic/python/answers/850927-problem-using-urllib-download-images ) ฉันพยายามใช้รหัสนี้: >>> import urllib >>> image = urllib.URLopener() >>> image.retrieve("http://www.gunnerkrigg.com//comics/00000001.jpg","00000001.jpg") ('00000001.jpg', <httplib.HTTPMessage instance at 0x1457a80>) จากนั้นฉันค้นหาคอมพิวเตอร์ของฉันเพื่อหาไฟล์ "00000001.jpg" แต่สิ่งที่ฉันพบคือรูปภาพแคชของมัน ฉันไม่แน่ใจด้วยซ้ำว่าบันทึกไฟล์ไว้ในคอมพิวเตอร์ของฉัน เมื่อฉันเข้าใจวิธีดาวน์โหลดไฟล์ฉันคิดว่าฉันรู้วิธีจัดการกับส่วนที่เหลือ เป็นหลักเพียงใช้สำหรับวนรอบและแยกสตริงที่ '00000000'. 'jpg' และเพิ่ม '00000000' เป็นจำนวนมากที่สุดซึ่งฉันจะต้องพิจารณาอย่างใด คำแนะนำใด ๆ เกี่ยวกับวิธีที่ดีที่สุดในการทำเช่นนี้หรือวิธีการดาวน์โหลดไฟล์อย่างถูกต้อง? ขอบคุณ! แก้ไข 6/15/10 นี่คือสคริปต์ที่เสร็จสมบูรณ์แล้วมันจะบันทึกไฟล์ไปยังไดเรกทอรีใด ๆ ที่คุณเลือก ด้วยเหตุผลแปลก ๆ บางอย่างไฟล์ไม่ได้ถูกดาวน์โหลดและพวกมันเพิ่งทำ คำแนะนำใด ๆ เกี่ยวกับวิธีการทำความสะอาดจะได้รับการชื่นชมมาก …

183 python  urllib2  urllib 

ฉันพยายามใช้ Python เพื่อดาวน์โหลดซอร์สโค้ด HTML ของเว็บไซต์ แต่ฉันได้รับข้อผิดพลาดนี้ Traceback (most recent call last): File "C:\Users\Sergio.Tapia\Documents\NetBeansProjects\DICParser\src\WebDownload.py", line 3, in <module> file = urllib.urlopen("http://www.python.org") AttributeError: 'module' object has no attribute 'urlopen' ฉันทำตามคำแนะนำที่นี่: http://www.boddie.org.uk/python/HTML.html import urllib file = urllib.urlopen("http://www.python.org") s = file.read() f.close() #I'm guessing this would output the html source code? print(s) ฉันใช้ Python …

146 python  python-3.x  urllib 

จะรับรหัสของส่วนหัวผ่าน urllib ได้อย่างไร?

120 python  urllib  http-status-codes 

หลังจากใช้cgi.parse_qs()แล้วจะแปลงผลลัพธ์ (พจนานุกรม) กลับเป็นสตริงการสืบค้นได้อย่างไร กำลังมองหาสิ่งที่คล้ายกับ urllib.urlencode().

115 python  urllib2  urllib 

urllib.quote()ผมอยากจะใช้ แต่ python (python3) ไม่พบโมดูล สมมติว่าฉันมีรหัสบรรทัดนี้: print(urllib.quote("châteu", safe='')) ฉันจะนำเข้า urllib.quote ได้อย่างไร import urllibหรือ import urllib.quoteทั้งสองอย่างให้ AttributeError: 'module' object has no attribute 'quote' สิ่งที่ทำให้ฉันสับสนurllib.requestคือสามารถเข้าถึงได้ทางimport urllib.request

112 python  python-3.x  import  urllib 

เมื่อฉันพยายามทำตามตัวอย่างของ Python Wikiที่เกี่ยวข้องกับการเข้ารหัส URL: >>> import urllib >>> params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0}) >>> f = urllib.urlopen("http://www.musi-cal.com/cgi-bin/query", params) >>> print f.read() ข้อผิดพลาดเกิดขึ้นในบรรทัดที่สอง: Traceback (most recent call last): File "<stdin>", line 1, in <module> AttributeError: 'module' object has no attribute 'urlencode' ฉันขาดอะไรไป?

111 python  python-3.x  urllib 

ฉันใช้ BeautifulSoup เพื่อขูด url และมีรหัสต่อไปนี้ import urllib import urllib2 from BeautifulSoup import BeautifulSoup url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html" req = urllib2.Request(url) response = urllib2.urlopen(req) the_page = response.read() soup = BeautifulSoup(the_page) soup.findAll('td',attrs={'class':'empformbody'}) ตอนนี้ในโค้ดด้านบนเราสามารถใช้findAllเพื่อรับแท็กและข้อมูลที่เกี่ยวข้องได้ แต่ฉันต้องการใช้ xpath เป็นไปได้ไหมที่จะใช้ xpath กับ BeautifulSoup? ถ้าเป็นไปได้ใครช่วยกรุณาให้รหัสตัวอย่างเพื่อที่จะเป็นประโยชน์มากขึ้น?

109 python  xpath  beautifulsoup  urllib 

ฉันกำลังพยายามดาวน์โหลดข้อมูลหุ้นในอดีตโดยอัตโนมัติโดยใช้ python URL ที่ฉันพยายามเปิดตอบกลับด้วยไฟล์ CSV แต่ฉันไม่สามารถเปิดโดยใช้ urllib2 ฉันได้ลองเปลี่ยนตัวแทนผู้ใช้ตามที่ระบุไว้ในคำถามสองสามข้อก่อนหน้านี้ฉันพยายามที่จะยอมรับคุกกี้ตอบกลับโดยที่โชคไม่ดี คุณสามารถช่วย. หมายเหตุ: วิธีการเดียวกันนี้ใช้ได้กับ yahoo Finance รหัส: import urllib2,cookielib site= "http://www.nseindia.com/live_market/dynaContent/live_watch/get_quote/getHistoricalData.jsp?symbol=JPASSOCIAT&fromDate=1-JAN-2012&toDate=1-AUG-2012&datePeriod=unselected&hiddDwnld=true" hdr = {'User-Agent':'Mozilla/5.0'} req = urllib2.Request(site,headers=hdr) page = urllib2.urlopen(req) ข้อผิดพลาด ไฟล์ "C: \ Python27 \ lib \ urllib2.py" บรรทัด 527 ใน http_error_default เพิ่ม HTTPError (req.get_full_url (), code, msg, hdrs, fp) urllib2.HTTPError: HTTP …

104 python  http  urllib