胖蔡
2020年06月18日胖蔡Pythonpython,urllib,网络模块221次阅读

文中所有python代码均使用的是python2.7实现,与python3并不兼容。

UrlLib模块

urllib模块是适用于一个简单的网络数据获取和处理(不能处理有关验证和cookie等功能),官方文档的介绍主要是给了两个文档链接和三个标准: -
基本网络名词的介绍和格式定义规则 文档地址:http://www.w3.org/pub/WWW/Addressing/Overview.html

  • HTTP规范文档及其错误代码 文档地址:http://www.w3.org/pub/WWW/Protocols/

  • 相关标准和规范 1) RFC1808(相对URL规范) 2) RFC1738(URL标准) 3) RFC1630(URL规范)

urllib 网页抓取

urllib模块主要的功能就是提供了一个对www协议访问的接口urlopen(),让我们可以直接通过url对网页进行读取,操作比较简单,可以如同操作文件一样读取文件,但也仅限读取,操作相对还是比较简单.
如下,为一个简单的使用urllib模块对网页访问的操作:

import sys,urllib def accessByUrllib(): print "access html by urllib" url="http://www.enjoytoday.cn/posts/362" page=urllib.urlopen(url) #print "page html:%s" % page.read() #返回html文件内容 print "\npage info:%s " % page.info() #返回基本信息(头信息) print "\npage code:%s"% page.getcode() #http请求响应码,若非http则返回None print "\npage url:%s"%page.geturl() #请求url,真实访问url(重定问情况下和url不相同) print "\npage headers: %s"%page.headers #返回头信息 #将html写入本地,两种方法 url_file=open("./test.html",'wb+') url_file.write(page.read()) url_file.close() #使用urllib模块直接写入 urllib.urlretrieve(url,"./test2.html") if __name__ == "__main__": accessByUrllib()

如下为返回数据(由于html文件内容较多,所以将其屏蔽):

    access html by urllib
    
    page info:Date: Thu, 09 Nov 2017 14:27:43 GMT
    Server: Apache/2.4.7 (Ubuntu)
    Set-Cookie: JSESSIONID=6266B422E20D2F229556E51B9C4BCF8B.ajp13_worker;path=/;HttpOnly
    Content-Language: en-US
    Vary: Accept-Encoding
    Connection: close
    Content-Type: text/html;charset=UTF-8
    
    page code:200
    
    page url:http://www.enjoytoday.cn/posts/362
    
    page headers: Date: Thu, 09 Nov 2017 14:27:43 GMT
    Server: Apache/2.4.7 (Ubuntu)
    Set-Cookie: JSESSIONID=6266B422E20D2F229556E51B9C4BCF8B.ajp13_worker;path=/;HttpOnly
    Content-Language: en-US
    Vary: Accept-Encoding
    Connection: close
    Content-Type: text/html;charset=UTF-8
    
    Process finished with exit code 0

urllib其他用法

如上,为urllib 中的基本对网页的处理,如下介绍一些简单的请求处理以及url的处理操作

请求方式

默认的urllib采用GET方式进行请求操作,如下介绍如何指定请求方式:

def requestMethod(method="GET"): ''' 默认的urllib是以GET方式进行请求,可以通过使用urlencode()方法对其实现post请求,传入数据为类字典类型,key:vaule格式,但 默认参数类型为标准的application/x-www-form-urlencoded表单格式,不可更改 :param method: 指定请求方式:GET,POST :return: ''' url="http://www.enjoytoday.cn/posts/362" if method: if method=="GET": page=urllib.urlopen(url) print "get request return:%s"%page.read() elif method=="POST": reload(sys) sys.setdefaultencoding('utf-8') #解决 'ascii' codec can't encode characters问题,注意需要在调用setdefaultencoding()之前先reload(sys)不然会抛出没有该方法. dic={"name":u'飞云不在线',"sex":"man"} params=urllib.urlencode(dic) page=urllib.urlopen("%s?%s"%(url,params)) print "post request return:%s" %page.read() else: raise Exception("pass param format error.") else: raise Exception("param must not be Empty.")

如上为方法的基本使用.

url和路径转化
def transferUrl(): ''' url 和本地路径转化 :return: ''' path = "D://python/test/tt.txt" url=urllib.pathname2url(pathname=path) print "path transfer to url:%s" % url print "url transfer to path:%s" %urllib.url2pathname(url)
字符串的编解码
def encodeStr(): ''' 字符串的编码和解码 :return: ''' s="飞云不在线%%_345&" quote_s=urllib.quote(s) quote_plus_s=urllib.quote_plus(s) unquote_s=urllib.unquote(quote_s) unquote_plus_s=urllib.unquote_plus(quote_plus_s) #encode print "quote encode:%s"%quote_s print "quote plus encode:%s"%quote_plus_s #decode print "quote decode:%s" % unquote_s print "quote plus decode:%s" % unquote_plus_s #运行结果如下: quote encode:%E9%A3%9E%E4%BA%91%E4%B8%8D%E5%9C%A8%E7%BA%BF%25%25_345%26 quote plus encode:%E9%A3%9E%E4%BA%91%E4%B8%8D%E5%9C%A8%E7%BA%BF%25%25_345%26 quote decode:飞云不在线%%_345& quote plus decode:飞云不在线%%_345&