轉(zhuǎn)載請注明：@小五義http://www.cnblogs.com/xiaowuyi
6.1 最簡單的爬蟲
網(wǎng)絡(luò)爬蟲是一個自動提取網(wǎng)頁的程序，它為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁，是搜索引擎的重要組成。python的urllib\urllib2等模塊很容易實現(xiàn)這一功能，下面的例子實現(xiàn)的是對baidu首頁的下載。具體代碼如下：
import urllib2page=urllib2.urlopen("http://www.baidu.com")print page.read()
6.2 提交表單數(shù)據(jù)
(1)用GET方法提交數(shù)據(jù)
提交表單的GET方法是把表單數(shù)據(jù)編碼至URL。在給出請示的頁面后，加上問號，接著是表單的元素。如在百度中搜索“馬伊琍”得到url為http://www.baidu.com/s?wd=%E9%A9%AC%E4%BC%8A%E7%90%8D&pn=100&rn=20&ie=utf-8&usm=4&rsv_page=1。其中？后面為表單元素。wd=%E9%A9%AC%E4%BC%8A%E7%90%8D表示搜索的詞是“馬伊琍”，pn表示從第100條信息所在頁開始顯示（感覺是這樣，我試了幾次，當(dāng)寫100時，從其所在頁顯示，但如果寫10，就是從第1頁顯示），rn=20表示每頁顯示20條，ie=utf-8表示編碼格式，usm=4沒明白是什么意思，換了1、2、3試了下，沒發(fā)現(xiàn)什么變化，rsv_page=1表示第幾頁。如果要下載以上頁面比較簡單的方法是直接用上面的網(wǎng)址進行提取。如代碼：
import urllib2keyword=urllib.quote('馬伊琍')page=urllib2.urlopen("http://www.baidu.com/s?wd="+keyword+"&pn=100&rn=20&ie=utf-8&usm=4&rsv_page=1")print page.read()
(2)用post方法提交
GET方法中，數(shù)據(jù)是被加到URL上，這種方法數(shù)據(jù)量要求不大，如果需要交換大量數(shù)據(jù)的時間，POST方法是一個很好的方法。這里以前段時間寫的博客《python模擬163登陸獲取郵件列表》為例，具體代碼不在列出，詳見地址：http://www.cnblogs.com/xiaowuyi/archive/2012/05/21/2511428.html。
6.3 urllib,urllib2,httplib，mechanize的介紹
6.3.1urllib模塊(引自：http://my.oschina.net/duhaizhang/blog/68893)
urllib模塊提供接口可以使我們像訪問本地文件一樣來讀取www和ftp上的數(shù)據(jù)。模塊中最重要的兩個函數(shù)分別是：urlopen()和urlretrieve()。
urllib.urlopen(url[, data[, proxies]]) :
本函數(shù)創(chuàng)建一個表示遠程url的類文件對象，然后像本地文件一樣操作這個類文件對象來獲取遠程數(shù)據(jù)。參數(shù)url表示遠程數(shù)據(jù)的路徑，一般是網(wǎng)址；參數(shù)data表示以post方式提交到url的數(shù)據(jù)；參數(shù)proxies用于設(shè)置代理。urlopen返回 一個類文件對象，返回的類文件對象提供了如下方法：
read(), readline(), readlines(), fileno(), close()：這些方法的使用方式與文件對象完全一樣;
info()：返回一個httplib.HTTPMessage對象，表示遠程服務(wù)器返回的頭信息；
getcode()：返回Http狀態(tài)碼。如果是http請求，200表示請求成功完成;404表示網(wǎng)址未找到；
geturl()：返回請求的url；
#! /usr/bin/env python#coding=utf-8import urllibcontent=urllib.urlopen("http://www.baidu.com")print "http header:",content.info()print "http status:",content.getcode()print "url:",content.geturl()print "content:"for line in content.readlines(): print line
urllib.urlretrieve(url[, filename[, reporthook[, data]]])：
urlretrieve方法直接將遠程數(shù)據(jù)下載到本地。參數(shù)filename指定了保存到本地的路徑（如果未指定該參數(shù)，urllib會生成一個臨時文件來保存數(shù)據(jù)）；參數(shù)reporthook是一個 回調(diào)函數(shù)，當(dāng)連接上服務(wù)器、以及相應(yīng)的數(shù)據(jù) 塊傳輸完畢的時候會觸發(fā)該回調(diào)（即每下載一塊就調(diào)用一次回調(diào)函數(shù)）。我們可以利用這個回調(diào)函 數(shù)來顯示當(dāng)前的下載進度，也可以用于限速，下面的例子會展示。參數(shù)data指post到服務(wù)器的數(shù)據(jù)。該方法返回一個包含兩個元素的元組(filename, headers)，filename表示保存到本地的路徑， header表示服務(wù)器的響應(yīng)頭。
#! /usr/bin/env python # coding: utf-8 """下載文件，并顯示下載進度"""import urllibdef DownCall(count,size,total_filesize): """count為已下載數(shù)據(jù)塊個數(shù)，size為數(shù)據(jù)塊的大小，total_filesize為文件總大小""" per=100.0*count*size/total_filesize if per>100: per=100 print "Already download %d KB(%.2f" %(count*size/1024,per)+"%)"url="http://www.research.rutgers.edu/~rohanf/LP.pdf"localfilepath=r"C:\Users\Administrator\Desktop\download.pdf"urllib.urlretrieve(url,localfilepath,DownCall)
urllib中還提供了一些輔助方法，用于對url進行編碼、解碼。url中是不能出現(xiàn)一些特殊的符號的，有些符號有特殊的用途。我們知道以get方式提交數(shù)據(jù)的時候，會在url中添加key=value這樣的字符串，所以在value中是不允許有'='，因此要對其進行編碼；與此同時服務(wù)器接收到這些參數(shù)的時候，要進行解碼，還原成原始的數(shù)據(jù)。這個時候，這些輔助方法會很有用：
urllib.quote(string[, safe])：對字符串進行編碼。參數(shù)safe指定了不需要編碼的字符;
urllib.unquote(string) ：對字符串進行解碼；
urllib.quote_plus(string[, safe]) ：與urllib.quote類似，但這個方法用'+'來替換' '，而quote用'%20'來代替' '
urllib.unquote_plus(string) ：對字符串進行解碼；
urllib.urlencode(query[, doseq])：將dict或者包含兩個元素的元組列表轉(zhuǎn)換成url參數(shù)。例如 字典{'name': 'dark-bull', 'age': 200}將被轉(zhuǎn)換為"name=dark-bull&age=200"
urllib.pathname2url(path)：將本地路徑轉(zhuǎn)換成url路徑；
urllib.url2pathname(path)：將url路徑轉(zhuǎn)換成本地路徑；
6.3.2 urllib2模塊(引自：http://hankjin.blog.163.com/blog/static/3373193720105140583594/)
使用Python訪問網(wǎng)頁主要有三種方式： urllib, urllib2, httplib
urllib比較簡單，功能相對也比較弱，httplib簡單強大，但好像不支持session
（1）最簡單的頁面訪問
res=urllib2.urlopen(url)
print res.read()
（2）加上要get或post的數(shù)據(jù)
data={"name":"hank", "passwd":"hjz"}
urllib2.urlopen(url, urllib.urlencode(data))
（3）加上http頭
header={"User-Agent": "Mozilla-Firefox5.0"}
urllib2.urlopen(url, urllib.urlencode(data), header)
使用opener和handler
opener = urllib2.build_opener(handler)
urllib2.install_opener(opener)
（4）加上session
cj = cookielib.CookieJar()
cjhandler=urllib2.HTTPCookieProcessor(cj)
opener = urllib2.build_opener(cjhandler)
urllib2.install_opener(opener)
（5）加上Basic認證
password_mgr = urllib2.HTTPPasswordMgrWithDefaultRealm()
top_level_url = "http://www.163.com/"
password_mgr.add_password(None, top_level_url, username, password)
handler = urllib2.HTTPBasicAuthHandler(password_mgr)
opener = urllib2.build_opener(handler)
urllib2.install_opener(opener)
（6） 使用代理
proxy_support = urllib2.ProxyHandler({"http":"http://1.2.3.4:3128/"})
opener = urllib2.build_opener(proxy_support)
urllib2.install_opener(opener)
（7） 設(shè)置超時
socket.setdefaulttimeout(5)
6.3.3 httplib模塊（引自：http://hi.baidu.com/avengert/item/be5daec8517b12ddee183b81）
httplib 是 python中http 協(xié)議的客戶端實現(xiàn)，可以使用該模塊來與 HTTP 服務(wù)器進行交互。httplib的內(nèi)容不是很多，也比較簡單。以下是一個非常簡單的例子，使用httplib獲取google首頁的html：
#coding=gbk import httplib conn = httplib.HTTPConnection("www.google.cn") conn.request('get', '/') print conn.getresponse().read() conn.close()
下面詳細介紹httplib提供的常用類型和方法。
httplib.HTTPConnection ( host [ , port [ , strict [ , timeout ]]] )
HTTPConnection類的構(gòu)造函數(shù)，表示一次與服務(wù)器之間的交互，即請求/響應(yīng)。參數(shù)host表示服務(wù)器主機，如：www.csdn.net；port為端口號，默認值為80； 參數(shù)strict的 默認值為false， 表示在無法解析服務(wù)器返回的狀態(tài)行時( status line) （比較典型的狀態(tài)行如： HTTP/1.0 200 OK ），是否拋BadStatusLine 異常；可選參數(shù)timeout 表示超時時間。
HTTPConnection提供的方法：
HTTPConnection.request ( method , url [ , body [ , headers ]] )
調(diào)用request 方法會向服務(wù)器發(fā)送一次請求，method 表示請求的方法，常用有方法有g(shù)et 和post ；url 表示請求的資源的url ；body 表示提交到服務(wù)器的數(shù)據(jù)，必須是字符串（如果method 是"post" ，則可以把body 理解為html 表單中的數(shù)據(jù)）；headers 表示請求的http 頭。
HTTPConnection.getresponse ()
獲取Http 響應(yīng)。返回的對象是HTTPResponse 的實例，關(guān)于HTTPResponse 在下面 會講解。
HTTPConnection.connect ()
連接到Http 服務(wù)器。
HTTPConnection.close ()
關(guān)閉與服務(wù)器的連接。
HTTPConnection.set_debuglevel ( level )
設(shè)置高度的級別。參數(shù)level 的默認值為0 ，表示不輸出任何調(diào)試信息。
httplib.HTTPResponse
HTTPResponse表示服務(wù)器對客戶端請求的響應(yīng)。往往通過調(diào)用HTTPConnection.getresponse()來創(chuàng)建，它有如下方法和屬性：
HTTPResponse.read([amt])
獲取響應(yīng)的消息體。如果請求的是一個普通的網(wǎng)頁，那么該方法返回的是頁面的html。可選參數(shù)amt表示從響應(yīng)流中讀取指定字節(jié)的數(shù)據(jù)。
HTTPResponse.getheader(name[, default])
獲取響應(yīng)頭。Name表示頭域(header field)名，可選參數(shù)default在頭域名不存在的情況下作為默認值返回。
HTTPResponse.getheaders()
以列表的形式返回所有的頭信息。
HTTPResponse.msg
獲取所有的響應(yīng)頭信息。
HTTPResponse.version
獲取服務(wù)器所使用的http協(xié)議版本。11表示http/1.1；10表示http/1.0。
HTTPResponse.status
獲取響應(yīng)的狀態(tài)碼。如：200表示請求成功。
HTTPResponse.reason
返回服務(wù)器處理請求的結(jié)果說明。一般為”O(jiān)K”
下面通過一個例子來熟悉HTTPResponse中的方法：
#coding=gbk import httplib conn = httplib.HTTPConnection("www.g.cn", 80, False) conn.request('get', '/', headers = {"Host": "www.google.cn", "User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/20090624 Firefox/3.5", "Accept": "text/plain"}) res = conn.getresponse() print 'version:', res.version print 'reason:', res.reason print 'status:', res.status print 'msg:', res.msg print 'headers:', res.getheaders() #html #print '\n' + '-' * 50 + '\n' #print res.read() conn.close()
Httplib模塊中還定義了許多常量，如：
Httplib. HTTP_PORT 的值為80，表示默認的端口號為80；
Httplib.OK 的值為200，表示請求成功返回；
Httplib. NOT_FOUND 的值為40表示請求的資源不存在；
可以通過httplib.responses 查詢相關(guān)變量的含義，如：
Print httplib.responses[httplib.NOT_FOUND]
6.3.4 mechanize
mechanize沒有找到比較完整的介紹，自己寫了一個簡單的例子如下。
# -*- coding: cp936 -*-import time,stringimport mechanize,urllibfrom mechanize import Browserurlname=urllib.quote('馬伊琍')br=Browser()br.set_handle_robots(False) ##ignore the robots.txturlhttp=r'http://www.baidu.com/s?'+urlname+"&pn=10&rn=20&ie=utf-8&usm=4&rsv_page=1"response=br.open(urlhttp)filename='temp.html'f=open(filename,'w')f.write(response.read())f.close()
