http://endual.iteye.com/blog/1459178
2012
剛剛發(fā)現(xiàn)了一個(gè)比urllib2更好用的庫(kù)httplib2，可以比較簡(jiǎn)單的解決本文遇到的一些問題
http://code.google.com/p/httplib2/
————————————————————
最近用urllib2寫了一個(gè)公司內(nèi)部用的腳本
這個(gè)腳本要訪問一個(gè)webservice，訪問之前先要用https登陸拿到cookie再到另一個(gè)地方獲取一個(gè)臨時(shí)用的id
https登陸，獲取cookie
首先是https登陸，這段很好寫，以前寫過校內(nèi)網(wǎng)發(fā)帖機(jī)，輕車熟路，用cookielib的CookieJar加上HTTPCookieProcessor搞定，代碼如下（其中那個(gè)超簡(jiǎn)單的lambda hack簡(jiǎn)直絕了：
#! /usr/bin/env python
# -*- coding: utf-8 -*-
import urllib, urllib2, sys, cookielib, re, os, json cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
url_login = 'https://xxx.yahoo.com/login/'
body = (('username', '半瓶墨水'),
('password', '密碼'),
('action', 'login'),)
print 'login to get cookies'
opener.open(url_login, urllib.urlencode(body))
處理HTTP 403/500 Exception
但是后面用cookie去拿id的時(shí)候，就老是告訴我403錯(cuò)誤，然后opener就拋異常，想問題想到頭大，后來發(fā)現(xiàn)這個(gè)服務(wù)訪問成功不是返回200，而是403，所以看到403的時(shí)候不要管他，直接看body內(nèi)容就行了，日，不知道為什么這么設(shè)計(jì)。
怎么辦呢？查了一下urllib2的文檔，發(fā)現(xiàn)可以繼承一下HTTPCookieProcessor，自己做了一個(gè) NoExceptionCookieProcesser，后來的過程中發(fā)現(xiàn)webservice有時(shí)候返回400和500的時(shí)候body中包含有用的信息，一并處理了：
#! /usr/bin/env python
# -*- coding: utf-8 -*-
import urllib, urllib2, sys, cookielib, re, os, json
#suppress the 403/400/500 exception and return the body
class NoExceptionCookieProcesser(urllib2.HTTPCookieProcessor):
def http_error_403(self, req, fp, code, msg, hdrs):
return fp
def http_error_400(self, req, fp, code, msg, hdrs):
return fp
def http_error_500(self, req, fp, code, msg, hdrs):
return fp
cj = cookielib.CookieJar()
opener = urllib2.build_opener(NoExceptionCookieProcesser(cj))
url_login = 'https://xxx.yahoo.com/login/'
body = (('username', '半瓶墨水'),
('password', '密碼'),
('action', 'login'),) print 'login to get cookies'
opener.open(url_login, urllib.urlencode(body))
urllib2中用PUT進(jìn)行請(qǐng)求
然后又發(fā)現(xiàn)一個(gè)問題，webservice在提交的時(shí)候要求用PUT方式，并且只接受json，urllib2默認(rèn)只支持GET和POST，Google了一下，發(fā)現(xiàn)可以創(chuàng)建Request對(duì)象，然后更改它的請(qǐng)求方法(get_method)以及header，搞定：
request = urllib2.Request(url_ws, data="blablabla")
request.add_header('Content-Type', 'application/json')
request.add_header('Accept', 'application/json')
request.get_method = lambda: 'PUT'
result = opener.open(request).read().strip()
參考：http://stackoverflow.com/questions/111945/is-there-any-way-to-do-http-put-in-python
