實現(xiàn)思路：
抓取一個電影網(wǎng)站中的所有電影的思路如下：
- 根據(jù)一個URL得到電影網(wǎng)站的所有分類
- 得到每個分類中的電影的頁數(shù)
- 根據(jù)其電影分類的URL規(guī)律構(gòu)造每個分類中每個頁面的URL
- 分析每個頁面中的html，并用正則把電影信息過濾出來
準備工作：
- 安裝python（我用的是mac系統(tǒng)，默認的版本是Python 2.7.1 ）
- 安裝mongodb，從官網(wǎng)下載最新版本，然后啟動即可，注意如放在外網(wǎng)的話，要設(shè)定驗證密碼或綁定地址為127.0.0.1，否則黑客輕易就進去了
- 安裝BeautifulSoup和pymongo模塊
- 安裝一個python編輯器，我個人喜歡用sublime text2
編寫部分：
這次以騰訊視頻為例，其他視頻網(wǎng)站只是換一下正則表達式。
- 根據(jù)視頻所有分類的URL獲取網(wǎng)站中所有視頻分類
騰訊的所有視頻的URL為：//v.qq.com/list/1_-1_-1_-1_1_0_0_20_0_-1_0.html
首先我們import urllib2包，封裝一個讀取url中html的方法，詳細代碼如下：
導(dǎo)入需要的模塊并定義全局變量：
01 | # -*- coding: utf-8 -*- |
04 | from bs4 import BeautifulSoup |
08 | NUM = 0 #全局變量,電影數(shù)量 |
09 | m_type = u'' #全局變量,電影類型 |
10 | m_site = u'qq' #全局變量,電影網(wǎng)站 |
gethtml方法，傳入一個url，返回這個url的html內(nèi)容：
1 | #根據(jù)指定的URL獲取網(wǎng)頁內(nèi)容 |
3 | req = urllib2.Request(url) |
4 | response = urllib2.urlopen(req) |
然后查看這個URL的源碼文件，得知其電影分類的信息在<ul class="clearfix _group" gname="mi_type" gtype="1">標簽內(nèi)部，每條電信分類的格式為：
<a _hot="tag.sub" class="_gtag _hotkey" title="動作" tvalue="0">動作</a>
ok，我們再寫一個gettags方法，將所有的電影分類及url存放于一個字典中，代碼如下：
04 | soup = BeautifulSoup(html) #過濾出分類內(nèi)容 |
06 | #<ul class="clearfix _group" gname="mi_type" gtype="1"> |
07 | tags_all = soup.find_all('ul', {'class' : 'clearfix _group' , 'gname' : 'mi_type'}) |
08 | #print len(tags_all), tags_all |
09 | #print str(tags_all[1]).replace('\n', '') |
11 | #<a _hot="tag.sub" class="_gtag _hotkey" title="動作" tvalue="0">動作</a> |
12 | re_tags = r'<a _hot=\"tag\.sub\" class=\"_gtag _hotkey\" href=\"(.+?)\" title=\"(.+?)\" tvalue=\"(.+?)\">.+?</a>' |
13 | p = re.compile(re_tags, re.DOTALL) |
15 | tags = p.findall(str(tags_all[0])) |
20 | tag_url = tag[0].decode('utf-8') |
22 | m_type = tag[1].decode('utf-8') |
23 | tags_url[m_type] = tag_url |
接下來用一個循環(huán)分類獲取每個分類下電影的頁數(shù)，代碼如下：
1 | for url in tag_urls.items(): |
2 | print str(url[1]).encode('utf-8') #,url[0] |
3 | maxpage = int(get_pages(str(url[1]).encode('utf-8'))) |
獲取每個分類中有多少頁電影的代碼如下：
02 | def get_pages(tag_url): |
03 | tag_html = gethtml(tag_url) |
05 | soup = BeautifulSoup(tag_html) #過濾出標記頁面的html |
07 | #<div class="mod_pagenav" id="pager"> |
08 | div_page = soup.find_all('div', {'class' : 'mod_pagenav', 'id' : 'pager'}) |
09 | #print div_page #len(div_page), div_page[0] |
11 | #<a class="c_txt6" title="25"><span>25</span></a> |
12 | re_pages = r'<a class=.+?><span>(.+?)</span></a>' |
13 | p = re.compile(re_pages, re.DOTALL) |
14 | pages = p.findall(str(div_page[0])) |
然后在每個分類中，根據(jù)其URL的規(guī)律生成具體的每頁的URL，詳細代碼如下：
1 | for x in range(0, maxpage): |
2 | #//v.qq.com/list/1_0_-1_-1_1_0_0_20_0_-1_0.html |
3 | m_url = str(url[1]).replace('0_20_0_-1_0.html', '') |
4 | movie_url = "%s%d_20_0_-1_0.html" % (m_url, x) |
6 | movie_html = gethtml(movie_url.encode('utf-8')) |
8 | getmovielist(movie_html) |
getmovielist函數(shù)的作用是將每頁地址返回的html傳入，然后從中過濾出電影信息所在的html塊，詳細代碼如下：
01 | def getmovielist(html): |
02 | soup = BeautifulSoup(html) |
04 | #<ul class="mod_list_pic_130"> |
05 | divs = soup.find_all('ul', {'class' : 'mod_list_pic_130'}) |
08 | div_html = str(div_html).replace('\n', '') |
將過濾出來的包含電影信息的html代碼塊傳入getmovie函數(shù)來分離出具體的電影信息并入庫，詳細代碼如下：
06 | #<h6 class="caption"> <a target="_blank" title="徒步旅行隊">徒步旅行隊</a> </h6> <ul class="info"> <li class="desc">法國賣座喜劇片</li> <li class="cast"> </li> </ul> </div> <div class="ext ext_last"> <div class="ext_txt"> <h3 class="ext_title">徒步旅行隊</h3> <div class="ext_info"> <span class="ext_area">地區(qū): 法國</span> <span class="ext_cast">導(dǎo)演: </span> <span class="ext_date">年代: 2009</span> <span class="ext_type">類型: 喜劇</span> </div> <p class="ext_intro">理查德·達奇擁有一家小的旅游公司，主要經(jīng)營法國游客到非洲大草原的旅游服務(wù)。六個法國游客決定參加理查德·達奇組織的到非洲的一...</p> |
08 | re_movie = r'<li><a class=\"mod_poster_130\" href=\"(.+?)\" target=\"_blank\" title=\"(.+?)\"><img.+?</li>' |
09 | p = re.compile(re_movie, re.DOTALL) |
10 | movies = p.findall(html) |
12 | conn = pymongo.Connection('localhost', 27017) |
13 | movie_db = conn.dianying |
14 | playlinks = movie_db.playlinks |
19 | print "%s : %d" % ("=" * 70, NUM) |
21 | movie_title = movie[1], |
27 | playlinks.insert(values) |
30 | print "%s : %d" % ("=" * 70, NUM) |
總結(jié)一下：爬蟲實現(xiàn)的原理就是通過對其網(wǎng)頁內(nèi)容規(guī)律的觀察，然后分離出包含我們感興趣的html代碼塊，然后用正則表達式從將這些代碼塊中將想要的信息分離出來。
最后就是實現(xiàn)一個搜索或者展現(xiàn)的平臺了，只是普通的從庫中查詢相應(yīng)的信息并以Web方式展現(xiàn)出來，大家可用php、python、ruby、node.js等語言各顯神通。如我的是用python的tornado框架實現(xiàn)的，地址是：http://www.dianying.at
本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點擊舉報。
