国产一级a片免费看高清,亚洲熟女中文字幕在线视频,黄三级高清在线播放,免费黄色视频在线看

八爪魚(yú)批量采集圖片URL

 隨著瀑布流網(wǎng)站、AJAX網(wǎng)頁(yè)等技術(shù)和網(wǎng)站表現(xiàn)形式大行其道，技術(shù)架構(gòu)和網(wǎng)頁(yè)結(jié)構(gòu)都與以往傳統(tǒng)的網(wǎng)站有所區(qū)別，圖片展現(xiàn)形式表現(xiàn)的更加的靈活，有些企業(yè)或個(gè)人出于營(yíng)銷研究或者收藏的需求，需要對(duì)這類型網(wǎng)站進(jìn)行網(wǎng)頁(yè)數(shù)據(jù)采集，今天我就來(lái)介紹下，遇到這類型網(wǎng)站時(shí)我們要如何使用八爪魚(yú)采集器來(lái)快速收集數(shù)據(jù)。

我們以選取的這個(gè)網(wǎng)站為例，來(lái)說(shuō)明下圖片采集要如何實(shí)現(xiàn)。先來(lái)看下這個(gè)網(wǎng)站的特殊之處，首先，頁(yè)面上的圖片不是一次加載完成，而需要滾動(dòng)多次才會(huì)滾動(dòng)到底部，這類型的網(wǎng)站像新浪微博也是類似情況，當(dāng)然也有的瀑布流網(wǎng)站是一直加載無(wú)法見(jiàn)底的，這種情況在此不贅述。其次，產(chǎn)品詳情頁(yè)不能通過(guò)點(diǎn)擊標(biāo)題進(jìn)入，而需要點(diǎn)擊圖片才能進(jìn)入。

 建采集任務(wù)

打開(kāi)數(shù)據(jù)采集器，點(diǎn)擊開(kāi)始采集

編輯采集任務(wù)名及分組名稱，點(diǎn)擊下一步，進(jìn)入采集規(guī)則的設(shè)置

建立采集規(guī)則

復(fù)制要采集頁(yè)面的URL，將紅色方框內(nèi)的打開(kāi)網(wǎng)頁(yè)拉至流程線，將復(fù)制的URL粘貼好，點(diǎn)擊保存，如圖片所示

網(wǎng)頁(yè)在八爪魚(yú)打開(kāi)后，需要點(diǎn)擊流程中的“打開(kāi)網(wǎng)頁(yè)”步驟，設(shè)置AJAX網(wǎng)頁(yè)加載，以便確保數(shù)據(jù)采集的時(shí)候不會(huì)遺漏，像這個(gè)示范站，我們實(shí)際滾動(dòng)大約需要4次，所以我們?cè)贏JAX加載到底部，滾動(dòng)次數(shù)可以設(shè)置為4次或5次均可，次數(shù)可以適當(dāng)?shù)谋葘?shí)際的滾動(dòng)次數(shù)稍微多一兩次,如圖片所示

創(chuàng)建循環(huán)翻頁(yè)

接下來(lái)將要采集的頁(yè)面拉至底部，找到下一頁(yè)，鼠標(biāo)右鍵點(diǎn)擊，選擇執(zhí)行循環(huán)下一頁(yè)操作

如圖片所示

完成翻頁(yè)的循環(huán)后，點(diǎn)擊自定義

選擇點(diǎn)擊"元素文本"，再點(diǎn)擊確定進(jìn)行保存

點(diǎn)擊翻頁(yè)循環(huán)的翻頁(yè)按鈕，選擇高級(jí)選項(xiàng)，勾選頁(yè)面加載，根據(jù)網(wǎng)站的不同去設(shè)置滾動(dòng)次數(shù)和滾動(dòng)方式，點(diǎn)擊保存（這個(gè)網(wǎng)站我們滾動(dòng)4次就差不多了）

由于我們采集時(shí)需要點(diǎn)擊圖片才能進(jìn)入到產(chǎn)品詳情頁(yè)，在建立元素循環(huán)列表的時(shí)候，需要將圖片鏈接設(shè)置為列表項(xiàng)，如下圖所示，我們需要點(diǎn)擊A標(biāo)簽取到圖片的鏈接地址，并以此鏈接為循環(huán)列表，添加元素到列表的時(shí)候，每次都需要點(diǎn)擊A標(biāo)簽，2-3次添加之后系統(tǒng)會(huì)將所有選中的圖片鏈接自動(dòng)讀取出來(lái)。

如圖所示：右鍵點(diǎn)擊網(wǎng)頁(yè)中第一個(gè)圖片，在跳出的命令框中，選擇執(zhí)行“創(chuàng)建一個(gè)元素列表”

將其添加到列表中

同樣的方法，選擇第二個(gè)圖片，按照添加步驟將其添加到列表中

網(wǎng)頁(yè)中所有的圖片的鏈接都將被全部識(shí)別出來(lái)并添加到列表中

點(diǎn)擊循環(huán)完成列表的創(chuàng)建

完成循環(huán)列表后，把流程圖里提取數(shù)據(jù)的循環(huán)拉進(jìn)翻頁(yè)循環(huán)里，如下圖

完成后如紅色方框所示，點(diǎn)擊保存

采集圖片的URL，按上面的操作進(jìn)入到詳情頁(yè)后，就是提取數(shù)據(jù)了，對(duì)于產(chǎn)品名稱和價(jià)格，都是文本形式，提取非常簡(jiǎn)單，而對(duì)于圖片，會(huì)需要先采集到圖片本身的URL，再進(jìn)行轉(zhuǎn)換，采集辦法如下圖所示，選中圖片后，在彈出的對(duì)話框中可選中IMG標(biāo)簽，選擇圖片的超鏈接進(jìn)行采集。

 選取圖片的名稱，右鍵點(diǎn)擊，選擇抓取這個(gè)元素文本

開(kāi)始采集，導(dǎo)出數(shù)據(jù)

設(shè)置完成后，保存，來(lái)看下采集的成果。網(wǎng)頁(yè)中URL都采集下來(lái)，我們導(dǎo)出為EXCEL格式的文件。

將圖片的URL轉(zhuǎn)換為圖片批量下載下來(lái)，相關(guān)的工具在八爪魚(yú)免費(fèi)下載。將URL地址導(dǎo)入工具即可將圖片轉(zhuǎn)換下來(lái)。

經(jīng)過(guò)以上簡(jiǎn)單的步驟，AJAX網(wǎng)頁(yè)上的瀑布流圖片就可以輕松采集出來(lái)了

注意事項(xiàng)

采集不同的數(shù)據(jù)需要的規(guī)則略有不同，不懂怎么編輯規(guī)則的可以去規(guī)則市場(chǎng)尋找完成的規(guī)則