作者 | 俊欣

來源 | 關于數據分析與可視化

就在11月7日晚間，《英雄聯(lián)盟》S11賽季全球總決賽決斗，在冰島拉開“帷幕”，同時面向全球直播。在經過了5個小時的鏖戰(zhàn)，EDG戰(zhàn)隊最終以3:2戰(zhàn)勝來自韓國LCK賽區(qū)的DK戰(zhàn)隊，獲得俱樂部隊史上首座全球總決賽冠軍。

奪冠的消息瞬間引爆全網，包括小編的朋友圈也被刷屏了，今天小編就寫一篇與之相關的文章，通過單線程、多進程以及異步協(xié)程等方法來抓取英雄聯(lián)盟的皮膚并下載。

傳統(tǒng)數據抓取 VS 高性能數據抓取

傳統(tǒng)的數據抓取都是運行在單線程上的，先用獲取到目標頁面中最大的頁數，然后循環(huán)抓取每個單頁數據并進行解析，按照這樣的思路，會有大量的時間都浪費在等待請求傳回的數據上面，如果在等待第一個頁面返回的數據時去請求第二個頁面，就能有效地提高效率，下面我們就通過單線程、多進程以及異步協(xié)程的方式分別來簡單的實踐一下。

頁面分析

目標網站：https://lol.qq.com/data/info-heros.shtml官網的界面如圖所示，上面的每一張小圖代表每一個英雄，我們知道每一個英雄有多個皮膚，我們的目標就是爬取每一個英雄的所有皮膚，并且保存在本地；打開一個英雄顯示他所有的皮膚，如下圖所示，我們打開瀏覽器里面的開發(fā)者工具，查看皮膚數據的接口，可以看到皮膚的信息是通過json的數據格式來進行傳輸的，并且存放皮膚的url也是有一定規(guī)律的，和英雄的ID相掛鉤url1 = 'https://game.gtimg.cn/images/lol/act/img/js/hero/1.js'
url2 = 'https://game.gtimg.cn/images/lol/act/img/js/hero/2.js'
url3 = 'https://game.gtimg.cn/images/lol/act/img/js/hero/3.js'
url4 = 'https://game.gtimg.cn/images/lol/act/img/js/hero/4.js'
因此我們也可以自己來構造這個url格式'https://game.gtimg.cn/images/lol/act/img/js/hero/{}.js'.format(i)

單線程方案

我們先來看一下單線程的方案def get_page():
page_urls = []
for i in range(1, 10):
url = 'https://game.gtimg.cn/images/lol/act/img/js/hero/{}.js'.format(i)
page_urls.append(url)
return page_urls

# 獲取各英雄皮膚的鏈接
def get_img_urls():
results_list = []
page_urls = get_page()
for page_url in page_urls:
res = requests.get(page_url, headers=headers)
result = res.content.decode('utf-8')
result_dict = json.loads(result)
skins_list = result_dict["skins"]

for skin in skins_list:
hero_dict = {}
hero_dict['name'] = skin["heroName"]
hero_dict['skin_name'] = skin["name"]
if skin["mainImg"] == '':
continue
hero_dict['imgUrl'] = skin["mainImg"]
results_list.append(hero_dict)
time.sleep(2)
return results_list

# 將各種皮膚保存到本地
def save_image(index, img_url):
path = "skin/" img_url["name"]
if not os.path.exists(path):
os.makedirs(path)
response = requests.get(img_url['imgUrl'], headers = headers).content
with open('./skin/' img_url['name'] '/' img_url['skin_name']   str(index) '.jpg', 'wb') as f:
f.write(response)
上面的代碼分別代表的獲取各英雄每個皮膚的鏈接，然后再將各英雄的皮膚圖片保存到本地，通過一個主函數將上面的步驟都串聯(lián)到一起def main():
img_urls = get_img_urls()
print("總共有{}個網頁".format(len(img_urls)))
for index, img_url in enumerate(img_urls):
print("目前正處于第{}個".format(img_urls.index(img_url)))
save_image(index, img_url)

print("Done")
爬取這幾個網頁然后保存到本地的時間總共是需要43秒的時間，接下來我們來看一下多進程的爬取所需要的時間。

多進程的抓取方案

首先來簡單的介紹一下進程，進程是系統(tǒng)進行資源分配和調度的最小單位，每一個進程都有自己獨立的地址空間，不同進程之間的內存空間不共享，進程與進程之間的通信是由操作系統(tǒng)來傳遞的，因此通訊效率低，切換開銷大。這里我們簡單的用多進程來抓取一下各個英雄的皮膚def main():
img_urls = get_img_urls()
print("總共有{}個網頁".format(len(img_urls)))
pools = multiprocessing.Pool(len(img_urls))
for index_1, img_url in enumerate(img_urls):
print("目前正處于第{}個".format(img_urls.index(img_url)))
pools.apply_async(save_image, args=(index_1, img_url, ))

pools.close() # 關閉進程池（pool），使其不在接受新的任務。
pools.join() # 主進程阻塞等待子進程的退出， join方法要在close或terminate之后使用
print("Done")
整體下來需要的時間是29秒，比上面的單線程要快出許多。

異步協(xié)程的抓取方案

與異步相對立的則是同步，顧名思義，同步具體指的各個任務并不是獨立進行的，而是按照順序交替進行下去的，在一個任務進行完之后得到結果才進行下一個的任務。而異步則是各個任務可以獨立的運行，一個任務的運行不受另外一個任務的影響。而這里提到的協(xié)程，英文叫做Coroutine，也稱為是微線程，是一種用戶態(tài)的輕量級線程，擁有自己的寄存器上下文和棧，在進行調度切換時，將寄存器上下文和棧保存到其他地方，在切回來的時候恢復先前保存的寄存器上下文和棧。我們可以利用協(xié)程來實現(xiàn)異步操作，比如在發(fā)出請求的時候，需要等一段時間才能得到返回的結果，但其實這個等待的時候程序完全可以干其他許多的事情，在響應返回之后再切換回來繼續(xù)處理，這樣可以充分利用 CPU 和其他資源。我們這里用協(xié)程來抓取一下各個英雄的皮膚async def save_image(index, img_url):
path = "skin/" img_url["name"]
if not os.path.exists(path):
os.makedirs(path)
response = requests.get(img_url['imgUrl'], headers = headers).content
with open('./skin/' img_url['name'] '/' img_url['skin_name']   str(index) '.jpg', 'wb') as f:
f.write(response)

def main():
loop = asyncio.get_event_loop()
img_urls = get_img_urls()
print("總共有{}個網頁".format(len(img_urls)))
tasks_list = [save_image(index, img_url) for index, img_url in enumerate(img_urls)]
try:
loop.run_until_complete(asyncio.wait(tasks_list))
finally:
loop.close()

print("Done")
一整個跑下來，大概是需要33秒的時間，也是比單線程的43秒要快出很多以上便是用單線程、多進程以及異步協(xié)程的方式來優(yōu)化爬蟲腳本的性能，感興趣的讀者可以自己照著上面的教程與步驟自己去敲一遍代碼，感謝閱讀。