2.5 使用Requests和PyQuery爬取猫眼电影Top 100排行榜

前面我们使用了Requests和正则表达式完成了一个简单的爬虫，正则表达式使用起来稍微复杂些，而基于前面学习的Python解析库PyQuery我们可以进一步便捷地爬取Web数据了。

直接贴代码：

import requests
import re
from pyquery import PyQuery as pq
import json
import urllib
from urllib import error

def get_one_page(url):
    headers = {
    'Cookie': 'uuid_n_v=v1; uuid=6266F950913511E8BAE959978C7B0D0473005491BEDE4F03918D808909FBCD63; _csrf=ac998ee17cc0a0a19ead8ae7bad340ccd342180e2588ba8b326ee6d6b4deac25; _lxsdk_cuid=164d92c0d5a25-0e046d8f7973c-16386952-100200-164d92c0d5bc8; _lxsdk=6266F950913511E8BAE959978C7B0D0473005491BEDE4F03918D808909FBCD63; __mta=152329862.1532651901646.1532653173231.1532653961468.14; _lxsdk_s=164d92c0d5c-908-59-aa6%7C%7C56',
    'Host': 'maoyan.com',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    }
    proxies = {
        "http": "http://username:password@url:port",
        "https": "http://username:password@url:port",
    }
    try:
        response = requests.get(url,headers=headers,proxies=proxies)
        return response.text
    except error.HTTPError as err:
        print(err.reason, err.code, err.headers, sep='\n')
        return None
    except urllib.error.URLError as err:
        print(err.reason)
        return None

def parse_one_page(html):
    doc = pq(html)
    items = doc('dd').items()
    for item in items:
        yield{
            '排名': item.find('.board-index').text(),
            '电影': item.find('.image-link').attr('title'),
            '海报链接': item.find('.image-link .board-img').attr('data-src'),
            # 添加条件判断语句，增加程序的健壮性，只有当长度大于3时才从第三个开始获取
            '演员': item.find('.movie-item-info').find('p.star').text()[3:] if len(item.find('.movie-item-info').find('p.star').text())>3 else '',
            # 添加条件判断语句，增加程序的健壮性，只有当长度大于5时才能获取上映时间
            '上映时间': item.find('.movie-item-info').find('p.releasetime').text()[5:15] if len(item.find('.movie-item-info').find('p.star').text())>5 else '',
            # 通过正则表达式获取括号()里的字符串，且添加条件判断语句只有匹配到了才获取其中的字符串，
            '上映地点': re.findall(r'\((.*?)\)',item.find('.movie-item-info').find('p.releasetime').text(),re.S)[0] if len(re.findall(r'\((.*?)\)',item.find('.movie-item-info').find('p.releasetime').text(),re.S))>0 else '',
            # 将原有的字符串变成数字,将评分前半段去掉点号，小数位除以10
            '猫眼评分': int(item.find('p.score i.integer').text().strip('.'))+int(item.find('p.score i.fraction').text())/10
        }
def write_to_json(content):
    #content 参数就是一部电影的提取结果，是一个字典。
    with open('maoyan_pyquery.txt', 'a', encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False) + '\n')

def single_page(offset):
    url = 'http://maoyan.com/board/4?offset='+str(offset*10)
    html = get_one_page(url)
    for item in parse_one_page(html):
        print(item)
        write_to_json(item)

if __name__ == '__main__':
    for page in range(10):
        single_page(page)