3.6 Python操作Redis

Redis也是一种非关系型数据库，Redis服务器通常被称为数据结构服务器，因为值（value）可以是 字符串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型 。

使用Redis需要对数据结构有个初步认识，比如：

• String: 字符串

• Hash: 散列

• List: 列表

• Set: 集合

• Sorted Set: 有序集合

与pymysql一样，redis库也只提供了与原始redis一致的SQL命令来操作数据库，所以要使用好redis数据库，还需要了解如何直接操作redis数据库。

Redis的基本教程与Python操作教程可以在如下地址找到。

• Redis基本概念与教程

• Python操作Redis

基于此教程做了一下最简单的实验，代码与解释如下。

from redis import StrictRedis,ConnectionPool

# 1.连接数据库
# 连接redis本地数据库，选择db1
redis0 = StrictRedis(host='localhost',port=6379,db=1)

# 使用ConnectionPool方法连接数据库,选择数据库db0
url = 'redis://:@localhost:6379/0'
pool = ConnectionPool.from_url(url)
redis1 = StrictRedis(connection_pool=pool)

# 2. 操作字符串 String
redis0.set('name_test_string','MarcoMei')
# 读取字符串key值
print(redis0.get('name_test_string'))

# 3. 操作列表List
# 尾部插入列表数据
redis0.rpush('score_test_list',1,2,3)
# 头部插入列表数据
redis0.lpush('score_test_list',4,5,6)

# 4. 操作集合Set
# 向名为tag_test_set的集合中添加多个内容：Book, Tea, Coffee
redis0.sadd('tag_test_set','Book','Tea','Coffee')
# 查看集合tag_test_set的内容
print(redis0.smembers('tag_test_set'))

# 5. 操作有序集合Sorted Set
redis0.zadd('grade_test_sorted',100,'Marco',99,'Kevin')

# 6. 操作哈希Hash：即是一个Hash表的键值对数据结构
# 添加一对一关系数据结构, cake: 5
redis0.hset('price_test_hash1', 'cake', 5)
redis0.hget('price_test_hash1','cake')
# 添加多个键值对的数据结构,
redis0.hmset('price_test_hash2', {'cake': 5,'price':20,'weight':'big','name':'for_marco'} )

用例

应用库：Requests发起请求获取响应数据, PyQuery解析响应数据获得想要的数据, pymongo保存数据到MongoDB数据库

import requests
import re
from pyquery import PyQuery as pq
import json
import urllib
from urllib import error
from redis import StrictRedis

# 1.连接数据库
# 连接redis本地数据库，选择db2
redis = StrictRedis(host='localhost',port=6379,db=2)

def get_one_page(url):
    headers = {
    'Cookie': 'uuid_n_v=v1; uuid=6266F950913511E8BAE959978C7B0D0473005491BEDE4F03918D808909FBCD63; _csrf=ac998ee17cc0a0a19ead8ae7bad340ccd342180e2588ba8b326ee6d6b4deac25; _lxsdk_cuid=164d92c0d5a25-0e046d8f7973c-16386952-100200-164d92c0d5bc8; _lxsdk=6266F950913511E8BAE959978C7B0D0473005491BEDE4F03918D808909FBCD63; __mta=152329862.1532651901646.1532653173231.1532653961468.14; _lxsdk_s=164d92c0d5c-908-59-aa6%7C%7C56',
    'Host': 'maoyan.com',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    }
    proxies = {
        "http": "http://username:passowrd@host:port",
        "https": "http://username:passowrd@host:port",
    }
    try:
        response = requests.get(url,headers=headers)
        return response.text
    except error.HTTPError as err:
        print(err.reason, err.code, err.headers, sep='\n')
        return None
    except urllib.error.URLError as err:
        print(err.reason)
        return None

def parse_one_page(html):
    doc = pq(html)
    items = doc('dd').items()
    for item in items:
        yield{
            '排名': item.find('.board-index').text(),
            '电影': item.find('.image-link').attr('title'),
            '海报链接': item.find('.image-link .board-img').attr('data-src'),
            # 添加条件判断语句，增加程序的健壮性，只有当长度大于3时才从第三个开始获取
            '演员': item.find('.movie-item-info').find('p.star').text()[3:] if len(item.find('.movie-item-info').find('p.star').text())>3 else '',
            # 添加条件判断语句，增加程序的健壮性，只有当长度大于5时才能获取上映时间
            '上映时间': item.find('.movie-item-info').find('p.releasetime').text()[5:15] if len(item.find('.movie-item-info').find('p.star').text())>5 else '',
            # 通过正则表达式获取括号()里的字符串，且添加条件判断语句只有匹配到了才获取其中的字符串，
            '上映地点': re.findall(r'\((.*?)\)',item.find('.movie-item-info').find('p.releasetime').text(),re.S)[0] if len(re.findall(r'\((.*?)\)',item.find('.movie-item-info').find('p.releasetime').text(),re.S))>0 else '',
            # 将原有的字符串变成数字,将评分前半段去掉点号，小数位除以10
            '猫眼评分': int(item.find('p.score i.integer').text().strip('.'))+int(item.find('p.score i.fraction').text())/10
        }

# def save_to_redis(data):
#     # data就是一个json对象数据
#     redis.hmset('maoyan_leaderboard', data )

def single_page(offset):
    url = 'http://maoyan.com/board/4?offset='+str(offset*10)
    html = get_one_page(url)
    for item in parse_one_page(html):
        print(item)
        # item是一个类似于json对象数据，将数据存入redis的hash数据结构maoyan_leaderboard1，maoyan_leaderboard2为key值，item为value值
        redis.hmset('maoyan_leaderboard{}'.format(item['排名']),item)

if __name__ == '__main__':
    for page in range(10):
        single_page(page)