3.6 Python操作Redis
Redis也是一种非关系型数据库，Redis服务器通常被称为数据结构服务器，因为值（value）可以是 字符串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型 。
使用Redis需要对数据结构有个初步认识，比如：
String: 字符串
Hash: 散列
List: 列表
Set: 集合
Sorted Set: 有序集合
与pymysql一样，redis库也只提供了与原始redis一致的SQL命令来操作数据库，所以要使用好redis数据库，还需要了解如何直接操作redis数据库。
Redis的基本教程与Python操作教程可以在如下地址找到。
基于此教程做了一下最简单的实验，代码与解释如下。
from redis import StrictRedis,ConnectionPool
# 1.连接数据库
# 连接redis本地数据库，选择db1
redis0 = StrictRedis(host='localhost',port=6379,db=1)
# 使用ConnectionPool方法连接数据库,选择数据库db0
url = 'redis://:@localhost:6379/0'
pool = ConnectionPool.from_url(url)
redis1 = StrictRedis(connection_pool=pool)
# 2. 操作字符串 String
redis0.set('name_test_string','MarcoMei')
# 读取字符串key值
print(redis0.get('name_test_string'))
# 3. 操作列表List
# 尾部插入列表数据
redis0.rpush('score_test_list',1,2,3)
# 头部插入列表数据
redis0.lpush('score_test_list',4,5,6)
# 4. 操作集合Set
# 向名为tag_test_set的集合中添加多个内容：Book, Tea, Coffee
redis0.sadd('tag_test_set','Book','Tea','Coffee')
# 查看集合tag_test_set的内容
print(redis0.smembers('tag_test_set'))
# 5. 操作有序集合Sorted Set
redis0.zadd('grade_test_sorted',100,'Marco',99,'Kevin')
# 6. 操作哈希Hash：即是一个Hash表的键值对数据结构
# 添加一对一关系数据结构, cake: 5
redis0.hset('price_test_hash1', 'cake', 5)
redis0.hget('price_test_hash1','cake')
# 添加多个键值对的数据结构,
redis0.hmset('price_test_hash2', {'cake': 5,'price':20,'weight':'big','name':'for_marco'} )
用例
应用库：
Requests发起请求获取响应数据,PyQuery解析响应数据获得想要的数据,pymongo保存数据到MongoDB数据库
import requests
import re
from pyquery import PyQuery as pq
import json
import urllib
from urllib import error
from redis import StrictRedis
# 1.连接数据库
# 连接redis本地数据库，选择db2
redis = StrictRedis(host='localhost',port=6379,db=2)
def get_one_page(url):
headers = {
'Cookie': 'uuid_n_v=v1; uuid=6266F950913511E8BAE959978C7B0D0473005491BEDE4F03918D808909FBCD63; _csrf=ac998ee17cc0a0a19ead8ae7bad340ccd342180e2588ba8b326ee6d6b4deac25; _lxsdk_cuid=164d92c0d5a25-0e046d8f7973c-16386952-100200-164d92c0d5bc8; _lxsdk=6266F950913511E8BAE959978C7B0D0473005491BEDE4F03918D808909FBCD63; __mta=152329862.1532651901646.1532653173231.1532653961468.14; _lxsdk_s=164d92c0d5c-908-59-aa6%7C%7C56',
'Host': 'maoyan.com',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}
proxies = {
"http": "http://username:passowrd@host:port",
"https": "http://username:passowrd@host:port",
}
try:
response = requests.get(url,headers=headers)
return response.text
except error.HTTPError as err:
print(err.reason, err.code, err.headers, sep='\n')
return None
except urllib.error.URLError as err:
print(err.reason)
return None
def parse_one_page(html):
doc = pq(html)
items = doc('dd').items()
for item in items:
yield{
'排名': item.find('.board-index').text(),
'电影': item.find('.image-link').attr('title'),
'海报链接': item.find('.image-link .board-img').attr('data-src'),
# 添加条件判断语句，增加程序的健壮性，只有当长度大于3时才从第三个开始获取
'演员': item.find('.movie-item-info').find('p.star').text()[3:] if len(item.find('.movie-item-info').find('p.star').text())>3 else '',
# 添加条件判断语句，增加程序的健壮性，只有当长度大于5时才能获取上映时间
'上映时间': item.find('.movie-item-info').find('p.releasetime').text()[5:15] if len(item.find('.movie-item-info').find('p.star').text())>5 else '',
# 通过正则表达式获取括号()里的字符串，且添加条件判断语句只有匹配到了才获取其中的字符串，
'上映地点': re.findall(r'\((.*?)\)',item.find('.movie-item-info').find('p.releasetime').text(),re.S)[0] if len(re.findall(r'\((.*?)\)',item.find('.movie-item-info').find('p.releasetime').text(),re.S))>0 else '',
# 将原有的字符串变成数字,将评分前半段去掉点号，小数位除以10
'猫眼评分': int(item.find('p.score i.integer').text().strip('.'))+int(item.find('p.score i.fraction').text())/10
}
# def save_to_redis(data):
# # data就是一个json对象数据
# redis.hmset('maoyan_leaderboard', data )
def single_page(offset):
url = 'http://maoyan.com/board/4?offset='+str(offset*10)
html = get_one_page(url)
for item in parse_one_page(html):
print(item)
# item是一个类似于json对象数据，将数据存入redis的hash数据结构maoyan_leaderboard1，maoyan_leaderboard2为key值，item为value值
redis.hmset('maoyan_leaderboard{}'.format(item['排名']),item)
if __name__ == '__main__':
for page in range(10):
single_page(page)
Last updated