Scrapy + Redis 部署全攻略：必装软件与步骤详解

scrapy-redis是scrapy框架基于redis数据库的组件，用于scrapy项目的分布式开发和部署。它能够启动多个spider工程，相互之间共享单个的requests队列，最适合广泛的多个域名内容的抓取。那么，scrapy-redis到底需要怎样部署呢？又分别需要安装什么软件呢？下面，我们就来详细解答这些问题。

scrapy-redis部署前的准备工作

在正式部署scrapy-redis之前，我们需要进行一些必要的准备工作，包括安装所需的软件、配置环境等。

1. 安装Python

scrapy-redis是一个Python库，所以首先需要在系统中安装Python。可以从Python的官方网站下载并安装最新版本的Python。

2. 安装Redis

Redis是scrapy-redis的基础，用于存储共享的请求队列和去重数据。你可以根据自己的操作系统选择相应的安装方式。

在CentOS上安装Redis：

1. 运行命令 `sudo yum install -y redis` 来安装Redis。

2. 修改配置文件 `/etc/redis.conf`，将 `protected-mode` 设置为 `no`（否则在不设置密码的情况下远程无法连接Redis）。

3. 重启Redis服务：`sudo systemctl restart redis`。

4. 关闭防火墙（如果需要远程访问）：`sudo systemctl stop firewalld.service`。

在Windows上安装Redis：

1. 下载Redis的Windows版本，并解压到指定目录。

2. 运行 `redis-server.exe` 启动Redis服务。

3. 安装Scrapy

Scrapy是一个强大的网络爬虫框架，scrapy-redis需要基于Scrapy进行部署。可以通过pip安装Scrapy：

```bash

pip install scrapy

```

scrapy-redis的部署步骤

完成准备工作后，我们可以开始部署scrapy-redis。

1. 安装scrapy-redis

首先，通过pip安装scrapy-redis：

```bash

pip install scrapy-redis

```

2. 准备爬虫项目

确保你有一个没有BUG、没有报错的Scrapy爬虫项目。如果没有，可以通过以下命令创建一个新的Scrapy项目：

```bash

scrapy startproject myproject

```

然后，创建一个新的爬虫文件：

```bash

scrapy genspider myspider www.example.com

```

3. 配置Scrapy项目

修改Scrapy项目的配置文件 `settings.py`，添加scrapy-redis相关的配置。

配置Redis连接：

```python

REDIS_HOST = '127.0.0.1' Redis服务器地址

REDIS_PORT = 6379 Redis服务器端口

```

启用scrapy-redis的去重组件和调度器：

```python

DUPEFILTER_CLASS = "scrapy-redis.dupefilter.RFPDupeFilter"

SCHEDULER = "scrapy_redis.scheduler.Scheduler"

SCHEDULER_PERSIST = True

```

启用RedisPipeline：

```python

ITEM_PIPELINE = {

'scrapy_redis.pipeline.RedisPipeline': 100,

```

4. 修改爬虫文件

接下来，我们需要修改爬虫文件，使其支持scrapy-redis。

引入RedisSpider：

将爬虫文件中的继承类从 `scrapy.Spider` 改为 `scrapy_redis.spider.RedisSpider`。

删除start_urls，添加redis_key：

将 `start_urls` 注释掉，并添加一个 `redis_key`，用于指定从Redis中读取的初始URL列表的键。

例如：

```python

from scrapy_redis.spiders import RedisSpider

class ExampleSpider(RedisSpider):

name = 'myspider'

redis_key = 'test_key' Redis中的键，对应的值是一个URL列表

allowed_domains = ['www.example.com']

def parse(self, response):

你的解析代码

pass

```

5. 启动Redis客户端并添加URL

在Redis客户端中，使用 `rpush` 命令将初始URL添加到对应的键中。

```bash

redis-cli -h 127.0.0.1 -p 6379

rpush test_key http://test.com

```

6. 运行爬虫

最后，通过Scrapy的命令运行爬虫：

```bash

scrapy runspider myspider.py

```

此时，Scrapy爬虫将会从Redis中读取URL列表，并进行抓取。

分布式部署

如果你希望进行分布式部署，即在多台服务器上运行同一个爬虫项目，可以通过以下步骤实现：

1. 配置Redis主服务器：

确保所有爬虫服务器都能够访问同一个Redis主服务器。

2. 拷贝项目：

将爬虫项目拷贝到多台服务器上。

3. 启动爬虫：

在所有服务器上启动爬虫项目。

4. 添加URL：

在Redis客户端中，使用 `lpush` 命令将需要抓取的URL添加到对应的键中。

所有爬虫服务器将会从Redis中读取URL，并进行抓取，从而实现分布式爬虫。

常见问题及解决方案

1. Redis连接失败：

确保Redis服务已经启动。

检查Redis服务器的地址和端口是否正确。

如果是在远程服务器上，确保防火墙已经开放相应的端口。

2. 爬虫未运行：

检查Redis客户端中是否已经添加了初始URL。

检查 `settings.py` 中的配置是否正确。

查看Scrapy的日志输出，排查错误信息。

3. 数据未写入MySQL：

确保MySQL服务已经启动，并且允许远程连接。

检查MySQL的连接配置是否正确。

查看pipeline文件中的代码，确保数据写入逻辑正确。

通过以上步骤，你应该能够成功部署scrapy-redis，并实现分布式爬虫。如果在实际操作中遇到问题，可以参考官方文档或搜索相关解决方案。scrapy-redis强大的分布式抓取能力，将极大地提升你的爬虫效率。