搭建 PySpider 爬虫服务

  • 2020 年 08 月 03 日
  • 119次
  • 393 字
  • 暂无评论

PySpider

介绍:PySpider
PySpider 是一个国人编写的强大的网络爬虫系统并带有强大的 WebUI。采用 Python 语言编写,分布式架构,支持多种数据库后端,强大的 WebUI 支持脚本编辑器,任务监视器,项目管理器以及结果查看器。

前置环境部署

yum 更新

yum update -y

安装开发编译工具

yum install gcc gcc-c++ -y

安装依赖库

yum install python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel -y

升级pip

pip install --upgrade pip

部署 mariadb

CentOS 7 中使用 mariadb 代替,安装 mariadb

yum install mariadb-server mariadb -y

启动 mariadb 服务

systemctl start mariadb

设置 root 密码,默认的root用户密码为空.

mysqladmin -u root password "这里设置为你要填写的密码"

检查是否安装成功,通过以下命令来连接到 Mysql 服务器

mysql -u root -p

部署 redis,下载、解压安装包,下载安装包

wget http://download.redis.io/redis-stable.tar.gz

解压安装包

tar -xzvf redis-stable.tar.gz

移动解压包到 /usr/local 内

mv redis-stable /usr/local/redis

编译安装

cd /usr/local/redis
make
make install

设置 redis 配置文件路径

mkdir -p /etc/redis
cp /usr/local/redis/redis.conf /etc/redis/redis.conf

修改 /etc/redis/redis.conf 文件的 daemonize 配置项为如下:

daemonize yes

启动 redis 服务

/usr/local/bin/redis-server /etc/redis/redis.conf

安装依赖

pip install --upgrade chardet
easy_install mysql-connector==2.1.3
easy_install redis
pip install Jinja2==2.10

安装 pyspider

pip install pyspider

配置 pyspider

首先创建配置目录,然后 /etc/pyspider 目录下创建 pyspider.conf.json,参考下面的内容。

mkdir /etc/pyspider
pyspider.conf.json
           ( "resultdb": "mysql+resultdb://root:HQSkIgoc@127.0.0.1:3306/resultdb",
             "message_queue": "redis://127.0.0.1:6379/db",
             "webui": {
             "username": "root",
             "password": "设置密码",
             "need-auth": true
      }
    }
)

其中 mysql 配置中的 root 为 mysql 的用户名, root: 后面的 "设置密码" 为数据库刚设置的密码。
webui 配置中的 username 及 password 为访问 WebUI 时候需要的用户名,也可以不设置用户名密码,直接将 need-auth 设为 false 即可。

启动服务

pyspider -c /etc/pyspider/pyspider.conf.json

如果一切正常,现在访问 http://你的服务器IP地址:5000,应该可以看到 pyspider dashboard 的首页了。
服务能够正常启动后,我们需要让它能够在后台运行,您可以通过以下命令让服务在后台运行

nohup pyspider -c /etc/pyspider/pyspider.conf.json 

到这里基本就是安装完成了。(手册来源于腾讯云)


版权属于:Mratos

本文链接:http://4ime.cn/9.html



—— 暂无评论 ——

OωO