(1)使用制作python爬虫

这篇文章足够带你学会如何制作爬虫:https://www.jianshu.com/p/486869f23959

(2)在linux搭建python环境,可以查看我搭建环境的随笔

http://www.cnblogs.com/mituxiaogaoyang/p/8656414.html

(3)在独立的虚拟环境中使用pip安装对应的依赖包(例如:pip install pymysql)

(4)在对应的spider文件夹下创建cron.sh脚本,内容如下:

1 #! /bin/sh                                                                                                                                            
2 PATH=$PATH:$HOME/.local/bin:$HOME/bin
3 export PATH="/home/python/.pyenv/bin:$PATH"
4 eval "$(pyenv init -)"
5 eval "$(pyenv virtualenv-init -)"
6 echo 'this is a new shell'
7 cd /home/python/zgc/projects/bdSpider/
8 nohup scrapy crawl bd >> bd.log 2>&1 &

(5)设置定时启动,即加入执行以上shell脚本的定时任务

crontab -e

 在弹出来的文件中写入以下代码:

*/1 * * * * /home/python/zgc/projects/bdSpider/cron.sh

 保存并退出即可。