(1)使用制作python爬虫
这篇文章足够带你学会如何制作爬虫:https://www.jianshu.com/p/486869f23959
(2)在linux搭建python环境,可以查看我搭建环境的随笔
http://www.cnblogs.com/mituxiaogaoyang/p/8656414.html
(3)在独立的虚拟环境中使用pip安装对应的依赖包(例如:pip install pymysql)
(4)在对应的spider文件夹下创建cron.sh脚本,内容如下:
1 #! /bin/sh 2 PATH=$PATH:$HOME/.local/bin:$HOME/bin 3 export PATH="/home/python/.pyenv/bin:$PATH" 4 eval "$(pyenv init -)" 5 eval "$(pyenv virtualenv-init -)" 6 echo 'this is a new shell' 7 cd /home/python/zgc/projects/bdSpider/ 8 nohup scrapy crawl bd >> bd.log 2>&1 &
(5)设置定时启动,即加入执行以上shell脚本的定时任务
crontab -e
在弹出来的文件中写入以下代码:
*/1 * * * * /home/python/zgc/projects/bdSpider/cron.sh
保存并退出即可。
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:python3定时爬虫 - Python技术站