让爬虫像人一样打卡工作,工作还得有快有慢,wtf,想了半天,写个装饰器算了,也顺便复习下装饰器,也能基本能满足需求:
其实也可以使用

1.轻量级的Python定时任务调度框架(APSchedule库
2.Linux的定时任务
3.文件数多,还要做监控和扩展之类的话,用 Flask 写一个服务,将 Apscheduler 和 Scrapyd 继承到服务中,这样就是一个完整的爬虫项目部署和调度管理平台了

联系我 | Contact with me

Copyright © 2019-2020 谁知你知我,我知你知深。此恨经年深,比情度日久

博客内容遵循 署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0) 协议