CrawlSpace爬虫部署框架介绍
发布时间丨2022-10-16 17:27:48作者丨zhaomeng浏览丨41
全新的爬虫部署框架，为了适应工作的爬虫部署的使用，需要自己开发一个在线编写爬虫及部署爬虫的框架，框架采用的是Django2.2+bootstap依赖scrapyd开发的全新通用爬虫在线编辑部署及scrapy项目的部署框架。项目实现的五大块的功能及许多在维护爬虫的过程中用的许多实用的操作功能。
首页通用爬虫的模块编写采集全站的数据：
爬虫项目的运行列表
日志结果查看
定时任务列表
任务配置查看
主机信息列表
主机创建
项目打包及部署
项目调度
定时任务设置
scrapy项目在线编辑
节点可视化监控，支持在线检测主机状态并提示功能
通用爬虫月度数据源可视化统计
以上就是crawlspace的全部功能，相比其他的部署，这个部署框架更加的便于维护爬虫项目，操作更加灵活方便，交互更加便捷舒适，功能更加完善，信息的显示更加清晰，同时支持手机端在线操作！