影雀 个人的博客站点

爬虫JS逆向分析，之前有文章分析了js逆向网站的加密是参数，本次破解的是常见的一种对返回结果进行加密的JS逆向分析，本次破解的网站的初衷是在于我经常看到有说这家网站的，在爬虫界流传很久的，作为一名爬虫专业户来说，自然不会放过它，因此自己就写下本篇博文记录一下破解的过程。本文内容为原创，在此之前没有看到过有如此图文并茂的

爬虫分析常见的反爬虫的方式很多，但是比较有难度，有区分度的技术当属JS逆向分析的参数加密，或者数据加密。本篇博客记录的是博主本人在工作中实际碰到的请求POST参数进行了加密情况，使用的加密方式是base64的方式并且代码中还存在混淆代码的处理。以及反调试。这里的加密是对post请求进行的加密。详细记录本次的破解过程，毕

爬虫分析常见的反爬虫的方式很多，但是比较有难度，有区分度的技术当属JS逆向分析的参数加密，或者数据加密。本篇博客记录的是博主本人在工作中实际碰到的请求参数进行了加密情况，使用的加密方式是对称加密AES的方式（不知道AES是啥也不重要，毕竟我们是做爬虫的只要将最后的结果逆向还原出来，至于深入研究如何实现应该是做密码学的该

本片文章记录的是帮助农业专业的研究生做一篇关于中国农业政策的毕业发表论文，论文要求对之一是对每个省的农业政策进行词云图的实现，以便直观看出来每篇政策中的出现频率比较高的关键词，以便帮助她进行比较出不同及相同的一些特点。这里记录了使用中文分词对文章进行处理并分词，最后生成词云图。 1.安装  jieba

scrapyd是部署scrapy爬虫的服务器 1、部署需要的安装包 pip install scrapyd 这个是服务器 pip install scrapyd-client 这个是部署客户端 2、在windowns下部署     scrapyd安装好后在服务器端测试  &

1.什么是消息队列 消息队列一般可以作为数据缓存，在实际应用上用来存储经常需要交互的数据，以此提高访问数据的速度及提高网站的用户体验。 2.有哪些数据库是消息队列 redis、MQ、celery、mongodb等 3.为什么使用消息队列 在爬虫中使用消息队列可以开发分布式爬虫，也是分部式爬

场景;数据开发，需要大量ip,可以购买vps服务器。 vps服务器优点：是通过拨号上网，切换网卡，更换获取新的IP，对于大批量的数据采集来说，一旦网站被封，需要更换ip，考虑成本的问题，这时候的vps就是最佳的选择，价格几十块钱一个月，还是很便宜的。稳定性也是不错的。 vps服务的缺点：由于是拨号上网，所以

爬虫工程项目中使用最为广泛的就是代理IP，代理IP一般有两种，一种是找专门做IP代理的商家进行购买，这种一般用的比较方便，因为我们买了之后就可以直接使用提供的接口为我们获取代理IP了；另一种是VPS(据悉也有人称之为秒播的，第一次有人和我说秒播我竟然没明白是啥，不过不重要)，他的使用通常就是买一台远程主机，主机换IP就

服务器：阿里云 系统：ubuntu20 python：服务器自带 服务器在安全组中开启8001/8001端口 前期MySQL安装使用docker 可以使用Navicate可视化软件连接MySQL了！ 到这里需要创建数据库名称blog 进入到项目目录有manage.py的文件，运