Django上传文件报错

解决 413 Request Entity Too Large(请求实体太大) 错误原因在于上传文件通过nginx是文件太大,导致报错; 通过设置: cd /etc/nginx vim nginx.conf 修改文件在http{}中添加client_max_body_size 50m;

uwsgi部署错误

*** WARNING: Can't find section "uwsgi" in INI configuration file uwsgi.ini *** 原因在于: 1.uwsgi.ini配置文件没有[uwsgi]开头配置提示 2.有[uwsgi]开头配置提示,但是后

chromdriver安装

windows10 1、 win10使用selenium进行自动化采集的时候,程序报下面的错误,如何解决这样的问题,下面有详细的步骤介绍在win10和ubuntuhn上遇到这个问题的方法: Selenium是一个用于测试网站的自动化测试工具,支持各种浏览器包括Chrome、Firefox、Safari等主流

django model 字段设置为空

补充知识:Django中models.py字段选项null和blank的区别和使用 1.null 如果null=True,数据库中空值储存为NULL,默认为False。 2.blank 如果blank=True,则允许字段为空。默认为False。 需要注意的是,这不同于null,null纯

influxdb+grafana搭建监控系统

监控系统的搭建是爬虫和数据统计中最为重要 的一个环节,对于维护爬虫和统计爬虫的数据是不可或缺的.我们通重都需要统计爬虫的采集及运行的一些数据,需要将数据存储到时间序列的数据库以及使用可视化的工具显示出来就可以观察当前的爬虫的运行的状态,还可以以时间序列记录采集的数据量。本篇博文以influxdb+grafana结合的方

gerapy部署定时任务采集资讯数据

由于业务需求,为丰富网站的资讯内容,选择了几个更新频率比较高的网站做定时任务的采集,这样的采集需求在日常的资讯新闻上面是比较多的,由于我们需要经常的发布一些行业资讯,但是人工作方式显然不能满足一个大的数据平台的需求量,因此我们需要寻找很多的行业相关的资讯平台网站,这类网站需要具有高度行业相关性及更新频率需要高,最好是日

CAS号验证算法编写及测试

     化学中有国际统一的命名标准,这个标准就是指定唯一的一个化学物质的名称,每个化学品都有中文名、英文名以及若干的别名,那么如何有效的准确的查找一个正确的化学品呢。CAS号就是唯一的标识,但是如何确保cas号的准确性,数据在传播的过程中难免出现一些错误,可能是人为的也可能是无意输错的。

scrapy如何接受外部传递的参数

        Scrapy作为爬虫框架的一哥,自然不是简简单单就能了解透彻他的。我们通常都是使用scrapy作为爬虫开发的首选框架。那么们通常都没有给它通过外部传递参数,都是在重写start_requests方法。以及使用分布式的方式接受传递的参数。好像重来没有在外部调用我们的

百度排名分析及采集

        百度国内最大的搜索引擎,基本上日常生活离不开,大家常说的有问题找'度娘',指的就是百度。百度现在的地位已经是无可撼动。很多公司花钱买竞价,做广告,做推广。换很多的时间做seo的优化工作。花大量的时间去查百度的排名。目的都是希望自己的产品或者推广被百