web扫描爬虫优化
admin 10年前 (2014-12-25) 2933浏览 0评论
0x01 需求背景 公司要弄自动化的扫描工具,目前市面上的工具都无法针对业务进行检测,所以只能自己开发。辣么,就有个问题,爬虫需要自己去写。。。 之前自己也写过相关的爬虫,但是要么是半成品,要么就是垃圾代码…很多都无法直接引用,所以,在强大的KPI考...
admin 10年前 (2014-12-25) 2933浏览 0评论
0x01 需求背景 公司要弄自动化的扫描工具,目前市面上的工具都无法针对业务进行检测,所以只能自己开发。辣么,就有个问题,爬虫需要自己去写。。。 之前自己也写过相关的爬虫,但是要么是半成品,要么就是垃圾代码…很多都无法直接引用,所以,在强大的KPI考...
admin 10年前 (2014-11-21) 4452浏览 0评论
背景:大文件的断点续传,有时网络波动啥的,需要断点从已经下载位置续传下载文件,对于没有传过的文件再次从开始下载就麻烦了,这块http协议支持的,Apache和Nginx都支持这样的方法实现了从某个部分进行断点下载。 服务器是否支持断点续传的判断: 更...
admin 10年前 (2014-08-11) 8237浏览 0评论
python是一门有趣的语言,当然也可以做一些有趣的东西. 先看看这个最简单的web服务器. import SimpleHTTPServerSimpleHTTPServer.test() 当然,这个server只能在loc...
admin 10年前 (2014-07-23) 2954浏览 0评论
1 背景介绍 1.1 接口 web ui接口是服务器与客户端交互的方式,即浏览器或者其他客户端工具与web服务UI层交互的协议.常见的有两大类,一是浏览器与服务器交互的 HTTP,HTTPS协议的接口,另一类web service接口如soa...
admin 11年前 (2014-07-16) 3176浏览 0评论
随着 高性能 Web 服务器大量被使用,目前 最新稳定版为Nginx-1.4.7.tar.gz 张宴兄在实际应用中大量使用 ,并分享 高性能 Web 服务器知识,使得 在国内也是飞速的发展。 那今天咱们再来温习一下 Nginx 动静分离知识,这里仅供...
admin 11年前 (2014-06-26) 5875浏览 0评论
测了一下django、flask、bottle、tornado 框架本身最简单的性能。对django的性能完全无语了。 django、flask、bottle 均使用gunicorn+gevent启动,单进程,并且关闭DEBUG,请求均只返回一个字符...
admin 11年前 (2014-02-17) 8394浏览 0评论
下载安装 wrk [root@aikaiyuan ~]# git clone https://github.com/wg/wrk.git Initialized empty Git repository in /root/wrk/.git/ remo...
admin 11年前 (2014-02-17) 3680浏览 0评论
CDN的使用在Yahoo! Web性能规则上排第二条,面临着地域性的网络差异,CDN已成为提高网站性能的首选利器;不幸的是,虽然CDN已经过多年发展,但是在国内中小网站上仍然很少被使用,国内开发者的CDN设计经验更是少之又少。近日,我们有幸邀请到国内...
admin 11年前 (2014-02-13) 5112浏览 0评论
功能描述: 处在黑名单中的ip与网络,将无法访问web服务。 处在白名单中的ip,访问web服务时,将不受nginx所有安全模块的限制。 支持动态黑名单(需要与ngx_http_limit_req 配合) 具体详见下面的说明 文件配置方法说明 一、定...
admin 11年前 (2013-11-15) 3246浏览 0评论
作为新(网络)时代的编程语言,go本身就具备了web开发的特性,也就是你不需要框架就可以开始写web程序,这比用Python实现更容易。(可以看下之前写的: Python无框架开发网站 。 一个完整的网站项目无外乎这几个东西:数据库,页面模板,程序逻...
admin 11年前 (2013-10-22) 3241浏览 0评论
安装步骤: 一、获取开源相关程序: 1、利用CentOS Linux系统自带的yum命令安装、升级所需的程序库: sudo -s LANG=C yum -y install gcc gcc-c++ autoconf libjpeg libjpeg-d...
admin 11年前 (2013-08-29) 3325浏览 0评论
网站数据统计分析工具是网站站长和运营人员经常使用的一种工具,比较常用的有谷歌分析、百度统计和腾讯分析等等。所有这些统计分析工具的第一步都是网站访问数据的收集。目前主流的数据收集方式基本都是基于javascript的。本文将简要分析这种数据收集的原理,...
admin 12年前 (2013-07-16) 3009浏览 0评论
最近看到centos 6.4网络底层变化了不少的东西,建议做web业务的,尤其是做CDN业务系统建议都升级到centos 6.4的版本,下面我说说升级的理由 在这里我主要说明一下,centos 6.4的内核层面针对tcp协议优化了哪些东西,主要的还是...
admin 12年前 (2013-07-16) 3096浏览 0评论
web站点当中很多都有用户上传文件的需求,处理这种需求最简单的方法采用客户端通过post表单,服务器端通过动态页面去处理该post表单把文件保存起来,保存在服务器端。这也是目前大部分站点采用的一种架构。该架构存在以下几个问题点: 1.有可能同一个文件...
admin 12年前 (2013-06-28) 2982浏览 0评论
Django settings 文件包含你的 Django 安装的所有配置信息.本文档解释了 settings 如何工作及共有哪些选项可用. 基本设置 一个 settings 文件就是一个拥有一些模块级变量的 Python 模块. 下面是几个 set...
admin 12年前 (2013-06-09) 3087浏览 0评论
一般来说,网站可以用域名和IP来访问。你的网站可以通过IP直接访问,本来这没什么问题,但是会有些隐患: 由于搜索引擎也会收录你的IP地址的页面,所以同一个页面搜索引擎会重复收录,造成页面的权重不如单个收录高。 域名恶意指向的可能。还记得去年还是前年的...
admin 12年前 (2013-05-27) 2975浏览 0评论
Web优化已经越趋成熟,不再那么扑朔迷离。在这里,我们跟据一些优化实践准则应用于perfgeeks,并进行了记录。Pefgeeks的系统软环境是CentOS5.3 + Apache2.2.3 + WordPress2.9。优化的工作方式,一般都是:快...
admin 12年前 (2013-05-27) 2802浏览 0评论
展开“尽早刷新输出”话题之前,我们先来看看上图二个页面请求http瀑布图。第一个页面请求瀑布图,想必大家更常见到。即,直到index.php请求完毕之后,才开始请求a.js, b.js等资源。第二个页面改进了这种情况,没等index.php响应数据全...