mysql日志通过python发送到rsyslog
admin 12年前 (2013-08-19) 4852浏览 0评论
之前是用mysql数据库来保存用户的访问日志,现在已经超过2亿了,速度非常慢,还分了三张表,所以要换一种记录日志的方式。现在暂时没有时间做数据挖掘,要做的只是把日志先存起来。Sina介绍了一个不错的方案:直接用linux自带的rsyslog来做。用户...
admin 12年前 (2013-08-19) 4852浏览 0评论
之前是用mysql数据库来保存用户的访问日志,现在已经超过2亿了,速度非常慢,还分了三张表,所以要换一种记录日志的方式。现在暂时没有时间做数据挖掘,要做的只是把日志先存起来。Sina介绍了一个不错的方案:直接用linux自带的rsyslog来做。用户...
admin 12年前 (2013-05-14) 6068浏览 1评论
老大布置的任务,要分析一个5G大小的nginx log file,因为我的python也是刚学,所以摸索了很久,才实现了这个需求,废话不多话,简单粗暴,直接上代码! 功能介绍: 1、统计Top 100 访问次数最多的ip,并显示地理位置信息!这个是用...
admin 12年前 (2013-04-28) 3166浏览 0评论
作为网站运行来说,日志分析是一个很重要的工作。当一个网站的日志到了一定程度,或者一个网站同时有多台服务器的时候,传统的文本日志分析总会遇到瓶颈。 这个时候我就会想起强大的sql语句。看了网上很多人的帖子,都是将日志转成sql语句再导入的,搞得有点复杂...
admin 12年前 (2013-04-16) 2616浏览 0评论
mysql slow log 是用来记录执行时间较长(超过long_query_time秒)的sql的一种日志工具. 启用 slow log 有两种启用方式: 1, 在my.cnf 里 通过 log-slow-queries[=file_name] ...
admin 12年前 (2013-04-12) 3092浏览 0评论
原文参考:http://www.davidodwyer.com/category/tags/tcpdump-mysql #!/bin/bash tcpdump -i eth0 -s 0 -l -w – dst port 3306 | strings ...