标签：日志

admin 11年前 (2014-07-23) 2665浏览 0评论

在我的上一篇游记中多次提到一个关键的信息图书馆——Binary Log。很多读者都给我来信询问它的详细介绍。希望通过讲述我认识的binary log，满足大家的好奇心。 我曾经提到过，在准备好迁往slave从库以后，首先需要到master的binar...

admin 11年前 (2014-07-21) 3589浏览 0评论

nginx的日志配置可以参见《nginx日志配置》一文。如果要想以json格式记录nginx日志以便logstash分析，该如何指定日志格式呢？可以按照下面的格式来实现。 定义nginx日志格式： log_format logstash_json &...

admin 11年前 (2014-07-21) 2779浏览 0评论

日志对于统计排错来说非常有利的。本文总结了nginx日志相关的配置如access_log、log_format、open_log_file_cache、log_not_found、log_subrequest、rewrite_log、error_lo...

admin 11年前 (2014-07-17) 3856浏览 0评论

基于主机的管理一般需要收集服务器的日志信息用于及时发现错误，处理故障。 搭建linux下的集中日志服务器的程序一般可以用syslog,rsyslog,syslog-ng,还有scribe和fluentd等。 基本每一种方式都是服务器端和客户端的模式。...

admin 11年前 (2014-07-16) 3897浏览 0评论

里面的部分日志重定向呢？ 目的就是想把下面的日志屏蔽掉；（或者把下面的日志重定向到其他文件夹也可以） Nov 27 16:21:41 localhost snmpd[3347]: Connection from UDP: [192.168.0.1]:...

admin 11年前 (2014-06-26) 3337浏览 0评论

今天碰到同步出错提示： 引用 140614 14:33:02 [Note] Slave I/O thread killed while reading event 140614 14:33:02 [Note] Slave I/O thread exi...

admin 11年前 (2014-06-17) 10455浏览 0评论

有时候nginx运行很正常，但是会发现错误日志中依旧有报错connect() failed (111: Connection refused) while connecting to upstream. 一般情况下我们的upstream都是fastc...

admin 11年前 (2014-06-10) 4212浏览 0评论

楼主最近刚刚接触python，还是个小菜鸟，没有学习python之前可以说楼主的shell已经算是可以了，但用shell很多东西实现起来还是不可能的事情，例如最明显的一点大日志分析，由于楼主的公司，每天的日志量很大，用shell分析的会非常非常的慢。...

admin 11年前 (2014-04-11) 2913浏览 0评论

连续碰到两个同学问类似的问题，必须要记录一下。   问题：     一个作解析binlog应用的同学发现不论用utf8还是gbk来解析binlog都可能会碰到无法解析的语句，因为有些用户会用utf8，有些用gbk。尤其在处理Query类型的...

admin 11年前 (2014-03-21) 3091浏览 0评论

1. 背景介绍   许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； （2...

admin 11年前 (2014-03-05) 2986浏览 0评论

GoAccess 是一款开源的网站日志实时分析工具。GoAccess 的工作方式很容易理解，就是读取和解析 Apache/Nginx/Lighttpd 的访问日志文件 access log，然后以更友好的方式把统计信息显示出来。统计的内容包括：访问概...

admin 11年前 (2013-08-19) 4842浏览 0评论

之前是用mysql数据库来保存用户的访问日志，现在已经超过2亿了，速度非常慢，还分了三张表，所以要换一种记录日志的方式。现在暂时没有时间做数据挖掘，要做的只是把日志先存起来。Sina介绍了一个不错的方案：直接用linux自带的rsyslog来做。用户...

admin 12年前 (2013-05-14) 6057浏览 1评论

老大布置的任务，要分析一个5G大小的nginx log file，因为我的python也是刚学，所以摸索了很久，才实现了这个需求，废话不多话，简单粗暴，直接上代码！ 功能介绍： 1、统计Top 100 访问次数最多的ip，并显示地理位置信息！这个是用...

admin 12年前 (2013-04-28) 3153浏览 0评论

作为网站运行来说，日志分析是一个很重要的工作。当一个网站的日志到了一定程度，或者一个网站同时有多台服务器的时候，传统的文本日志分析总会遇到瓶颈。 这个时候我就会想起强大的sql语句。看了网上很多人的帖子，都是将日志转成sql语句再导入的，搞得有点复杂...

admin 12年前 (2013-04-16) 2603浏览 0评论

mysql slow log 是用来记录执行时间较长(超过long_query_time秒)的sql的一种日志工具. 启用 slow log 有两种启用方式: 1, 在my.cnf 里 通过 log-slow-queries[=file_name] ...

admin 12年前 (2013-04-12) 3079浏览 0评论

原文参考：http://www.davidodwyer.com/category/tags/tcpdump-mysql #!/bin/bash tcpdump -i eth0 -s 0 -l -w – dst port 3306 | strings ...

admin 12年前 (2013-03-10) 4453浏览 0评论

提到web服务器就不得不说nginx。这款由俄罗斯人开发的小巧的web服务软件近几年来风靡大江南北；成为许多草根站长建设网站的首选。但由于历史原因，nginx在日志分析工具相较于传统的apache、lighthttp等要匮乏的多。 笔者今天在这里为各...

admin 12年前 (2012-12-19) 2826浏览 0评论

1. 背景介绍 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； （2） 支持近实时...