将Apache日志实时写入mysql
admin 12年前 (2013-04-28) 3165浏览 0评论
作为网站运行来说,日志分析是一个很重要的工作。当一个网站的日志到了一定程度,或者一个网站同时有多台服务器的时候,传统的文本日志分析总会遇到瓶颈。 这个时候我就会想起强大的sql语句。看了网上很多人的帖子,都是将日志转成sql语句再导入的,搞得有点复杂...
admin 12年前 (2013-04-28) 3165浏览 0评论
作为网站运行来说,日志分析是一个很重要的工作。当一个网站的日志到了一定程度,或者一个网站同时有多台服务器的时候,传统的文本日志分析总会遇到瓶颈。 这个时候我就会想起强大的sql语句。看了网上很多人的帖子,都是将日志转成sql语句再导入的,搞得有点复杂...
admin 12年前 (2013-04-28) 3241浏览 0评论
## ##****************************************************************************** ## NAME: SendMail ## PURPOSE: ## ## REVIS...
admin 12年前 (2013-04-28) 2927浏览 0评论
这些天有个项目是需要一部分Android开发。本想去官网看文档,众所周知的原因,官网无法连接。下载了本地的文件,由于是做的整站镜像,搜索功能无法正常使用,这对于经常要使用此功能的我来说很是麻烦。于是想到了把文件上传到GAE,再利用Google的本地功...
admin 12年前 (2013-04-28) 3347浏览 0评论
服务器每天都有这样那样的信息需要实时推送。最初一直是Mail,最容易实现,成本也低。后来有了短信接口,就有了相对实时但要花钱的方式推送。 知道GAE可以直接跟gtalk挂钩推送消息,可能一直挂Gtalk的人远没有挂QQ和MSN的多(密之声:Gtalk...
admin 12年前 (2013-04-28) 2762浏览 0评论
作为Java和python这类相对设计比较完善的解释型语言而言,总有很严密的垃圾回收机制用以防止资源被浪费甚至内存溢出之类的问题。起先我始终认为这会大大提升系统的性能,然而这次碰上了悖论。 刚过完春节,春节前,考虑到会有很多人发送贺卡,邮件系统的压力...
admin 12年前 (2013-04-28) 5898浏览 0评论
之前接触到的基于LAMP平台的网站,凡是稍微有一点量上去的,在数据结构的设计上总是离不开“拆库拆表”。同样,作为网站的数据结构设计,很少会出现类似ERP系统才会应用到的函数(function)、存储过程(procudce)、触发器(trigger)什...
admin 12年前 (2013-04-28) 2780浏览 0评论
挖掘一个很久之前的设想,06年的,之前的想法是用tmpfs,tmpfs是RAM和磁盘swap的混杂机制,大部分的情况是优先使用内存空间,尽管本质上是非持久存储,但性能上远不是磁盘甚至固态硬盘所能企及的。而且现在是内存空前便宜的时代,类似的方案例如me...
admin 12年前 (2013-04-28) 3410浏览 0评论
都说Android手机的耗电和发热是与生俱来的,作为一个Android用户,我也深受其苦。于是刷了一个非官方的固件——Cyanogenmod。既然说是非官固件,总有特别的地方,在省电和性能的均衡方面,CM特地的设置了一个“调速器”的选项。Androi...
admin 12年前 (2013-04-28) 3302浏览 0评论
公司项目中需要使用长链接方式的获取后端数据库——主要是Redis的实时数据。 由于项目本身是PHP的初次看到这个项目,首先想到的是Apache + mod_php的方式,配合php的ob_start()方式直接调用,就如同我之前的一篇东西所说的那样。...
admin 12年前 (2013-04-28) 2859浏览 0评论
上次提到过Ubuntu上Coreseek+php的安装的安装一文,我个人建议Coreseek最好采用Python作为数据源,相对灵活性很大。这次我就分享一下我写的一个CoreSeek的Python数据源基类。 这个基类的优势在于特别是对于“分库分表”...
admin 12年前 (2013-04-27) 3358浏览 0评论
Coreseek是一个基于sphinx引擎,支持与mmseg中文分词模块合作完成中文的全文搜索引擎。相对sql这类操作,Coreseek负载可谓是微不足道。当然类似的索引服务器还有给予Java的solr等。我选择coreseek的主要原因之一是他可以...
admin 12年前 (2013-04-26) 3365浏览 0评论
C重构,C重构,看的已经有点郁闷了!这次打算收尾了,将几种方法的性能做个横向比较吧,近期不再研究。 相关文章: Cython快速实现Python的C重构 无须coding快速实现Python的C重构 老一套的python源码: def sheepBo...
admin 12年前 (2013-04-26) 3432浏览 0评论
正如之前说的,很多情况下我们需要对代码中的部分甚至于全部进行基于C语言的重构以大幅提升性能。对于很多团队来说,由于C语言过于复杂,很难像Python,PHP或者其他高级语言那样快速上手。本文就着重介绍如何通过现有的资源,快速的将python转成C而尽...
admin 12年前 (2013-04-26) 4352浏览 0评论
说起Python,首先想到的他是一种“胶水语言”。作为一种合格的胶水语言,比起开发的难易程度或者开发效率来讲,语言的适应性和可扩充性同样很重要。python的一大特色是有许多方便灵活的扩展模块。 对于上次我们曾经说过ctypes的方式可能对于已经存在...
admin 12年前 (2013-04-26) 3523浏览 0评论
记得在zipsite项目中,对于文本文件本身就没有序列化的问题,但对于富媒体文件的序列化,我采用的方法是pickle。后来我忽然觉得使用pickle是可以实现简单的分布任务处理的。 废话不表,上代码: 首先是一个“有限事务机”,讲白一点就是所有的任务...
admin 12年前 (2013-04-26) 2857浏览 0评论
评价一个网站的“大小”,处于视角的不同,有很多种衡量的方法,类似文章数,页面数之类的数据非常明显,也没有什么可以争议的。但对于并发来说,争议非常之多,这里就从一个技术的角度开始,谈谈几个Web网站的数量级。 相信很多人谈论一个网站的热度,总免不了会询...
admin 12年前 (2013-04-26) 2722浏览 0评论
这次算不上什么技巧分享,只是在碰到了一个bug之后整理的东西,希望各位在看过之后不会在犯同样的错误。 首先,还是用同为解释型语言的PHP开刀: php > $a = array(1,2,3); php > $b = array($a,$a...
admin 12年前 (2013-04-26) 3106浏览 0评论
class x(object): __se = None a = None def __new__(cls): if cls.__se is None: cls.__se = super(x, cls).__new__(cls) return cls...