Hadoop运维笔记 之 Namenode异常停止后无法正常启动
admin 10年前 (2014-12-25) 3416浏览 0评论
背景: 公司在线上使用了CDH5 HA模式,有两个Namenode节点,结果其中的Standby节点因为一些关于edits文件的报错异常停止了,并且在启动的过程中一直报告找不到各种文件。 刚开始怀疑问题可能只发生在Standby本身,因此尝试了boo...
admin 10年前 (2014-12-25) 3416浏览 0评论
背景: 公司在线上使用了CDH5 HA模式,有两个Namenode节点,结果其中的Standby节点因为一些关于edits文件的报错异常停止了,并且在启动的过程中一直报告找不到各种文件。 刚开始怀疑问题可能只发生在Standby本身,因此尝试了boo...
admin 10年前 (2014-12-25) 2933浏览 0评论
0x01 需求背景 公司要弄自动化的扫描工具,目前市面上的工具都无法针对业务进行检测,所以只能自己开发。辣么,就有个问题,爬虫需要自己去写。。。 之前自己也写过相关的爬虫,但是要么是半成品,要么就是垃圾代码…很多都无法直接引用,所以,在强大的KPI考...
admin 10年前 (2014-12-24) 4446浏览 0评论
一、简介 iptables是一个很强大的设置防火墙的工具,可以使用它来限制所有对本机的访问,允许特定的主机、特定的端口才能访问本机,还能设置那些协议能够访问本机。总之,很强大,也很简单。 二、filter chain原理简述 在开始之前,先看一下ip...
admin 10年前 (2014-12-22) 6279浏览 0评论
Dec 22 14:32:47 Clone kernel: serial8250: too much work for irq4 Dec 22 14:32:47 Clone kernel: serial8250: too much work for ...
admin 10年前 (2014-12-20) 2903浏览 0评论
说起 Profiler,老派的 PHP 程序员会选XDebug,新派的 PHP 程序员会选Xhprof,不过我们公司的服务器上都没装,于是我写了这个「Poor Man PHP Profiler」。 既然不用 XDebug 和 Xhprof,我们就要自...
admin 10年前 (2014-12-20) 3297浏览 0评论
其他重要参数说明 compress 通过gzip 压缩转储以后的日志 nocompress 不做gzip压缩处理 copytruncate 用于还在打开中的日志文件,把当前日志备份并截断;是先拷贝再清空的方式,拷贝和清空之间有一个时间差,可能会丢失部...
admin 10年前 (2014-12-20) 3605浏览 0评论
1. ulimit -S -c unlimited 2. 在apache主配置文件中增加一行:CoreDumpDirectory /var/apache_coredump #目录随意 3. chown修改/var/apache_coredump的权限...
admin 10年前 (2014-12-20) 5039浏览 0评论
前段时间处理了一个 case,现象很简单,同网络环境下的机器,绝大多数的机器都无法 curl 访问 example.com,仅有少部分的可以 curl 访问,并且他们的 mtr 的路径一模一样,机器的配置应该也有一样。 对比一下,可以访问的: $ c...
admin 10年前 (2014-12-19) 2977浏览 0评论
在计算机科学中,正则表达式用来描述或者匹配一系列符合某个句法规则的字符串的单个字符串。在WEB开发中,正则表达式通常用来检测、查找替换某些符合规则的字符串,如检测用户输入E-mai格式是否正确,采集符合规则的页面内容等等。 今天我将分别用PHP和Ja...
admin 10年前 (2014-12-17) 8459浏览 0评论
当我们 交换完 SSH 秘钥,又做完 sudo 设置 通过远程 ssh 调用 sudo 有提示 权限不够(Permission denied) 比如: [root@aikaiyuan /root]# ssh www.aikaiyuan.com -l ...
admin 10年前 (2014-12-10) 4073浏览 0评论
nginx 全局变量 – 孤剑 – 博客园 经常需要配置Nginx ,其中有许多以 $ 开头的变量,经常需要查阅nginx 所支持的变量。 可能是对 Ngixn资源不熟悉,干脆就直接读源码,分析出支持的变量。 Nginx支持的...
admin 10年前 (2014-12-10) 12180浏览 0评论
用git pull来更新代码的时候,遇到了下面的问题: error: Your local changes to the following files would be overwritten by merge: xxx/xxx/xxx.php P...
admin 10年前 (2014-12-09) 4186浏览 0评论
本文介绍Linux下另外一种异步I/O,即由Linux内核实现提供的native AIO机制,要使用这一套机制,可以利用libaio库,也可以手动利用syscall做一层自己的封装,不过这并无大碍,libaio库本身也很简单。 AIO的使用场景在哪里...
admin 10年前 (2014-12-09) 4259浏览 0评论
在前面的示例libaio_test.c和native_aio_test.c中,可以看到对磁盘aio请求(本文的aio都指此类)的使用有阻塞等待,这明显之处为对io_getevents()函数(当然,其它函数,比如io_submit()也有一定程度的阻...
admin 10年前 (2014-12-09) 3719浏览 0评论
从前面文章 nginx对Linux native AIO机制的应用 一 已经了解到,在Linux系统上,要使用native AIO机制,可以利用libaio库,也可以手动利用syscall做一层自己的封装,而nginx采用就是后者,这样做的好处是既使...
admin 10年前 (2014-12-09) 4132浏览 0评论
从0.8.11版本开始,nginx开始支持Linux native aio,如何在nginx里配置使用这套机制是本文介绍的重点。在下面的示例配置中,几个重要相关选项的具体含义如下: aio:http://wiki.nginx.org/HttpCore...
admin 10年前 (2014-12-09) 4149浏览 0评论
久闻systemtap工具的大名,之前也断断续续的看过它的介绍,并且利用CentOS发行版自带的systemtap相关命令试用过几次,感觉还算不错。本文将介绍一下systemtap的安装,以及对应用程序的追踪示例,不过,在此之前,先描述一下syste...
admin 10年前 (2014-12-08) 4099浏览 0评论
最近在公司看Linux内核的nmi死锁检测功能的实现机制,当然,是因为它变了,所以我才看的,简单来说就是在红帽的某牛提交了一个内核patch:new nmi_watchdog using perf events,这个patch已经被合入到内核主线2....