分布式系统的Raft算法
admin 6年前 (2018-12-12) 2259浏览 0评论
过去, Paxos一直是分布式协议的标准,但是Paxos难于理解,更难以实现,Google的分布式锁系统Chubby作为Paxos实现曾经遭遇到很多坑。 来自Stanford的新的分布式协议研究称为Raft,它是一个为真实世界应用建立的协议,主要注重...
admin 6年前 (2018-12-12) 2259浏览 0评论
过去, Paxos一直是分布式协议的标准,但是Paxos难于理解,更难以实现,Google的分布式锁系统Chubby作为Paxos实现曾经遭遇到很多坑。 来自Stanford的新的分布式协议研究称为Raft,它是一个为真实世界应用建立的协议,主要注重...
admin 9年前 (2016-02-21) 4237浏览 0评论
Git是一款免费、开源的分布式版本控制系统,用于敏捷高效地处理任何或小或大的项目。一般来说,日常使用Git只要记住下图6个命令,就可以了。但是熟练使用,恐怕要记住60~100个命令。 下面是我整理的常用 Git 命令清单。几个专用名词的译名如下: W...
admin 9年前 (2015-12-11) 4384浏览 0评论
过去一直以为GlusterFS和GFS为同一个东西,真是惭愧。昨天一同事用到才发现它是个好东西! 安装很简单,在所有存储服务器上执行: yum -y install glusterfs glusterfs-server chkconfig glust...
admin 10年前 (2015-07-15) 5470浏览 0评论
最近一直在忙着搞Ceph存储的优化和测试,看了各种资料,但是好像没有一篇文章把其中的方法论交代清楚,所以呢想在这里进行一下总结,很多内容并不是我原创,只是做一个总结。如果其中有任何的问题,欢迎各位喷我,以便我提高。 优化方法论 做任何事情还是要有个方...
admin 10年前 (2015-04-14) 3958浏览 0评论
在互联网行业工作的想必都多多少少听说过GitHub的大名,除了是最大的开源项目托管平台,许多企业也都是用GitHub来协同开发工作,当然我们彩程也是其中之一。笔者最初决定学习Git也是因为在团队内部设计方案初步被开发出来后,难免会有一些细节需要调整,...
admin 10年前 (2015-04-06) 4545浏览 0评论
一. 系统架构 Sheepdog的架构是完全对称的,没有中心控制节点,不存在单点问题,具有以下几点特性: Ÿ 性能和容量的现行扩展:当需要更大的容量时,sheepdog可以以线性增长方式简单的将新节点加入到集群中。 Ÿ 无单点故障:当有机器出...
admin 10年前 (2015-04-06) 2858浏览 0评论
一、linux下单机版zookeeper安装 (0)预备 安装java环境,并配置好java相关的环境变量$JAVA_HOME (1)下载最新的稳定版并解压 从人人下载吧: wget http://labs.renren.com/apache-mir...
admin 10年前 (2015-03-17) 4198浏览 0评论
1. 介绍 云硬盘是IaaS云平台的重要组成部分,云硬盘给虚拟机提供了持久的块存储设备。目前的AWS 的EBS(Elastic Block store)给Amazon的EC2实例提供了高可用高可靠的块级存储卷,EBS适合于一些需要访问块设备的应用,比...
admin 10年前 (2015-02-16) 6385浏览 0评论
FastDFS分布式存储实战 一、技术选型 普通存储方案:Rsync、DAS(IDE/SATA/SAS/SCSI 等 块)、NAS(NFS、CIFS、SAMBA 等 文件系统)、 SAN(FibreChannel, iSCSI, FoE 存储网络 块...
admin 11年前 (2014-07-22) 5034浏览 0评论
最近在调整游戏的后台架构,之前因为需要快速出产品,所以整个代码都揉成一团,也基本没有做任何分层处理。现在服务器端的开发也开始逐渐招进来,所以打算打算换一套统一的架构,以后做新游戏只要做其中的业务逻辑即可。 其实之前在腾讯的时候,基本不会用到messa...
admin 11年前 (2014-04-29) 4188浏览 0评论
DRBD简介 DRBD (Distributed Replicated Block Device) 是 Linux 平台上的分散式储存系统。其中包含了核心模组,数个使用者 空间管理程式及 shell scripts,通常用于高可用性(high av...
admin 11年前 (2014-03-10) 3486浏览 0评论
FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < ...
admin 11年前 (2014-01-05) 3155浏览 0评论
Sheepdog是一个分布式对象存储系统,专为虚拟机提供块存储,号称无单点、零配置、可线性扩展(省略更多优点介绍)。本文主要关注其性能究竟如何,测试版本为目前的最新稳定版0.7.4。 测试环境 节点数量:6个 磁盘:各节点都配备7200转SATA硬盘...
admin 12年前 (2013-04-26) 3532浏览 0评论
记得在zipsite项目中,对于文本文件本身就没有序列化的问题,但对于富媒体文件的序列化,我采用的方法是pickle。后来我忽然觉得使用pickle是可以实现简单的分布任务处理的。 废话不表,上代码: 首先是一个“有限事务机”,讲白一点就是所有的任务...
admin 12年前 (2013-04-16) 2539浏览 0评论
因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。 配置优化 zookeeper.session.timeout 默...
admin 14年前 (2011-05-30) 2966浏览 0评论
之前写过一个初步介绍Moosefs基本概念的文章,仅是简单测试之后,对mfs的一些理解和认识。最近在实际环境中部署了一套MooseFS系统,用于备份和其他之用,在这个过程中又遇到了些问题,于