标签：大数据

admin 10年前 (2015-07-28) 3954浏览 0评论

在数据科学领域有成千上万的包和数以百计的函数公式，你虽然不需要掌握所有的这些知识，但是有一个速查表在你的学习中是非常重要的。学习大数据包括对统计学、数学、编程知识（尤其是R、python、SQL）等知识的理解，还需要理解业务来驱动决策。这些表单也许能...

admin 10年前 (2015-07-19) 3463浏览 0评论

最近一段时间由于工作需要，开始关注针对Mysql数据库的select查询语句的相关优化方法。 由于在参与的实际项目中发现当mysql表的数据量达到百万级时，普通SQL查询效率呈直线下降，而且如果where中的查询条件较多时，其查询速度简直无法容忍。曾...

admin 10年前 (2015-04-16) 3075浏览 0评论

写在前面：我们在使用mysqldump备份数据时，请一定记住要加上 -q 参数，后果可能是很严重的，不要给自己挖坑哦。到底为什么呢，且听我慢慢道来！ 先来看看 mysqldump –help 中，关于 -q 参数的解释： -q, --quick   ...

admin 10年前 (2014-12-25) 2764浏览 0评论

背景： 公司在线上使用了CDH5集群，一开始由于疏忽，忘记了在计划任务中定期执行Balancer来平衡各节点的数据。 后来，在引入大量的Job之后，数据增长非常迅猛，有很多节点开始出现利用率超过99.9%的情况，部分Job甚至开始Failed。 于是...

admin 11年前 (2014-07-03) 2901浏览 0评论

 Memcached存储单个item最大数据是在1MB内，如果数据超过1M,存取set和get是都是返回false，而且引起性能的问题。 我们之前对排行榜的数据进行缓存，由于排行榜在我们所有sql select查询里面占了30%，而且我们排行榜每小时...