在大数据时代，海量数据正成为互联网、软件、硬件公司们竞逐的金矿。三分技术七分数据，得数据者得天下，数据的所有权之争正变得日益激烈。数据概念的提出比较早，自 2013 年大数据兴起，数据更是被视为未来极为重要的资源，连李克强总理也把数据提升到基础资源的层面，称为“重要的生产力”。
...
water
7年前 (2017-09-05) 3166℃ 0评论
0喜欢
故障恢复
数据库运行过程中可能会发生故障，这个时候某些事务可能执行到一半但没有提交，当系统重启时，需要能够恢复到一致的状态，即要么提交这个事务，要么回滚。数据库系统以及其他的分布式存储系统统一采用操作日志，有时称为提交日志，即Commit Log技术来实现故障恢复。...
water
7年前 (2017-08-30) 2761℃ 0评论
0喜欢
单机存储引擎
存储引擎是存储系统的发动机，直接决定存储系统能够提供的性能和功能。存储系统的基本功能包括：增、删、读、改，其中，读取操作分为随机读取和顺序扫描。哈希存储引擎是哈希表的持久化实现，支持增、删、改、以及随机读取操作，但不支持顺序扫描，对应的存储系统为键值存储系统；B树存...
water
7年前 (2017-08-30) 2738℃ 0评论
0喜欢
概述
分布式存储概念
分布式存储系统是大量普通PC服务器通过Internet互联，对外作为一个整体提供存储服务
特点
可扩展、低成本、高性能、易用
分布式存储涉及的设计主要来自两个领域：分布式系统以及数据库
数据分布、一致性、容错、负载均衡、事务与并发控制、易用性、压缩/解压缩
...
water
7年前 (2017-08-30) 3795℃ 0评论
1喜欢
一 idea 运行
1） github下载
2） 5.0之后使用gradle管理项目依赖，5.4使用gradle 3.3+，先把gradle安装好 ，下载gradle-3.3-bin.zip
3） gradle的仓库需要翻墙，使用阿里云maven镜像，创建gradle 的初始化脚...
water
7年前 (2017-08-08) 3946℃ 0评论
0喜欢
「简书」作为一款「写作软件」在诞生之初就支持了 Markdown，Markdown 是一种「电子邮件」风格的「标记语言」，我们强烈推荐所有写作者学习和掌握该语言。为什么？可以参考:
『为什么作家应该用 Markdown 保存自己的文稿』。
『Markdown写作浅谈』
...
water
8年前 (2017-07-27) 2256℃ 0评论
0喜欢
Redis现在在业务中应用已经很广泛了，但是如何监控redis，实时的观察redis的性能，却很少的提及，现在常见的监控方案基本上都是使用redis自带的info命令和monitor命令获取相关信息，然后提取出来显示。
测试环境：
&nb...
water
8年前 (2017-07-27) 2689℃ 0评论
0喜欢
aurora 是一个基于 Web 的 Beanstalk 消息队列服务器管理工具，单文件无需依赖其他组件，支持管理本地和远程多个队列服务器。
特点
跨平台支持 macOS/Linux/Windows 32/64-bit
单文件简单易部署
不依赖其他组件
支持读取...
water
8年前 (2017-07-26) 2388℃ 0评论
0喜欢
文件目录说明：
trunk – 主干，正常业务全在此开发
branches – 分支目录，fixbug分支/实验分支/紧急法版分支
tags – tag目录，暂定只对上线版本打tag，如 online...
water
8年前 (2017-07-13) 3707℃ 0评论
0喜欢
背景：
在分布式中，最难解决的一个问题就是多个节点间数据同步问题。为了解决这样的问题，涌现出了各种奇思妙想。只有在解决了如何进行信息同步的基础之上才衍生出形形色色的应用。这里开始介绍几种分布式通信协议。
简单即有效——totem协议:
totem协议也许你还比较陌生，但是coro...
water
8年前 (2017-07-07) 2433℃ 0评论
0喜欢
最近在设计一个RPC框架，需要处理序列化的问题。有很多种序列化协议可以选择，比如Java原生的序列化协议，Protobuf, Thrift, Hessian, Kryo等等，这里说的序列化协议专指Java的基于二进制的协议，不是基于XML, JSON这种格式的协议。在实际开发中...
water
8年前 (2017-06-19) 3750℃ 0评论
1喜欢
OLTP与OLAP的介绍
数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库...
water
8年前 (2017-06-19) 2318℃ 0评论
0喜欢
转载自：酷壳网
当我们在生产线上用一台服务器来提供数据服务的时候，我会遇到如下的两个问题：
1）一台服务器的性能不足以提供足够的能力服务于所有的网络请求。
2）我们总是害怕我们的这台服务器停机，造成服务不可用或是数据丢失。
于是我们不得不对我们的服务器进行扩展，加入更多的机器来分...
water
8年前 (2017-06-18) 2095℃ 0评论
0喜欢
不同于单一架构应用(Monolith), 分布式环境下, 进行事务操作将变得困难, 因为分布式环境通常会有多个数据源, 只用本地数据库事务难以保证多个数据源数据的一致性. 这种情况下, 可以使用两阶段或者三阶段提交协议来完成分布式事务.但是使用这种方式一般来说性能较差, 因为事务...
water
8年前 (2017-06-18) 2878℃ 0评论
0喜欢
1.QoS（Quality of Service）服务质量，是网络的一种安全机制， 是用来解决网络延迟和阻塞等问题的一种技术。 在正常情况下，如果网络只用于特定的无时间限制的应用系统，并不需要QoS，比如Web应用，或E-mail设置等。但是对关键应用和多媒体应用就十分...
water
8年前 (2017-06-12) 4028℃ 0评论
0喜欢
稍后阅读
随着CoreOS和Kubernetes等项目在开源社区日益火热，它们项目中都用到的etcd组件作为一个高可用强一致性的服务发现存储仓库，渐渐为开发人员所关注。在云计算时代，如何让服务快速透明地接入到计算集群中，如何让共享配置信息快速被集群中的所有机器发现，更为...
water
8年前 (2017-06-12) 2242℃ 0评论
0喜欢
主要谈一谈关于浮动IP的东西，介绍下浮动IP是什么
1、为什么要有浮动IP这个东西
现在有一个场景，在一台Linux上部署一个web应用，应用跑在tomcat里面，linux网卡上的ip是115.239.100.120
大致就...
water
8年前 (2017-06-08) 4555℃ 0评论
6喜欢
作者｜Adam Drake
编辑｜薛命灯
资深架构师 Adam Drake 在他的博客上分享了他对微服务的看法，他从自己的经验出发，结合 Martin Fowler 对微服务的见解，帮助想要采用微服务的公司重新审视微服务。以下内容已获得作者翻译授权。
关于微服务的优势和劣势已...
water
8年前 (2017-06-06) 1915℃ 0评论
1喜欢
关于SVN中的Branches与Tags
在版本控制的系统中，我们经常需要对开发周期中的单独生命线作单独的修改，这条单独的开发生命线就可以称为Branches即分支。分支经常用于添加新的功能以及产品发布后的bug修复等，这样可以不影响主要的产品开发线以及避免编译错误等。当我们添加...
water
8年前 (2017-05-24) 2689℃ 0评论
0喜欢
elasticsearch启动警告
Unable to lock JVM memory (ENOMEM). This can result in part of the JVM being swapped out. Increase RLIMIT_MEMLOCK (ulimit)...
water
8年前 (2017-05-18) 3538℃ 0评论
0喜欢
