欢迎您光临本小站。希望您在这里可以找到自己想要的信息。。。

 分类:编程内功

大规模分布式存储系统原理与架构(二)

大规模分布式存储系统原理与架构(二)
单机存储引擎 存储引擎是存储系统的发动机,直接决定存储系统能够提供的性能和功能。存储系统的基本功能包括:增、删、读、改,其中,读取操作分为随机读取和顺序扫描。哈希存储引擎是哈希表的持久化实现,支持增、删、改、以及随机读取操作,但不支持顺序扫描,对应的存储系统为键值存储系统;B树存...

water 7年前 (2017-08-30) 2736℃ 0评论 0喜欢

大规模分布式存储系统原理与架构(一)

大规模分布式存储系统原理与架构(一)
概述 分布式存储概念 分布式存储系统是大量普通PC服务器通过Internet互联,对外作为一个整体提供存储服务 特点 可扩展、低成本、高性能、易用 分布式存储涉及的设计主要来自两个领域:分布式系统以及数据库 数据分布、一致性、容错、负载均衡、事务与并发控制、易用性、压缩/解压缩 ...

water 7年前 (2017-08-30) 3793℃ 0评论 1喜欢

K-means聚类算法

K-means聚类算法
  K-means也是聚类算法中最简单的一种了,但是里面包含的思想却是不一般。最早我使用并实现这个算法是在学习韩爷爷那本数据挖掘的书中,那本书比较注重应用。看了Andrew Ng的这个讲义后才有些明白K-means后面包含的EM思想。    ...

water 7年前 (2017-08-17) 2828℃ 0评论 0喜欢

5.6.12 elasticsearch es 源码 搭建

5.6.12 elasticsearch es 源码 搭建
一 idea 运行 1) github下载 2) 5.0之后使用gradle管理项目依赖,5.4使用gradle 3.3+,先把gradle安装好 ,下载gradle-3.3-bin.zip 3) gradle的仓库需要翻墙,使用阿里云maven镜像,创建gradle 的初始化脚...

water 7年前 (2017-08-08) 3945℃ 0评论 0喜欢

Apache Kylin 框架介绍

Apache Kylin 框架介绍
1. Apache Kylin 是什么? Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 由eBay开源的一...

water 7年前 (2017-08-04) 2801℃ 0评论 0喜欢

献给写作者的 Markdown 新手指南

献给写作者的 Markdown 新手指南
「简书」作为一款「写作软件」在诞生之初就支持了 Markdown,Markdown 是一种「电子邮件」风格的「标记语言」,我们强烈推荐所有写作者学习和掌握该语言。为什么?可以参考: 『为什么作家应该用 Markdown 保存自己的文稿』。 『Markdown写作浅谈』 ...

water 8年前 (2017-07-27) 2256℃ 0评论 0喜欢

Redis监控方案

Redis监控方案
  Redis现在在业务中应用已经很广泛了,但是如何监控redis,实时的观察redis的性能,却很少的提及,现在常见的监控方案基本上都是使用redis自带的info命令和monitor命令获取相关信息,然后提取出来显示。 测试环境:     &nb...

water 8年前 (2017-07-27) 2688℃ 0评论 0喜欢

svn分支、主干、tag管理

svn分支、主干、tag管理
文件目录说明: trunk – 主干,正常业务全在此开发 branches – 分支目录,fixbug分支/实验分支/紧急法版分支 tags – tag目录,暂定只对上线版本打tag,如 online...

water 8年前 (2017-07-13) 3707℃ 0评论 0喜欢

分布式基础通信协议:paxos,totem和gossip

分布式基础通信协议:paxos,totem和gossip
背景: 在分布式中,最难解决的一个问题就是多个节点间数据同步问题。为了解决这样的问题,涌现出了各种奇思妙想。只有在解决了如何进行信息同步的基础之上才衍生出形形色色的应用。这里开始介绍几种分布式通信协议。 简单即有效——totem协议: totem协议也许你还比较陌生,但是coro...

water 8年前 (2017-07-07) 2433℃ 0评论 0喜欢

OLAP、OLTP的介绍和比较

OLAP、OLTP的介绍和比较
OLTP与OLAP的介绍     数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库...

water 8年前 (2017-06-19) 2316℃ 0评论 0喜欢

分布式系统的事务处理

分布式系统的事务处理
转载自:酷壳网 当我们在生产线上用一台服务器来提供数据服务的时候,我会遇到如下的两个问题: 1)一台服务器的性能不足以提供足够的能力服务于所有的网络请求。 2)我们总是害怕我们的这台服务器停机,造成服务不可用或是数据丢失。 于是我们不得不对我们的服务器进行扩展,加入更多的机器来分...

water 8年前 (2017-06-18) 2095℃ 0评论 0喜欢

MQ 解决分布式事务的一些思路

MQ 解决分布式事务的一些思路
不同于单一架构应用(Monolith), 分布式环境下, 进行事务操作将变得困难, 因为分布式环境通常会有多个数据源, 只用本地数据库事务难以保证多个数据源数据的一致性. 这种情况下, 可以使用两阶段或者三阶段提交协议来完成分布式事务.但是使用这种方式一般来说性能较差, 因为事务...

water 8年前 (2017-06-18) 2876℃ 0评论 0喜欢

QoS、SLA、HA

QoS、SLA、HA
1.QoS(Quality of Service)服务质量,是网络的一种安全机制, 是用来解决网络延迟和阻塞等问题的一种技术。 在正常情况下,如果网络只用于特定的无时间限制的应用系统,并不需要QoS,比如Web应用,或E-mail设置等。但是对关键应用和多媒体应用就十分...

water 8年前 (2017-06-12) 4026℃ 0评论 0喜欢

etcd:从应用场景到实现原理的全方位解读

etcd:从应用场景到实现原理的全方位解读
稍后阅读 随着CoreOS和Kubernetes等项目在开源社区日益火热,它们项目中都用到的etcd组件作为一个高可用强一致性的服务发现存储仓库,渐渐为开发人员所关注。在云计算时代,如何让服务快速透明地接入到计算集群中,如何让共享配置信息快速被集群中的所有机器发现,更为...

water 8年前 (2017-06-12) 2240℃ 0评论 0喜欢

浮动IP(FLOAT IP)

浮动IP(FLOAT IP)
主要谈一谈关于浮动IP的东西,介绍下浮动IP是什么 1、为什么要有浮动IP这个东西        现在有一个场景,在一台Linux上部署一个web应用,应用跑在tomcat里面,linux网卡上的ip是115.239.100.120 大致就...

water 8年前 (2017-06-08) 4554℃ 0评论 6喜欢

够了,不要一上来就把微服务说的神乎其神

够了,不要一上来就把微服务说的神乎其神
作者|Adam Drake 编辑|薛命灯 资深架构师 Adam Drake 在他的博客上分享了他对微服务的看法,他从自己的经验出发,结合 Martin Fowler 对微服务的见解,帮助想要采用微服务的公司重新审视微服务。以下内容已获得作者翻译授权。 关于微服务的优势和劣势已...

water 8年前 (2017-06-06) 1910℃ 0评论 1喜欢

SVN 中trunk、tags、branches使用

SVN 中trunk、tags、branches使用
关于SVN中的Branches与Tags 在版本控制的系统中,我们经常需要对开发周期中的单独生命线作单独的修改,这条单独的开发生命线就可以称为Branches即分支。分支经常用于添加新的功能以及产品发布后的bug修复等,这样可以不影响主要的产品开发线以及避免编译错误等。当我们添加...

water 8年前 (2017-05-24) 2687℃ 0评论 0喜欢

elasticsearch启动警告

elasticsearch启动警告
elasticsearch启动警告 Unable to lock JVM memory (ENOMEM). This can result in part of the JVM being swapped out. Increase RLIMIT_MEMLOCK (ulimit)...

water 8年前 (2017-05-18) 3535℃ 0评论 0喜欢