基于CentOS7的Hadoop3.1.2完全分布式集群部署记录

　　1、什么是分片？比如用户要查询年龄大于30的用户，该怎么查询呢？而年龄大于30的用户的数据，可能server1上有一部分数据，server2上有部分数据，我们怎么才能够把所有满足条件的数据全部查询到呢？

在分布式应用系统中，mongodb 已经成为 NoSQL 经典数据库。要想很好的使用 mongodb，仅仅知道如何使用它是不够的。只有对其架构原理等有了充分认识，才能在实际运用中使其更好地服务于应用，遇到问题知道怎么处理，而不是抓瞎抹黑。这篇文章就带你进入

我想大家最最最熟悉的就是单机结构，一个系统业务量很小的时候所有的代码都放在一个项目中就好了，然后这个项目部署在一台服务器上就好了。整个项目所有的服务都由这台服务器提供。此时便出现了集群模式，往下接着看。集群中每台服务器就叫做这个集群的一个“节点”，所有节点

我想大家最最最熟悉的就是单机结构，一个系统业务量很小的时候所有的代码都放在一个项目中就好了，然后这个项目部署在一台服务器上就好了。整个项目所有的服务都由这台服务器提供。我想缺点是显而易见的，单机的处理能力毕竟是有限的，当你的业务增长到一定程度的时候，单机的

上一个章节，我们搭建了一个最简单的单体服务项目，单体架构就是把所有的功能都放在一个工程项目中。但是当访问量不断增加，我们只部署一套环境就有些吃不消了，这时候有什么解决方案么？如果我们去一个超市购物，当客户数量不多的时候，超市只开通一个结账通道就可以满足需要

本文转载自微信公众号「爱笑的架构师」，可以通过以下二维码关注。在微服务架构或分布式环境下，服务注册与发现技术不可或缺，这也是程序员进阶之路必须要掌握的核心技术之一，本文通过图解的方式带领大家轻轻松松掌握。但在现实的创业环境中一个项目可能是九死一生，如果一开

在一年前我曾经有做过一些 Zookeeper 的相关总结，现在我们再把它捡回来，重新的把一些前因后果都扯得更加明白。我们先从服务部署架构的发展历程说起，其实无非就是 集中式 和 分布式 ，集中式就是说，什么我都是由一台机器搞定的。分布式就是多台服务器联合

微服务架构是目前在软件工程界广泛采用的一种做法。采用这种体系结构样式的组织发现自己正在处理分布式故障的增加的复杂性。分布式计算的谬论有据可查，但难以发现。为了处理这种情况，应始终检查以下内容。仅当您的API安全重试且不会引起意外副作用时，调用方才可以重试。

本文转载自微信公众号「脑子进煎鱼了」，作者陈煎鱼 。“微服务的战争” 是一个关于微服务设计思考的系列题材，主要是针对在微服务化后所出现的一些矛盾/冲突点，不涉及具体某一个知识点深入。如果你有任何问题或建议，欢迎随时交流。在经历微服务的战争：级联故障和雪崩

调度在计算机领域是个庞大概念，CPU 调度、内存调度、进程调度等都可称之为调度。分布式调度云平台产品的缺失，使得 ElasticJob 从出现伊始便备受关注。ElasticJob Lite 定位为轻量级无中心化解决方案，使用 jar 的形式提供分布式任务

Postgresql由于强大的功能和良好的扩展性，基于postgresql来做的分布式架构也比较多，大部分用于分析类场景，下面比较几种常见的架构特点。Citus以插件的方式扩展到postgresql中，独立于postgresql内核，所以能很快的跟上pg主

下面将要介绍的就是分布式相关的两个基础理论：CAP定理和BASE理论。最多只能满足其中的两项。BASE是对CAP中一致性和可用性权衡的结果。Zookeeper中的事务，和数据库中具有ACID特性的事务有所区别。在Zookeeper中，事务是指能够改变Zoo

核心架构：Spring Cloud、Spring Boot、Mybatis、Redis、Rabbit MQ、微服务、分布式、电子商务核心思想：产品微服务、模块化、原子化、持续集成、分布式、集群部署开发模式：代码生成工具、驱动式开发模式、提高开发效率源码可加

用了这么久分布式从来没有总结过分布式理论，抽空总结一下。本篇从实际项目应用出发，从两个方面阐述分布式理论，第一个方面分布式解决什么问题，第二方面分布式带来什么问题。CAP 理论不允许出现在分区存在的情况下拥有完美的数据一致性和可用性。

每个客户端服务器都需要安装Nginx

前几天在pyq发起了约稿，分布式一致性问题的选题呼声最高，分布式系统的内容是非常庞杂的，所以我们从其中几个重点的部分切入，慢慢展开。今天重点来一起学习分布式系统一致性问题，不过内容比较多需要分几次写完。作为后端从业人员，我们在找工作写简历的时候除了高并发经

目前的项目很少会采用单机架构了，一是因为单机性能有限，二是因为单机服务一旦故障整个系统就无法继续提供服务了。分布式数据库是在集中式数据库的基础上发展起来的，是计算机技术和网络技术结合的产物。分布式数据库是指数据在物理上分布而逻辑上集中管理的数据库系统。

同一个业务，部署在多台服务器上；通过添加服务器的数量，提供相同的服务，从而让服务器达到一个稳定、高效的状态。SOA就已经提出的面向服务的架构思想，所以微服务应该算是SOA的一种演进吧。一个微服务应该都是单一职责的，这才是“微”的体现，一个微服务解决一个业务

Redisson是一个在Redis的基础上实现的Java驻内存数据网格。它几乎提供了Redis所有工具，不仅封装Redis底层数据结构，而且还提供了很多Java类型映射。Redisson支持redis单实例、redis哨兵、redis cluster、re

简单来说，RL基础架构就是数据采集和训练的循环，Actor根据环境收集样本数据，然后将其传输给Learner来训练和更新模型。当前大多数RL实现都需要对环境中成千上万个样本进行多次迭代，以学习目标任务，如Dota 2每2秒要学习成千上万帧样本。这样，RL