如何理解分布式与集群,二者区别是什么

如何理解分布式与集群,二者区别是什么,第1张

分布式是指不同的业务分布在不同的地方,集群指的是将几台服务器集中在一起,实现同一业务。白话理解的话,比如公司项目上线初期(举例电子商务网站)
初期:用户访问量低,只弄了一台服务器,一个tomcat项目运行一个web工程。
中期:用户访问量提高,服务器崩了,为了解决这个问题,购买服务器,增加服务器数量,然后每个服务器中个各放了一份,使用nginx代理转发。(这就是运用集群原理)
后期:用户访问量不断增加,响应速度变慢,服务器又崩了,在不考虑增加服务器带宽、内存和CPU的情况下如何解决这个问题?先解决响应速度变慢,用户频繁调用数据库,在客户端与数据库之间,使用redis缓存。解决之后,又发现问题:由于每台服务器运行一个tomcat,放着一个web工程,用户有可能在商品详情存在大幅度调用数据库,而订单列表调用幅度小,此时就存在着模块之间耦合度高,一个功能升级其他也需要升级,扩展性差,不能灵活部署。是该考虑项目重构,把项目按照模块分为不同的系统(使用zookeeper进行模块之间通信),例如:订单系统,会员系统、搜索系统、商品信息系统。把每个模块进行拆分,用户在哪个系统访问频繁,就针对哪个系统进行对症下药,增加缓存还是使用其他技术。(这样我们就可以单独对这个模块进行服务性能的提升,不用全部都一起提升。也降低了代码的耦合度,模块之间互不影响,即使后期增加开发人员,也可按照敏捷开发思想只对其负责模块进行开发,效率大大提升)。这样一个web工程就拆分成多个web工程(多个tomcat部署)。那这个项目就可以在一台服务器部署多个工程(不同端口进行通信)或者多台服务器运行单个项目。(这就是分布式原理)
总而言之,分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。

分布式架构是软件系统

分布式系统存储是基于存储、服务器、数据库技术、容灾热备等技术的系统集成。

hps+ssan多节点+ibm6000服务器+Oraclerac是一套基于全闪存融合扩容hds的分布式存储系统。

在这个上面允许的xx云软件,是一个基于分布式架构的软件系统

人才少,需求量大是什么意思?

我基本上除了阿里王博士,和阿里超融合一体机的相关负责人,还没有见过听说过能一个人把整套分布式系统存储技术搞定的

所以你说的人才少是合理的

需求量大就存疑了

人家大厂研发好了,一般技术人员去实施运维就好了啊

以联想为例,他的超融合一体机研发,需求量大么

哦,博士确实挺缺的
分布式架构是软件系统

分布式系统存储是基于存储、服务器、数据库技术、容灾热备等技术的系统集成

数字经济时代,各个企业、个人都在生产数据,利用数据,数据也在 社会 中不断流动、循环,为这个时代创造着价值与机遇。尽管数据如此珍贵,但我们仍然会听到在集中式存储场景中,由于网络攻击、火灾、地震而造成数据故障、丢失等问题。

为了防止数据出现故障、数据丢失、服务器出错、数据无法恢复等情况,越来越多企业开始把集中存储转变为分布式存储。分布式存储,类似于“把鸡蛋放到不同的篮子里”,简单来说就是把一张照片或文件切碎并放在不同的存储服务器上,任何人都可以成为节点,任何人都可以成为中心,因此,无论数据中心发生数据丢失,数据存储都可以实现永久存储,只要存在存储服务器,就能恢复数据。

其实,分布式存储已经不是什么新鲜事物,而是经历了多年的积累和发展,用户对支撑的服务器需求也越来越明确:相比传统服务器,分布式存储需要更大存储容量,兼具性能的同时,还要更灵活的存储能力,专门的存储服务器应运而生。

存储服务器是随着互联网分布式存储架构迅速崛起而出现的一个服务器品类,随着大数据、视频、搜索等互联网创新应用的发展,适用于不同场景的存储服务器种类也越来越多。当前,不仅互联网运营商在大规模采购存储服务器,传统的企业和政府也在批量部署,用于视频、文件归档、邮件以及大数据分析等应用。

浪潮信息一直是存储服务器的主要供应商,今年4月浪潮信息发布了全新的M6系列服务器,其中就包含存储服务器子系列,包含2U24盘、4U46盘、4U60盘、4U106盘等一系列产品,覆盖冷存储、温存储以及视频分析等不同用户不同类型的应用场景。其中,NF5466M6就是一款4U46盘,兼顾高存储容量、强大计算性能和极致IO扩展能力的双路存储优化服务器,是分布式存储架构的不二之选。

集群是个物理形态,分布式是个工作方式。
只要是一堆机器,就可以叫集群,他们是不是一起协作着干活,这个谁也不知道;一个程序或系统,只要运行在不同的机器上,就可以叫分布式,嗯,C/S架构也可以叫分布式。
集群一般是物理集中、统一管理的,而分布式系统则不强调这一点。
所以,集群可能运行着一个或多个分布式系统,也可能根本没有运行分布式系统;分布式系统可能运行在一个集群上,也可能运行在不属于一个集群的多台(2台也算多台)机器上。

这个问题已经收藏了一个多月了,一直在考虑如何回答这个问题,总结了很长时间终于有了一些感悟(之前一直都是只可意会不可言传的感觉),和大家分享一下,如果有不同的建议,欢迎大家留言指正。

分布式和微服务

首先,我认为微服务就是分布式框架的一种。

分布式的思想就是把一个系统的不同模块,部署在不同的服务器上,以应对高并发的问题。

SOA是一种分布式架构,把业务系统分成多个子系统,提供不同的服务,再通过服务组合、编排实现业务流程;通常在SOA架构中,ESB企业服务总线扮演了重要的角色。

微服务是SOA的升华,如果非要说点儿不同的,那么微服务更加强调服务的细分和专业,去ESB总线、去中心化,部署粒度更细,服务扩展更灵活。

微服务不只是技术架构

很多同学一说微服务,就说这是一种技术架构,有的推荐使用Dubbo,有的推荐使用SpringCloud。

我认为,微服务不单单是一种技术架构,也涉及到了管理、组织架构。

大多数的公司,需求、开发、测试、运维都是独立的团队,这实际上是有悖于微服务快速迭代的思想;在微服务的架构下,一个服务应该是由一个团队全权负责的。

不过组织架构方面的事情,真的不是我们能说了算的。

必须要用微服务?

我觉得没有必要为了微服务,而微服务;有的公司把服务拆分,但是数据库依然是同一个库,依然是一个项目直接掉另外一个项目的接口,然后对外就宣称完成了微服务的改造

架构设计还是要根据需求背景、团队开发能力、软硬件实力综合来考虑。

好的架构是可以进化的,而不是一步到位建成的。

我将持续分享Java开发、架构设计、程序员职业发展等方面的见解,希望能得到你的关注。

分布式文件系统、集群文件系统、并行文件系统,这三种概念很容易混淆,实际中大家也经常不加区分地使用。总是有人问起这三者的区别和联系,其实它们之间在概念上的确有交叉重叠的地方,但是也存在显著不同之处。 
分布式文件系统
自然地,“分布式”是重点,它是相对与本地文件系统而言的。分布式文件系统通常指C/S架构或网络文件系统,用户数据没有直接连接到本地主机,而是存储在远程存储服务器上。NFS/CIFS是最为常见的分布式文件系统,这就是我们说的NAS系统。分布式文件系统中,存储服务器的节点数可能是1个(如传统NAS),也可以有多个(如集群NAS)。对于单个节点的分布式文件系统来说,存在单点故障和性能瓶颈问题。除了NAS以外,典型的分布式文件系统还有AFS,以及下面将要介绍的集群文件系统(如Lustre, GlusterFS, PVFS2等)。 
集群文件系统
“集群”主要分为高性能集群HPC(High Performance Cluster)、高可用集群HAC(High Availablity Cluster)和负载均衡集群LBC(Load Balancing Cluster)。集群文件系统是指协同多个节点提供高性能、高可用或负载均衡的文件系统,它是分布式文件系统的一个子集,消除了单点故障和性能瓶问题。对于客户端来说集群是透明的,它看到是一个单一的全局命名空间,用户文件访问请求被分散到所有集群上进行处理。此外,可扩展性(包括Scale-Up和Scale-Out)、可靠性、易管理等也是集群文件系统追求的目标。在元数据管理方面,可以采用专用的服务器,也可以采用服务器集群,或者采用完全对等分布的无专用元数据服务器架构。目前典型的集群文件系统有SONAS, ISILON, IBRIX, NetAPP-GX, Lustre, PVFS2, GlusterFS, Google File System, LoongStore, CZSS等。 
并行文件系统
这种文件系统能够支持并行应用,比如MPI。在并行文件系统环境下,所有客户端可以在同一时间并发读写同一个文件。并发读,大部分文件系统都能够实现。并发写实现起来要复杂许多,既要保证数据一致性,又要最大限度提高并行性,因此在锁机制方面需要特别设计,如细粒度的字节锁。通常SAN共享文件系统都是并行文件系统,如GPFS、StorNext、GFS、BWFS,集群文件系统大多也是并行文件系统,如Lustre, Panasas等。
如何区分?
区分这三者的重点是“分布式”、“集群”、“并行”三个前缀关键字。简单来说,非本地直连的、通过网络连接的,这种为分布式文件系统;分布式文件系统中,服务器节点由多个组成的,这种为集群文件系统;支持并行应用(如MPI)的,这种为并行文件系统。在上面所举的例子中也可以看出,这三个概念之间具有重叠之处,比如Lustre,它既是分布式文件系统,也是集群和并行文件系统。但是,它们也有不同之处。集群文件系统是分布式文件系统,但反之则不成立,比如NAS、AFS。SAN文件系统是并行文件系统,但可能不是集群文件系统,如StorNext。GFS、HDFS之类,它们是集群文件系统,但可能不是并行文件系统。实际中,三者概念搞理清后,分析清楚文件系统的特征,应该还是容易正确地为其划分类别的。


欢迎分享,转载请注明来源:内存溢出

原文地址: https://www.outofmemory.cn/zz/13343292.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-07-18
下一篇 2023-07-18

发表评论

登录后才能评论

评论列表(0条)

保存