hadoop集群搭建在阿里云服务器上 云服务器配置要求是多少

hadoop集群搭建在阿里云服务器上 云服务器配置要求是多少,第1张

如果是集群的话,我考虑需要流畅运行的话,2核4G配置是可以满足的。因为这个集群形式,用于适用于物联网、车联网、监控、安全风控、即时通讯、消息存储等行业场景,所以数据量是比较大的,所以配置太低了跑不动,会卡死的。
因为hadoop是海量数据的处理能力,所以服务器一定不能太小配置了,跑不动了就没实际用途了。最好使用4核8G内存及以上配置。
因为这方面内容较多,这里也写不开那么多内容,所以你可以留言或到我的博客上搜索相关内容,老魏有写过教程,还不止一篇,都挺详细的内容,可以帮助你入门。

要了解云计算对服务器的要求首先要对云计算有一定的了解,现在对于云计算服务器没有一个明确的定义,也没有一个统一的标准。与传统服务器相比,传统服务器中,包含处理器摸块、存储模块、网络模块、电源、风扇等设备,当然工业服务器除外,比如研祥工业服务器,其介于云服务器与传统服务器之间。
云服务器关注的是高性能吞吐量计算能力,关注的是在一段时间内的工作最总和。因此,云服务器在架构上和传统的服务器有着很大的区别。
架构上,云服务器体系架构包含云处理器模块、网络处理模块、存储处理模块与系统件理模块等。这种架构的优势使得云服务器可以大大提高了利用率,采用多个云处理器完成系统设计,引入低功耗管理理念完成对系统的集中冗余管理,同时在系统中省去了很多重复的硬件。
云服务器一般包括线程、核、处理器、网络、加速等功能单元全部计算的总和。因此,云计算一般都有着庞大的数据输入量或海量的工作集。那么服务器应该具备哪些能力呢,我们详细的来说一说。
高密度
高密度低成本基本上已经是云服务器的基本要求了,按照云计算中心本身的特点,云服务器应该和云计算中心高密度、低功耗、低成本的特点相符,即主要面向大规模部署的云应用。高密度服务器能够减少延迟、提高反应速度。目前高密度服务器主要分为多路机架和刀片服务器。
虚拟化
服务器虚拟化的能力,可以说直接影响云计算的效果。由于服务器虚拟化技术实现了将高负载节点中的某些虚拟机实时迁移到低负载的节点,把多个低负载的虚拟机合并到一个物理节点,并将多余的空闲物理节点关闭,以提高资源的使用效率,使负载达到均衡,从而使上层应用的性能得到了保障,同时还达到了减少能耗的目的。
因此云计算利用服务器虚拟化技术可实现对虚拟机的部署和配置,通过对虚拟机的快速部署和实时迁移能大大提高系统的效能,还可通过对虚拟机资源的调整来实现软件系统的可伸缩性,确保系统能迅速从故障中恢复并继续提供服务,提高了系统的可靠性与稳定性。所以在购买云服务器的时候,服务器硬件虚拟化的支持程度是考量服务器的一个重要因素。
横向扩展
根据云计算的第一个特点“超大规模”来说,云计算服务器的横向扩展能力就变得至关重要,可以对这种大量的文件访问提供更高数据库和更好的可扩展性,为整个云计算的中心提供更高效、更安全以及更简化的方式,保证了云数据中心的灵活性。
并行计算
云计算在某种形式上来说就是分布式计算、并行计算、网格计算等一脉相传的技术路线,从概念上来说,可以把云计算看成是“存储云”+“计算云”的有机结合,而计算云就是指并行计算,因此,云计算的基础架构首先是要确保能实现并行计算。

业展示类和个人博客类网站比较简单,可以选择低配的云服务器,后期流量增大的话进行扩容。
阿里云:轻量应用服务器1核2G 5M带宽,40G云盘,96元/年 <<点击进入购买 (推荐,内置程序)
腾讯云:标准型S4/S5 1核2G 1M带宽,50G云盘,99元/年 <<点击进入购买 (推荐,性价比高)
华为云:云耀云服务器 1核2G 1M带宽,25698元/年 <<点击进入购买
UCloud:快杰型云服务器 1核2G 1M/2M带宽,86元/年(企业79元/年) <<点击进入购买 (推荐,企业性价比高)
硅云:标准型S2 香港1核1G 2M带宽,40G系统盘,20G数据盘,232元/年 <<点击进入购买 (香港地区)
提示:金山云目前新春活动中没有1核2G的云服务器,所以就没列出了!
2、2核4G云服务器配置(企业官网/流量型网站)
企业官网和流量型个人网站,需要的配置会比1核2G1M的云服务器配置要求高一些,可以选择这样网站中配左右云服务器,后期流量大了可以升级。
阿里云:ECS共享型S6 2核4G 1-10M带宽,40G-100G云盘,30144元/年,84780元/3年 <<点击进入购买 (推荐,带宽自由)
腾讯云:标准型S4/S5 2核4G 3M带宽,50G云盘+100G数据盘,586元/年,1752元/3年 <<点击进入购买(推荐,性价比高)
华为云:云耀云服务器 2核4G 5M带宽,623元/年 <<点击进入购买
金山云:基础型E1 2核4G 2M带宽,20G-50G硬盘,204元/年 <<点击进入购买
UCloud:快杰型云服务器 2核4G 3M/5M带宽,509元/年(企业466元/年) <<点击进入购买 (推荐,企业更便宜)
硅云:标准型S2 香港2核4G 3M带宽,40G系统盘,20G数据盘,682元/年 <<点击进入购买 (香港地区)
提示:网上传言金山云的2核4G相当于腾讯云1核2G配置,因为腾讯云100%CPU性能,金山云是共享突发,达不到100%CPU,小编没用过金山云具体也不是很了解!
3、4核8G云服务器配置(电子商务/企业门户类)
电子商务类和企业门户网站,产品较多,用户浏览器时加载消耗的带宽比较大,相对来说对服务器硬件消耗较少,因此推荐一般规模的电商网站使用4核8G配置,才能很好的支撑中前期业务的发展需要。
阿里云:ECS共享型S6 4核8G 1-10M带宽,40G-100G云盘,76452元/年,229356元/3年 <<点击进入购买(推荐,自由带宽)
腾讯云:标准型S4/S5 4核8G 5M带宽,50G云盘+200G数据盘,1279元/年,3209元/3年 <<点击进入购买(推荐,性价比好)
华为云:云耀云服务器 4核8G 5M带宽,110497元/年 <<点击进入购买
金山云:基础型E1 4核8G 2M带宽,20G-50G硬盘,348元/年 <<点击进入购买
UCloud:快杰型云服务器 4核8G 3M/5M带宽,770元/年(企业718元/年) <<点击进入购买
硅云:标准型S1 香港4核8G 5M带宽,40G系统盘,20G数据盘,1082元/年 <<点击进入购买 (香港地区)(推荐,免备案)
提示:网上传言金山云的4核8G相当于腾讯云2核4G配置,因为腾讯云100%CPU性能,金山云是共享突发,达不到100%CPU,小编没用过金山云具体也不是很了解!
4、8核16G云服务器(视频网站/游戏类业务)
视频网站和游戏类需要占用毕竟大带宽,您可以选择较高配置服务器。小型视频网站或小型页游类可以上云服务器,如果你是大型视频网站,建议服务器托管机房更有性价比,这时候带宽可能需要50M以上。
阿里云:ECS共享型S6 8核16G 1-10M带宽,40G-100G云盘,204732元/年,614196元/3年 <<点击进入购买 (推荐)
腾讯云:标准型S3/S4/S5 8核16G 1M-10M带宽,50G云盘,4826元/年,11691元/3年 <<点击进入购买
金山云:基础型E1 8核16G 2M带宽,20G-50G硬盘,636元/年 <<点击进入购买 (推荐,当4核8G用呗)
UCloud:快杰型云服务器 8核16G 5M/10M带宽,1922元/年(企业1879元/年)<<点击进入购买 (推荐)
提示:华为云和硅云没有8核16G配置,所以没列出来!金山云的8核16G还真便宜,比别家的4核8G还便宜了很多,就把它当成4核8G配置云服务器来用也性能很不错的!
最后:企业在购买云服务器的时候,尽量找优惠活动的云商家购买,然后预估一下2-3年以后的流量和用户规模,在目前配置偏上的购买方案下进行,长期运行的项目建议一次性购买3年以上,避免第2、第3年续费太贵的尴尬!最后,祝贵企业上云顺利!

云服务器的 *** 作系统主要有两大类:Linux和Windows。

Linux *** 作系统,包括Ubuntu、Debian、CentOS等系统,这些都是非常优秀的开源系统,功能大同小异,界面和 *** 作方法略有不同,参照使用者对系统的熟悉程度和喜好即可。

Windows *** 作系统:

一般Windows *** 作系统常用的有Server2008和Server2012R2,其中又分为x86和x64两种。X86即32位,和x64(64位)最主要限制体现在内存上。由于32位本身的限制,最大可支持到4GB内存,如果您需要使用高于4GB的内存的需求,请使用64位 *** 作系统。选择选择2008版本还是选择2012呢建议版本越高越好,因为高版本漏洞更少,现在最高版本为2019。

一、根据开发语言选择:

网站开发语言为ASP、NET、HTML,选择Windows系统;

网站开发语言为PHP、HTML、WAP,选择Linux系统;

二、根据网站需要使用数据库来选择:

数据库为ACCESS、SQLServer,选择Windows系统。

数据库为MySQL、SQLite,选择Linux系统。

三、对 *** 作系统熟悉程度来选择:

如果平时没有接触过Linux下敲命令 *** 作系统(类似win下面的DOS),建议选择Windowssever系统。

如果熟悉Linux命令,那强烈建议使用Linux。

至于服务器的带宽则需要根据业务需求来具体计算,不同需求对带宽的要求也千差万别的。如果是公司主页,平时同时在线的访问人数也不会太大,几M的带宽应该是够用的了。但如果你是访问量非常大的论坛或视频下载网站,那就非常消耗带宽资源,几个G都有可能不够用。

1举例说明,如果你的站是公司网站,1M带宽就相当于200人左右在线。假如说是正常访问的话,那么就要看并发连接数目。最后用并发数目除以每个人所占用的带宽。

例如:2400人同时在线,2400人并发同时 *** 作,每个人的页面30KB,那么合算成带宽就是:2400/(30KB8)=10Mb

2举例说明,如果你的网站是视频网站

例如:网络环境是并发数目是1000,高清视频码率是2Mbps,标清码率是1Mbps。假如:1:2,单节点并发按600计算,那么它的总输出带宽是多少呢?

答:2002+4001=800Mbps


欢迎分享,转载请注明来源:内存溢出

原文地址: http://www.outofmemory.cn/zz/13313198.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-07-12
下一篇 2023-07-12

发表评论

登录后才能评论

评论列表(0条)

保存