如何自己开发一套服务器管理系统

转载表面上看，是一套基于B/S方式实现的分布式管理系统，但其实背后的架构是基于C/S完成的。你以为他是一只鞋吗？其实他是一个吹风机。作为界面化的系统，浏览器框架是不可或缺的，但更加重要的东西在Socket上面。

一、需要解决中央控制端到各节点服务器之间的通信。

这个其实牵扯到一个通信协议的问题，各语言都有自己的socket，thread的库，直接调用即可。但是这个通信协议就需要自己来完成了。既不能太简单，太简单了，明码传输，如果别人获知了这个接口，就很容易执行一些令人讨厌的 *** 作。也不能太复杂，太复杂了等于是给自己找麻烦，所以简单的数据包编解码的工作或者用token验证的方式是需要的。通信协议起码要两种，一种是传输命令执行的协议，一种是传输文件的协议。

二、跨语言的socket通信

为什么要跨语言，主控端和代理端通信，用什么语言开发其实无所谓。但是为了给自己省事，尽可能使用服务器上已经有了的默认语言，Ambari前期采用phppuppet的方式管理集群，这不是不可以，puppet自己解决了socket通信协议和文件传输的问题，可你需要为了puppet在每台服务器上都安装ruby。我是个有点服务器和代码洁癖的人。光是为了一个puppet就装个ruby，我觉得心里特对不起服务器的资源。所以我自己写了一个python的代理端。python是不管哪个linux系统在安装的时候就都会有了。然后主控端的通信，可以用python实现，也可以用php实现，但是考虑到对于更多的使用者来说，改php可能要比改tornado简单许多，所以就没用python开发。hadoop分支版本众多，发布出去，用户要自己修改成安装适合自己的hadoop发行版，就势必要改源码，会php的明显比会python的多。php里面的model封装了所有的 *** 作，而python只是个 *** 作代理人的角色而已。

所以也延伸出一个问题，什么语言用来做这种分布式管理系统的代理端比较合适，我自己觉得，也就是python比较合适了， *** 作系统自带，原生的package功能基本够用。用java和php也可以写agent，但是你势必在各节点预先就铺设好jre或者php运行环境。这就跟为什么用python和java写mapred的人最多是一样的。没人拦着你用nodejs写mapred，也可以写，就是你得在每个节点都装v8的解释引擎，不嫌麻烦完全可以这样干。原理参看map/rece论文，不解释。perl也是 *** 作系统原生带的，但是perl的可维护性太差了，还是算了吧。

所以这就牵扯到一个跨语言的socket问题，理论上来说，这不存在什么问题。但这是理论上的，实际开发过程中确实存在问题，比如socket长连接，通信数据包在底层的封装方式不同。我没有使用xml-rpc的原因之一就是我听说php的xmlrpc跟其他语言的xmlrpc有不同的地方，需要修改才能用,我就没有用这种办法。最早是自己定义的 *** 作协议，这时就遇到了这些问题，所以后来直接采用了thrift方式。就基本不存在跨语言的socket通信问题了。

三、代理端执行结果的获取

无论命令还是文件是否在代理端执行成功，都需要获取到执行结果返回给中央端。所以这里也涉及一个读取节点上的stdout和stderr的问题。这个总体来说不是很难，都有现成的包。当然这个时候你需要的是阻塞执行，而不能搞异步回调。

还有个问题是，我要尽可能使用python默认就带的包，而尽量不让服务器去访问internet下载第三方的包。

还有代理端最重要的一点，就是python的版本兼容性。centos5用python24，centos6用python26，ubuntu基本默认都是27。所以一定要最大限度的保证语言的跨版本兼容性，要是每个 *** 作系统和每一个版本我都写一个代理，我一个人就累死了。

四、浏览器端的model，view，controller

这里面你要封装好所有的通信协议，以及需要在节点上面执行的脚本。发送文件的 *** 作和数据库 *** 作也要在model里面完成。

如果对tcl/tk很熟，也可以写基于 *** 作系统界面方式的管理，不用浏览器就是了。

view对我来说是最痛苦的事，都是现学的jQuery怎么用，前端的工作太可怕了。关于这方面，没有太多可描述的，html和js带给我的只有痛苦的回忆，万恶的undefined。

五、跨 *** 作系统的安装文件封装。

要适应不同的 *** 作系统也是个很麻烦的事情，需要用agent提前获知 *** 作系统的发行分支，版本号。然后去找到对应的安装文件去执行。你不能保证一个分布式系统的集群中所有的节点都可以访问internet，更多的情况是这些节点都存在在一个安全的内网中。只有个别几个节点是可以访问外网的。所以，我势必要把所有的安装文件以及他们的依赖尽可能集中起来。我不确定安装 *** 作系统的lzo，yum或者apt-get会去下什么鬼东西，甚至无论是yum还是apt-get，里面都没有hadoop-lzo的库文件。所以，最好的办法是自己编译打包rpm和deb包。直接安装就好了，别去找repo下载什么。

这就是第五步工作，把需要的依赖的东西自己编译打包成rpm和deb。

deb包很好解决，但是rpm就没那么好办了，需要学习rpm的编译文件如何编写，这块是挺麻烦的，但是这玩意用好了还是挺不错的。现在我自制的安装包里面就已经包含了自己编译的lzo和snappy两种压缩库，以及hadoop-gpl-packaging的rpm和deb。下一个发布的easyhadoop将直接支持centos5,6，suse，以及ubuntu/debian的系统上安装hadoop。已经自带了lzo和snappy以及lzop和snzip。

六、把这些所有东西，整合到一个系统里面。

关联这些所有事情间的联系，整合到一个浏览器界面里面去。写一个分布式的管理脚本不难，写一个界面也不难，但是也许是我的水平不行，这两件事结合起来让他们协同工作还是有点难度的。对我来说，写界面的工作可能更难一点。

Cloudera可能是十来个人在写Manager的东西，ambari也是放到github和apachesvn上面，apache基金会的各种committer在写。easyhadoop没他们功能那么强大，一年来只有我一个人设计架构，功能，各种语言的编码，测试，发布。Fortheloveofgod,WhathaveIdone(英文部分请站在山顶仰天长啸)T_T。从前台到后台，到hadoop和生态系统以及他们的依赖软件的单独patch、编译打包。(系统yum或者apt-get的包不如自己打的好使。)

从时间上来看，全球第一款开源的hadoop部署管理系统应该还是属于ambari，2011年8月开始写的，2012年9月底进入apache的incubator。我是大概2012年8月开始写的easyhadoop，全球第一没赶上，估计国内第一个开源的hadoop管理系统还是可以排上的。

1前端框架一般指用于简化网页设计的框架，比如，jquery，extjs，bootstrap等等，这些框架封装了一些功能，比如html文档 *** 作，漂亮的各种控件(按钮，表单等等)。

2使用前段框架可以降低界面开发周期和提高界面的美观性。

3有些框架比较轻量，比如jquery，有些框架比较重量，比如extjs。一般来说重量的框架会封装更多的功能，比如extjs，封装的grid控件有很强的数据展示和 *** 作功能。

1对用户的价值：

大部分产品对用户的核心价值是功能和内容提供的，而不是由表现层和交互。譬如支付、电商、新闻、交友。

后端解决有还是无的问题，开天辟地。

前端解决有了以后好用的问题，锦上添花，在竞争激烈的领域确实至关重要。

2技术广度和难度：

广度上后端工作在服务器领域，能控制的硬件基本没有极限，CPU、存储、网络、集群等等，因此技术领域极广。一个优秀的后端需要掌握或了解大量技术如：并发、业务架构、数据库、几打流行框架、性能调优、分布式计算、集群架构、容灾、安全、运维等等，一层挖透了还有下一层。几十年计算机发展历史中大量的技术沉淀在服务器端。

Web前端一直工作在一个浏览器盒子里，先天不足，能承载的可能性太小，技术广度不足。

深度上，现代计算机领域的难题如大规模负载，海量数据处理，实时计算也是后端的，前端集中在表示层，这一层虽然也很复杂，但能称之为难题的技术几乎没有，也很容易复制。

前端要说深度也不是没有，但这一步需要跨到图形领域(如网页游戏)，不是常见场景。

说到底前端代码能控制的硬件确实不如后端，因此在技术上，前端更容易。现在为什么说前端会比后端更值钱呢那是因为前端对硬件的控制能力提升了(html5odejsmobile)，而后端分化得比较厉害，有一批后端专门只写业务逻辑，框架是别人写的，系统架构是别人搭的，服务器跑在云里，连机器物理地址都不知道。世人眼里可能觉得这种写MVC代码的人才是后端，这种被限制在一个“虚拟盒子”里的后端确实不怎样难上手。

一般而言网上说的互联网行业的技术含量排名大概是这样：

产品经理<设计师<前端<后端<其他更高级职位，比如算法工程师等等。

在广大中小公司，很多产品经理都是不会代码，不会设计。很多技校学艺术设计的毕业生，当上了美工。这些都是真，所以能力低，干的人多，自然就低。然而，你问Google设计师挣多少了嘛

门槛低不等于技术含量低。

写个简单点的服务器跟客服端就行了我写了个很简单的，只能在一个客户端跟一个服务器通信，在控制台输入下面这个是服务器import javaio;
import javanet;
import javautilScanner;public class Server
{
public static void main(String[] args)
{
try {
ServerSocket server=new ServerSocket(8888);//定义客户端的端口号
Socket client=serveraccept();//定义一个Socket对象

InputStream is=clientgetInputStream();//服务器接受信息输入流，也就是接受从服务器段发送过来的消息
BufferedReader br=new BufferedReader(new InputStreamReader(is));//用bufferedreader包装下输入流

OutputStream os=clientgetOutputStream();//这是用来给服务器发送消息的输出流
PrintStream ps=new PrintStream(os);
Scanner scanner=new Scanner(Systemin);//从键盘输入字符串

boolean flag=true;//定义一个死循环，让服务器不停的接受从客户端发送来的字符串
while(flag)
{
String s=brreadLine();//s是从客户端接受到得字符串
Systemoutprintln(s);

String s2=scannernextLine();//s2是写给客户端的字符串
psprintln(s2); //给客户端发送你写的东西
}
clientclose();
} catch (IOException e) {//try 跟catch你不用管，这是用来处理异常的，就是固定格式

eprintStackTrace();
}
}
} 下面是客户端import javaio;
import javanet;
import javautilScanner;public class Client
{ public static void main(String[] args)
{
try
{
Socket client=new Socket("192168----",8888);//IP地址是个字符串，端口号是个整数，这个端口号要跟前面你写的那个一样，还有IP地址，写你的机器的IP地址

InputStream is=clientgetInputStream();//这边的两个流跟上面服务器的差不多的作用
BufferedReader bf=new BufferedReader(new InputStreamReader(is));
OutputStream os=clientgetOutputStream();
PrintStream ps=new PrintStream(os);
Scanner scanner=new Scanner(Systemin);
boolean flag=true;
while(flag)//这句话可以让客户端不停的说话
{
String s2=scannernextLine();
psprintln(s2);

String s=bfreadLine();
Systemoutprintln(s); }

clientclose();

}
catch (UnknownHostException e)
{
eprintStackTrace();
}
catch (IOException e)
{
eprintStackTrace();
} }}

你好，把电脑里面的网站数据上传到服务器里，需要通过FTP上传工具来上传的。下载个FTP工具，通过服务器IP，用户名和密码登录上去，然后就可以通过ftp来上传到服务器上网站数据了。

再者也可以通过网盘来转移数据。

希望我的回答对您有帮助，谢谢服务器租用

一、APP算法的运作原理
APP算法是一种能够根据用户的行为习惯和兴趣推荐个性化内容的技术。当用户使用APP时，算法会根据用户在APP中的浏览记录、搜索记录等数据进行分析和筛选，然后根据这些数据为用户推荐相关内容。
二、APP算法带来的风险
尽管APP算法的推荐功能对于用户来说十分便利，但是它也可能会对用户的隐私和权益造成影响。以下是其中的一些风险：
1 用户的私人信息可能被泄露：APP算法收集了用户的行为数据，并将这些数据存储在服务器上，如果这些数据被未经授权的人访问，用户的隐私信息就存在泄露的风险。
2 算法可能会歧视某些人群：一些数据表明，APP算法可能会歧视某些人群，例如女性和少数民族。这种情况可能导致这些人群得不到平等的服务。
3 算法可能会导致“数据泡沫”的形成：APP算法通常会根据用户的兴趣为其推荐相关内容。如果这种方式被广泛采用，可能会导致“数据泡沫”的形成，这意味着用户可能会受到一些不同意见的内容。
三、保护自己的隐私和权益的方法
虽然APP算法对我们的个性化需求提供了极大的帮助，但我们仍然可以通过以下措施来保护自己的隐私和权益：
1 合理设置隐私设置：设置自己的隐私设置可以让自己的个人信息的泄露范围得到有效的限制。
2 定期清理APP缓存和Cookies：定期清理APP缓存和Cookies可以避免APP收集太多的用户信息。
3 合理使用不同的APP和平台：不要过度依赖某个APP和平台，不同APP和平台都有不同的数据采集方式和算法，这样可以有效地避免个人信息被单一平台堵死。
4 学习有关的APP算法知识：如果想更好地理解APP算法如何运作以及如何更好地保护自己的隐私和权益，可以学习一些相关的知识。
五、结语
APP算法作为当代技术发展的重要组成部分，在一定程度上改变了我们的个性化需求，并且为我们带来了极大的便利。但这同时也带来了一些潜在的风险，如果我们想要最大化地保护自己的隐私和权益，就需要理解APP算法的运作原理，合理设置隐私设置，定期清理APP缓存和Cookies，合理使用不同的APP和平台，以及学习有关APP算法的知识。希望这篇文章可以为大家提供一些关于保护隐私和权益的有用信息。

String realpath = ServletActionContextgetServletContext()getRealPath("/upload") ;//获取服务器路径
String[] targetFileName = uploadFileName;
for (int i = 0; i < uploadlength; i++) {
File target = new File(realpath, targetFileName[i]);
FileUtilscopyFile(upload[i], target);
//这是一个文件复制类copyFile()里面就是IO *** 作，如果你不用这个类也可以自己写一个IO复制文件的类
}
其中private File[] upload;// 实际上传文件
private String[] uploadContentType; // 文件的内容类型
private String[] uploadFileName; // 上传文件名
这三个参数必须这样命名，因为文件上传控件默认是封装了这3个参数的，且在action里面他们应有get，set方法

Android应用开发中，会经常要提交数据到服务器和从服务器得到数据，本文主要是给出了利用>

Raft算法是解决分布式系统共识的问题的算法，Raft是基于Multi-Paxos的基础上做了简化和限制。不同于Paxos的难以理解，Raft设计的首要目的就是可理解性，一个易于理解、实现简单的分布式一致性协议。
Raft 将一致性算法分解成了几个关键模块，例如***选举、日志复制和安全性，本文将主要基于 raft论文 简单分析raft算法。

Raft是强领导(Strong leader)模型，一切以leader为主，比如日志只能由leader复制到其他服务器。所以leader的选举是非常重要的一部分。
首先介绍raft算法的三个服务状态：

任意时间集群中只能由一个leader存在。

Raft使用心跳机制实现leader选举。在服务启动的时候，处于follower角色，需要注意的是每个服务于leader的心跳超时的时间是随机的(150-300 毫秒)。

如上图，集群中有三个几点A、B、C，超时时间分别为150ms、200ms、300ms刚启动时任期编号都是0，都处于follower角色。节点A与leader的心跳超时时间最短，最先从follower状态转为candidate，并增加自己的任期编号，先给自己投上一张选票，并向集群中其他节点发送投票信息，当B、C节点接受到A的投票请求之后，在任期为1的这个阶段没有给其他节点投过票，便接受A的投票请求。此时节点A接受到了集群中超过一半的节点的投票，便成为任期为1的leader。

上诉是最简单的选举流程，里面有很多概念都需要解释，比如为什么超时时间不一样？任期编号是什么？投票比较的规则又是什么？
1 任期编号
每个leader在当选期间都有一个自己的任期编号，它是全局单调递增的数字。每个节点都存储这当前的leader的任期编号，当处于candidate阶段的时候，发起投票的时候会把当前任期编号加一。
而且当一个节点接受到比自己任期高的请求时，会将自己的任期编号更新为高的任期编号，如果当前角色是leader，会从leader转换为follower角色。当接受到任期编号比自己小的请求时，节点会直接拒绝这个请求。

2 投票比较规则
a 先到先服务：一个节点在一个任期只能投一票，如果A、B节点都请求C节点投票，C节点如果先投给A之后、就会拒绝B的投票请求。
b日志完整性：一个节点接受的投票信息如果它的日志比自身小，将会拒绝该投票请求。
c过半策略：当某节点接受到了集群中超过一半的节点投票之后，成为该次任期的leader，向其他节点发送leader心跳。
d 在等待投票期间，candidate 可能会收到另一个声称自己是 leader 的服务器节点发来的 AppendEntries RPC 。如果这个 leader 的任期号（包含在RPC中）不小于 candidate 当前的任期号，那么 candidate 会承认该 leader 的合法地位并回到 follower 状态。

3随机超时
前面提高过，每个几点与leader的心跳超时时间是不同的，这样的好处在于避免瓜分票数的情况存在，能快速的进行leader选举。如果各个节点的超时时间都是一样的，就容易出现瓜分票数的情况存在，每个节点都没有获得超过一半的投票，就会开启下一轮的选举，选举时间就会很长。使用随机超时机制，正常情况下，一个时间段里只有一个节点发起投票请求。

下图是整个集群中服务角色变化的流程图。

Leader选举出来之后为客户端提供服务，将接受到的指令作为一个新的日志项追加到日志中去，然后并行的发起 AppendEntries RPC 给其他的服务器，让它们复制该日志项。当该日志项被安全地复制（过半的节点已复制完成），leader 会应用该日志项到它的状态机中（状态机执行该指令）然后把执行的结果返回给客户端。如果 follower 崩溃或者运行缓慢，或者网络丢包，***会不断地重试 AppendEntries RPC（即使已经回复了客户端）直到所有的 follower 最终都存储了所有的日志。

上图展示了日志的格式，一个日志项包含三部分

Leader通过 AppendEntries RPC 将日志复制到其他节点。

AppendEntries RPC：

接收者实现：

上诉是AppendEntries RPC的参数的接受流程。term与leaderId不用介绍很简单，而prevLogIndex、prevLogTerm的作用是日志的一致性检测，如果 follower 在它的日志中找不到包含相同索引位置和任期号的条目，那么他就会拒绝该新的日志条目。一致性检查就像一个归纳步骤：一开始空的日志状态肯定是满足 Log Matching Property（日志匹配特性） 的，然后一致性检查保证了日志扩展时的日志匹配特性。因此，每当 AppendEntries RPC 返回成功时，leader 就知道 follower 的日志一定和自己相同（从第一个日志条目到最新条目）。

正常 *** 作期间，leader 和 follower 的日志保持一致，所以 AppendEntries RPC 的一致性检查从来不会失败。然而，leader 崩溃的情况会使日志处于不一致的状态（老的 leader 可能还没有完全复制它日志里的所有条目）。如下情况：

在 Raft 算法中，leader 通过强制 follower 复制它的日志来解决不一致的问题。这意味着 follower 中跟 leader 冲突的日志条目会被 leader 的日志条目覆盖。

Leader 针对每一个 follower 都维护了一个 nextIndex ，表示 leader 要发送给 follower 的下一个日志条目的索引。当选出一个新 leader 时，该 leader 将所有 nextIndex 的值都初始化为自己最后一个日志条目的 index 加1。如果 follower 的日志和 leader 的不一致，那么下一次 AppendEntries RPC 中的一致性检查就会失败。在被 follower 拒绝之后，leaer 就会减小 nextIndex 值并重试 AppendEntries RPC 。最终 nextIndex 会在某个位置使得 leader 和 follower 的日志达成一致。此时，AppendEntries RPC 就会成功，将 follower 中跟 leader 冲突的日志条目全部删除然后追加 leader 中的日志条目（如果有需要追加的日志条目的话）。一旦 AppendEntries RPC 成功，follower 的日志就和 leader 一致，并且在该任期接下来的时间里保持一致。

本机简单介绍了raft 的leader选举和日志复制，当然raft还有其他的特性本文并没有介绍，推荐去看raft的论文，完整的了解raft。
我之前 ZAB协议 的文章分析了zookeeper的zab协议，这里对比一下两者的异同。

最后 >