linux系统管理之grub引导

Apache Spark 本身
1MLlib
AMPLab
Spark最初诞生于伯克利 AMPLab实验室，如今依然还是AMPLab所致力的项目，尽管这些不处于Apache Spark Foundation中，但是依然在你日常的github项目中享有相当的地位。
ML Base
Spark本身的MLLib位于三层ML Base中的最底层，MLI位于中间层，ML Optimizer则处于最为抽象的顶层。
2MLI
3ML Optimizer (又称 Ghostface)
Ghostware这个项目在2014年就开始进行了，不过从未对外公布。在这39个机器学习库中，这是唯一一个雾件，之所以能囊括在这列表中，全凭着AMPLab与ML Base的地位支撑。
ML Base之外
4Splash
这是近期2015年6月的一个项目，在运行随机梯度下降（SGD）时这套随机学习算法声称在性能上比Spark MLib中快了25%-75%。这是AMPLab实验室的sp标记项目，因此值得我们去阅读。
5Keystone ML
KML将端到端的机器学习管道引进到了Spark中，但在近期Spark版本中管道已经趋于成熟。同样也承诺具有一些计算机视觉能力，我曾经在博客中也提到过这也存在一些局限。
6Velox
作为一个服务器专门负责管理大量机器学习模型的收集。
7CoCoA
通过优化通信模式与shuffles来实现更快的机器学习，详情可见这篇论文的描述《高效通信分布式双坐标上升》。
框架
GPU-based
8DeepLearning4j
我曾经的一则博客有进行说明 《DeepLearning4J 增加了Spark gpu的支持》。
9Elephas
全新的概念，这也是我写这篇博客的初衷。它提供了一个接口给Keras。
Non-GPU-based
10DistML
模式并行下而并非数据并行的参数服务器（正如 Spark MLib）。
11Aerosolve
来自Airbnb，用于他们自动化定价。
12 Zen
逻辑斯谛回归、隐含狄利克雷分布（LDA）、因子分解机、神经网络、受限玻尔兹曼机。
13Distributed Data Frame
与Spark DataFrame类似，但是引擎是不可知的（例如在未来它将运行在引擎上而不是Spark）。其中包括了交叉验证和外部机器学习库的接口。
其他机器学习系统的接口
14 spark-corenlp
封装了斯坦福CoreNLP。
15 Sparkit-learn
给Python Scikit-learn的接口。
16 Sparkling Water
给 的接口。
17 hivemall-spark
封装了Hivemall,，在Hive中的机器学习。
18 spark-pmml-exporter-validator
可导出预测模型标记语言（PMML），一种用于传递机器学习模型的行业标准的XML格式。
附加组件：增强MLlib中现有的算法。
19 MLlib-dropout
为Spark MLLib 增加dropout能力。基于以下这篇论文进行的实现，《Dropout：一个简单的方法来防止神经网络中的过拟合》。
20generalized-kmeans-clustering
为K-Means算法增加任意距离函数。
21 spark-ml-streaming
可视化的流式机器学习算法内置于Spark MLlib。
算法
监督学习
22 spark-libFM
因子分解机。
23 ScalaNetwork
递归神经网络（RNNs）。
24 dissolve-struct
基于上文中提到的高性能Spark通信框架CoCoA下的支持向量机（SVM）。
25 Sparkling Ferns
基于以下这篇论文进行的实现，《通过使用随机森林与随机蕨算法的图像分类技术》。
26 streaming-matrix-factorization
矩阵分解推荐系统。

visit
定义：一次页面阅览就是一次页面的下载，访问者成功地阅览到页面应该在他的浏览器上完整地看到该页面。
度量方法：一次浏览器请求即可算作一次页面阅览。
评论：以一次浏览器的请求算作一次页面阅览并不是完全准确的
1，代理服务器(Proxy)缓存(Cache)和浏览器缓存(Cache)使服务器记录的请求数少于实际显示在访问者浏览器上的页面数。
2，在带宽小、响应时间长的情况下，访问者可能在页面显示之前就跳转至其它页面浏览，因此即使服务器记录了访问者的请求，但实际上并没有被访问者阅览到。
3，醒目页面(Splash Page)和空隙页面(Interstitial)不应该被记录入页面阅览次数之中。
4，动态的由程序生成的页面应该记入页面阅览次数中。
5，含有帧(Frame)的页面应该只被记录一次页面阅览，即使含有帧(Frame)的页面会产生对多个文档的请求。
使用分析日志文件的方式进行统计，醒目页面(Splash Page)和空隙页面(Interstitial )会被日志文件记录，在分析时应该忽略计算特定的醒目页面(Splash Page)和空隙页面(Interstit ial)。在日志文件中会记录对特定的程序(如CGI程序)的请求，因而由这些程序动态生成的页面也可以被计算。日志文件识别不出含有帧的页面，使用分析日志文件的方式进行统计，这个误差可以被接受。
使用CGI的方式进行统计，不应在醒目页面(Splash Page)和空隙页面(Interstitial )里嵌入统计的代码，在动态生成的页面中应该嵌入统计的代码，在含有帧(Frame)的页面中，只在其主要页面上嵌入统计的代码。
页面查看、阅览(View)、页面印象(Page Impression)、页面请求(Page Reque st)和页面阅览是同一术语。

---