2019，充满技术希望的一年

2019，充满技术希望的一年

一、互联网产业

2019年的互联网行业据说是令人失望的，年底《2019，中国互联网让人失望的一年》一文热到在微信被封杀，不知道惹了谁。文中点出了用户不再增长、没有新品、新技术还没落地、明星创业者倒下等几大不足。但我觉得仍然有几个重要浪潮。

1、新消费，从网易严选的砥砺前行，到雕爷的所有消费品都值得重新做一遍，再到拼多多的中国制造品牌故事。现在家里拼多多的商品已经开始多起来了。

2、生鲜电商，从上半年的《大巨头挤进小菜场》变成年底的《生鲜电商屡战屡败》，侯毅已经觉得前置仓没有未来了。

3、搜索，今日头条说，谁有内容谁就可以做搜索，这个原来属于百度的市场进一步被蚕食和颠覆。

二、中台与大数据

中台绝对是2019年的热词之一。在组织管理层面，在中台之前，互联网行业中贡献最大的可能是亚马逊大规模实践的服务化架构和组织。中台的模式跟亚马逊的实践很相似，但是更强调业务，另外数据中台的范式是有新意的。

相比在线业务的中台化，数据中台会比较容易普及。因为经过了二十多年的信息化，大量企业都建设了不少信息系统。这些信息系统的数据通过数据中台汇聚打通并提供数据服务和产品，能够比较直接的创造价值。接下来两年应该数据中台的落地会越来越多。所以，中台的概念近期跟大数据比较关联。

2019是大数据市场和技术巨变的一年。所谓的大数据三巨头中，Cloudera和Hortonworks被迫整合，整合完后加起来市值还没有之前一个的高，Impala和Kudu的头都跑了。MapR被HPE收购。新的中流砥柱是Spark和Flink，Flink被阿里收了，未来会如何？BI领域，Salesforce 157亿美金收购Tableau，Google收购Looker。

大数据技术走向实时、事务的道路。Spark推出了Delta Lake，另一个类似的项目是来自Uber的Hudi，两者都为大数据技术栈增加了更新能力。EMC也发布了Pravega，基于BookKeeper和HDFS / 对象存储构建的流存储抽象。BookKeeper作为专用的日志存储，Pulsar、Pravega等好几个项目中都在用，值得关注。

大数据技术体系最值得关注的还是从存算一体走向存算分离，进而迁移到K8S体系。在消息队列领域，存算分离的Pulsar铆足了劲想赶超存算一体的Kafka，我觉得完全有可能。AWS在reInvent上一口气发布了两个存算分离技术，RedShift & ElasticSearch，把存储放在S3后成本降低90%。

存算分离后计算框架就方便跑在K8S上，这一年Spark上K8S已经很常见了，Google就发布Cloud Dataproc on K8S。

三、人工智能与数据科学

框架层面，PyTorch横扫顶会，TensorFlow 2.0赶紧极力的改进易用性，为此把小情人Keras都纳入正宫了。

巨头们都在搞机器学习平台。今年的Redhat Summit，Kubeflow是重点之一。AWS reInvent大量的Keynote都在推介SageMaker，确实也实现了巨大的改进。阿里搞PAI，百度继续飞浆事业。不过我赞同某篇文章说的不存在所谓的机器学习平台，数据工程、数据科学、模型管理等不同的用户和需求应该有不同的平台。

模型层面，Transformer开始大量的用于搜索推荐场景，BERT和XLNet神仙打架，没钱的都玩不起。端到端技术应用于语音识别起到很好的效果，我们靠这个竟然拿了个世界级赛事的第一名。

最后是AI芯片，阿里、华为、AWS，都在发力。NV收购了Mellanox。

四、云原生

云原生的核心是应用交付。曾经一个应用打个包就能交付了，后来做个虚机镜像，但是分布式应用怎么交付是一个从来就没有被很好解决过的事情。现在K8S生态向这个核心问题发起总攻，用CRD+Operator搞定中间件的交付，CNCF成立了专门的应用交付SIG（App Delivery SIG）。VMWare收购Bitnami增强云原生应用交付能力。阿里和微软联合推出了Open Application Model。App Delivery SIG定义的下面这张图值得时常琢磨。

年初Mesosphere更名D2IQ，转向K8S，彻底宣布了K8S的胜利。要知道之前很多硅谷公司如Twitter都是用Mesos的，因为K8S的资源调度能力做的不行。但是K8S面向应用的抽象做的好。这个故事再次证明接口抽象是第一位的，底层能力都是可以慢慢磨的。类似的典型故事是关系数据库和MongoDB。

然后遗留的问题是K8S怎么管理非容器资源。Intel主推的Kata Container已经两年了，AWS去年发布今年继续推Firecracker。Kata还是继续QUME的，Firecracker把QUME都fire了。AWS还推出了Fargate for EKS。虚机的老大VMWare发布了Pacific项目，融合了K8S和sSphere。OpenStack和K8S会怎么联姻，目前还看不清楚。

五、后记

2019年的互联网行业据说是令人失望的。不过对一个互联网行业的技术人员来说，有中台这样至少10年才有一次的组织模式，有大数据和数据库的融合，有大量的AI模型和平台进步，有至少10年才有的云原生浪潮，是令人激动和充满希望的一年。