阿里双11集团技术总指挥汤兴:一场不亚于移动化的变革已经发生

阿里双11集团技术总指挥汤兴:一场不亚于移动化的变革已经发生,第1张

阿里双11集团技术总指挥汤兴:一场不亚于移动化的变革已经发生

2019年11月11日,阿里巴巴全体技术人经历了第11次技术考试。今年,阿里巴巴实现核心交易系统100%上云,总销售额2684亿元。核心交易系统100%云化,可以说是整个基础设施和技术突破的最大改变。除此之外,阿里巴巴的整个商业形态也发生了巨大的变化。在QCon全球软件开发大会(北京站)2020召开之际,InfoQ专访了大会联席主席、阿里巴巴副总裁、2019年双11集团技术总指挥汤兴(花名:平畴)。本文将与大家分享这一显著变化,以及阿里新零售的技术方向。

1.从爱奇艺CTO到淘科技负责人

2019年,汤兴正式加入阿里巴巴集团,担任阿里巴巴集团副总裁,花名平畴。整体负责新零售科技事业群的淘宝技术部,下设淘宝科技、天猫科技、农村淘宝科技、闲鱼、赖平等团队。

回到平畴的简历,他在R&D有十多年的工作经验,管理过全球顶尖的IT公司。在阿里加入之前,平畴最近的工作经历是担任爱奇艺CTO。他带领爱奇艺技术团队构建了全球首个基于视频数据理解人类行为的视频大脑——爱奇艺大脑,使机器能够理解视频内容,并引领了爱奇艺泡泡在视频社交领域的推出,开创了视频社交的先河。

双11现场的平愁

双11前,阿里宣布平丑为本次双11组的技术指挥。从视频领域到新零售领域,角色发生转变,同时要带领技术团队面对双11流量峰值的挑战。压力可想而知,但平畴很快适应了这种变化。

知道了它们之间的内在联系和区别,就很容易在两个领域进行切换和适应。

平畴在采访中表示,视频是一个内容产业,本质上是内容虚拟商品的供需匹配。是阿里的电商行业,主要是匹配实物商品的供需。两者有同有异,比如一个没有库存,一个有库存;一个是通过线下物流进行,一个是通过线上数字媒体进行传播;一个侧重于营销和交易活动,另一个侧重于主题运营。无论是虚拟数字经济还是实体经济,都离不开零售的本质,供需的有效匹配,技术体系的框架也基本相似。

2.第11个“双11”:堪比无线的变革

2019年,双11直播已经成为淘宝内容生态的里程碑节点,其意义可以和当年的无线转型相提并论。

回忆2019年11月11日,平畴说淘宝经历了一场意义不亚于无线的革命,那就是直播。

现在,不知道有多少人对淘宝的无线化改造印象深刻。

2013年,移动化的浪潮来了,大家都感受到了移动化即将带来的巨大变化。在阿里集团的指挥下,“ALLINWireless”战略正式公布。很多人从原来的部门被放到了战场的第一线,有些人不适应离开。后续做了补充,所以他们不断调整优化。

2016年,现任阿里巴巴CEO张勇正式宣布淘宝和无线淘宝合并,淘宝成功从PC时代转型到移动时代。事后证明,如果不是这个变化,我们很难看到今天的淘宝。

商业形态在变,技术必须跟上

“在云诞生的浪潮下,新一代的技术变革可能才刚刚开始。核心交易系统100%云接入,可以说是整个基础设施最大的变革和技术突破。但是,除了基础设施的变化,整个商业形态也发生了巨大的变化。”

平畴在采访中告诉InfoQ,这种商业形式的变化指的是直播。淘宝从2015年开始做直播,短短四年时间打造了一个年交易额1000亿的行业。

2019年,双11直播已经成为淘宝内容生态的里程碑节点,其意义可以与2015年的无线淘宝相提并论。当天淘宝直播销售额近200亿(2019年双11总交易额2684亿元),超过50%的品牌商家通过直播销售获得增长。

如今,直播已经成为天猫双11商家的标配。直播的内容形式完全不同于图文,更强调实时互动和流畅的观看体验。这些特点对消息通道、网络和CDN等软硬件资源提出了严格的要求。

既要保证用户体验,又要追求最低的技术成本,包括最小的带宽消耗,最大的模型覆盖等。平畴领导的技术团队遇到了巨大的挑战。

为了解决直播中可能出现的问题,淘宝直播技术团队开发了自己的音视频实时通信引擎,采用去中心化设计,支持水平级联,实现大规模低时延直播,时延从原来的5到7秒降低到1秒,在弱网络中表现更好。

虽然做好了充分的准备,但平畴回忆起现在的时刻,坦言还是有些担心:“我很怕出现意想不到的问题,尤其是新场景、新用户线、新架构。”

实践证明,历年双11期间发生的相对严重的问题,往往并不是我们事先最担心的,甚至大部分可能都没有预料到。

原因很简单。无论项目的挑战或风险有多大,只要能在双11前预期到,技术方一定会做好应对最坏情况的预案,做好演练。对于突发问题,往往没有准备方案或者方案的有效性没有得到验证,挑战整个技术团队紧急解决问题的能力。不过,这也是双11的魅力所在:

我们永远不可能对所有的问题都制定一个方案,前方总会有未知的挑战,只能通过技术升级来逼近我们所能达到的最佳极限。

所以对于技术人员来说,双11从来没有做到最好,只有更好。

3.提前一年,决定上云

今年双11,我们把所有“最致命”的系统都放到了云上。

这是阿里巴巴集团CTO、阿里云智能总裁邢癫在双11当晚说的话。开头提到,2019年双11,阿里将核心交易系统100%实现在云上,这个决定早在一年前就已经做出。

“每年双11结束后,全集团都会进行一次全面的技术回顾。抛开双11整个过程中点评的得失不谈,更重要的是,它将决定未来一年双11的技术整体走向。2018年双11复牌时,集团确定了将核心电商搬到云端的整体战略。"

2019年1月,尚云项目正式启动。这个项目在阿里内部被称为“云创未来”。电商环节全面云接入,意味着云下没有资源进行切换和互为备份。平筹表示,这涉及到阿里电商数百个核心应用,上万台物理机,核心总数超过百万。可想而知挑战有多大。

逐步迁移:第三季度大规模应用开发

为了实现这个目标,从机房到软件部署、网络拓扑、中间件等一系列基础设施。,应该提前做好准备,它们的有效性应该在更早的大促中得到验证,比如618大促。平畴透露,除了基础设施,每年上半年都是业务中各类技术平台和框架升级迭代的黄金期。7、8月份的时候,结合双11业务的具体玩法,会逐渐进入商业应用的大规模发展期。

按照阶段,平畴说双11尚云在技术上可以分为以下三个部分:

1.平滑迁移到云;

2.云服务的稳定使用;

3.结合云技术探索新的高效研发方法。

第一阶段:应用向云迁移。

平畴表示,在这个过程中,最大的风险来自于云上的基础设施、中间件等产品的变化,应用需要随着这些变化进行改造和升级。

技术团队梳理这些变化后,就可以判断需要做哪些相关的应用改造升级工作,以规避重大风险。在这个过程中,淘科技推动了中间件第二方库的升级、版本检测、日志异步转换、缓存集群迁移等。,建立了一套应用升级检测和升级流程管理的自动化机制,确保所有应用升级到位,并在云上部署了最小的业务集群,可以通过业务功能自动回归验证迁移后业务功能的一致性。

其次,迁移过程必须具有很强的可控性和快速容灾能力。平畴表示,淘系技术会通过复制线上流量来进行压力测量,在全回归云上的应用会保证不会出现性能下降。在测压的同时,技术组准备了快速切断逃生的方案。在原有异地容灾的基础上,将中心机房建设成四个逻辑机房,实现了同城四个逻辑机房之间的一键容灾和逃逸能力,已经验证多次。在具体迁移的过程中,要小步快跑切断流量,同时加强对云上的监控,避免突发的大规模问题。

第二阶段,建立云安全团队。

在一淘内部,将云与电商相关的研发联动起来,明确响应机制和责任人,打通两边的变更系统和报警系统,在云报警信息中明确电商应用相关的信息。通过不定期模拟攻击云环境,提升双方对故障处理的应急能力。

新零售线成立了上云、用云项目组,阿里云也有专门的项目成员进行对接。同时,我们有一个专业的PMO来确保跨团队的项目合作,确保每天每周/每月的会议来同步信息和促进项目,并在演练期间针对不同的在线问题有专门的应急机制。双11项目的横向拉通保障也随着多年的技术升级积累了经验。

为了保证云的容量,双11技术项目组组织了多次对云的突袭,演练云上单位机房不可用时的应急措施。通过不断迭代,将核心业务逐步搬到云端。在这个过程中,不断对云进行回归测试和截止演练。在线云使用的稳定性在双11之前的大促中也得到了验证。

第三阶段,结合云技术探索新的研发方式。

在上云的过程中,云技术正在向原有的云发展。除了神龙服务器(阿里云d性裸机服务器),新的ASI容器也在大规模使用。为了发掘无服务器的价值,淘宝科技结合云技术搭建了自己的功能平台FaaS,涵盖淘宝互动、闲鱼、导购、躺着等业务场景。该平台一方面大大提高了R&D效率,另一方面提供了与云集成的轻量级R&D模式。

(淘自研云集成功能平台Gaia架构图)

在转向云的过程中,我们看到基础设施越来越厚,R&D越来越轻。将商务R&D从Procode提升到Lowcode,然后专注于商务R&D,可以更多的释放R&D生产力。

4.端侧AI做出140亿个决策

上云,做AI,是近两年所有重视技术研发的科技公司的大主题。在云之前,阿里淘就开始开发端到端的智能应用,这也符合当下国人的消费习惯。大多数消费者习惯于通过移动终端进行交易。

2019年,手淘大规模使用AI技术,在客户端实现对用户行为的实时感知,并应用深度神经网络识别用户意图,根据识别结果进行智能决策,从而实时更新推荐内容,大幅提升个性化推荐效果和用户体验。

2019年双11当天,端到端AI决策运行140亿次。【/S2/】信息流个性化推荐、新闻智能投放、直播产品智能检测效果大幅提升。平畴说,淘技术部的轻量级深度学习端到端推理引擎MNN已经开源。这种有效利用云和端各自数据和计算优势的方式一定是未来的发展趋势。

除了端到端的AI技术研发,阿里淘系还在结合深度学习、机器视觉、3D技术形成3DAI方向,并应用于平面家装、家居领域。

最近五到十年,人工智能技术进步很快,集中在深度学习和深度学习与人工智能问题的结合上。然而,越来越多的人对人工智能技术能否取得进一步突破产生了怀疑。平畴承认,在过去的两三年里,业界夸大了人工智能的作用。人工智能升级甚至创造新的场景,需要和业务、产品、工程深度结合,需要长时间的探索。理想与现实的差距让人们认为人工智能已经到了瓶颈,这是缺乏耐心和尊重技术到产品转化规律的表现。

新的人工智能应用场景的出现,不仅需要人工智能技术发展的单一条件,还依赖于数据、业务和产品的发展。所以,开发人工智能的新场景,不仅仅是人工智能技术团队的工作,也不是理论与实践的简单结合,而是基础设施、新产品、新数据的积累。有了这些条件,人工智能的新场景就会不断孕育。

人工智能是战术,核心是满足特定场景的需求。如何准确定义场景和相应的度量体系,是人工智能发挥优势的前提。

5.未来规划[/s2/]

2019年双11后,阿里也召开了复盘会。平畴透露,2019年双11是科技史上消费者最顺利的一次。交易的核心环节都在云上,淘宝直播的同时在线人数创历史新高。未来,阿里将继续完善购物车、下单等核心环节的消费体验。同时,通过技术升级的方式,极大地优化整体资源使用效率,降低推广过程中使用技术资源的成本。

接下来,阿里淘的研发重点将集中在5G可能带来的技术革新上。平畴补充道,随着5G的发展,网速越来越快,视频和直播的普及程度也越来越高。对于淘宝和阿里来说,传统的电商是基于与用户的图文互动,5G将带来新的购物方式。目前直播是一个新的变化。5G的部署可能会导致直播上的AR交互,底层的低时延直播相关技术(编解码、低时延通信)也应该会给消费者带来新的消费体验。

此外,AI、末端计算、基于物理的3D渲染等技术在商业上的实现和应用也是非常值得关注的技术。比如阿里巴巴家装平台平躺,将AI技术应用于智能家居和家装领域,智能自动为用户提供专业设计师级别的软硬件设计方案,基于实物的3D渲染技术可以将设计师的设计方案渲染到照片级的逼真效果。同时,基于全链路数字化改造,以定制化、场景化的方式为消费者提供服务,形成端到端的解决方案,提供一站式全屋解决方案。这些技术的结合可以创造出极致的用户体验。

#采访客人#

汤兴博士,现任阿里巴巴副总裁,领导淘宝技术部,由淘宝科技、天猫科技、农村淘宝科技、闲鱼、赖平等组成的新零售科技事业群。致力于打造集消费者和商家于一体的新零售智能商业平台,打造新的场景赛道。汤兴博士在R&D有十多年的经验,管理过世界顶尖的IT公司。曾任谷歌上海R&D中心技术总监,负责谷歌视频搜索业务并参与YouTube视频搜索服务的研发,后加盟爱奇艺担任CTO,全面推动视频行业产品技术用户体验的创新发展。——文章转载自InfoQ

欢迎分享,转载请注明来源:内存溢出

原文地址: http://www.outofmemory.cn/zz/748645.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-04-29
下一篇 2022-04-29

发表评论

登录后才能评论

评论列表(0条)

保存