文学起点网
当前位置: 首页 文学百科

大数据云计算哪个更好(蚂蚁金服何昌华)

时间:2023-05-12 作者: 小编 阅读量: 11 栏目名: 文学百科

允中发自凹非寺量子位报道|公众号QbitAI开源SQLFlow,反哺业界,同时小小秀出AI肌肉。这就是蚂蚁金服近日开源首个将SQL应用于AI引擎项目SQLFlow后,业界给出的反应。何昌华当时正是咖啡因开发团队的核心技术负责人之一。他认为,这将成为未来技术的基石。而对用户行为特征的数据分析,则由OLAP来处理。降低数据和智能的门槛,这是何昌华对于新引擎和数据智能平台的期望。互联网和移动互联网的普及,让人类的行为数据采集成本大大降低。

允中 发自 凹非寺

量子位 报道 | 公众号 QbitAI

开源SQLFlow,反哺业界,同时小小秀出AI肌肉。

这就是蚂蚁金服近日开源首个将SQL应用于AI引擎项目SQLFlow后,业界给出的反应。

SQLFlow,把艰深的AI与简单的SQL结合起来,大大简化了数据工程师使用AI技术的门槛。

而研发出SQLFlow的,正是蚂蚁金服计算存储首席架构师何昌华带领下的AI Infra团队。

何昌华斯坦福博士毕业,先在Google总部工作7年,赢得过公司最高技术奖项,其后又在独角兽Airbnb工作2年,负责后台系统的应用架构。

2017年5月,他正式加盟蚂蚁金服,担任计算存储首席架构师,并在2018年入选了第14批国家“千人计划”专家。

在蚂蚁金服,何昌华的工作是开发新一代计算引擎,搭建金融型数据智能平台。

而SQLFlow,就是计算引擎主线上的结晶之一。

不过对何昌华来说,世界正在巨变,他还要带队探索一些没人做成的事情。

比如全实时的大数据智能系统

未来技术基石

大数据的概念,最早来自于搜索引擎行业,因为搜索引擎面对的是人类在互联网上留下的爆炸性增长的庞大数据。

2010年底,谷歌宣布新一代搜索引擎“咖啡因”正式上线,这项技术的革命性在于,任何时刻,世界上的任何网页发生了变化,都可以实时地添加到索引中,用户也可以实时地搜索到,解决了传统搜索引擎的延时问题。

何昌华当时正是咖啡因开发团队的核心技术负责人之一。

他解释,“咖啡因所实现的最核心的功能,就是实时。”

而现在何昌华在蚂蚁金服工作的目标,同样是搭建一个“完全实时”的大数据处理系统,或称之为大数据智能平台。由于线下生活场景的多样性和复杂性,这是个比构建实时搜索更有挑战性的任务。

他认为,这将成为未来技术的基石。

对于计算机来说,实时就是在发出请求到返回响应之间的延迟尽量小,对于大数据处理系统来说,这还意味着从数据生产到消费的延迟尽可能低,所有这些都意味着计算速度和能力的提升。

此前常用的大数据计算模型MapReduce,对数据的处理是“分片式”的,数据的片与片之间有边界的概念,这种批处理的模式不可避免地会带来延时问题。

以搜索的场景为例,假如以天为时间单位对数据进行批处理,那就意味着今天更新的网页,用户明天才能搜索到,调高处理的频率可以部分解决问题,一天两次、一天四次、两小时一次……

虽然能逐步接近“准实时”,但成本也会急剧上升。

要实现真正的实时,就必须打破这种批处理的边界,让数据处理的过程像水流一样,随来随算,随时反馈。

这也催生了后来流式计算引擎的蓬勃发展。

而在何昌华看来,除了快,“实时系统”还有两层重要含义。

第一是OLTP(联机事务处理)和OLAP(联机分析处理)的融合。

在以往的观念里,OLTP对实时性的要求高,OLAP对时效性的要求不那么高。

举例而言,用支付宝进行一笔交易,需要即时查询和增删记录,就是由OLTP来处理的。而对用户行为特征的数据分析,则由OLAP来处理。

但现在随着业务场景需求的不断变化,OLAP的时效性要求也越来越高。

例如互联网金融中的风控场景,就需要在完成一笔交易的极短时间中,通过分析用户的特征数据判断风险,这要求OLAP也要能实时反馈,且反馈结果马上就能够在线访问。

第二是智能和数据系统的融合。

人工智能和机器学习是大数据应用最热门的领域,而现在绝大多数公司的做法,是将数仓和机器学习平台分开,从数仓取一批数据,放到机器学习平台上去训练模型。

随着业务场景的复杂化和多样化,这种模式逐渐显露问题,因为模型能否实时更新,能否能用更实时的数据来训练模型,直接影响了应对复杂场景的能力。

“数据实时流入、实时训练模型,模型实时上线决策并反馈数据——这一条线如果能完全打通,对于业务将产生不可估量的价值”, 何昌华说。

数据、计算、智能,所有这一切构成了何昌华设想中的“高效率的大数据底盘”,也就是一个融合的实时数据智能平台,或者叫“Big Data Base”,就像曾经数据库成为无数场景的数据底盘一样。

如今,不仅是蚂蚁金服或者阿里巴巴集团,在各行各业中,数据驱动的业务都越来越多。

但大数据开发的门槛很高,如果每一项业务都从数据开发的底层做起,将会非常耗时耗力。

如何才能让做业务的人有更多精力专注于业务?

何昌华认为这就是“Big Data Base”的使命,同样也是“基石”的含义:

我们希望让这件事变得简单——各行各业的从业人员、各条业务线的同学,在坚实的平台基础上,不需要知道下层的细节,就可以很方便地开发上层应用。

离真正的智能有多远?

降低数据和智能的门槛,这是何昌华对于新引擎和数据智能平台的期望。

目前,他带领团队开发的金融型多模融合计算引擎,已经实现了流计算与图计算、流计算与机器学习的融合打通,距离他设想中的“大融合”越来越近了。

何昌华透露团队目标,就是让业务变得“极简”:

未来两到三年,我们希望新引擎能够承担实时在线的融合计算任务。基于这个引擎,结合其他开源引擎,我们就能够构建出一整套数据智能系统。在这个数据智能系统上,业务可以非常轻松地完成从功能开发到产品上线的流程,后续的吸引流量、分析决策等也都可以借助这个平台来完成。

他甚至勾画了一幅很科幻的未来场景:你写一个功能交给引擎,引擎会决定调用多少资源去计算,你无需关心具体的计算过程,结果将会在最短的时间内反馈给你。

当你构想出一种新型业务,数据智能平台会判断需要哪些数据,采用哪种模型,如何上线,如何运营流量。

这些流程,都可以智能化地自动完成。

这是个更长远的目标。我们开发出数据处理的能力,未来,任何人都可以使用这种能力,真正实现“数据民主化”。

这样一个融合多种能力的实时数据智能平台,目前在世界上还没有哪家公司能完全研发出来。

何昌华也谨慎而满怀信心地展望着未来:“我们也是在探索,如果完全实现了探索目标,我们就将真正站到全世界领先的位置。”

无人之境

世界瞬息万变,数据作为物理世界的镜像,理论上是无穷无尽的,问题只在于人类有没有办法去记录和采集它们。

互联网和移动互联网的普及,让人类的行为数据采集成本大大降低。

IoT传感器设备的普及,让工业生产和社会生活中的数据也能够大量地沉淀下来。

因此在过去的二十年中,数据总量出现了爆炸性的增长。

在整个世界发生数字化巨变的同时,我们的生活也在悄然改变。

基于数据应用的发展,我们享受到了一二十年之前无法想象的便捷——电商、O2O、移动支付、智能家居……

但在何昌华看来,数字化还处在非常初级的、在把线下的数据搬到线上的阶段。

真正需要思考的问题,是未来当高度数据化的社会到来时,我们拥有什么样的能力去处理和应用海量的数据。

这关系到我们是否能够基于数据做到更多的事,催生出更高的智能,进而推动人类社会向着下一阶段发展。

这就是他回国加入蚂蚁金服所要寻找的答案。

之所以回来,是因为觉得在这里做的事,往大一点说,是面向人类社会发展下一阶段的探索。

在这场全新的探索中,和海量的数据打交道是必修课,因此,他反复强调着计算能力的重要性:大数据、人工智能、深度学习……无不需要强大的计算能力,否则,向前的探索寸步难行。

人工智能的发展趋势,也是用更大更高更海量的计算,来模拟人的能力。

“真正的人工智能=数据 100倍的计算”,谷歌最新的人工智能模型水平,换算出来相当于数百块GPU持续计算一整年。

何昌华和团队一起倾力开发的新一代计算引擎和数据智能平台,实际上是高效计算能力和强大数据处理能力的综合载体。

它自蚂蚁金服海量的业务场景和数据之中诞生,初衷是支撑蚂蚁金服的各项业务,但随着技术逐步成熟,它也可以具备多场景下的通用性。

金融属性带来的高可用性和高安全性,让它可以广泛用于其他行业,应对生活服务场景更加不在话下。

这项工作的意义,往大了说,是在推动社会的变革,虽然听上去是个宏大的命题,但它并非那么高高在上。

“每一项技术都必有它的落脚点。具体到蚂蚁金服,这些技术跟数亿人的日常生活紧密相连。”

每一天,当何昌华自己掏出手机使用支付宝结账付款时,都能直观地感受到自己的工作成果。就像他在谷歌工作时,每天也都会使用搜索功能一样:“自己做出的成果,自己每天都在使用,非常切实地感觉到技术对生活的改变。”

他这样陈述自己的人生理想。在通往理想的征程中,他既站在技术的最前沿,也身处最为日常的场景中,这二者本就密不可分:

用技术改善人的生活,推动社会和人不断往前进化。

— 完 —

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

    推荐阅读
  • 拉布拉多怎么看纯不纯(如何看拉布拉多品相)

    最简单的办法,看毛色,拉布拉多只有三种颜色:黄色、黑色和棕色,纯色,不会有其他颜色,黑色的拉布拉多注意一下,胸前不能有大片白色,少量几根白毛是允许的,接下来我们就来聊聊关于拉布拉多怎么看纯不纯?拉布拉多还有个特征就是尾巴,俗称水獭尾巴,就是一条粗粗的直直的尾巴,一般向下,很少有向上扬起,更不能卷起来。拉布拉多耳朵比较大,拉起来可以遮住狗的眼睛,向下耷拉,耳朵不能竖起来。

  • jdm 车型推荐(美国人为啥喜欢日系车)

    本以为Supra的美国之旅即将在此终结时,事情迎来了转机。有着EK打下的基础,2017年发售的FK8TypeR更是炙手可热,以3.5万美元限量发售的它瞬间被抢购一空。值得一提的是,S2000也是迄今为止唯一一台后驱的红头发动机车型。为纪念这段不平凡的岁月,塞纳加入了本田的设计团队并参与了NSX的测试工作。此后,本田更是赠送了两辆NSX给他作为纪念。据统计,老款NSX在它15年的生命中仅生产了1.8万多辆,而其中有一半以上都是被美国人买走的。

  • word怎么自动编号(方法简单易懂)

    接下来我们就一起去了解一下吧!word怎么自动编号首先打开计算机,打开Word将各级标题设置成对应的标题格式。然后,点击菜单栏的多级列表,选择定义新的多级列表。点击确定之后,标题的标号就成功了,正文的各级标题都已经编号了,这时增加标题或删减标题,各级标题的编号都会自动随之变化。

  • 赛博朋克2077插件代码有哪些(赛博朋克2077插件怎么使用)

    赛博朋克2077插件代码有哪些?插件代码不少,但是真正好用的却不是很多,下面小编就带来赛博朋克2077插件代码分享,一起来看看吧。

  • 气缸缓冲怎么调节(一般都会用这种方法)

    下面更多详细答案一起来看看吧!气缸缓冲怎么调节首先将速度控制阀的开度放在调整范围内的中间位置。随后逐渐调节减压阀的输出压力,当气缸接近预定速度时,即可确定工作压力。然后用速度控制阀进行微调,最后调节气缸的缓冲,调节缓冲针阀使活塞的惯性得到吸收,其最终速度又不致撞击缸盖为宜,榛锐机电供应气缸。

  • 跑步机皮带异响处理方法(怎么解决跑步机皮带异响)

    跑步机皮带异响处理方法跑带声音和跑步声,处理方法:当在跑步机上面运动时有“刷刷”的声音,是因为跑带和跑板没有完全磨合,使用一段时间后声音会减轻。如跑板有“吱嘎”的声音,则是跑板固定螺丝松动,处理方法:将跑板最末端银白色塑料套取下,再将跑板边上塑料条往后抽出,能看到跑板表面固定螺丝,然后用M6六角扳手固定或将跑板下面螺丝固定好。如电机有异晌则需更换电机。

  • 易建联个人资料简介(易建联个人介绍)

    2010年6月30日,转会至华盛顿奇才队。2011年10月8日,易建联重回CBA为广东东莞银行队效力。2015年10月3日,易建联等人带领的中国男篮在2015年男篮亚锦赛上夺冠,并获得里约奥运会比赛资格。2015年,获得中国十佳运动员称号。2017年12月5日,易建联选评为“全球杰青”。2019年2月15日,易建联正式成为CBA历史篮板王。2019年3月15日,易建联成为CBA首位最佳防守球员。2019年5月3日,易建联随广东队夺得2018-19赛季CBA总冠军并荣膺总决赛MVP。

  • 国内翡翠原石产地(翡翠的介绍)

    国内翡翠原石产地国内翡翠原石产地为新疆和田地区策勒县。翡翠的原产地很少,在世界上只有美国、日本、俄罗斯、危地马拉、缅甸、中国等几个国家,中国新疆和田地区策勒县出产少量翡翠矿石,而缅甸是翡翠产量最高、品质最好的国家。翡翠的正确定义是以硬玉矿物为主的辉石类矿物组成的纤维状集合体,是在地质作用下形成的。市场上商业品级的翡翠玉石95%以上来自缅甸,缅甸是世界翡翠出产最丰富的国家,且以玉石优质闻名。

  • 这三本小说真是值得一看(这些小说真的太冷门了)

    为了响应冷空气的号召,榜哥决定再添股风,专门为各位小伙伴准备了五本过冬必备的冷门小说。其实关于《新宋》这本书,能说的东西有很多,甚至单独做一期节目也是绰绰有余。作为一本穿越小说,《新宋》的主体却不单单只是穿越,更近似是一部关于宋朝的大百科全书。新宋值得称赞的地方太多太多,而我只想说一句,新宋是一本成功的历史小说。这,便是你们不容错过的理由好了,我是榜哥,网络小说排行榜,关注转发不书荒。

  • 冬天洗澡的水温多少度合适(冬天洗澡水温多少度最好)

    冬天如果要洗澡的话,建议将水温控制在40摄氏度左右最好。因为这个温度只高出体表几度,肤感会比较的舒适。并且这个水温洗澡还能够起到较好的去垢止痒、舒筋活血、发汗镇痛的作用。但如果觉得水温冷的话可以稍稍调高几度,但注意水温不能过高,不然就会对身体造成不好的影响。并且水温过高还会使得体表的油脂被过度冲掉,这样就是使得皮肤出现干燥缺水的情况。