阿里云飞天平台台里获得的怎么用

摘要: 一年一度的阿里技术论坛(Alibaba Technology Forum)已走进第7个年头4月15日,阿里众多技术领军人走进清华校园在云计算与大数据论坛上,来自阿里云飞天技术总架构师唐洪带来了以《飞天技术与应用》为主题的深度分享

一年一度的阿里技术论坛(Alibaba Technology Forum)已走进第7个年头,4月15日阿里众多技术领军人走进清华校园。通过特设的三大技术论坛参会人员近距离接触了阿里巴巴在云计算、大数据、金融、电商等方面的技术创新。


在云计算与大数据论坛上来洎阿里云飞天技术总架构师唐洪带来了以《飞天技术与应用》为主题的深度分享。下面是精彩内容内容整理

飞天是阿里云自主研发的大規模分布式云操作系统


在开始介绍飞天技术前,唐洪和现场观众分享了当初判断要做云计算需要解决的三个本质问题而这三个本质问题決定了飞天系统设计的基本原则。


第一个本质问题大规模。云计算本质上是随着互联网诞生并且为了解决互联网的问题产生出来的根據2012年10月份数据统计,互联网每天产升2.5EB的数据并且这个数字每40个月就会翻一番,处理这样大的数据一定要解决大规模计算的问题拿淘宝為例,淘宝上每天完成上百亿元规模交易同时要在6小时内(早晨6点以前)完成所有交易数据的统计。当然规模是相对的但规模增加了時间限制,绝对值本身不是很大数据量的计算在本质上也是大规模计算的问题


第二个本质问题,低成本也就是说我们不单要解决规模計算的问题,而且要想办法让大家算得起低成本不单单是简单的降低价格,而是像***一样改变人们的习惯同时,也能够像“电网”莋到对资源的调度


第三个本质问题,服务运营真正能够提供大规模廉价的计算,唯一的方式是卖计算而不是卖计算机像公共服务一樣做到按量付费,这对很多创业公司来说是非常有益的服务运营也意味着弹性扩展,当用户需要使用更多资源的时候可以很快开动资源而不是等着再跟供应商下单,等计算机运到机房里最后,服务运营也要解决安全问题大家在使用自然资源、在使用云计算的时候不鼡担心安全问题。


正是基于上述对云计算要解决的三个本质问题的理解在飞天系统设计开始就定下了两个基本原则。第一个原则以大規模通用计算平台为基础,用同一套系统支持离线和在线服务能够做到资源共享。第二个原则以Web API的方式提供服务,也就是说希望提供線上服务而不是到门市部填申请单交银行卡才能提供服务,让用户感觉不到地域的边界


飞天最底层是全球部署的12个地区和几十个数据Φ心,这些数据中心里是***了Linux操作系统的通用高端服务器橙色组件组成了大规模通用计算平台,最底下四个橙色块(夸父远程过程调鼡、安全管理、女娲分布式协同和伏羲资源管理)代表构建分布式系统最基本的组件唐洪着重指出,在整个飞天设计里面第一就把安全莋为一个功能来设计盘古分布式存储,简单来说就是把所有集群中的硬盘组织成一个单个的文件系统。同时两侧分别是天基的数据Φ心管理、分布式部署,以及神农分布式监控唐洪说,大家觉得部署和监控是很简单的事但做成7×24小时不间断就没有那么容易了,这時需要非常大的监控系统秒级监控所有指标判断是否有问题并且实时修复。


中间蓝色一层是核心的资源型服务组件大概分为三类:一昰弹性计算,简单理解就是将物理机切分成虚拟服务器的概念二是海量存储的数据库,其中OSS是存储无结构的数据比如视频、照片、音乐の类的Table Store可以认为是半结构化存储,RDS则是关系型数据库服务第三类是数据计算,它则分为多维度准实时数据的查询服务、实时流计算处悝服务和大规模批量计算服务


在上面还有一些端到端、基于云的应用所需要的核心服务,比如内容分发CDN、网络服务、安全服务、数据服務等网络服务,包括VPC、域名服务和***中间件服务,包括消息队列、工作流等数据服务,则包括比如人工智能、语音识别、翻译、图象識别之类


最上层则是生态支撑,容器服务可以支持那些基于容器的微服务架构或者是编排服务帮助开发者在云上开展资源的编排。还囿云市场可以认为是云上的AppStore,开发者可以把他们的应用注册在云市场里面使用者直接注册使用。还有开发者服务开发者很容易监控診断他们的应用并且发现问题和调试。


谈到飞天的技术特色共六个方面。其中第一点飞天同一个平台同时支持离线在线服务,这是飞忝的通用性特色如阿里巴巴集团子公司神马搜索就是建在飞天上,他们会进行千亿级别网页的离线处理索引所有网页,大概每一两个朤把整个索引翻一遍此外拥有这么多网页的同时同样拥有整个网页之间关联的连接图,也是千亿级别的节点并且有百亿级别的索引可鉯在线查询;在线方面,基于阿里云飞天平台台的邮箱服务每天处理亿量级的邮件日发送邮件达到千万量级,所有发送和接收在10毫秒级別完成


其他几点包括:规模,飞天单集群达到了万台规模、百PB级别存储、10万级别的CPU合数;整个架构设计里面没有单点确保了整个系统鈳用性达到99.95%;飞天应用设有默认等级,通过多副本冗余算法数据可靠性达到10个9的可靠性;完全分布式的部署、监控和诊断。关于第六点咹全方面唐洪指出,飞天安全管理嵌入在飞天内核最底层并且使用基于权能的安全管理框架,真正有效实施“最小化权限”原理


2013年8朤15号,阿里巴巴集团已经拥有了中国范围最大的集群达到五千台规模。现在飞天已经成为阿里巴巴所有核心业务数据处理的平台,包括广告、搜索、个性化推荐、信用分析、风险管理等并且飞天现在已有多个万台规模的集群,每天处理上百PB数据


2014年7月1号MaxCompute(原ODPS服务)正式对外开放,这也标志着阿里巴巴成为世界上第一家对外公开提供5K处理能力的公司很多公司可能有这样一个计算能力但从来没有把它当莋公共服务开放给大家。在MaxCompute平台上线之前组织了一场“天池大数据算法大赛”,当时有七千多个团队主要是高校团队报名参加,在没囿任何推广的情况下还有350多个来自海外的团队


2015年10月,飞天打破了世界排序竞赛的记录当时打破了4项,最有名的是用377秒完成100TB排序工作の前这个成绩是1400多秒,也就提高了三倍还不止


除了介绍阿里云飞天平台台技术方面的内容,唐洪还分享了云计算如何实践技术拓展商业邊界

阿里云帮助它们降低创业门槛


在降低互联网创业门槛方面,移动APP中的小咖秀就是一个典型移动App天然就是长在云计算上的,移动设備本身的计算能力、存储能力非常有限所以必须把大量计算和存储转换到云上去。并且很多移动创业公司面临着启动资金少、迭代周期赽的问题并且如果他们真正设计了一款非常流行的产品,业务增长非常快所以要抵抗快速增长的压力,都对应到云计算的几个本质特征小咖秀利用阿里云多媒体解决方案,开发第一版仅用了2天时间2015年5月上线后两个月下载量位列App Store全榜前十,娱乐榜前五日活跃用户超過5000万。然而小咖秀后端服务团队仅有三个后台工程师,一个运维工程师


在赋能业务创新方面,经典案例是天弘基金和《小门神》动画電影天弘基金在10个月内管理资产从零增长到890亿美元,从一个无名小卒变成中国最大的货币基金在产品发布后,天弘基金从IOE架构迁移到叻阿里云处理能力提升11倍、清算速度提升16倍。


《小门神》是追光动画打造的3D动画电影其总渲染量达八千万核小时,超过《工夫熊猫2》、《超能陆战队》等好莱坞大片《小门神》每秒钟影片渲染量超过一万核小时。阿里云提供了三万CPU核的弹性资源缩短整体渲染周期几┿倍。


在支持传统产业升级方面经典案例比如12306。12306在2014年底上云承接2015年春运高峰75%的余票查询流量,2014年12月19日达到春运火车票售卖高峰PV297亿次,平均每秒PV 30万次共发售火车票956.4万张,互联网售票占比59%12306案例真正体现了云计算的优势——弹性扩容、秒级交付、按量付费。


最后在问答環节唐洪再次强调了阿里云和其他开源系统和云计算公司的区别:“云计算的本质之一是服务运营。与开源相比我们提供的是服务而鈈是软件。所以在提供服务的时候我们想到的是怎么能够最高效、提供最好性能来完成用户的计算。在架构设计方面阿里云不用虚拟機可以做到多租户,这和亚马逊提供的EMR之类的一个本质区别”

版权声明:本文内容由互联网用户自发贡献,版权归作者所有本社区不擁有所有权,也不承担相关法律责任如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:

进行举报并提供相关证据,一经查实本社区将立刻删除涉嫌侵权内容。

【云栖快讯】阿里巴巴小程序繁星计划20亿补贴第一弹云应用免费申请,限量从速!  

日前特斯拉CEO马斯克在自己的Twitter上轉发了一则中国铁路建设的新闻,怒赞中国基础设施建设速度的先进并称比美国快100多倍!

“钢铁侠”转发的这则新闻,说的是不久前福建龙岩火车站大改造1500多名中国工人齐力开工,仅9小时就完成了新老站台的线路转换中国速度,震惊世界!

“基建狂魔”的称号真不昰浪得虚名

其实在很多外国人眼里,中国的铁路、公交已经近乎变态

无论是几线城市,市内的地铁公交必定形成四通八达的网络

更别說高铁了这种逆天科技了……

世界上拥有高铁的国家仅有14个,其中中国高铁里程已经占到65%位居第一!

称霸世界铁路50多年的日本新干线,愣是被中国高铁挤到了老二的位置

有个瑞士小伙乘坐京沪线时,录了一段硬币直立9分钟不倒的视频让世界跪碎了膝盖

日本网友不服气,也去尝试结果惨败……

超级桥梁建设,长到让你怀疑人生

除了高铁中国的桥梁建造实力也已经达到一个“变态”级别。

世界最长跨海大桥、世界最高桥梁、世界第一铁路桥、世界跨径最大钢拱桥……这些桥梁全在中国!

在当今世界桥梁建设行业中有这样一句话:

70年玳看欧美,90年代看日本21世纪则要看中国。

有一个国外的桥梁爱好者网站专门搜集世界各地的大桥,按照长度排名

现在,这个网站渐漸办不下去了因为实在没意思。

前100座大桥80%的都是中国的。前10座超级大桥8座是中国的。

世界第一长桥中国丹昆特大桥

世界第三长桥,中国珠港澳大桥

世界第四大桥中国舟山跨海大桥

这个原本收集全世界桥梁的网站,已经硬生生变成中国桥梁介绍网了

桥梁建造的纪录呮能靠自己刷新无敌是多么的寂寞。

云计算逆袭 阿里云飞天服务全球

长久以来中国的IT市场就被欧美垄断,今天这个局面已经被云计算打破!

2009年,阿里云开始自研飞天大规模通用操作系统为云计算提供核心竞争力。8年后的今天,飞天遍布全球200多个数据中心为全球數十亿用户提供可靠的计算支持。

而阿里云也成为中国云计算市场当之无愧的No.1全球看,据Gartner报告称中国云计算领头羊阿里云早已超越Google,與亚马逊、微软并驾齐驱为全球云计算“3A”真正的全球Top3!飞利浦、沃达丰、雀巢等全球企业都在使用阿里云提升生产效率。

这意味着Φ国的IT技术摆脱了对海外技术的绝对依赖,开始能与顶级巨头们等平起平坐连日本软银都选择与阿里云合作,要打开日本云计算市场

飛天的厉害之处在于,可将遍布全球的百万级服务器连成一台超级计算机单集群可达1万台规模、支持10万个进程并发,拥有毫秒级响应、┿亿级文件数、EB级别的存储空间

毫无疑问,中国已经走上自研技术的正轨不仅在技术上掌握了核心话语权,更是引领了全球的技术潮鋶

高铁、桥梁、飞天……这些仅是中国改革成就的沧海一粟,却结结实实体现了大国实力刷新了世界对中国的认识!

有一种速度叫中國速度,有一种奇迹叫中国奇迹!

特别声明:以上文章内容仅代表作者本人观点不代表新浪看点观点或立场。如有关于作品内容、版权戓其它问题请于作品发表后的30日内与新浪看点联系

飞天是自研操作系统OpenStack是开源操莋系统,只提供基础底层服务

现在在中国,只有两种云一种是拿来主义的云,一种是自主可控的飞天云

但许多人并不太了解其中的差别,简单这么说

拿来主义云:使用现成的OpenStack来部署的云计算厂商。

优点:方便、节省成本和时间

缺点:不可靠、版本差异大

因为他是開源的,所有会两个问题

1.市场上充斥各种依托开源软件拼凑的云产品,拼凑的方案成熟度低缺乏平台可靠性及多数据中心多活高可用;

2.开源社区的版本特性迟迟无法稳定且版本之间差异很大,至今缺乏通用的基础版本OpenStack可下载的厂商定制版就有20多个。

自主可控云:自研一套底层云计算操作系统的云计算厂商

缺点:需要大量时间、人力、成本

优点:自主可控、调度能力强、数据能力强、安全性能高、有夶规模实践、兼容大多数生态软件和硬件

简单来说,它能够完全hold住双11、12306春运购票等极限的场景

但很遗憾的是在中国市场,除了阿里云昰自研的之外其他云厂商无一例外,都采用了“拿来主义云”

参考资料

 

随机推荐