扒一扒谷歌网络帝国背后的故事

2015-06-18 07:36:31 来源: cnbeta网站 举报
0
分享到:
T + -

三年半之前,一个包裹被快递到了爱荷华州一个农业小镇的某办公楼里,一段关于谷歌的神奇故事就此拉开了帷幕。包裹里面是几个奇怪的计算设备,它们非常的宽大扁平,就像装披萨的盒子。盒子的一边是密集的开口,显然是用来接入大量网线用的,另一边贴着一个“海王星交换机”(Pluto Switch)的标签。它们的外形与常规的网络设备大相径庭,而且盒子的背面还印着许多芬兰语的字符。

这个公司的工作人员显然并不知道这些盒子的具体用途,于是有人把这些盒子转寄到了他们威斯康辛的总部,希望那里的IT专家们可以解答这些盒子的秘密。总部的IT工作人员一开始同样一头雾水,但是不久之后他们在一个非常小众的网络论坛上得到了一些答复:这些盒子是网络交换机,它们工作在因特网纷繁复杂丰富多彩的表面之下,负责在数据中心之间大量的传输和转移数据,并且,它们的主人是谷歌。

谷歌的确在爱荷华州的那个小镇附近设有数据中心,所以显然是邮递员粗心把这个设备寄到了错误的地址。这个公司的工作人员把这些盒子两两装好之后寄给了谷歌,并且迅速的从那个论坛上销声匿迹,但是他们在论坛上曾经发过的照片和技术讨论还是为人们打开了一扇窥探谷歌帝国内部的神秘网络世界的窗户。它指向了一个也许会改变整个互联网世界的神秘项目,而谷歌却从未在公开的场合谈论过它。

解密谷歌网络帝国背后的故事
图为谷歌代号为”海王星“(Pluto)的高性能架顶式交换机

多年以来,谷歌在搭建自己的服务器网络时并没有使用传统网络设备商的设备,他们并没有大规模的购买思科,惠普或者爱立信的交换机和路由器。为了适应谷歌急速扩张的服务器网络,他们专门设计了自己的网络设备并且为他们编写了自己的软件用于配置和管理自己的网络。而直到这次阴差阳错的邮递员事件,外界才第一次看到这些设备的真容。由于这个项目对于谷歌的重大意义,在对外界保密的同时谷歌一直在持续增加对这个项目的投入。直到今天早上,在硅谷的一个技术会议中,来自谷歌的Amin Vahdat才第一次作为这个项目的负责人展示了支撑谷歌网络帝国长达10年的前5代的硬件软件解决方案,并且对这个领域的一些基础技术进行了介绍和探讨。这些探讨对于整个互联网世界都具有一定的前瞻性,毕竟未来会有更多的互联网公司将要走上谷歌已经走过的路。

解密谷歌网络帝国背后的故事
图为Amin Vahdat, 谷歌“消防水管”(Firehose)项目的负责人

Amin Vahdat最早是UCSD的教授,他的研究领域就是网络的拓展,当意识到在学术圈的世界里已经无法构建规模足够大的网络之后,他来到了谷歌。据Vahdat介绍,谷歌这个秘密项目名字叫做“消防水管”(Firehose),始于2004年。到2005,2006年的时候,这个项目的产品已经部署在谷歌若干个数据中心日夜运行。除了快递员投错的那些类似于“高性能架顶式”(Top-of-Rack)交换机的产品,他们还开发了另外一种用于连接大规模网络之间相互连接的“集群交换机”(Cluster swtiches)。不仅如此,谷歌甚至还设计开发了自己专属的路由协议和网络管理软件。对此Vahdat的解释是:“那时的设备完全不能应付我们的网络所需要处理的带宽和数据吞吐量,那样的设备在这个星球上根本就不存在。”

谈到消防水管这个项目最初的动机,Vahdat表示主要有两个方面,一方面在于谷歌的服务器网络扩张太快,传统网络设备商的产品已经无法满足他们在各个不停扩张的数据中心之间快速交换数据的需求;另一方面谷歌也需要为这个长期持续的挑战找到一个低成本的解决方案,运用传统的手段搭建谷歌所需要的规模的数据中心和网络,成本将是真正意义的天文数字。而这个低成本的解决方案就是大量购买价格低廉的民用级的芯片,并且让他们协同工作完成交换处理海量数据的任务,听起来很像当下被炒得火热的云计算的概念雏形。

十几年之前当谷歌刚刚开始搭建自己的服务器网络时,他们的选择跟其他所有公司如出一辙。他们尝试从思科购买最大最强的集群交换机(Cluster swtiches),在每个数据中心的内部,这些集群交换机构成了网络的骨架。每一部这样的集群交换机都要花费谷歌几十万到几百万美元,而每一部这样的交换机上只有固定数量的网络接口可以连接到其他的交换机,这意味着搭建一个可以满足谷歌需要的数据网络将会耗费无尽的美元。“那时候我们的采购只会跟他们说,嘿哥们,把你们现有最牛的交换机给我们,只要最牛的。”

于是从2004年开始谷歌内部成立了一个小组开始研究自己的网络设备解决方案。这个方案简而言之就是用普通的民用级芯片搭建通用的硬件,然后在上面跑任何需要运行的软件。思科为不同级别的需求提供不同的硬件,并每套硬件上面都运行特定的相匹配的软件。而谷歌的解决方案则简单粗暴的多,所有的硬件都是相同的,面对不同的需求时解决方案的差别仅在于一起协作的硬件的数量,一个“高性能架顶式”交换机就相当于一个“集群交换机”上的一块板,性能的提升几乎等同于数量的叠加,而这些相同的硬件都可以运行任何需要运行的软件。根据Vahdat的介绍,现在谷歌“朱庇特”(Jupiter)系列集群交换机的处理能力已经达到了每秒40Tb,等同于4000万个家庭用户接入的带宽和吞吐量。

解密谷歌网络帝国背后的故事

图为谷歌的”朱庇特“(Jupiter)系列集群交换机,每秒可以处理40Tb的数据,相当于4000万家庭用户接入的吞吐量。

相较于硬件,Vahdat对于他们解决方案的软件部分言之甚少。但是他透露他们的网络设备运行在Linux的系统之上,他们还开发了自己的路由协议“火线”(Firepath),用于判断数据交换时的最佳路径。在网络世界里工业标准的路由协议是BGP和OSPF,开发自己的路由协议是非常罕见的现象。Vahdat解释说在他们开始搭建网络的时候这些标准协议还不像今天这般简单和高效,而他们将要搭建这个世界上最大最复杂的网络,所以他们需要一个更加简单快速可扩展的方案。“火线”协议的细节无比复杂,如果要介绍它的优势,一言以蔽之,“火线”的用户可以通过一个中央控制软件来统一配置整个网络的行为,而在传统的网络世界里如果想要达到同样的效果,网络管理专家们必须对网络中的每个交换机一个一个的单独配置。

谷歌的服务器网络很可能是世界上最大的一个。一个惊人的事实是,如今谷歌网络内部数据中心之间交换的数据量已经超过了谷歌和整个互联网之间交换的数据量。如今像微软,亚马逊和Facebook也都面临着和谷歌类似的挑战,而他们也各自进行着类似的项目。Facebook从一开始就公开了他们的SDN(software-defined networking)计划,而美国最大的网络服务提供商AT&T也已经在紧锣密鼓的进行着向这种新的网络技术的迁移。

SDN技术发展到现在,凭借其低成本,高灵活性和几乎无限的扩展性的巨大优势,已经给传统的网络设备商带来了前所未有的挑战,而这种挑战很可能是颠覆性的,它意味着传统网络设备商们的蛋糕整个变小了,而且将越变越小。当谷歌微软这样的巨头纷纷抛弃思科们的时候,那些中小规模的公司一样会因为SDN的种种优势而希望转投SDN的怀抱,他们之所以还不能这样做是因为他们不像那些巨头公司一样有足够的资源来设计开发自己的硬件软件和解决方案。于是一批新的创业公司应运而生,他们专门为其他公司提供新一代的网络解决方案,“当你只需要花很少的钱买一堆廉价芯片并且用一个中央控制软件就可以配置整个网络的时候,昂贵而又复杂的传统网络解决方案看起来如此笨拙不堪一击。”如今Nicira (已经被VMware收购), Big Switch Networks, 和 JR Rivers Cumulus Networks等公司的蓬勃发展已经证明了SDN大势的不可阻挡,网络世界注定将要迎来一场革命。

netease 本文来源:cnbeta网站 责任编辑:王晓易_NE0011
分享到:
跟贴0
参与0
发贴
为您推荐
  • 推荐
  • 热点
  • 娱乐
  • 体育
  • 财经
  • 科技
  • 军事
  • 汽车

台媒:中共再增一个开战理由 随时可攻台!

新闻 台湾 大陆
|
环球网
3小时前
387 跟贴387

三亚涉海旅游23日8时起暂停 16时起所有景区暂停营业

新闻 三亚 旅游
|
海南日报
3小时前
3426 跟贴3426

王毅怒斥美政要:这种行为最令人不齿!

新闻 王毅 美国
|
中华人民共和国外交部
5小时前
29 跟贴29

“循环证明”没完没了,证明“我爸是我爸”咋就这么难?

新闻 公证处 区公证处
|
央视新闻
6小时前
13809 跟贴13809

安全专家称猜中密码:用"Maga2020!"登录特朗普推特

新闻 美国 特朗普
| 海外网
3小时前
629 跟贴629

纪念中国人民志愿军抗美援朝出国作战70周年丨向中朝友谊塔敬献花

新闻 志愿军 人民军
|
央视网
4小时前
1262 跟贴1262

(现场实录)习近平:在纪念中国人民志愿军抗美援朝出国作战70周

新闻 抗美援朝 志愿军
|
新华网
2小时前
2674 跟贴2674

美国军事史上最大的失败,抗美援朝的转折点——血战长津湖

新闻 志愿军 美军
|
北京日报
4小时前
14310 跟贴14310

一见·这个会议不多见

新闻 总书记 习近平
|
人民网
6小时前
607 跟贴607

全球最大IPO将至!蚂蚁集团大象登场

新闻 ipo 蚂蚁集团
|
红星新闻
13小时前
5603 跟贴5603

泪目!志愿军老战士获全场起立鼓掌

新闻 志愿军 老战士
|
央视新闻
3小时前
21852 跟贴21852

中石油前员工杀害4人后自杀 曾陪他一同举报的父亲称:以为他已

新闻 社会 中石油
|
上游新闻
2小时前
8329 跟贴8329

极不寻常!美军侦察机被曝从台湾北部上空飞过

新闻 侦察机 美军
|
环球网
3小时前
0 跟贴0

纪录片《英雄儿女》第一集中,央视首次公开毛岸英一段珍贵影像

新闻 毛岸英 英雄儿女
|
观察者网
3小时前
0 跟贴0

巴西总统禁购4600万剂中国疫苗 议员向法院提起上诉

新闻 巴西 疫苗
|
环球网
3小时前
19 跟贴19

为考研他挥刀自宫...切丁丁真的就能消性欲吗?

新闻 睾丸 前列腺
|
健康时报
14小时前
33333 跟贴33333

《纽约时报》知名专栏作家:这次大选或导致美国内战

新闻 唐纳德·特朗普 大选
|
观察者网
2小时前
116 跟贴116

轻松一刻:醉酒女让司机提供特殊服务,还给了100元!

新闻 驾驶证 滴滴
| 轻松一刻
18小时前
6785 跟贴6785

抗美援朝:毛泽东一生中最为艰难的决策之一

新闻 毛泽东 抗美援朝
|
北京日报客户端
4小时前
166 跟贴166

遭800年最大厄运!让梁思成叫绝的稀世珍宝病入膏肓

新闻 梁思成 应县木塔
|
瞭望智库
5小时前
4692 跟贴4692

内蒙古一只羊丢失引发3死2伤案,嫌犯涉嫌故意杀人被批捕

新闻 刑事拘留 杀人罪
|
@正义网
16小时前
1187 跟贴1187

"云养牛"App骗局:以不存在的牛骗钱 受害者遍布全国

新闻 APP 骗局
|
澎湃新闻
3小时前
1460 跟贴1460

体毛多就是性欲强?奇怪的知识增加了!

新闻 体毛 科普
| 网易哒哒
17小时前
8097 跟贴8097

被指性侵儿媳董事长发声:刁蛮儿媳让爷俩反目,都是房子惹的祸

新闻 性侵 未婚先孕
|
智慧烟台APP
17小时前
19979 跟贴19979

余承东再谈美国对华为禁令:华为现在处于非常艰难时刻

新闻 华为 余承东
|
中国新闻网
15小时前
978 跟贴978

印度加紧研发隐身无人机,敏感时刻美国助一臂之力

新闻 无人机 巡航导弹
|
澎湃新闻
3小时前
0 跟贴0

长津湖战役中,美军炮兵为什么不是志愿军对手?

新闻 志愿军 美军
|
观察者网
1天前
0 跟贴0

官员贪2千万落马:我着魔一样贪图女色 包养多名情妇

新闻 贪官 女色
| 正义网
5小时前
0 跟贴0

纪念中国人民志愿军抗美援朝出国作战70周年大会即将举行

新闻 志愿军 抗美援朝
|
央视新闻客户端
5小时前
3 跟贴3

拜登称会发展对台关系,可发言中一个细节却让台当局很尴尬

新闻 拜登 唐纳德·特朗普
|
环球时报
13小时前
334 跟贴334

瑞德西韦获美FDA正式批准,世卫组织上周曾表示“几乎没有效果”

新闻 瑞德 西韦
|
每日经济新闻
6小时前
1371 跟贴1371

“德云社,在综艺里拼命搞笑”

新闻 德云社 郭德纲
| 网易谈心社
19小时前
6 跟贴6

村民反应问题被村书记扇巴掌 村书记:见一次打一次

新闻 村支书 村委会
|
海报新闻
16小时前
3524 跟贴3524

美国参议院司法委员会通过最高法院大法官巴雷特提名

新闻 巴雷特 最高法院
| 海外网
16小时前
2907 跟贴2907

空客交付首架美国产A220飞机

新闻 飞机 美国
|
民航资源网
2小时前
0 跟贴0

外国人来华为找easy girl?外教管理者:中国人惯的

新闻 外教 洋垃圾
|
观察者网
13小时前
51 跟贴51

炒面是志愿军打赢战争的一大功臣,周恩来曾亲自动手参与炒炒面

新闻 周恩看 志愿军
|
北京日报客户端
4小时前
15 跟贴15

美媒:要不要取代美国成为全球霸主 中国可能计算过

新闻 美国 中国
|
环球时报
1天前
166 跟贴166

这支乐队,武汉人喜欢了20年

新闻 乐队 彭坦
| 城市漫游计划
20小时前
25 跟贴25

俄罗斯战斗机接连两天在白令海拦截美军机

新闻 白令海 战斗机
|
环球网
3小时前
0 跟贴0

全球最大上市妓院,原来这样经营,不只是服务,背后的商业模式超乎你想象。。。

成功人士
2020-10-22 13:25:10

惊世问答!台“立委”问:解放军如“投诚”会不会接受?“防长”答:会

环球网资讯
2020-10-22 22:18:43

她是“公认第一美胸”!1张私密照爆红全球!令无数男人直呼

FUNFASHION
2020-10-22 22:59:11

赵本山徒弟小沈龙登上沈阳新闻被永久封杀?

八圈传播者
2020-10-22 18:59:59

台上斯斯文文,台下却粗鲁不堪,满口都是脏话的四大女星

八圈传播者
2020-10-22 21:05:40

姑娘你就不能挡一下那里么?那东西让人看了很难为情,好尴尬

猫猫狗狗总会有的
2020-10-21 11:44:32

荷兰光刻机即将运往东方,白宫连夜开会商讨,这还怎么制裁中国

军武亮剑
2020-10-21 17:01:38

大选已提前失去悬念?拜登突然大脑短路,忘记自己在竞选总统

时刻新闻资讯
2020-10-22 15:19:16

詹姆斯主动要求防巴特勒原话曝光!承认吧,字母哥2K能力值不配97

大超说个球
2020-10-23 10:21:12

韩国媒体看笑话:中国足球无理取闹,VAR控制了韩国裁判

代古龙侃球
2020-10-23 07:57:14

女司机开着引擎盖行驶,被抓反驳道:哪条交规,不能打开引擎盖

财经社圈
2020-10-23 00:12:07

交通运输执法大改革!运管局与路政局被撤销,释放了什么信号?

网约车观察
2020-10-22 16:42:15

年轻夫妻婚后6年不孕,3次试管后终如愿,喜得龙凤胎却陷入绝境

黑土影像
2020-10-23 08:15:02

破案了!逐帧回放还原格德斯犯规真相,马宁看错VAR视频!

橙风锦鲤
2020-10-23 01:27:05

特朗普的“王炸大招”即将反转?大选失败后特朗普准备逃到哪个国家?

远读重洋
2020-10-21 16:26:57

妻子厕所与好哥们行苟且之事,丈夫提出离婚,妻子:控制不住

热血汽车资讯
2020-10-23 00:08:12

美国在台协会前主席:美国若驻军台湾,可能导致中美断交

环球时报评论
2020-10-23 08:43:06

是时候展现真正的技术了!潘粤明化身地宫冒险队长探索神秘地宫

游戏圈联盟
2020-10-22 17:48:26

震惊全球!220亿超级大罚单:“华尔街之王”遭殃 承认向两地官员贿赂70亿!

金融界
2020-10-23 09:23:00

卢惠光为儿子庆祝15岁生日,住所内景意外曝光,空间狭小物品杂乱

真实快乐的娱乐
2020-10-23 01:36:39
2020-10-23 13:44:59
+ 加载更多新闻
×

【TED】阅读全世界

热点新闻

态度原创

网易号

查看全部
阅读下一篇

返回网易首页 返回数码首页