微软推出公测版Dryad并行软件平台

ugmbbc发布于 2010-12-21 12:27:50|1185 次阅读 字体：大 小 打印预览


微软发布了公测版Dryad平台，成为谷歌MapReduce分布式数据计算平台的竞争对手。微软的Dryad项目主要研究用于编写并行和分布式程序的编程模型。
目前，科技界已经有一款发展迅速的开源版MapReduce：Apache的Hadoop项目。微软至少有一个部门正在使用Hadoop，并且为其贡献代码。现在微软推出自己的产品并不令人奇怪，因为Hadoop毕竟是开源项目。

微软在博客中表示，已经发布了Dryad平台以及DryadLINQ编程语言的“社区技术预览”。 DryadLINQ被用于在该平台上构建应用。与谷歌的专有平台MapReduce相似，Dryad也通过分布式计算机网络计算海量数据。但与 MapReduce不同的是，Dryad是针对运行Windows HPC Server的计算机集群设计的，而且DryadLINQ使用.NET的LINQ查询语言模型。

2004年，谷歌发布了两篇关于MapReduce和分布式文件系统GFS的研究报告，这两篇报告成为Hadoop的基础。Hadoop最初是由开源网络爬虫Nutch的创始人达格·卡廷(Doug Cutting)开发的。

Apache 将Hadoop变为开源项目，雅虎也对Hadoop进行了单独开发。现在，Hadoop是雅虎的在线基础设施的重要支撑，并且已经被Facebook、 Twitter、苹果和微软等科技巨头采用。2008年，微软收购了语义搜索企业Powerset，并将Powerset公司基于Hadoop的相关技术用于必应(Bing)搜索引擎。

微软甚至允许原Powerset员工承诺向Hadoop贡献代码。Powerset还成立了Hadoop的姊妹项目HBase，模仿谷歌的BigTable分布式数据库。

事实上，Dryad和DryadLINQ早在微软收购Powerset之前就已经存在。微软于2007年首次发布了关于该技术的研究报告，并于2009年夏向学术界发布了非商业版Dryad和DryadLINQ。

Dryad的“社区技术预览”要求必须有基于Windows HPC Pack 2008 R2 Enterprise的计算机集群，并且安装有Service Pack 1。已经注册HPC Pack 2008 R2的用户可以获取该社区技术预览。

类似于Dryad，Hadoop也提供自己的查询语言，事实上，它有两种查询语言。雅虎开发的查询语言被称为Pig，而Facebook开发的更高级语言被称为Hive。