Google每天要处理多少数据?答案:20PB

ugmbbc发布于 2008-01-09 21:09:26|1905 次阅读 字体：大 小 打印预览


大家知道Google是世界上访问最大的网站之一,但有谁知道它每天处理多少数据呢?
这里可以告诉你一个大致的数据,约20PB(20000TB,1TB=1024GB).的确是非常惊人的一个数字.这些数据每天通过巨大的群集来处理,截至2007年9月,Google的集群数量已经达到11000台.
这些服务器的配置大多采用两颗英特尔至强(HT)处理器和4GB内存,两个160GB的硬盘,并采用以太网连接,每台大约在2400美元左右,以下是详细的统计表格.



MapReduce statistics for different months
Number of jobs (1000s) 29 171 2,217
completion time () completion time () 634 874 395
Machine years used 217 2,002 11,081
map input data ()) 3,288 52,254 403,152
map output data ()) 758 6,743 34,774
reduce output data ()) 193 2,970 14,018
machines per job machines per job 157 268 394
Unique implementations
map 395 1,958 4,083
reduce 269 1,208 2,418