Сортировка петабайта данных заняла у Google шесть часов две минуты

[elimS2]

http://www.picamatic.com/show/2008/11/24/02/35/1422169_300x300.jpg

24/11/2008 09:33

Компания Google в рамках своей файловой системы рассортировала петабайт данных между четырьмя тысячами компьютеров за шесть часов две минуты. Один петабайт эквивалентен десяти триллионам 100-байтовых текстовых файлов. Об этом сообщается в официальном блоге Google. Для размещения петабайта данных Google потребовалось 48 тысяч жестких дисков, но они не заполнялись полностью. Кроме того, создавалось по три копии каждого файла на разных дисках, так как есть опасность выхода их строя одного из трех винчестеров. Сортировка меньшего объема информации - терабайта данных - между тысячей компьютеров заняла у файловой системы Google 68 секунд. Такой же объем информации был рассортирован между 910 компьютерами за 209 секунд. Основой файловой системы Google является компонент MapReduce. Он позволяет запускать несколько процессов одновременно. В январе текущего года MapReduce обрабатывал в среднем по 20 петабайт данных ежедневно.

копипаст: http://www.uinc.ru/news/sn11055.html

первоисточник: http://googleblog.blogspot.com/2008/11/sorting-1pb-with-mapreduce.html
Copyright © 2008 Google Inc. All rights reserved.

[Sinay]

числа жесть

[Allont]

убица можна, ну и машинища у них стоят .

[root_sashok]

убунта рулит)

//то не оффтоп, то правда, у гуглоф ос на базе убунту..

[AlexV]

Вот реал скорость! :)

[HellXi]

может быть лет этак через 20, каждый сможет работать с такими данными :)

[0ldbi4]

Ага и порно в Super Hight Definition будут качать)

[geforse]

Ага и порно в Super Hight Definition будут качать)

Уже не бует порно)) изобретут роботов = )

Гугл молодец))) я даже такого слова то не слышал .... петабайт)))))

[m0le[x]]

//то не оффтоп, то правда, у гуглоф ос на базе убунту..
Откуда такая информация? Сервера гугл на убунте? или что значит на базе убунты?

[HighExcel]

Хочу такой кластер себе )))

[Dian]

может быть лет этак через 20, каждый сможет работать с такими данными
Хакер имеет шанс поработать с ними уже сегодня