Google намного больше, чем представляете (Секреты ЦОД)

[Alexey Slizkov]

Google намного больше, чем вы можете себе представить!
Серверные фермы, центры обработки данных...

Большинство пользователей сети даже и не задумываются, что там стоит по другую сторону монитора. Те, кто "в теме", нынче стали сравнивать Google с "Матрицей" и "Скайнетом".

Миллион серверов
На данный момент у компании Google по всему миру несколько десятков огромных серверных ферм, количество серверов на которых уже перевалило через отметку в 1 миллион. Потребляет все это несколько сотен мегаватт в час - для работы оборудования требуется целая современная атомная электростанция!

Каждый день добавляются еще тысячи новых серверов. Часть из них взамен сломавшихся или устаревших, но большинство для наращивания мощностей и объемов.

Для размещения серверов покупаются земли в отдаленных районах, но поблизости с электростанциями. Миллионы квадратных метров площадей заселены только компьютерами, опутанными проводами.

Корпорация Google уделяет очень большое внимание своим дата-центрам, о которых в прессу просачиваются лишь обрывочные данные. Как известно, "сердце" дата-центра - его ИТ-оборудование. Стоит сразу отметить, что Google использует не стандартные, а фирменные серверы с архитектурой собственной разработки. Корпус сервера для размещения в стойке имеет стандартную высоту 2U. На модернизированной системной плате тайваньского производства размещаются два процессора (используются как Intel, так и AMD), два накопителя на жестких дисках и восемь разъемов модулей памяти. Основная "изюминка" серверов Google - его 100W блок питания, который использует только одно выходное напряжение питания постоянного тока (12V) и имеет встроенный мини-ИБП с аккумулятором. Серверы Google устанавливаются в стойки, которые монтируются в стандартные 40-футовые морские контейнеры с максимальной загрузкой 30 тонн. Эти контейнеры, в свою очередь, устанавливаются в специальном ангаре - серверной ферме. На представленной в презентации ферме сейчас находится 45 контейнеров. В одном таком контейнере может разместиться до 1160 серверов при потребляемой мощности 250 КВт.ч. Для охлаждения оборудования в контейнерах применяется вода и вентиляторы с переменной скоростью вращения.
Географически кластеры находятся в разных частях планеты, что позволяет не бояться ни природных катаклизмов, ни массовых отключений электричества.

Морской дата-центр
Недавно Google получила патент на дата-центр морского базирования, который использует энергию океана для получения электричества и охлаждения. При этом не нужно платить налог на собственность и недвижимость. Такой ЦОД размещается в контейнерах на судне, находящемся в нейтральных водах, примерно в 10 километрах от берега. Патентная документация также описывает охлаждающую систему на основе насосов, приводимых в движение энергией волн, и теплообменников, преобразующих морскую воду в пресную. Само собой, солнечные батареи тоже в помощь.

На своих серверах Google использует модифицированное ядро Linux и все программное обеспечение пишет самостоятельно. Во-первых, разработки компании во многом не имеют аналогов. Во-вторых, используя собственные управляющие программы не нужно тратить деньги на покупку ПО. Софт превращает кластер в единый организм, подчиняя сотни компьютеров выполнению одной задачи. Для Google отказ оборудования является нормой, а не исключением. Серверы и компоненты выходят из строя каждый день. Механизм репликации позволяет сохранить информацию в целостности: блок данных нельзя восстановить только в том маловероятном случае, когда в течение нескольких минут кластер безвозвратно теряет три независимых сервера. И то при этом опасности подвергается лишь малая доля информации.

Когда пользователь вводит запрос в Google, браузер обращается к DNS-серверу, а тот отправляет его на один из кластеров, наиболее близкий и наименее загруженный. После этого все операции проходят внутри этого кластера. Пройдя через аппаратный распределитель нагрузки, запрос попадает на один из веб-серверов, который координирует действия всех других машин. Информация собирается с рабочих серверов разного назначения (индексные, архивные, авторизующие, проверяющие правописание запроса, подбирающие контекстную рекламу и т.п.) и передается на веб-сервер, который уже выдает ее пользователю.
Вся информация продублирована так, что в любой момент времени всякий файл доступен в трех экземплярах. Это на случай сбоев, отказа оборудования или повреждения линий связи.

Рост парка серверов Google:
100 000 серверов - июнь 2005 года
200 000 серверов - март 2006 года (по данным Los Angeles Times)
450 000 серверов - июнь 2006 года (по данным New York Times)
1 000 000 серверов - июнь 2007 года (по данным Gartner)
2 000 000 серверов - октябрь 2008 года (по данным Economist)

Само собой, не только у Google много серверов. У них их больше всех, но и у Apple, Microsoft, Intel, Yahoo, Facebook, AT&T количество серверов измеряются десятками и сотнями тысяч.

Так выглядит одна из серверных ферм Facebook:


А это Apple server farm:


У Google все еще намного круче:


Кстати, крупнейшая социальная сеть планеты Facebook, созданная Марком Цукербергом, ставшим самым молодым миллиардером в мире, намерена возвести огромную серверную ферму. И не где-нибудь, а за Полярным кругом, в шведской Лапландии. Об этом стало известно на той неделе. Новый вычислительный центр станет первым центром компании, расположенным не в США. Он будет обслуживать пользователей Европы, Ближнего Востока и Африки. Площадь дата-центра как десять футбольных полей. Строительство этого вычислительного центра обойдется компании почти в 770 миллионов. Место для будущего дата-центра, разумеется, выбрано не случайно. Летом столбик термометра в этом регионе не поднимается выше 25 градусов, а значит, серверы будут частично сами охлаждаться за счет низких температур. Да и цены на электричество в шведской части Лапландии - самые низкие в Европе.

[sev]

Интересно! Навороченное сооружение! Конечно цифра в 2 миллиона серверов впечатляет и ни в каком образе не представляется, а вот только одна из серверных ферм в 10 футбольных полей - весьма яркое сравнение. Удивило про морские контейнеры.

[Kudah-tah-tah]

Интересно!

[crash]

Не удивительно, конечно не предполагала, что до такой степени большой.

[Kira]

Нехило так. Даже не ожидала.

[Alexey Slizkov]

Я рассказывал про серверные фермы Google и Facebook. Это гиганты, но и российский Яндекс уже не мал (на 2010 год у Яндекса было 7 дата-центров, каждый на несколько тысяч серверов), вот так выглядят их дата-центры:

Яндекс поддерживает разветвленную и независимую от офисов сеть дата-центров. Еще в 2005 году в Яндексе шутили, что департамент эксплуатации компании потребляет серверы на завтрак, обед и ужин, устанавливая в дата-центры по три сервера за день - сегодня эта цифра ещё больше, и растёт с каждым днем. Число серверов Яндекса измеряется тысячами.
В дата-центры Яндекса непросто попасть, и большинство сотрудников Яндекса даже не знают, где дата-центры находятся. Те, кто работают там каждый день, видят примерно такую картину:



Если присмотреться ближе - то такую:


А если ещё ближе - то, например, такую:


В дата-центрах Яндекса много работают:


Но есть и места, где пока ещё нет ни проводов, ни серверов:


В комнатах дата-центров очень много проводов:


При включенном свете типовая комната дата-центра Яндекса выглядит так:


А при выключенном - так:


Впрочем, свет в дата-центрах Яндекса не выключают практически никогда.

Чтобы было проще коммутировать и отслеживать, что и куда подключено, используются патч-корды разного цвета:


Все знают, что у нас регулярно бывают перебои с электричеством, а сервисы у нас должны работать круглосуточно. Поэтому мы обеспечиваем датацентры ИБП (источниками бесперебойного питания). Так что при отключении внешнего питания наш датацентр сможет проработать на аккумуляторах небольшое время. Но электричество нередко отключают и на много часов. Для таких случаев каждый наш датацентр оборудуется и дизель-генератором. Дизель-генератор работает на солярке и может обеспечивать питанием датацентр продолжительное время (если не забывать подвозить топливо).

[marishkanja]

Да уж, это действительно впечатляет! А у Рамблера интересно сколько серверов?

[Андрей 64]

Думаю сравнение с "Матрицей" и "Скайнетом" вполне уместно... В каждой возможности таиться всегда какая-то опасность. Я думаю те ОГРОМНЫЕ возможности которые предоставляет человечеству всё то, о чём написано выше когда-нибудь обернуться БОЛЬШОЙ бедой. К примеру ТОТАЛЬНЫЙ КОНТРОЛЬ НАД КАЖДОЙ ЛИЧНОСТЬЮ. Что будет с миром когда у будущих Сталиных и Гитлеров будет в руках вся эта мощь?

[Oxotnick]

Гугл следит за каждым из нас. Все у него на мушке сидим.