Добавлено: Пятница 04 Ноября 2011 0:04 Заголовок сообщения: Google намного больше, чем представляете (Секреты ЦОД)
Google намного больше, чем вы можете себе представить! Серверные фермы, центры обработки данных...
Большинство пользователей сети даже и не задумываются, что там стоит по другую сторону монитора. Те, кто "в теме", нынче стали сравнивать Google с "Матрицей" и "Скайнетом".
Миллион серверов
На данный момент у компании Google по всему миру несколько десятков огромных серверных ферм, количество серверов на которых уже перевалило через отметку в 1 миллион. Потребляет все это несколько сотен мегаватт в час - для работы оборудования требуется целая современная атомная электростанция!
Каждый день добавляются еще тысячи новых серверов. Часть из них взамен сломавшихся или устаревших, но большинство для наращивания мощностей и объемов.
Для размещения серверов покупаются земли в отдаленных районах, но поблизости с электростанциями. Миллионы квадратных метров площадей заселены только компьютерами, опутанными проводами.
Корпорация Google уделяет очень большое внимание своим дата-центрам, о которых в прессу просачиваются лишь обрывочные данные. Как известно, "сердце" дата-центра - его ИТ-оборудование. Стоит сразу отметить, что Google использует не стандартные, а фирменные серверы с архитектурой собственной разработки. Корпус сервера для размещения в стойке имеет стандартную высоту 2U. На модернизированной системной плате тайваньского производства размещаются два процессора (используются как Intel, так и AMD), два накопителя на жестких дисках и восемь разъемов модулей памяти. Основная "изюминка" серверов Google - его 100W блок питания, который использует только одно выходное напряжение питания постоянного тока (12V) и имеет встроенный мини-ИБП с аккумулятором. Серверы Google устанавливаются в стойки, которые монтируются в стандартные 40-футовые морские контейнеры с максимальной загрузкой 30 тонн. Эти контейнеры, в свою очередь, устанавливаются в специальном ангаре - серверной ферме. На представленной в презентации ферме сейчас находится 45 контейнеров. В одном таком контейнере может разместиться до 1160 серверов при потребляемой мощности 250 КВт.ч. Для охлаждения оборудования в контейнерах применяется вода и вентиляторы с переменной скоростью вращения.
Географически кластеры находятся в разных частях планеты, что позволяет не бояться ни природных катаклизмов, ни массовых отключений электричества.
Морской дата-центр
Недавно Google получила патент на дата-центр морского базирования, который использует энергию океана для получения электричества и охлаждения. При этом не нужно платить налог на собственность и недвижимость. Такой ЦОД размещается в контейнерах на судне, находящемся в нейтральных водах, примерно в 10 километрах от берега. Патентная документация также описывает охлаждающую систему на основе насосов, приводимых в движение энергией волн, и теплообменников, преобразующих морскую воду в пресную. Само собой, солнечные батареи тоже в помощь.
На своих серверах Google использует модифицированное ядро Linux и все программное обеспечение пишет самостоятельно. Во-первых, разработки компании во многом не имеют аналогов. Во-вторых, используя собственные управляющие программы не нужно тратить деньги на покупку ПО. Софт превращает кластер в единый организм, подчиняя сотни компьютеров выполнению одной задачи. Для Google отказ оборудования является нормой, а не исключением. Серверы и компоненты выходят из строя каждый день. Механизм репликации позволяет сохранить информацию в целостности: блок данных нельзя восстановить только в том маловероятном случае, когда в течение нескольких минут кластер безвозвратно теряет три независимых сервера. И то при этом опасности подвергается лишь малая доля информации.
Когда пользователь вводит запрос в Google, браузер обращается к DNS-серверу, а тот отправляет его на один из кластеров, наиболее близкий и наименее загруженный. После этого все операции проходят внутри этого кластера. Пройдя через аппаратный распределитель нагрузки, запрос попадает на один из веб-серверов, который координирует действия всех других машин. Информация собирается с рабочих серверов разного назначения (индексные, архивные, авторизующие, проверяющие правописание запроса, подбирающие контекстную рекламу и т.п.) и передается на веб-сервер, который уже выдает ее пользователю.
Вся информация продублирована так, что в любой момент времени всякий файл доступен в трех экземплярах. Это на случай сбоев, отказа оборудования или повреждения линий связи.
Рост парка серверов Google:
100 000 серверов - июнь 2005 года
200 000 серверов - март 2006 года (по данным Los Angeles Times)
450 000 серверов - июнь 2006 года (по данным New York Times)
1 000 000 серверов - июнь 2007 года (по данным Gartner)
2 000 000 серверов - октябрь 2008 года (по данным Economist)
Само собой, не только у Google много серверов. У них их больше всех, но и у Apple, Microsoft, Intel, Yahoo, Facebook, AT&T количество серверов измеряются десятками и сотнями тысяч.
Так выглядит одна из серверных ферм Facebook:
А это Apple server farm:
У Google все еще намного круче:
Кстати, крупнейшая социальная сеть планеты Facebook, созданная Марком Цукербергом, ставшим самым молодым миллиардером в мире, намерена возвести огромную серверную ферму. И не где-нибудь, а за Полярным кругом, в шведской Лапландии. Об этом стало известно на той неделе. Новый вычислительный центр станет первым центром компании, расположенным не в США. Он будет обслуживать пользователей Европы, Ближнего Востока и Африки. Площадь дата-центра как десять футбольных полей. Строительство этого вычислительного центра обойдется компании почти в 770 миллионов. Место для будущего дата-центра, разумеется, выбрано не случайно. Летом столбик термометра в этом регионе не поднимается выше 25 градусов, а значит, серверы будут частично сами охлаждаться за счет низких температур. Да и цены на электричество в шведской части Лапландии - самые низкие в Европе.
sev автор фотографий
Сообщения: 2244 11.05.2007 Москва
Добавлено: Пятница 04 Ноября 2011 0:21 Заголовок сообщения:
Интересно! Навороченное сооружение! Конечно цифра в 2 миллиона серверов впечатляет и ни в каком образе не представляется, а вот только одна из серверных ферм в 10 футбольных полей - весьма яркое сравнение. Удивило про морские контейнеры.
Kudah-tah-tah
Сообщения: 6 13.03.2012 Москва
Добавлено: Вторник 13 Марта 2012 12:43 Заголовок сообщения:
Интересно!
crash
Сообщения: 107 07.05.2012 Москва
Добавлено: Вторник 08 Мая 2012 12:30 Заголовок сообщения:
Не удивительно, конечно не предполагала, что до такой степени большой.
Kira
Сообщения: 81 08.05.2012
Добавлено: Четверг 10 Мая 2012 19:23 Заголовок сообщения:
Нехило так. Даже не ожидала.
Alexey Slizkov администратор
Сообщения: 3603 01.01.2001 Москва
Добавлено: Вторник 02 Октября 2012 9:25 Заголовок сообщения: Дата-центры Яндекса
Я рассказывал про серверные фермы Google и Facebook. Это гиганты, но и российский Яндекс уже не мал (на 2010 год у Яндекса было 7 дата-центров, каждый на несколько тысяч серверов), вот так выглядят их дата-центры:
Яндекс поддерживает разветвленную и независимую от офисов сеть дата-центров. Еще в 2005 году в Яндексе шутили, что департамент эксплуатации компании потребляет серверы на завтрак, обед и ужин, устанавливая в дата-центры по три сервера за день - сегодня эта цифра ещё больше, и растёт с каждым днем. Число серверов Яндекса измеряется тысячами.
В дата-центры Яндекса непросто попасть, и большинство сотрудников Яндекса даже не знают, где дата-центры находятся. Те, кто работают там каждый день, видят примерно такую картину:
Если присмотреться ближе - то такую:
А если ещё ближе - то, например, такую:
В дата-центрах Яндекса много работают:
Но есть и места, где пока ещё нет ни проводов, ни серверов:
В комнатах дата-центров очень много проводов:
При включенном свете типовая комната дата-центра Яндекса выглядит так:
А при выключенном - так:
Впрочем, свет в дата-центрах Яндекса не выключают практически никогда.
Чтобы было проще коммутировать и отслеживать, что и куда подключено, используются патч-корды разного цвета:
Все знают, что у нас регулярно бывают перебои с электричеством, а сервисы у нас должны работать круглосуточно. Поэтому мы обеспечиваем датацентры ИБП (источниками бесперебойного питания). Так что при отключении внешнего питания наш датацентр сможет проработать на аккумуляторах небольшое время. Но электричество нередко отключают и на много часов. Для таких случаев каждый наш датацентр оборудуется и дизель-генератором. Дизель-генератор работает на солярке и может обеспечивать питанием датацентр продолжительное время (если не забывать подвозить топливо).
marishkanja
Сообщения: 6 28.01.2015 Москва
Добавлено: Воскресенье 21 Июня 2015 20:33 Заголовок сообщения:
Да уж, это действительно впечатляет! А у Рамблера интересно сколько серверов?
Андрей 64 гость
Добавлено: Понедельник 22 Июня 2015 1:10 Заголовок сообщения:
Думаю сравнение с "Матрицей" и "Скайнетом" вполне уместно... В каждой возможности таиться всегда какая-то опасность. Я думаю те ОГРОМНЫЕ возможности которые предоставляет человечеству всё то, о чём написано выше когда-нибудь обернуться БОЛЬШОЙ бедой. К примеру ТОТАЛЬНЫЙ КОНТРОЛЬ НАД КАЖДОЙ ЛИЧНОСТЬЮ. Что будет с миром когда у будущих Сталиных и Гитлеров будет в руках вся эта мощь?
Oxotnick
Сообщения: 7 23.06.2015
Добавлено: Вторник 23 Июня 2015 17:26 Заголовок сообщения:
Гугл следит за каждым из нас. Все у него на мушке сидим.