MosDay.ru - Московский День
 MosDay.ruНовости · Гид · Афиша · Форум · Камеры · Фото · Адреса · Карта 
 МОСКВА / ФОРУМ / ОБО ВСЕМ ДРУГОМ... РегистрацияРегистрация   ВходВход 





 Фотографии

 Новости

 Web-камеры

 Справочник

 Афиша

 Карты

 Адреса

 Информация

 Форум

FAQпомошь
Поискпоиск
Пользователиучастники
Группыгруппы
Регистрациярегистрация
Вход для зарегистрированных пользователейвход

День Победы 9 Мая
 скоро 

Пуск фонтанов
 сегодня 

Речная навигация
 недавно 




Rambler's Top100




Google намного больше, чем представляете (Секреты ЦОД)

 
Начать новую тему   Ответить на тему    Список форумов MosDay.ru -> Обо всем другом...
Предыдущая тема :: Следующая тема  
Автор Сообщение
Alexey Slizkov
администратор


Сообщения: 3455
01.01.2001
Москва

СообщениеДобавлено: Пятница 04 Ноября 2011 0:04    Заголовок сообщения: Google намного больше, чем представляете (Секреты ЦОД) Ответить с цитатой

Google намного больше, чем вы можете себе представить!
Серверные фермы, центры обработки данных...

Большинство пользователей сети даже и не задумываются, что там стоит по другую сторону монитора. Те, кто "в теме", нынче стали сравнивать Google с "Матрицей" и "Скайнетом".

Миллион серверов
На данный момент у компании Google по всему миру несколько десятков огромных серверных ферм, количество серверов на которых уже перевалило через отметку в 1 миллион. Потребляет все это несколько сотен мегаватт в час - для работы оборудования требуется целая современная атомная электростанция!

Каждый день добавляются еще тысячи новых серверов. Часть из них взамен сломавшихся или устаревших, но большинство для наращивания мощностей и объемов.

Для размещения серверов покупаются земли в отдаленных районах, но поблизости с электростанциями. Миллионы квадратных метров площадей заселены только компьютерами, опутанными проводами.

Корпорация Google уделяет очень большое внимание своим дата-центрам, о которых в прессу просачиваются лишь обрывочные данные. Как известно, "сердце" дата-центра - его ИТ-оборудование. Стоит сразу отметить, что Google использует не стандартные, а фирменные серверы с архитектурой собственной разработки. Корпус сервера для размещения в стойке имеет стандартную высоту 2U. На модернизированной системной плате тайваньского производства размещаются два процессора (используются как Intel, так и AMD), два накопителя на жестких дисках и восемь разъемов модулей памяти. Основная "изюминка" серверов Google - его 100W блок питания, который использует только одно выходное напряжение питания постоянного тока (12V) и имеет встроенный мини-ИБП с аккумулятором. Серверы Google устанавливаются в стойки, которые монтируются в стандартные 40-футовые морские контейнеры с максимальной загрузкой 30 тонн. Эти контейнеры, в свою очередь, устанавливаются в специальном ангаре - серверной ферме. На представленной в презентации ферме сейчас находится 45 контейнеров. В одном таком контейнере может разместиться до 1160 серверов при потребляемой мощности 250 КВт.ч. Для охлаждения оборудования в контейнерах применяется вода и вентиляторы с переменной скоростью вращения.
Географически кластеры находятся в разных частях планеты, что позволяет не бояться ни природных катаклизмов, ни массовых отключений электричества.
    Морской дата-центр
    Недавно Google получила патент на дата-центр морского базирования, который использует энергию океана для получения электричества и охлаждения. При этом не нужно платить налог на собственность и недвижимость. Такой ЦОД размещается в контейнерах на судне, находящемся в нейтральных водах, примерно в 10 километрах от берега. Патентная документация также описывает охлаждающую систему на основе насосов, приводимых в движение энергией волн, и теплообменников, преобразующих морскую воду в пресную. Само собой, солнечные батареи тоже в помощь.
На своих серверах Google использует модифицированное ядро Linux и все программное обеспечение пишет самостоятельно. Во-первых, разработки компании во многом не имеют аналогов. Во-вторых, используя собственные управляющие программы не нужно тратить деньги на покупку ПО. Софт превращает кластер в единый организм, подчиняя сотни компьютеров выполнению одной задачи. Для Google отказ оборудования является нормой, а не исключением. Серверы и компоненты выходят из строя каждый день. Механизм репликации позволяет сохранить информацию в целостности: блок данных нельзя восстановить только в том маловероятном случае, когда в течение нескольких минут кластер безвозвратно теряет три независимых сервера. И то при этом опасности подвергается лишь малая доля информации.

Когда пользователь вводит запрос в Google, браузер обращается к DNS-серверу, а тот отправляет его на один из кластеров, наиболее близкий и наименее загруженный. После этого все операции проходят внутри этого кластера. Пройдя через аппаратный распределитель нагрузки, запрос попадает на один из веб-серверов, который координирует действия всех других машин. Информация собирается с рабочих серверов разного назначения (индексные, архивные, авторизующие, проверяющие правописание запроса, подбирающие контекстную рекламу и т.п.) и передается на веб-сервер, который уже выдает ее пользователю.
Вся информация продублирована так, что в любой момент времени всякий файл доступен в трех экземплярах. Это на случай сбоев, отказа оборудования или повреждения линий связи.

    Рост парка серверов Google:
    100 000 серверов - июнь 2005 года
    200 000 серверов - март 2006 года (по данным Los Angeles Times)
    450 000 серверов - июнь 2006 года (по данным New York Times)
    1 000 000 серверов - июнь 2007 года (по данным Gartner)
    2 000 000 серверов - октябрь 2008 года (по данным Economist)
Само собой, не только у Google много серверов. У них их больше всех, но и у Apple, Microsoft, Intel, Yahoo, Facebook, AT&T количество серверов измеряются десятками и сотнями тысяч.

Так выглядит одна из серверных ферм Facebook:


А это Apple server farm:


У Google все еще намного круче:


Кстати, крупнейшая социальная сеть планеты Facebook, созданная Марком Цукербергом, ставшим самым молодым миллиардером в мире, намерена возвести огромную серверную ферму. И не где-нибудь, а за Полярным кругом, в шведской Лапландии. Об этом стало известно на той неделе. Новый вычислительный центр станет первым центром компании, расположенным не в США. Он будет обслуживать пользователей Европы, Ближнего Востока и Африки. Площадь дата-центра как десять футбольных полей. Строительство этого вычислительного центра обойдется компании почти в 770 миллионов. Место для будущего дата-центра, разумеется, выбрано не случайно. Летом столбик термометра в этом регионе не поднимается выше 25 градусов, а значит, серверы будут частично сами охлаждаться за счет низких температур. Да и цены на электричество в шведской части Лапландии - самые низкие в Европе.
  Посмотреть профиль Отправить личное сообщение Отправить E-mail Посетить сайт автора Посетить авторскую страничку ICQ
sev
автор фотографий


Сообщения: 2162
11.05.2007
Москва

СообщениеДобавлено: Пятница 04 Ноября 2011 0:21    Заголовок сообщения: Ответить с цитатой

Интересно! Навороченное сооружение! Конечно цифра в 2 миллиона серверов впечатляет и ни в каком образе не представляется, а вот только одна из серверных ферм в 10 футбольных полей - весьма яркое сравнение. Удивило про морские контейнеры.
  Посмотреть профиль Отправить личное сообщение Отправить E-mail Посетить авторскую страничку
Kudah-tah-tah



Сообщения: 6
13.03.2012
Москва

СообщениеДобавлено: Вторник 13 Марта 2012 12:43    Заголовок сообщения: Ответить с цитатой

Интересно!
  Посмотреть профиль Отправить личное сообщение
crash



Сообщения: 105
07.05.2012
Москва

СообщениеДобавлено: Вторник 08 Мая 2012 12:30    Заголовок сообщения: Ответить с цитатой

Не удивительно, конечно не предполагала, что до такой степени большой. Very Happy
  Посмотреть профиль Отправить личное сообщение
Kira



Сообщения: 77
08.05.2012

СообщениеДобавлено: Четверг 10 Мая 2012 19:23    Заголовок сообщения: Ответить с цитатой

Нехило так. Даже не ожидала.
  Посмотреть профиль Отправить личное сообщение
Alexey Slizkov
администратор


Сообщения: 3455
01.01.2001
Москва

СообщениеДобавлено: Вторник 02 Октября 2012 9:25    Заголовок сообщения: Дата-центры Яндекса Ответить с цитатой

Я рассказывал про серверные фермы Google и Facebook. Это гиганты, но и российский Яндекс уже не мал (на 2010 год у Яндекса было 7 дата-центров, каждый на несколько тысяч серверов), вот так выглядят их дата-центры:

Яндекс поддерживает разветвленную и независимую от офисов сеть дата-центров. Еще в 2005 году в Яндексе шутили, что департамент эксплуатации компании потребляет серверы на завтрак, обед и ужин, устанавливая в дата-центры по три сервера за день - сегодня эта цифра ещё больше, и растёт с каждым днем. Число серверов Яндекса измеряется тысячами.
В дата-центры Яндекса непросто попасть, и большинство сотрудников Яндекса даже не знают, где дата-центры находятся. Те, кто работают там каждый день, видят примерно такую картину:



Если присмотреться ближе - то такую:


А если ещё ближе - то, например, такую:


В дата-центрах Яндекса много работают:


Но есть и места, где пока ещё нет ни проводов, ни серверов:


В комнатах дата-центров очень много проводов:


При включенном свете типовая комната дата-центра Яндекса выглядит так:


А при выключенном - так:


Впрочем, свет в дата-центрах Яндекса не выключают практически никогда.


Чтобы было проще коммутировать и отслеживать, что и куда подключено, используются патч-корды разного цвета:


Все знают, что у нас регулярно бывают перебои с электричеством, а сервисы у нас должны работать круглосуточно. Поэтому мы обеспечиваем датацентры ИБП (источниками бесперебойного питания). Так что при отключении внешнего питания наш датацентр сможет проработать на аккумуляторах небольшое время. Но электричество нередко отключают и на много часов. Для таких случаев каждый наш датацентр оборудуется и дизель-генератором. Дизель-генератор работает на солярке и может обеспечивать питанием датацентр продолжительное время (если не забывать подвозить топливо).


  Посмотреть профиль Отправить личное сообщение Отправить E-mail Посетить сайт автора Посетить авторскую страничку ICQ
marishkanja



Сообщения: 6
28.01.2015
Москва

СообщениеДобавлено: Воскресенье 21 Июня 2015 20:33    Заголовок сообщения: Ответить с цитатой

Да уж, это действительно впечатляет! Smile А у Рамблера интересно сколько серверов?
  Посмотреть профиль Отправить личное сообщение Посетить авторскую страничку
Андрей 64
гость





СообщениеДобавлено: Понедельник 22 Июня 2015 1:10    Заголовок сообщения: Ответить с цитатой

Думаю сравнение с "Матрицей" и "Скайнетом" вполне уместно... В каждой возможности таиться всегда какая-то опасность. Я думаю те ОГРОМНЫЕ возможности которые предоставляет человечеству всё то, о чём написано выше когда-нибудь обернуться БОЛЬШОЙ бедой. К примеру ТОТАЛЬНЫЙ КОНТРОЛЬ НАД КАЖДОЙ ЛИЧНОСТЬЮ. Что будет с миром когда у будущих Сталиных и Гитлеров будет в руках вся эта мощь?
 
Oxotnick



Сообщения: 7
23.06.2015

СообщениеДобавлено: Вторник 23 Июня 2015 17:26    Заголовок сообщения: Ответить с цитатой

Гугл следит за каждым из нас. Все у него на мушке сидим. Smile
  Посмотреть профиль Отправить личное сообщение
ответить
Ваше сообщение:

смайлики
расширенная форма
Ваше имя:
Код подтверждения: *
Вы вошли, как незарегистрированный пользователь, поэтому необходимо ввести еще и этот проверочный код:

 
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов MosDay.ru -> Обо всем другом... Часовой пояс: GMT + 3
Страница 1 из 1

Перейти:  










горячие темы 
Сегодня в Москве открывается сезон фонтанов!

Неделя в Москве. Куда сходить, что посмотреть?

Аренда теплохода на Москва-реке?

Самый безопасный вид транспорта - рейтинг

Бомбилы напали на парня

Жизнь в Москве, работа. Есть вопросы...

Лучший кинотеатр в Москве?


 ГЛАВНАЯ · ФОТО · ГИД · КАРТА · НОВОСТИ · АФИША · АДРЕСА · ИНФО · КАМЕРЫ · ФОРУМ