Фундаментом ЦОДа является его инженерная инфраструктура, состоящая из большого числа подсистем — это электропитание, кондиционирование, кабельная проводка, управление, контроль доступа и т. д. На рынке преобладают профессионалы (отдельные люди и компании), специализирующиеся на какой-то одной или нескольких инженерных подсистемах. Заказчикам же важно увидеть всю «картину» ЦОДа целиком. Такая возможность им была предоставлена 20 ноября с. г. на II ежегодной конференции «Обеспечение эффективной и экономичной работы центра обработки данных», которая была проведена журналом «Сети и системы связи». Первым делом — надежность электропитания
Представитель компании Emerson Network Power Денис Беляев напомнил о существующей еще с советских времен классификации потребителей электрической энергии. К категории 1 относится оборудование, которому необходима электрическая энергия с жестко заданными параметрами (изменения напряжения и частоты не должны выходить за пределы ± 0,5 В и ± 0,05 Гц соответственно, а коэффициент нелинейных искажений формы сигнала не должен превышать 1%), при этом не допускается прерывание подачи электричества в течение заданного времени, которое может доходить в общем случае до нескольких лет. В ЦОДах к числу потребителей категории 1 относятся серверы, системы общего контроля и управления, общая и пожарная сигнализации, системы пожаротушения, аварийного электропитания климатического оборудования и аварийного освещения первой категории, системы доступа и видеонаблюдения. Потребители категории 2 должны получать электрическую энергию с параметрами качества общерегламентированного стандарта, разрешается лишь кратковременное прерывание ее подачи — не более 30 с. В ЦОДе такими потребителями являются климатическое оборудование, аварийное освещение второй категории, розетки второй категории, аварийные приточная и вытяжная вентиляции. Наконец, для потребителей категории 3 (общее освещение, розетки бытовых нужд и т. д.) допускается прерывание электропитания на время не более 24 ч. Как видно, основное оборудование ЦОДа относится к потребителям категории 1 и поэтому должно бесперебойно получать электричество высокого качества.
Бесперебойность функционирования системы электропитания, или ее работоспособность, обычно выражается в процентах — например, работоспособность 99,999% (пять девяток) означает, что суммарное время простоя может быть не более 5 мин в год. Денис Беляев обратил внимание на то, что работоспособность системы определяется не только таким хорошо известным параметром, как средняя наработка на отказ (MTBF), но и средним временем восстановления (ремонта) системы (MTTR). Понятно, что работоспособность повышается при увеличении значения MTBF и снижении MTTR. Последняя характеристика складывается из времени обнаружения и локализации неполадок, демонтажа и монтажа оборудования, а также из времени, требующегося на регулировку, настройку и проверку результатов ремонта. При выборе любой системы необходимо обращать внимание на то, чтобы ее конструкция обеспечивала максимальное упрощение указанных процедур и они могли выполняться быстро, что гарантирует минимальное время выполнения ремонта.
Для ЦОДов часто используют четырехуровневую (от Tier 1 до Tier 4) классификацию характеристик отказоустойчивости, разработанную американским институтом Uptime Institute. По мнению специалистов Emerson, для соответствия требованиям Tier 1 (работоспособность — 99,9%) в системе электропитания ЦОДа достаточно установить на входе TVSS-фильтр и активный фильтр (без ИБП), которые обеспечивали бы защиту от скачков тока и стабилизацию напряжения. Объекты уровня 2 (Tier 2, работоспособность 99,99%) требуют уже установки ИБП, но это может быть одиночный ИБП со статическим байпасом. Для объектов Tier 3 (работоспособность — 99,9999%) необходимы параллельно работающие ИБП, а для Tier 4 (99,99999%) — системы ИБП, работающие по технологии Dual Bus (двойная шина питания). В последнем случае нагрузка с двумя блоками питания подключается сразу к двум шинам, а нагрузка с одним блоком питания — через статический переключатель нагрузки, который тоже «сидит» на двух шинах (рис. 1).
По мнению главы представительства компании Socomec UPS в России, Йенко Алеша, современные ЦОДы должны проектироваться с учетом соответствия требованиям Tier 4, а устанавливаемые в ЦОДе серверы — иметь по два блока питания (сейчас выпускаются и устройства с тремя входами для подачи питания). Он также указал на возможность повышения коэффициента готовности путем не только повышения надежности ИБП (показатель MTBF), но и снижения среднего времени ремонта (MTTR). Для этого необходимо, чтобы оборудование имело эффективные средства диагностики и информирования об ошибках в режиме реального времени, а также обеспечивало быстрое проведение ремонта.
Говоря об аккумуляторных батареях, Йенко Алеш отметил, что это очень дорогостоящий (цена на свинец постоянно повышается) и в то же время очень «нежный» элемент бесперебойных систем электропитания. «Да, сегодня существуют батареи, рассчитанные на 10 лет эксплуатации, но если не контролировать работу батарей, то их можно “убить” за два месяца», — сказал он. В связи с этим г-н Алеш рассказал о системе BHC для расширенного мониторинга батарей, которая способна в режиме реального времени отслеживать основные показатели «жизнедеятельности» до шести цепочек по 40 батарей в каждой (всего 240 батарей). Результаты мониторинга выдаются на графический дисплей ИБП.
Ресурс батарей может повысить использование накопителя энергии на маховом колесе. При работе аккумуляторов в параллель с маховиком последний позволяет избежать «эффекта кнута» (короткий разряд) для аккумуляторов, принимая на себя все короткие пропадания электропитания и не «привлекая» аккумуляторы к работе. Если присутствует резервный генератор, то в некоторых случаях можно полностью исключить аккумуляторы из системы, заменив их маховиком. О возможных преимуществах использования маховика говорили не только представители компании Socomec UPS, но и специалисты фирмы Emerson, которая тоже предлагает такое техническое решение.
Среди основных требований, предъявляемых к системам бесперебойного питания ЦОДов, Денис Андреев, руководитель департамента ИБП компании Landata, назвал максимальную надежность и гибкость при развитии ЦОДа. Рецепты повышения надежности понятны — это использование модульных ИБП и установка моноблочных ИБП в параллель. Согласно приведенным г-ном Андреевым данным, вероятность отказа базовой системы ИБП составляет 2,4%, типового модульного ИБП — 1,1, параллельной системы — 0,9, системы, построенной с использованием технологии HotSync, — 0,1%. Если в традиционных схемах построения параллельных систем для синхронизации работы ИБП обязательно наличие сигнальных линий связи между ними, то разработанная компанией Eaton (Powerware) технология HotSync позволяет осуществлять такую синхронизацию через силовые выходы. Снижение числа элементов и отсутствие единых точек отказа в параллельных системах, построенных на базе ИБП Powerware, и объясняют снижение вероятности отказа.
Свой тезис о гибкости систем бесперебойного питания специалист компании Landata проиллюстрировал рассказом о новой модульной системе Blade-UPS компании Eaton. Каждый ее модуль является самодостаточным ИБП мощностью 12 кВА (12 кВт) со своим блоком управления, аккумуляторной батареей и байпасом, и его в любой момент можно извлечь из системы и использовать отдельно. Для повышения мощности и/или обеспечения резервирования модули объединяются при установке в стандартную монтажную стойку (дорогостоящей фирменной стойки не требуется!), где может размещаться и основное оборудование. Всего в стойку устанавливается до шести модулей BladeUPS (60 кВА).
Подобной концепции модульности, но только для систем меньшей мощности, придерживается и фирма MGE Office Protection Systems (OPS), которую недавно приобрела компания Eaton. По словам начальника отдела регионального развития MGE OPS Дмитрия Куликова, далеко не всем заказчикам нужны мегаваттные решения, многие начинают с построения небольших ЦОДов, на установку в которых и ориентирован новый ИБП Pulsar MX Frame. Для большинства модульных систем требуется дорогостоящее фирменное шасси, в которое устанавливаются модули ИБП. Разработанная MGE концепция ModularEasy позволяет заказчикам сначала купить стандартный ИБП, затем — при необходимости — добавить в систему еще до трех таких ИБП с помощью блока согласования (он же ручной байпас). Эта концепция «действует», начиная с 2-кВА источников (модели Pulsar M 2200). Модель Pulsar MX 5000 Frame позволяет объединять до четырех 5-кВА модулей. При установке в стандартную монтажную стойку 20-кВА система Pulsar MX Frame занимает в высоту всего 16 юнитов (16U). Не забывая об эффективности
Олег Письменский, директор департамента управления проектами компании APC-MGE в СНГ, назвал ЦОД энергетически очень неэффективным объектом: 99,9997% поступающей в него энергии уходит в тепло, и только оставшиеся 0,0003% расходуются полезно (на вычисления). По его данным, в среднем эффективность инженерной инфраструктуры составляет 50%, причем современные технологии позволяют повысить этот показатель примерно на 30%. Для компьютерного оборудования энергоэффективность составляет 60%, для микросхем — всего 0,01% (!). Так что работы для повышения эффективности использования электроэнергии еще непаханое поле.
Господин Письменский предложил модель роста ЦОДа по мере повышения требований со стороны бизнеса. По его мнению, существует пять основных параметров, определяющих такой рост: начальная и конечная мощность, время роста (до достижения максимальной мощности), число итераций и неопределенность в значении конечной мощности. Исходя из этих параметров строится план развития. При планировании очень полезным может оказаться ПО (например, компании APC-MGE), позволяющее оценить полную емкость ЦОДа, спланировать установку стоек, полок и других элементов для размещения оборудования, а также развитие средств кондиционирования и электропитания.
Организация Datacenter Science, входящая в состав APC-MGE, занимается разработкой функционирующих в режиме реального времени средств оценки энергоэффективности ЦОДа. Задавая различные параметры (скажем, характеристики ИБП, дизель-генераторной установки, блоков распределения и пр.), с помощью этих средств можно оценить эффективность ЦОДа, которая показывается как в виде процентов, так и в виде возможной денежной экономии на оплате электричества. Наряду с этими средствами APC-MGE предлагает и другие решения, с помощью которых можно не только контролировать критичные параметры инженерной инфраструктуры, но и проводить их анализ — как ретроспективный, так и перспективный.
Руководитель отдела экспертизы компании «Абитех» Константин Соколов в своем докладе также уделил большое внимание повышению энергоэффективности ЦОДов. Он привел данные IDC, согласно которым сегодня на каждый 1 долл. стоимости оборудования ИТ около 0,5 долл. тратится на электроэнергию, а в ближайшие четыре года этот показатель увеличится до 0,71 долл. Одним из основных способов повышения энергоэффективности ЦОДов является повышение КПД систем электропитания, и ИБП в частности. В качестве примера г-н Соколов привел ИБП SG PurePulse (мощность — 160–300 кВА) компании GE Consumer & Industrial, которые, имея трансформаторную конструкцию, обеспечивают КПД до 93% в режиме VFI в диапазоне нагрузки от 25 до 100%.
Основными тенденциями на рынке ИБП г-н Соколов назвал уменьшение занимаемой оборудованием площади при упрощении доступа к нему (что обусловлено дефицитом площади в существующих ЦОДах и высокой ее стоимостью), а также развитие «интеллектуальных» систем мониторинга и превентивной диагностики (удаленный мониторинг способствует повышению надежности системы). Он обратил внимание на изменение характера нагрузки: если раньше ИБП традиционно были ориентированы на обслуживание индуктивной нагрузки (коэффициент мощности — 0,8), то в современных серверах и сетевых устройствах блоки питания имеют активный или слабоемкостный характер. В связи с этим очень важно, чтобы ИБП могли работать на емкостную нагрузку без существенного снижения выходной мощности. Это обеспечивают, в частности, уже названные источники SG PurePulse.
Константин Соколов привел данные о том, что 85% ЦОДов в Европе имеют системы электропитания, построенные по централизованной схеме. При этом ИБП устанавливаются в отдельном (от основного зала) помещении, что позволяет физически разделять сферы ответственности разных служб, а значит, способствует повышению безопасности и отказоустойчивости ЦОДа. Постоянный или переменный?
Часто у специалистов возникает вопрос: поскольку внутренние схемы серверов и сетевого оборудования используют постоянный ток, не лучше ли всю схему электропитания ЦОДа строить на системах постоянного тока? Свой ответ на него предложил Сергей Кузнецов, директор направления систем постоянного тока компании Emerson Network Power.
В комплексах бесперебойного электропитания, построенных на основе ИБП переменного тока (рис. 2), электричество преобразуется три раза: сначала в самом ИБП (из переменного тока в постоянный и обратно в переменный), а затем в блоке питания оконечного оборудования (из переменного тока в постоянный). При использовании системы постоянного тока такое преобразование осуществляется только один раз — в выпрямителе этой системы. Если на объекте присутствуют устройства, потребляющие переменный ток, то для них дополнительно устанавливают инверторы.
Понятно, что, чем меньше преобразований испытывает электроэнергия, тем выше должен быть КПД системы. Кроме того, при этом используется и меньшее число элементов, а значит, выше надежность системы и меньше занимаемая ею площадь. Именно это Сергей Кузнецов назвал в качестве основных преимуществ систем электропитания постоянного тока. В качестве примера такой системы он привел рассчитанную на 116 кВт DC-систему NetSure 801 компании Emerson. В ее состав входят до 20 выпрямителей мощностью 5,8 кВт каждый, занимаемая системой площадь составляет 600 * 600 мм, а КПД (КПД выпрямителя) — 93%. NetSure 801 устанавливается непосредственно в ряды стоек (вместе с батареями и системами распределения), при этом уменьшаются число и протяженность силовых проводов.
Господин Кузнецов привел интересные данные исследования, проведенного японским оператором — компанией NTT Facilities. Ее специалисты собрали статистику за пять лет эксплуатации 12 600 АС-систем и 16 500 DC-систем. Цифры однозначно свидетельствуют в пользу систем постоянного тока: их надежность оказалась в 10 раз выше, занимаемая площадь в два раза меньше, а потребляемая электроэнергия на 20% меньше.
Хотя представитель компании Emerson привел ряд весомых аргументов в пользу DC-систем, у участников конференции осталась масса вопросов, связанных с возможностью их использования в ЦОДах. Многие говорили о том, что установка систем электропитания в рядах стоек противоречит устоявшейся практике выноса ИБП за пределы основного зала ЦОДа. Кроме того, при использовании DC-систем возникает потребность в дополнительном оборудовании для сопряжения с дизель-генераторными установками. Кабельные системы
Менеджер по работе с ключевыми заказчиками компании Panduit Олег Иваников посетовал на то, что «строители» ЦОДов кабельным системам уделяют недостаточно внимания: «Мы часто сталкиваемся с ситуацией, когда заказчики, строя или модернизируя ЦОДы, выбирают мощные и дорогостоящие серверы, коммутаторы и маршрутизаторы, тщательно продумывают системы охлаждения и электропитания, а потом просят, так сказать, “на сдачу” сделать им СКС — попроще и подешевле. В общей стоимости ЦОДа доля СКС относительно невелика — от 5 до 7%, тем более удивительно, что многие пытаются сэкономить именно на ней». Специалисты Panduit, известного производителя кабельных систем, конечно, в корне не согласны с таким отношением к СКС.
Олег Иваников постарался наглядно показать, что СКС и другое пассивное оборудование не только выполняет свои основные функции, но помогает экономить электроэнергию и повышать эффективность систем охлаждения ЦОДов. По приведенным им данным, до 60% охлаждающей мощности теряется из-за того, что потоки воздуха идут в обход того оборудования, которое они должны охлаждать. Это происходит из-за неправильного размещения перфорированных плиток и блоков кондиционирования, а также в силу того, что вырезы в панелях пола для проводки кабелей под стойками/шкафами делаются слишком большими и не заделываются должным образом. Поэтому начать надо с того, чтобы хорошо заделать места, где кабели подаются в шкафы.
Шкафы также должны иметь конструктивные элементы, повышающие эффективность охлаждения оборудования. Скажем, в предназначенных для коммутаторов шкафах Net-Access, разработанных Panduit совместно с компанией Cisco, коммутационные шнуры кроссируются в одну сторону, чтобы с другой стороны было свободное место для поступления холодного воздуха к вентиляторам сетевого оборудования. В серверных шкафах Net-Access, при конструировании которых специалистам Panduit помогали коллеги из компаний IBM и HP, тоже предусмотрена специальная организация кабелей для эффективной работы серверных вентиляторов и имеются специальные вертикальные панели-«заглушки», предотвращающие забор воздуха из горячей зоны. Для высокоплотных решений Panduit предлагает специальные двери с водяным охлаждением, с их помощью от шкафа отводится до 20 кВт тепла.
Еще один важный для ЦОДов момент связан с экономией площади. Традиционная схема кроссировки в шкафах предусматривает установку обычных горизонтальных коммутационных панелей, причем на каждую панель полагается свой горизонтальный организатор. Олег Иваников представил схему высокой плотности, в которой используются угловые коммутационные панели, а кабели проходят по вертикальным организаторам, расположенным сбоку шкафа (горизонтальные организаторы не нужны). Если требуется еще увеличить плотность, можно использовать панели 1U с 48 портами, но в этом случае кроссировка будет затруднена. И хотя Panduit предлагает специальный инструмент, который упрощает работу с 48-портовыми панелями, это решение оптимально лишь для объектов, где переключения происходят не очень часто.
По словам специалиста компании Panduit, использование схем высокой плотности позволяет на 23% экономить площадь помещения. Кроме того, меньшее число системных компонентов дает возможность на 43% сократить время на инсталляцию. Также сократить сроки инсталляции можно, задействуя медные и оптические претерминированные решения, которые предлагают как Panduit (системы QuickNet), так и другие производители. Олег Иваников отметил, что претерминированные кабельные системы тестируются на заводе, поэтому не надо тратить время на их проверку на объекте инсталляции. Экономия времени может оказаться весьма существенной, если учесть, что, например, на тестирование одного медножильного тракта для 10-Гбит/с сети уходит 45 мин.
О необходимости экономии дорогостоящего пространства ЦОДов говорил на конференции и Дмитрий Никулин, технический директор московского офиса компании RiT Technologies. В этом проектировщикам могут помочь коммутационные панели повышенной плотности — например, выпускаемые компанией RiT панели высотой один юнит с 48 разъемами RJ-45 (как и Panduit, RiT предлагает специальный инструмент для подключения и отключения шнуров при работе с такими панелями), а также оптические панели, которые, занимая всего два юнита монтажной стойки, позволяют подключить 96 оптических волокон. Очень полезным для ЦОДов может оказаться уникальное решение RiT по организации коммутационных центров без коммутационных шнуров. Для этого используются коммутационные панели с переключателями, которые обеспечивают соединение верхнего и нижнего порта панели, заменяя обычный коммутационный шнур. Нет коммутационных шнуров, нет и связанных с ними проблем — никто случайно не выдернет чужой шнур, из-за повреждения вилки не нарушится контакт и т. п., — а значит, повышается надежность физической инфраструктуры. Еще одно удобное для ЦОДов решение — коммутационные панели, оборудованные разъемами RJ-45 не только с фронтальной, но и с задней стороны. Их использование значительно упрощает подключение активного оборудования к задней стороне панелей.
Большое внимание в своем докладе г-н Никулин уделил управлению СКС. «На таком объекте, как ЦОД, большое число оборудования сконцентрировано в одном месте, и его невозможно эффективно эксплуатировать без средств дистанционного управления», — сказал он. Система управления компании RiT, базирующаяся на программной платформе PatchView for the Enterprise (PV4E), значительно упрощает процесс эксплуатации СКС, снижая при этом вероятность ошибки и повышая отказоустойчивость всей системы. В частности, она автоматизирует ведение кабельного журнала и позволяет контролировать соединения в режиме реального времени. Кроме того, она может определять физическое местоположение ресурсов (рабочих станций, серверов и пр.) и информировать о их перемещении.
Рабочие задания на перемещения, добавления и изменения сетевых элементов формируются в графическом интерфейсе системы управления PV4E методом «перетащи и отпусти» (drag and drop). Достаточно мышью перетащить элемент из одного места в другое, как система сама сформирует схему переключений с учетом мощности подведенного к стойке питания, ее монтажного пространства и других характеристик. Далее она «поможет» техникам выполнить переключения на коммутационном поле (специальные индикаторы на панелях покажут, какие разъемы подключить, а какие отключить) и зафиксирует изменения в базе данных. Благодаря новой программе SitePro информацию о СКС и инструкции по переключениям техники могут получить на месте через карманный ПК.
Для менеджеров современных ЦОДов едва ли не на первом месте стоят проблемы безопасности. Снять многие из них можно с помощью системы PV4E. Она осуществляет документирование всех событий, ведет списки разрешенного и запрещенного оборудования, автоматически сигнализирует о подключении к сети нового устройства. Отметим, что благодаря интеграции с AutoCAD система PV4E позволяет использовать в интерактивном режиме графики и схемы здания, на которых можно указывать местоположение сетевых элементов. Кроме того, она интегрируется с такими популярными платформами сетевого управления, как HP OpenView и CA Unicenter, а также с другими программами управления и администрирования. 10-Gig в ЦОДе
Сергей Логинов, директор представительства компании R&M, привел данные опроса руководителей 100 высокотехнологичных ЦОДов, проведенного исследовательской организацией Aperture; Согласно этим данным, основной источник сбоев в работе ЦОДов (57% отказов) связан с человеческими ошибками на стадии проектирования, монтажа и обслуживания оборудования. (К слову, из-за перегрева оборудования в ЦОДах случаются только 22,3% отказов.) Исключить ошибки персонала нельзя, но их можно минимизировать. Это позволяют сделать решения с избыточными характеристиками, качественная система управления кабелями и шнурами, четкая идентификация и маркировка кабелей, портов и шнуров, а также упрощение методики монтажа компонентов. Все это без исключения относится и к 10-гигабитовым СКС, которым Сергей посвятил основную часть своего доклада на конференции.
На сегодняшний день большинство производителей СКС предлагают 10-Гбит/с решения на основе как волоконно-оптических, так и медножильных кабелей. Волоконно-оптические кабельные системы, которые обеспечивают максимальную дальность 300 м (по многомодовому волокну OM3), характеризуются высокой стоимостью внедрения и сложностью модификации, Сергей Логинов рекомендовал использовать в статичных сегментах ЦОДа -- для построения магистрали и кабельной системы сетей хранения (SAN). Как и большинство экспертов, он посоветовал для ЦОДов претерминированные оптические кабели, но предостерег от применения групповых разъемов типа MPO: "Они добавляют затухание, что может оказаться критичным, особенно для 10-Gig систем, где каждый децибел на счету".
Медножильные 10-гигабитовые кабельные системы (для сетей 10GBase-T) имеют меньшую максимальную дальность (до 100 м), но характеризуются невысокой стоимостью внедрения и внесения изменений. По мнению г-на Логинова, их лучше применять в горизонтальной подсистеме, которая является наиболее динамичной частью кабельной системы ЦОДа. Однако бич медножильных СКС при их использовании в сетях 10-Gig -- это повышенная уязвимость к межкабельным наводкам (ANEXT), которые зачастую носят непредсказуемый характер. Наиболее надежный способ устранения этих проблем --использование экранированных СКС, которые дают большой запас по устойчивости.
"ЦОД -- благоприятный объект для построения экранированных кабельных систем, поскольку он компактен и часто строится вместе с новым зданием", -- сказал Сергей Логинов. При этом он обратил внимание собравшихся на отличие защитного заземления от телекоммуникационного. При использовании экранированной проводки для сетей 10-Gig необходимо именно телекоммуникационное заземление, которое подробно описано в стандарте EN 50174-2. Оно обеспечивает выравнивание напряжений между различными точками заземления и гарантирует контролируемый путь тока на землю без влияния на телекоммуникационные кабели.
На тех объектах, где нет возможности использовать заземление, для организации медножильной 10-гигабитовой среды, Сергей Логинов рекомендовал применять кабельную систему, построенную на основе технологии WARP. Суть этого решения компании R&M заключается в том, что в оболочку кабеля встраиваются изолированные отрезки фольги, создающие эффект виртуального экрана. Такую СКС не требуется заземлять, но при этом ее характеристики близки к характеристикам экранированных систем, т. е. с запасом гарантируют работу систем 10-Gig.
Обсуждение вопросов выбора кабельной системы для 10-гигабитовых сетевых решений продолжил в своем докладе Евгений Власов, менеджер по маркетингу и продажам компании Nexans. Он отметил, что ЦОД -- это объект с большим временем "жизни", поэтому и СКС должна подбираться с учетом возможности долговременного использования, и наиболее перспективными здесь являются 10-гигабитовые системы. Также г-н Власов предупредил о том, что, хотя стандарт на протокол 10GBase-T (IEEE 802.3ae) был ратифицирован еще летом 2006 г., стандарты на кабельные системы (в виде приложений и дополнений к документам ISO/IEC 11801 и TIA/EIA 568B.2) до сих пор находятся на стадии доработки и утверждения. Дата их окончательной ратификации постоянно переносится и в последний раз была назначена на февраль 2008 г. Проблемы здесь связаны не столько с определением характеристик самой кабельной системы, сколько с рядом сопутствующих вещей, в том числе со спецификацией тестирования (наиболее уязвимое место).
Специалист компании Nexans раскрыл серьезные недостатки имеющихся на рынке неэкранированных кабельных продуктов для сетей 10-Gig. Большой диаметр соответствующих кабелей (для снижения межкабельных наводок разработчики стараются максимально разнести сердечники кабеля друг от друга) влечет за собой дополнительные затраты на кабельные трассы, а специальная организация кроссовых полей (10-гигабитовые порты располагаются в шахматном порядке) не позволяет строить системы высокой плотности. Для проверки же соответствия неэкранированной СКС требованиям, предъявляемым 10-гигабитовыми решениями, необходимы длительные и дорогостоящие тесты (одни только специальные насадки для измерительного оборудования стоят порядка 3,5--4 тыс. евро). По данным г-на Власова, тракты одной коммутационной панели на 24 порта придется тестировать 6--8 часов, а значит, на проверку всей кабельной системы ЦОДа могут уйти месяцы. При выборочном же тестировании можно пропустить важные тракты, что чревато серьезными отказами.
Применение экранированных СКС снимает практически все обозначенные выше проблемы, и потому компания Nexans рекомендует именно эти системы в качестве медножильных решений для 10-гигабитовых сетей. Что касается волоконно-оптических СКС, то здесь компания предлагает решения на основе многомодовых волокон OM3 (дальность работы протоколов 10G -- до 300 м) и улучшенных волокон ОМ3 (дальность -- до 450 м), а также на основе одномодовых волокон (дальность -- свыше 450 м). Однако Евгений Власов отметил, что решение на многомодовом волокне (пассивный тракт плюс порты активного оборудования) стоит примерно в полтора раз ниже, чем на одномодовом, а поскольку для ЦОДов протяженности трактов 300--450 м вполне достаточно, то для этих объектов имеет смысл ориентироваться именно на многомодовые системы.
Как и Дмитрий Никулин из компании RiT, Евгений Власов отметил важность систем управления СКС (в Nexans их называют системами мониторинга физического уровня сети). Такая система LANsense имеется и в портфеле предложений Nexans. Как и подобные системы других производителей, она отслеживает полный тракт от оконечного оборудования до порта коммутатора, автоматически формирует документацию о состоянии сети и позволяет эффективно контролировать физический доступ к ней. Евгений Власов отметил возможность интеграции LANsense с другими системами ЦОДа, в частности, с системами контроля входа, видеонаблюдения, контроля состояния среды и т. п. Без воды никуда?
Проблема отвода тепла от оборудования ЦОДов затрагивалась почти во всех докладах конференции, специально же этой проблеме был посвящен доклад Игоря Антина, менеджера по развитию бизнеса в Восточной Европе компании Knurr (входит в состав компании Emerson). Он отметил следующее: несмотря на то, что новые технологии позволяют уменьшить тепловыделение в расчете на единицу площади микросхем, стремление проектировщиков и владельцев ЦОДов поместить все больше активного оборудования в одну стойку способствует росту тепловыделения на стойку, и, по прогнозу IBM, уже через пару лет превысит 30 кВт.
Возможности традиционных схем воздушного охлаждения ограничены; по утверждению г-на Антина, они позволяют отводить от одной стойки лишь 3--5 кВт тепла. Установка дополнительных вентиляторов, усиливающих воздушный поток, и герметизация холодного коридора дают возможность увеличить съем тепла, но незначительно. Чтобы решить проблемы теплоотвода в современных высокоплотных решениях, по мнению специалистов Knurr, необходимо приблизить источник холода к источнику тепла, а также задействовать воду, теплопроводность которой в 3500 раз выше теплопроводности воздуха.
Разработанная Knurr охлаждаемая дверь CoolAdd, которую можно устанавливатькак на серверные шкафы самой Knurr, так и на шкафы других производителей, обеспечивает съем до 10 кВт тепла. Специализированный же серверный шкаф с водяным охлаждением CoolTerm способен отвести до 35 кВт от одной стойки. Подход своей компании Игорь Антин образно сформулировал так: "Невозможно создать ураган в комнате, поэтому мы создаем его внутри шкафа". Разработчики серверов тоже стараются
Повышением эффективности электропитания и охлаждения озабочены, не только производители ИБП, кондиционеров и монтажных шкафов, но и разработчики основного оборудования ЦОДов, в первую очередь серверов. Об энергосберегающих подходах, реализованных в блейд-системах компании HP, рассказал Сергей Члек, руководитель направления HP BladeSystem. В частности, в его докладе речь шла о разработанной в рамках концепции "Адаптивная инфраструктура" системе HP BladeSystem c-Class, которую компания характеризуют как "модульный строительный блок для ЦОДов следующего поколения". В этой системе реализованы не только серверы, системы хранения и коммутаторы, но и средства для их эффективного электропитания и охлаждения.
В системе HP BladeSystem c-Class реализован целый набор энергосберегающих технологий, получивший название Thermal Logic. Одна из ключевых составляющих Thermal Logic - режим динамической регулировки энергопотребления. В традиционных системах с несколькими блоками питания (для резервирования) нагрузка распределяется между ними равномерно, при этом уровень их загрузки невысок, невысок и КПД. Разработчики HP учли тот факт, что, чем выше уровень загрузки блоков питания, тем выше их КПД, и по-иному построили работу системы из шести блоков питания аппарата HP BladeSystem c-Class: каждый блок мощностью 2,4 кВт нагружается максимально возможно (остальные находятся в режиме "горячего" резерва), и только при возрастании потребляемой мощности до установленного предела подключается следующий блок. По словам Сергея Члека, экономия при этом достигает до 350 Вт на блок питания.
При проектировании систем электропитания всегда очень сложно заранее определить потребляемую мощность. Проектировщики исходят из паспортных данных устройств, однако в реальности потребляемая ими мощность оказывается часто меньше, что приводит к необоснованному расходу средств на систему электропитания повышенной мощности. Специалисты HP постарались сделать свои системы максимально предсказуемыми с точки зрения энергопотребления и охлаждения. ПО HP Insight Control Power Management позволяет точно рассчитать энергопотребление (+-3%). Кроме того, системы HP поддерживают режим Power Capping (ограничение сверху): для каждой блейд-системы можно задать уровень энергопотрбеления, который ни при каких условиях не будет превышен. При необходимости тактовая частота процессоров будет снижена (а значит, снижена и производительность), но энергопотребление останется в установленных пределах.
Отметим и еще один компонент Thermal Logic - архитектуру PARSEC (параллельное, отказоустойчивое и масштабируемое охлаждение полки). Эта архитектура сочетает в себе преимущества местного и центрального охлаждения. Блейды устанавливаются в четырех зонах, и вентиляторы (всего их 10) в каждой зоне обеспечивают охлаждение блейдов своей зоны и резервное охлаждение других блейдов. Сами вентиляторы Active Cool, защищенные 20 патентами, построены по принципу авиационной турбины. Создавая сверхмощный воздушный поток, они при этом имеют низкие шумовые характеристики во всем рабочем диапазоне. По заверению Сергея Члека, один такой вентилятор способен заменить все вентиляторы пяти серверов традиционной конструкции. Учиться и учиться
ЦОД - очень сложный объект, состоящий из большого числа подсистем. Выбор и инсталляция каждой из них, безусловно, очень важны, но куда важнее (и сложнее) интегрировать различные подсистемы в единую хорошо управляемую систему. Об этом говорил на конференции Валерий Суханов, руководитель отдела рекламы и PR компании "НойХаус Групп". Эта компания занимается построением ЦОДов, начиная с 2000 г., и за ее плечами проекты по созданию ЦОДов М1, "Комкор ТВ", Института космических исследований, ИВЦ МПС РФ, ГИВЦ ГМК "Норильский никель" и др.
Валерий Суханов отметил, что очень важным этапом создания ЦОДов является инженерная экспертиза объектов, которая позволяет определить, подходит ли в принципе здание для размещения ЦОДа. Кроме того, он рассказал о том, что, начав строить ЦОДы, компания "НойХаус Групп" столкнулась со сложностями обеспечения резервного электропитания в черте города. Это подтолкнуло ее к созданию собственного производства агрегатов бесперебойного питания, автоматизированных контейнеров и контейнеров-прицепов, шумозащитных кожухов и топливных баков большой емкости. Предлагаемые компанией контейнеры с дизельными и газовыми генераторами могут быть установлены не только на крыше, но и во дворе здания (мощные установки часто невозможно установить и эксплуатировать внутри здания).
Следует также отметить предлагаемые компанией "НойХаус Групп" полностью мобильные ЦОДы. Решение состоит из трех контейнеров: в первом размещается от 8 до 10 монтажных стоек (кондиционер может находиться как внутри контейнера, так и снаружи), во втором - дизель-генераторная установка, в третьем -- ИБП и щитовое оборудование (возможна установка ИБП вместе со стойками в одном контейнере). Это решение, особенно популярное у операторов сотовой связи, можно размещать в неблагоприятных условиях, оно просто монтируется и масштабируется.
Александр Мартынюк, президент Некоммерческого партнерства "АСЦОД", поделился с участниками конференции своими впечатлениями от тех ЦОДов, на которых ему довелось побывать за последние несколько лет, а это, по его словам, сотня ЦОДов в России и полтора десятка объектов за рубежом. Он подчеркнул тот фак
