jrgbish@hotmail.
com
Dimensionamiento
Centro de Datos
Que es un Datacenter
• Datacenter es un edificio acondicionado con óptimas condiciones para la operación de:
- Equipos de Redes de Datos Routers & Switches
- Equipos de Procesamiento de Datos Servidores
- Equipos de almacenamiento de Datos Storage
• Requerimientos de un Datacenter:
- Seguridad Control de Acceso
- Energía Respaldo & Acondicionamiento de la alimentación
- Acondicionamiento Control de temperatura & Humedad
- Protección Incendios Detección & Extinción
- Monitoreo & Gestión
• Muchos procesos que corren en equipos del Datacenter son “Críticos”
La alteración o interrupción de esos procesos críticos se traducen en pérdida de dinero
Asegurar una confiabilidad mínima del 99.90% es la misión básica de todo Datacenter
Detrás de Escena !!
Datacenter de Google
Consideraciones Infraestructura
• Suministro Eléctrico & Cableado
• Protección contra Descargas Atmosféricas
• Aire Acondicionado
• Protección de Incendios
• Seguridad & Control Accesos
• Sistemas de Monitoreo & Gestión
• Clasificación en Tiers
Suministro Electrico & Cableado
• Puesta a Tierra
• Sección de los Conductores
• Alimentación Ininterrumpida – UPS
• Grupo Generador
• Corrientes Armónicas
• Tableros de Distribución - PDUs
Puesta a Tierra
Vinculación de todas
las tierras en un único
punto, cercano a la
acometida eléctrica
principal.
Transformador de Aislación
• Conexiones a redes de media tensión.
• Crea un neutro remoto vinculado a tierra.
• Reduce corrientes armónicas.
• Permite eliminar loops de masa.
• Permite ajustes escalonados de la tensión
Vinculación de Tierras
Vinculación de Tierras
Grilla de referencia:
Red de cable/planchuelas de cobre
Por debajo del piso Técnico
Interconecte entre si todos los racks
distribuidos en una columna.
Vincule eléctricamente bandejas
metálicas de cableado con los racks
Consolide en un único punto la entrada
de cables al datacenter:
Telefónicos con protección transitorios
UTP en un único switch/router con tierra
Fibra Óptica = Ventaja de ser dieléctrica
Cableado – Norma AWG
Cableado – Sistema Métrico
UPS & Grupo Generador
UPS Doble Conversión
UPS Módulo Simple
• No permite mantenimiento
sin afectar al servicio.
• Mínima tolerancia ante fallas
(solo bypass estático)
• No existe ninguna redundancia.
• Maxima disponibilidad 99.95%
Redundancia Serie
• También llamada “Hot Standby” ya que el
equipo de reserva se mantiene inactivo.
• Típicamente prevee redundancia 1+1
aunque también puede ser N+1.
• Las dos UPS no necesitan estar gobernadas
por un control central : permite combinar
UPS de diferente marca y capacidad.
• Alta flexibilidad : UPS1 puede reemplazar a
UPS2 en forma manual o automática.
• Simple de instalar y mantener
• Años de experiencia y tecnologia avanzada.
Redundancia Paralelo
• Tambiéen llamada “Active Conection”,
todas las UPS estan activas y
“Comparten” la corriente de carga.
• Requiere sincronización de fase,
tensión y forma de onda: la pérdida
de sincronismo hace colapsar al
sistema.
• Dificil de instalar y mantener.
• Todas las UPS deben de ser identicas.
• Requiere sofistificado sistema de
control.
• En caso de malfuncionamiento de una
UPS debe apagarse inmediatamente.
Doble Bus Alimentación
• Es el sistema ideal para
redundancia de UPS.
• No existe transferencia de una
UPS a otra.
• No existen requerimientos de
sincronismo ni control unificado.
• Cada UPS conectada a un bus de
alimentacion debe poder
soportar el 100% de la carga.
• Requiere que todos los equipos
tengan doble fuente y se conecte
una fuente a cada bus.
Alimentación DC
• Equipos de Telecomunicaciones usualmente requieren alimentación de DC.
• Alimentación de DC típica -48V (positivo a masa).
• Mucho mas adecuado para realizar tareas de mantenimiento.
• Alta disponibilidad requiere doble rectificador y banco de baterias.
• Puede alimentar equipos de AC mediante un inversor.
Corrientes no Deseadas
• No todos los equipos en el Datacenter se comportan como una carga lineal.
• La mayoría de las PC de escritorio tienen comportamiento no lineal para la AC.
Esto se debe a la fuente de alimentación de tipo conmutada.
• La mayoría de los equipos de IT actuales (routers, switches, servidores, storage)
evitan ese problema utilizando «Técnicas de Corrección del Factor de Potencia»
• Diez años atrás todos los equipos evidenciaban este problema de alinealidad.
Hoy muchas veces tenemos equipos viejos o PCs de Escritorio en Datacenter.
Otro caso a considerar son espacios de Oficina & Call Center con muchas PCs.
• Corrientes armónicas que son múltiplo de los 50Hz de la frecuencia de línea fluyen
por las líneas de distribución generando efectos no deseados.
• Componentes reactivas también resultan no deseadas en la distribución
Componentes Reactivas
Carga Resistiva
La corriente esta en fase con la tensión
Carga Reactiva
La corriente esta defasada de la tensión
Componentes reactivas generan corrientes que circulan por los conductores
provocando perdidas y caidas de tensión no deseadas
Distorsión Armónica
Componentes armónicas generan
una deformación de la forma de onda
de la corriente
Regulaciones Internacionales
La norma IEC 1000-3-2
regula el máximo valor
para la componente
armónica de la corriente
inyectada en la línea
según la potencia
del equipo
Factor de Potencia
• El factor de potencia está dado por la relación
entre la corriente que efectivamente transfiere
energía a la carga dividido por la corriente total,
incluidos todos los componentes armónicos.
• El valor ideal del factor de potencia es 1.
• Valores del factor de potencia menores que 1
obligan a sobredimensionar la sección de
conductores en el cableado e interruptores
en los tableros.
• Factor de potencia empeora cuando las fuentes
operan a menor carga. Servidores con doble
fuente dan peor factor de potencia al operar con
ambas fuentes ya que trabajan a media carga.
Problemas Generados
• Sobrecalentamiento en equipos de distribución eléctrica: cableados, interruptores,
transformadores, generadores eléctricos, etc.
• Picos de corriente y tension provocados por la resonancia armónica.
• Malfuncionamiento de equipos originados por deformación onda de tensión.
• Perdidas de energia provocados por caida de tensión en el cableado.
• Disparos falsos de circuitos de protección
• Errores de medicion
• Riesgos de incendio por recalentamiento en cables e interruptores.
• Problemas en la operación del generador eléctrico.
• Penalidad en la facturación del servicio eléctrico.
Solución del Problema
• Sobredimensionar el conductor del neutro en un 200%
• Transformadores de aislación
“K rated Transformers”
• Utilización de UPSs
• Utilización de Filtros Pasivos
• Utilización de Filtros Activos
Paneles de Distribucion
• PDU = Power Distribution Unit
• El panel de Distribución Eléctrico se sitúa en la Sala de IT.
• Según la magnitud de la sala tendremos un solo tablero o uno por fila de racks
• Dentro de cada Rack tendremos uno o varios rPDU = Rack PDU
Cabinet PDU vs Rack PDU
Cabinet PDU Rack PDU = rPDU
Rack PDU
1 RU versus 0 RU
PDUs Inteligentes
Permiten monitoreo remoto
de Tendión & Corriente
así como apagado de equipos
Técnicas de Cableado
Piso Elevado Falso Techo
Esquema Eléctrico
Tres entornos separados:
1.- Sala Eléctrica
Tablero de Transferencia baja Tensión
Tablero Eléctrico Central
UPS s
Tablero de Distribución UPS
2.- Sala de Maquinas
Aire Acondicionado - Refrigeracion
3.- Sala Equipos IT
Aire Acondicionado – Refrigeración
Panel de Energia Remoto RPP
Paneles de Distribución PDU – Tablero
Paneles de Distribución PDU remoto – Rack
Rack de Equipos
Conexión Media Tensión
Celda de Media Tensión
& Transformador Reductor
Tablero Central Baja Tensión
Sistema Distribución Modular
Generador Eléctrico Auxiliar
Protección Descargas Atmosféricas
Mecanismo Descarga
• Aire humedo y caliente se eleva a regiones frias
• El vapor se condensa sobre partículas y forma la nube
• El aire frio es forzado a circular hacia abajo por la formacion de la nube
• Se establecen corrientes verticales , ascendentes y descendentes, que originan una
separación de cargas entre las regiones superior e inferior.
• La acumulación de electrones en capas inferiores crea una diferencia de potencial
con las capas superiores.
• Esos electrones también repelen a los electrones libres de la superficie terrestre
creando así una diferencia de potencial entre la nube y la tierra.
• Este proceso continúa hasta que se alcanza la ruptura dieléctrica entre los puntos
de acumulación de cargas.
Tipo de Descarga
Entre Nubes
Dentro de una Nube
Entre Nube & Tierra
Corriente de Descarga
• Zona A - Pulso de corriente
Pico de hasta 260 KA
dI/dt = 30.000 MA/seg
• Zona B – Transición
• Zona C – Estabilización
Corriente de cientos de A
• Dona D – Repetición descarga
Típicamente 3 o 4 veces
Porcentaje de Ocurrencia
• 50% de los casos primer
descarga supera 20 KA.
• 2 % de los casos llega a
superar los 140 KA.
• Descargas posteriores
son de menor intensidad
• Repeticion de descarga
3 a 4 veces típico.
Área Protegida
• Las descargas atmosféricas “no pueden evitarse”.
• Ningún sistema puede garantizar en forma absoluta vidas, bienes ni estructuras.
• Todos los sistemas de protección tratan de controlar la descarga buscando que se produzca
sobre puntos definidos y garantizar su rápida disipación a tierra.
• Area protegida es el volumen que encierra a todos los elementos que gracias a la
instalacion de un “captor” tienen una baja posibilidad de recibir una descarga.
• Elementos de un sistema de protección tradicional :
- Captores aéreos determinan el punto de la descarga
- Cables y Estructura (torre / edificio) conducen la descarga hasta un sistema de disipación.
- Sistema de disipación : Conjunto de jabalinas, anillos y radiales que aseguran el pasaje
de la corriente de descarga hasta la tierra.
Cono de Protección
- A = Cabeza del Captor
- B = Plano de referencia
- OC = Radio del area protegida
- ht = altura del captor sobre el plano de ref.
- alfa = angulo de protección
Nivel de
h = 20 mt h = 30 mt h = 45 mt h = 60 mt
Protección
I 25 grados
Ángulo de Protección II 35 grados 25 grados
III 45 grados 35 grados 25 grados
IV 55 grados 45 grados 35 grados 25 grados
Método Esfera Rodante
Nivel de Radio de
Protección la Esfera
I 20 mts
II 30 mts
III 45 mts
IV 60 mts
Ejemplo Práctico
1.- Captores verticales
2.- Captor en mástil
3.- Captores laterales
4.- Área protegida
Captores de Descarga
Captor tradicional
“Tipo Franklin”
Captor tipo
“Early Streamer Emitter”
Favorecen la creación de
una descarga ascendente
Conductores de Descarga
• Por razones de seguridad se requieren dos
conductores como mínimo
• El recorrido del conductor hasta el sistema de
descarga a tierra debe ser lo mas corto posible.
• Deben evitarse las curvas en angulos menores a 90
grados o radios de curvatura inferiores a 20
Espaciamiento conductores
centimetros.. Típico 15 a 20 mts
• La inductancia es la característica predominante en Nivel Prot. Distancia
los conductores de descarga. I 10 mts
II 15 mts
III 20 mts
IV 25 mts
Acondicionamiento del Ambiente
• Precisión vesus Confort
• Requerimientos de Refrigeración
• Eficiencia Energética
• Pasillo Frios & Calientes
• Aislamiento del Frio
AC = Precisión vs Confort
Aire Acondicionado de Precisión Aire Acondicionado de Confort
Diseñado para control ambiental equipos IT Diseñado para confort de las personas
Mayor Costo Inicial Menor Costo Inicial
Menor Costo a Largo Plazo (mantenimiento) Mayor Costo a Largo Plazo
Alta densidad de Calor (5 veces oficina) Baja Densidad de Calor
Operación contínua ( 365 x 7 x 24 hs) Operación intermitente (8 hs por dia)
Control preciso de humedad y temperatura Control aproximado de temperatura
Maneja grandes volúmenes de aire Maneja volúmenes de aire reducidos
Requerimiento Refrigeración
Eficiencia Energética
Pasillo Frio / Pasillo Caliente
Concepto Antiguo Concepto Moderno
Todos los racks orientados para el mismo lado Lineas de Racks enfrentados de a pares
Se mezclan corrientes de aire frio & caliente. Separación de pasillos frios & calientes
Baja eficiencia de refrigeración. Mejora la aislación de las corrientes de aire
Para aislación total debe cerrarse un pasillo
Aislamiento del Frio / Calor
Aislamiento del Frio
CAC = Cold Aisle Containment
Convierte el Pasillo Frio en un Recinto Cerrado
Evita que se mezclen corrientes de aire frio y caliente
Fuerza a que todo el aire frio pase a traves de equipos
Aislamiento del Calor
HAC = Hot Air Containment
Lo que se cierra es el pasillo caliente
Toda la sala se convierte en ambiente frio
Paneles Ciegos
Evitan la mezcla de las corrientes de aire frio & caliente
Diferentes Esquemas
Refrigeración Inter-Rack
Condiciones Recomendadas
• Rango Recomendado Operación Datacenter :
Temperatura 18 a 27 grados centígrados (óptimo 22 / 23 grados)
Humedad 40% a 60%
• Temperaturas elevadas reducen vida útil componentes electrónicos y baterías.
• Temperaturas bajas incrementan los costos de refrigeración y reducen eficiencia.
• Alta humedad asociada con riesgo de condensación Corrosión & Cortocircuitos
• Baja humedad asociada con riesgo de descargas estáticas & daño circuitos electrónicos.
Tecnologías Refrigeración
Expansión de Gas Agua Enfriada
Proveedores de Equipos
Liebert
Emerson
Daikin
Schneider Electric
Stultz
Huawei
York
Sistemas de Protección de Incendios
• Objetivos Principales.
• Sistemas de Detección.
• Sistemas de Extinción.
• Señalización vías de escape
• Rutinas de evacuación.
• Capacitación primeros auxilios
Ojetivos Principales
• No interrumpir el funcionamiento del Datacenter.
• Mantener segura toda la información almacenada.
• Evitar daños y lesiones a las personas.
• Reducir al mínimos daños a los equipos e instalaciones.
• Evitar todo tipo de daño o contaminación ambiental
Planta de un Datacenter
1 – Gran Sala de Servidores
2 – Sala de Tableros Eléctricos
3 – Sala de Control
4 – Sala de Cilindros Extinción
5 – Sala Generador Auxiliar
Sistemas de Detección
• No resulta suficiente con instalar detectores de temperatura en la sala.
• Deben instalarse sensores de humo en el ambiente y bajo piso técnico.
• Ante la detección de un foco de incendio deben apagarse
automáticamente los equipos de aire acondicionado.
• La alarma de incendio debe poder activarse tanto manual como
automáticamente.
• En caso de falsa alarma el sistema debe poder desarmarse
manualmente.
• Debe contemplarse un boton de corte rápido de suministro eléctrico
Gases de Extinción
La extinción se logra
mediante el
desplazamiento
del oxigeno.
La recomendación
actual es utilizar
NOVEC 1230
Diferentes Ambientes
Sala de Control Sala Tableros Eléctricos Sala Generador
Sala de Servidores
(Pequeña & Grande)
Resumen
Sistemas de Monitoreo y Gestión
• Plataforma de monitoreo Centralizada
• Monitoreo y Control Remoto de Equipos
• Monitoreo & Control Remoto de PDUs
• Monitoreo de temperatura
Monitoreo & Gestión
Aire Aire
Caliente Frío
Energía Eléctrica
Energía Eléctrica Estabilizada
& con Respaldo
Plataforma Central de Monitoreo
Centralización Información
Navegando Dispositivos
Pantalla UPS
Pantalla Aire Acondicionado
Pantalla PDU
Pantalla Control PDU
Amenazas a Monitorear
Sensores Básicos
Sistemas de Control de Accesos
• Información Biométrica Ingreso
• Cámaras de Seguridad
• Control de Acceso a Racks
• Control de movimiento de Equipos
• Alarmas de actividad humana en Datacenter
Control Accesos Biométrico
Evolución de Identificación Dactilar
a Identificación por Palma
y finalmente Identificación Facial
Cámaras de Seguridad
Monitorear la actividad dentro del Datacenter
Cámaras en lo pasillos
Clasificacion en TIERS
• Tier I Centro de Datos Básico
• Tier II Centro de Datos Redundante
• Tier III Centro de Datos mantenible
• Tier IV Centro de Datos Tolerante Fallos
Clasificación en TIERS
Clasificacion en TIERS
TIER 1 = Centro de Datos Básico TIER 2 = Centro de Datos Redundante
• El servicio puede interrumpirse por • Menos susceptible a interrupciones por
actividades planeadas o no planeadas. actividades planeadas o no planeadas.
• Componentes redundantes (N+1)
• No hay componentes redundantes en la
• Tiene suelos elevados, generadores auxiliares
distribución eléctrica y de refrigeración. o UPS.
• Puede o no puede tener suelos elevados, • Conectados a una única línea de distribución
generadores auxiliares o UPS. eléctrica y de refrigeración.
• Tiempo medio de implementación, 3 meses. • De 3 a 6 meses para implementar.
• El mantenimiento de esta línea de
• La infraestructura del datacenter distribución o de otras partes de la
deberá estar fuera de servicio al menos una infraestructura requiere una interrupción de
vez al año por razones de mantenimiento y/o las servicio.
reparaciones. • Disponibilidad = 99,741 %
• Disponibilidad = 99,671 %
Clasificación en TIERS
TIER 3 = Centro de Datos «Mantenible» TIER 4 = Centro de Datos Tolerante Fallos
• Permite planificar actividades de • Permite planificar actividades de
mantenimiento sin afectar al servicio de mantenimiento sin afectar al servicio de
computación, pero eventos no planeados computación críticos, y es capaz de
pueden causar paradas no planificadas. soportar por lo menos un evento no
• Componentes redundantes (N+1) planificado del tipo ‘peor escenario’ sin
• Conectados múltiples líneas de impacto crítico en la carga.
distribución eléctrica y de refrigeración, • Conectados múltiples líneas de
pero únicamente con una activa. distribución eléctrica y de refrigeración
con múltiples componentes redundantes
• De 15 a 20 meses para implementar. (2 (N+1) significa 2 UPS con redundancia
• Hay suficiente capacidad y distribución N+1).
para poder llevar a cabo tareas de • De 15 a 20 meses para implementar.
mantenimiento en una línea mientras se da
servicio por otras. • Disponibilidad = 99,995 %
• Disponibilidad = 99,982 %
Consideraciones Equipamiento
• Arquitectura Básica
Arquitecturas
Arquitectura Jerárquica versus Arquitectura Virtual
Arquitectura Spine - Leaf
