PoT Tivoli Storage Manager 27-28 Octubre Agenda • Deduplicación • Coffe Break (15’) • Node Replication • Blueprints TSM PoT 27-28 Octubre Deduplicación © 2014 IBM Corporation Deduplicación • Incluido en la licencia • Disponible a partir de la versión 6.1 (2009) • Capacidades de deduplicación en origen y destino • Deduplicación basada en chunk variable Server-side dedup, Linux x86, 10TB ingest, 128MB object size • Comprobaciones de integridad: Elapsed Time (hours) 60.0 – Hash 128-bit MD5* 56.0 52.0 48.0 44.0 – Hash 160-bit SHA-1 40.0 36.0 32.0 – Tamaño del chunk 28.0 24.0 reclamation dedup deref ingest + identify • Deduplicación por SW (vs Deduplicación appliance) 20.0 16.0 12.0 8.0 4.0 0.0 6.3.3.0 A 6.3.3.0 B 6.3.3.0 C 6.3.4.0 6.3.4.2 A 6.3.4.2 B TSM 7.1 : 10X Scalability Improvement on TSM server deduplication performance © 2014 IBM Corporation TSM PoT 27-28 Octubre TSM Server Side Data Deduplication 1. Data sent from clients to server and stored in primary storage pool 4. Duplicate data chunks removed from primary storage pool during Reclaim operation DeduplicationEnabled Disk Storage Pool FileB1 A B A File 2 CFile 3 E C C D A 3. Backup Stgpool operation copies data to non-deduplicated copy storage pool Copy Storage Pool (non-deduplicated) File 3 File 1 2. Identify Duplicates process creates chunks and pointers to hash index in server database to relate files to chunks File 2 File 3 hash Index © 2014 IBM Corporation TSM PoT 27-28 Octubre TSM Client Side Data Deduplication B File 4 F E DeduplicationEnabled Disk Storage Pool 1. Client creates chunks TSMTSM Client 6.x client 2. Client and server identify which chunks need to be sent FileB1 A C D F TSM Client 4. Entire file is reconstructed during Backup Stgpool operation to non-deduplicated stg. pool E Copy Storage Pool (non-deduplicated) 3. Client sends chunks and hashes to server so that it can represent object in database File 1 File 4 File 2 File 3 hash Index © 2014 IBM Corporation File 4 TSM PoT 27-28 Octubre Deduplicación: Client Side • Descarga al servidor del proceso de deduplicación • Requiere capacidad de proceso en el cliente: – Recomendado: 1 CPU 2.2GHz por cada proceso de deduplicación – Ejemplo: Quad Core 2.2GHz, durante la ventana de backup que tenga menos del 75% de utilización de CPU. • No tiene requerimientos de memoria • Se puede combinar con la compresión • Client deduplication cache: – Cache en el cliente para acelerar la búsqueda de hashes – Tamaño por defecto 2GB – ENABLEDEDUPCACHE [yes|no] 7 © 2014 IBM Corporation TSM PoT 27-28 Octubre Deduplicación: Server Side • La deduplicación tiene requerimientos de CPU/Mem en el servidor. • A configurar: 1. Sizing&Tuning DB2 2. Sizing Storage Pool Deduplicado 3. HW/SW TSM Server 8 © 2014 IBM Corporation TSM PoT 27-28 Octubre Sizing&Tuning DB2 • DB2 contiene los metadatos del backup – Ubicación de los ficheros – Tabla de chunks • Puede convertirse en cuello de botella – Requiere discos rápidos: SAS/NL o SSD – Blueprints • Para el sizing se necesita el volumen de datos prededuplicación • Rule of thumb: 100GB por 10TB de datos pre-deduplicados – 400TB pre-deduplicados 4TB BBDD DB2 – Habría que añadir los requerimientos de ficheros ~ 0,8KB por fichero 9 © 2014 IBM Corporation TSM PoT 27-28 Octubre Sizing&Tuning Dedup Disk pool • Tecnología almacenamiento SAS/NFS/iSCSI • Storage pool de tipo FILE (FDC) • Información requerida: – – – – Volumen total FE (V) Tamaño de backup diario (d) Retención (r) Ratio de deduplicación (1:N) • Qué hacer: – Calcular el volumen total de datos respaldar: V1=V+d*r – Aplicamos el ratio de deduplicación: V2=V1/N – Agregamos un espacio temporal (%) Vstgpool=V2+V2*0,3 10 © 2014 IBM Corporation TSM PoT 27-28 Octubre Ejemplo 1 Volumen FrontEnd Ratio de cambio diario Retención(días) Ratio deduplicación Espacio temporal 40TB 5% 30 3:1 30% • • • • • • = = = = = = Backup diario Volumen de cambios Volumen total retenido Volumen total despues de dedup Volumen + espacio temporal Añadimos el backup diario 40 TB *0.05 = 2TB 30 * 2 TB = 60TB 40 TB + 60 TB = 100 TB 100 TB / 3 = 33.3TB 33.3TB + 30% = 43.3TB 43.3 TB + 2 TB = 45.3 TB Tamaño del storage pool = 46TB Tamaño de la BBDD DB2 (100/10) = 1TB 11 © 2014 IBM Corporation TSM PoT 27-28 Octubre Ejemplo 2 Volumen FrontEnd Ratio de cambio diario Retención(días) Ratio deduplicación Espacio temporal 150TB 8% 30 4:1 30% • • • • • • = = = = = = Backup diario Volumen de cambios Volumen total retenido Volumen total despues de dedup Volumen + espacio temporal Añadimos el backup diario TB 150 TB * 0.08 = 12TB 30 * 12 TB = 360TB 360 TB + 150 TB = 510 TB 510 TB / 4 = 125.5TB 125.5TB + 30% = 165,75TB 165.75 TB + 12 TB = 177.75 Tamaño del storage pool = 178TB Tamaño de la BBDD DB2 (100/10) = 5.1 TB 12 © 2014 IBM Corporation TSM PoT 27-28 Octubre Deduplicación: TSM Server HW/SW Blueprints 13 © 2014 IBM Corporation TSM PoT 27-28 Octubre Deduplicación: Nativa vs Appliance Nativa 14 Protect Tier Escalabilidad 400TB/server 1PB/appliance hasta 25PB Alcance deduplicación Servidor Global Coste HW TSM Server HW + Licencias appliance Otros Deduplicación en origen LAN-Free a disco © 2014 IBM Corporation Referencias • TSM Performance Manual: https://ibm.biz/TSMPerf • TSM Deduplication FAQ: https://ibm.biz/TSMDedupFAQ • TSM Deduplication WhitePaper: https://ibm.biz/DedupWP 15 © 2014 IBM Corporation COFFEE BREAK 16 © 2014 IBM Corporation TSM PoT 27-28 Octubre Node Replication © 2014 IBM Corporation Node Replication • Incluida en la licencia • Replicación de backups entre servidores de TSM • Deduplicada e incremental • Granularidad a nivel de filesystem/unidad • Replicación IP • Servicio Activo-Activo • Failover/failback del servicio – Los clientes de backup conmutan automáticamente • Políticas dismilares: – Permite aplicar distintas políticas de retención de datos en los TSM Servers • Recuperación de ficheros corruptos. • Configuración Many to 1 • Beneficios: – Continuidad del servicio en caso de contingencia. – Cumplimiento de procesos legales de externalización/LOPD de datos de backup sin requerir operación manual Site B Site A Database TSM EE Server B TSM EE Server A Client C Client B Database Client A DB2 DB2 Metadata and deduplicated data Client X Client Y “Hot Standby” for better D/R SLAs Storage Hierarchy © 2014 IBM Corporation Storage Hierarchy Automated Failover TSM Server B TSM Server A Database 3 Database 2 DB2 Storage Hierarchy Node X 4 5 1 Client Node X DB2 Storage Hierarchy Pre-failure 1. Server A envía la información de failover al cliente (moficica dsm.opt/.sys) 2. Server A replica la información de backup y los metadatos al Server B Failover 3. Server A deja de responder 4. El cliente basándose en la información de failover que le ha proporcionado Server A, redirije las comunicaciones al Server B, únicamente para operaciones de Restore Failback 5. Cuando el Server A vuelve a estar disponible las operaciones del cliente se redirigen nuevamente al Server A 19 19 © 2014 IBM Corporation TSM PoT 27-28 Octubre Dissimilar Policies Caso de Uso: Branch office con almacenamiento reducido para recuperación rápida Caso de Uso: Ubicación remota con un SLA de recuperación y copia en el datacenter para archivado Server A (Branch Office) Server B (Data Center) Replication Server A stores 2 versions Server B stores 5 versions Server A Server B (Data Center) Replication Server A stores 4 versions for operational recovery What’s New: Se pueden definer diferentes políticas (retención y copias) en el Source y Target TSM servers. La Expiración se ejecuta independientemente en cada servidor, basándose en las políticas activas de cada servidor. Server B stores 2 versions for long term Beneficios Gestión flexible de la información replicada en las distintas ubicaciones Optimiza el uso de los recursos Puede eliminar el uso de la cinta 20 © 2014 IBM Corporation TSM PoT 27-28 Octubre Dissimilar Policies • VALIDATE REPLPOLICY <SERVER> – Ejecutar previo a la activación – Muestra las diferencia de políticas de todos los nodos replicados • SET DISSIMILARPOLICIES <target_server> [on|off] • Si DISSIMILARPOLICIES está a: – ON: La replicación es equivalente a un backup. – OFF: Se replica el estado de los ficheros del source server. 21 © 2014 IBM Corporation TSM PoT 27-28 Octubre Recuperación de ficheros dañados Descripción: Recuperar fichero dañados en el source server desde el target server Beneficios: Assist with local recovery of files that have been damaged on the source server • • Replaces damaged files with good copies that have been replicated Includes files on volumes that have been updated as destroyed Escenario: 1) Server A replica información al Server B 2) Se pierde información en el Server A: un volumen del storage pool o un fichero 3) El volumen o el fichero son recuperados desde el Server B al Server B 22 © 2014 IBM Corporation TSM PoT 27-28 Octubre Recuperación de ficheros dañados • SET REPLRECOVERDAMAGED [on|off] 23 © 2014 IBM Corporation TSM PoT 27-28 Octubre Configuración Many-to-1 Branch Office Dedup pool TSM 7.1.1 Backup Server Main DataCenter Nod e Re p l i ca tion Branch Office Dedup pool Node R eplicatio n TSM Server 7.1.1 Backup Server TSM 7.1.1 Backup Server No de Re ca pli n tio PHYSICAL TAPE LONG TERM DATA/DR Dedup pool Branch Office Dedup pool TSM 7.1.1 Backup Server 24 Nota.- Los servidores de las Branch Office pueden ser máquina virtual, con un Pool de disco deduplicado para albergar los backups operacionales © 2014 IBM Corporation TSM Node Replication: Compatibilidad • La replicación permite estos niveles de 25 © 2014 IBM Corporation Entorno de Demo DEMO ENVIRONMENT TSM TSM2 Node Replication Dedup pool TSM Server 7.1.1 Linux TSM Server 7.1.1 Windows BA C KU P CLIENTWIN TSM Operations Center 26 Dedup pool TSM Client 7.1.1 © 2014 IBM Corporation Calculo de la Ancho de Banda • Hay que asegurar que el ancho de banda disponible es suficiente para realizar la replicación • Pasos: 1. Estimar el volumen total a replicar en GB (TD) – Volumen de backup diario pre-deduplicado 2. Longitud de la ventana de replicación en horas (RWT) 3. Calcular el ratio de deduplicación (DR) – QUERY STGPOOL F=D • Required Network Bandwidth (Mbits/second) = (TD * ( 100 / DR ) * 8192) / ( RWT * 3600 ) – Ejemplo: 2048GB, 7horas y 80% RNB = (2.048*(100/80)*8.192)/(7*3.600) = 832Mbits/s 27 © 2014 IBM Corporation Referencias • Knowledge Center: https://ibm.biz/TSMNodeReplication • Node Replication Technote: – http://www-01.ibm.com/support/docview.wss?uid=swg21595727 28 © 2014 IBM Corporation TSM PoT 27-28 Octubre Blueprints © 2014 IBM Corporation Blueprints • Nuevas funcionalidades añaden más parametros a tener en cuenta para realizar el sizing de la solución de TSM – Node replication – Deduplicación • Guías de configuración • Disponibles: – Blueprint for Windows – Blueprint for Linux – Blueprint for pSeries … https://ibm.biz/tsmblueprints © 2014 IBM Corporation TSM PoT 27-28 Octubre Ejemplo 1 Volumen FrontEnd Ratio de cambio diario Retención(días) Ratio deduplicación Espacio temporal 40TB 5% 30 3:1 30% • • • • • • = = = = = = Backup diario Volumen de cambios Volumen total retenido Volumen total despues de dedup Volumen + espacio temporal Añadimos el backup diario 40 TB *0.05 = 2TB 30 * 2 TB = 60TB 40 TB + 60 TB = 100 TB 100 TB / 3 = 33.3TB 33.3TB + 30% = 43.3TB 43.3 TB + 2 TB = 45.3 TB Tamaño del storage pool = 46TB Tamaño de la BBDD DB2 = 1TB 31 © 2014 IBM Corporation Ejemplo 1 Sizing • Volumen backup diario: 2TB • Volumen total gestionado: 100TB 32 © 2014 IBM Corporation TSM PoT 27-28 Octubre Ejemplo 2 Volumen FrontEnd Ratio de cambio diario Retención(días) Ratio deduplicación Espacio temporal 150TB 8% 30 4:1 30% • • • • • • = = = = = = Backup diario Volumen de cambios Volumen total retenido Volumen total despues de dedup Volumen + espacio temporal Añadimos el backup diario TB 150 TB * 0.08 = 12TB 30 * 12 TB = 360TB 360 TB + 150 TB = 510 TB 510 TB / 4 = 125.5TB 125.5TB + 30% = 165,75TB 165.75 TB + 12 TB = 177.75 Tamaño del storage pool = 178TB Tamaño de la BBDD DB2 (100/10) = 5.1 TB 33 © 2014 IBM Corporation Ejemplo 2 Sizing • Volumen backup diario: 12TB • Volumen total gestionado: 510TB > 400TB!! 34 © 2014 IBM Corporation TSM PoT 27-28 Octubre 35 © 2014 IBM Corporation
© Copyright 2024