1. Ingeniería

PoT Tivoli Storage Manager
27-28 Octubre
Agenda
• Deduplicación
• Coffe Break (15’)
• Node Replication
• Blueprints
TSM PoT 27-28 Octubre
Deduplicación
© 2014 IBM Corporation
Deduplicación
• Incluido en la licencia
• Disponible a partir de la versión 6.1 (2009)
• Capacidades de deduplicación en origen y destino
• Deduplicación basada en chunk variable
Server-side
dedup,
Linux x86, 10TB ingest, 128MB object size
• Comprobaciones
de
integridad:
Elapsed Time (hours)
60.0
– Hash
128-bit MD5*
56.0
52.0
48.0
44.0
– Hash
160-bit SHA-1
40.0
36.0
32.0
– Tamaño
del chunk
28.0
24.0
reclamation
dedup deref
ingest + identify
• Deduplicación por SW (vs Deduplicación appliance)
20.0
16.0
12.0
8.0
4.0
0.0
6.3.3.0 A
6.3.3.0 B
6.3.3.0 C
6.3.4.0
6.3.4.2 A
6.3.4.2 B
TSM 7.1 : 10X Scalability Improvement on TSM
server deduplication performance
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
TSM Server Side Data Deduplication
1. Data sent from clients
to server and stored in
primary storage pool
4. Duplicate data chunks
removed from primary
storage pool during
Reclaim operation
DeduplicationEnabled Disk
Storage Pool
FileB1
A
B
A
File 2
CFile 3 E
C
C
D
A
3. Backup Stgpool
operation copies data
to non-deduplicated
copy storage pool
Copy Storage Pool
(non-deduplicated)
File 3
File 1
2. Identify Duplicates
process creates chunks
and pointers to hash index
in server database to relate
files to chunks
File 2
File 3
hash
Index
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
TSM Client Side Data Deduplication
B
File 4
F
E
DeduplicationEnabled Disk
Storage Pool
1. Client creates chunks
TSMTSM
Client
6.x client
2. Client and server identify which
chunks need to be sent
FileB1
A
C
D
F
TSM Client
4. Entire file is reconstructed
during Backup Stgpool
operation to non-deduplicated
stg. pool
E
Copy Storage Pool
(non-deduplicated)
3. Client sends
chunks and hashes
to server so that it
can represent object
in database
File 1
File 4
File 2
File 3
hash
Index
© 2014 IBM Corporation
File 4
TSM PoT 27-28 Octubre
Deduplicación: Client Side
• Descarga al servidor del proceso de deduplicación
• Requiere capacidad de proceso en el cliente:
– Recomendado: 1 CPU 2.2GHz por cada proceso de deduplicación
– Ejemplo: Quad Core 2.2GHz, durante la ventana de backup que
tenga menos del 75% de utilización de CPU.
• No tiene requerimientos de memoria
• Se puede combinar con la compresión
• Client deduplication cache:
– Cache en el cliente para acelerar la búsqueda de hashes
– Tamaño por defecto 2GB
– ENABLEDEDUPCACHE [yes|no]
7
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
Deduplicación: Server Side
• La deduplicación tiene requerimientos de CPU/Mem en el
servidor.
• A configurar:
1. Sizing&Tuning DB2
2. Sizing Storage Pool Deduplicado
3. HW/SW TSM Server
8
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
Sizing&Tuning DB2
• DB2 contiene los metadatos del backup
– Ubicación de los ficheros
– Tabla de chunks
• Puede convertirse en cuello de botella
– Requiere discos rápidos: SAS/NL o SSD
– Blueprints
• Para el sizing se necesita el volumen de datos prededuplicación
• Rule of thumb: 100GB por 10TB de datos pre-deduplicados
– 400TB pre-deduplicados  4TB BBDD DB2
– Habría que añadir los requerimientos de ficheros ~ 0,8KB por fichero
9
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
Sizing&Tuning Dedup Disk pool
• Tecnología almacenamiento SAS/NFS/iSCSI
• Storage pool de tipo FILE (FDC)
• Información requerida:
–
–
–
–
Volumen total FE (V)
Tamaño de backup diario (d)
Retención (r)
Ratio de deduplicación (1:N)
• Qué hacer:
– Calcular el volumen total de datos respaldar: V1=V+d*r
– Aplicamos el ratio de deduplicación: V2=V1/N
– Agregamos un espacio temporal (%) Vstgpool=V2+V2*0,3
10
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
Ejemplo 1
Volumen FrontEnd
Ratio de cambio diario
Retención(días)
Ratio deduplicación
Espacio temporal
40TB
5%
30
3:1
30%
•
•
•
•
•
•
=
=
=
=
=
=
Backup diario
Volumen de cambios
Volumen total retenido
Volumen total despues de dedup
Volumen + espacio temporal
Añadimos el backup diario
40 TB *0.05 = 2TB
30 * 2 TB = 60TB
40 TB + 60 TB = 100 TB
100 TB / 3 = 33.3TB
33.3TB + 30% = 43.3TB
43.3 TB + 2 TB = 45.3 TB
Tamaño del storage pool = 46TB
Tamaño de la BBDD DB2 (100/10) = 1TB
11
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
Ejemplo 2
Volumen FrontEnd
Ratio de cambio diario
Retención(días)
Ratio deduplicación
Espacio temporal
150TB
8%
30
4:1
30%
•
•
•
•
•
•
=
=
=
=
=
=
Backup diario
Volumen de cambios
Volumen total retenido
Volumen total despues de dedup
Volumen + espacio temporal
Añadimos el backup diario
TB
150 TB * 0.08 = 12TB
30 * 12 TB = 360TB
360 TB + 150 TB = 510 TB
510 TB / 4 = 125.5TB
125.5TB + 30% = 165,75TB
165.75 TB + 12 TB = 177.75
Tamaño del storage pool = 178TB
Tamaño de la BBDD DB2 (100/10) = 5.1 TB
12
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
Deduplicación: TSM Server HW/SW
Blueprints
13
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
Deduplicación: Nativa vs Appliance
Nativa
14
Protect Tier
Escalabilidad
400TB/server
1PB/appliance hasta
25PB
Alcance
deduplicación
Servidor
Global
Coste
HW TSM Server
HW + Licencias
appliance
Otros
Deduplicación en
origen
LAN-Free a disco
© 2014 IBM Corporation
Referencias
• TSM Performance Manual: https://ibm.biz/TSMPerf
• TSM Deduplication FAQ: https://ibm.biz/TSMDedupFAQ
• TSM Deduplication WhitePaper: https://ibm.biz/DedupWP
15
© 2014 IBM Corporation
COFFEE BREAK
16
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
Node Replication
© 2014 IBM Corporation
Node Replication
• Incluida en la licencia
• Replicación de backups entre servidores de TSM
• Deduplicada e incremental
• Granularidad a nivel de filesystem/unidad
• Replicación IP
• Servicio Activo-Activo
• Failover/failback del servicio
– Los clientes de backup conmutan automáticamente
• Políticas dismilares:
– Permite aplicar distintas políticas de retención de datos en los TSM Servers
• Recuperación de ficheros corruptos.
• Configuración Many to 1
• Beneficios:
– Continuidad del servicio en caso de contingencia.
– Cumplimiento de procesos legales de externalización/LOPD de datos de backup sin requerir operación manual
Site B
Site A
Database
TSM EE
Server B
TSM EE
Server A
Client C
Client B
Database
Client A
DB2
DB2
Metadata and deduplicated data
Client X
Client Y
“Hot Standby”
for better D/R
SLAs
Storage Hierarchy
© 2014 IBM Corporation
Storage Hierarchy
Automated Failover
TSM Server B
TSM Server A
Database
3
Database
2
DB2
Storage Hierarchy
Node X
4
5
1
Client Node
X
DB2
Storage Hierarchy
Pre-failure
1. Server A envía la información de failover al cliente (moficica dsm.opt/.sys)
2. Server A replica la información de backup y los metadatos al Server B
Failover
3. Server A deja de responder
4. El cliente basándose en la información de failover que le ha proporcionado Server A, redirije las
comunicaciones al Server B, únicamente para operaciones de Restore
Failback
5. Cuando el Server A vuelve a estar disponible las operaciones del cliente se redirigen
nuevamente al Server A
19
19
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
Dissimilar Policies
Caso de Uso:
Branch office
con
almacenamiento
reducido para
recuperación
rápida
Caso de Uso:
Ubicación
remota con un
SLA de
recuperación y
copia en el
datacenter para
archivado
Server A (Branch Office)
Server B (Data Center)
Replication
Server A stores 2 versions
Server B stores 5 versions
Server A
Server B (Data Center)
Replication
Server A stores 4
versions for operational
recovery
What’s New:
 Se pueden definer diferentes políticas
(retención y copias) en el Source y Target
TSM servers.
 La Expiración se ejecuta independientemente
en cada servidor, basándose en las políticas
activas de cada servidor.
Server B stores 2
versions for long term
Beneficios
 Gestión flexible de la información
replicada en las distintas ubicaciones
 Optimiza el uso de los recursos
 Puede eliminar el uso de la cinta
20
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
Dissimilar Policies
• VALIDATE REPLPOLICY <SERVER>
– Ejecutar previo a la activación
– Muestra las diferencia de políticas de todos los nodos replicados
• SET DISSIMILARPOLICIES <target_server> [on|off]
• Si DISSIMILARPOLICIES está a:
– ON: La replicación es equivalente a un backup.
– OFF: Se replica el estado de los ficheros del source server.
21
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
Recuperación de ficheros dañados
Descripción: Recuperar fichero dañados en el source server desde el target server
Beneficios: Assist with local recovery of files that have been damaged on the source server
•
•
Replaces damaged files with good copies that have been replicated
Includes files on volumes that have been updated as destroyed
Escenario:
1) Server A replica información al Server B
2) Se pierde información en el Server A: un volumen del storage pool o un fichero
3) El volumen o el fichero son recuperados desde el Server B al Server B
22
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
Recuperación de ficheros dañados
• SET REPLRECOVERDAMAGED [on|off]
23
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
Configuración Many-to-1
Branch Office
Dedup
pool
TSM 7.1.1
Backup Server
Main DataCenter
Nod
e Re
p l i ca
tion
Branch Office
Dedup
pool
Node R
eplicatio
n
TSM Server 7.1.1
Backup Server
TSM 7.1.1
Backup Server
No
de
Re
ca
pli
n
tio
PHYSICAL TAPE
LONG TERM DATA/DR
Dedup
pool
Branch Office
Dedup
pool
TSM 7.1.1
Backup Server
24
Nota.- Los servidores de las Branch Office pueden ser máquina virtual, con un
Pool de disco deduplicado para albergar los backups operacionales
© 2014 IBM Corporation
TSM Node Replication: Compatibilidad
• La replicación permite estos niveles de
25
© 2014 IBM Corporation
Entorno de Demo
DEMO ENVIRONMENT
TSM
TSM2
Node Replication
Dedup
pool
TSM Server 7.1.1
Linux
TSM Server 7.1.1
Windows
BA
C
KU
P
CLIENTWIN
TSM Operations Center
26
Dedup
pool
TSM Client 7.1.1
© 2014 IBM Corporation
Calculo de la Ancho de Banda
• Hay que asegurar que el ancho de banda disponible es
suficiente para realizar la replicación
• Pasos:
1. Estimar el volumen total a replicar en GB (TD)
–
Volumen de backup diario pre-deduplicado
2. Longitud de la ventana de replicación en horas (RWT)
3. Calcular el ratio de deduplicación (DR)
–
QUERY STGPOOL F=D
• Required Network Bandwidth (Mbits/second) =
(TD * ( 100 / DR ) * 8192) / ( RWT * 3600 )
– Ejemplo: 2048GB, 7horas y 80%
RNB = (2.048*(100/80)*8.192)/(7*3.600) = 832Mbits/s
27
© 2014 IBM Corporation
Referencias
• Knowledge Center: https://ibm.biz/TSMNodeReplication
• Node Replication Technote:
– http://www-01.ibm.com/support/docview.wss?uid=swg21595727
28
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
Blueprints
© 2014 IBM Corporation
Blueprints
• Nuevas funcionalidades añaden más parametros a tener en
cuenta para realizar el sizing de la solución de TSM
– Node replication
– Deduplicación
• Guías de configuración
• Disponibles:
– Blueprint for Windows
– Blueprint for Linux
– Blueprint for pSeries …
https://ibm.biz/tsmblueprints
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
Ejemplo 1
Volumen FrontEnd
Ratio de cambio diario
Retención(días)
Ratio deduplicación
Espacio temporal
40TB
5%
30
3:1
30%
•
•
•
•
•
•
=
=
=
=
=
=
Backup diario
Volumen de cambios
Volumen total retenido
Volumen total despues de dedup
Volumen + espacio temporal
Añadimos el backup diario
40 TB *0.05 = 2TB
30 * 2 TB = 60TB
40 TB + 60 TB = 100 TB
100 TB / 3 = 33.3TB
33.3TB + 30% = 43.3TB
43.3 TB + 2 TB = 45.3 TB
Tamaño del storage pool = 46TB
Tamaño de la BBDD DB2 = 1TB
31
© 2014 IBM Corporation
Ejemplo 1 Sizing
• Volumen backup diario: 2TB
• Volumen total gestionado: 100TB
32
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
Ejemplo 2
Volumen FrontEnd
Ratio de cambio diario
Retención(días)
Ratio deduplicación
Espacio temporal
150TB
8%
30
4:1
30%
•
•
•
•
•
•
=
=
=
=
=
=
Backup diario
Volumen de cambios
Volumen total retenido
Volumen total despues de dedup
Volumen + espacio temporal
Añadimos el backup diario
TB
150 TB * 0.08 = 12TB
30 * 12 TB = 360TB
360 TB + 150 TB = 510 TB
510 TB / 4 = 125.5TB
125.5TB + 30% = 165,75TB
165.75 TB + 12 TB = 177.75
Tamaño del storage pool = 178TB
Tamaño de la BBDD DB2 (100/10) = 5.1 TB
33
© 2014 IBM Corporation
Ejemplo 2 Sizing
• Volumen backup diario: 12TB
• Volumen total gestionado: 510TB > 400TB!!
34
© 2014 IBM Corporation
TSM PoT 27-28 Octubre
35
© 2014 IBM Corporation