1. Educación

Un día en la vida de un DBA
Cualquier similitud con la realidad....
Es mera coincidencia ……
Alejandro Orozpe Guzmán
Alejandro Orozpe Guzman
Sr IT Specialist, zIM
Software Group Mexico
[email protected]
2
Medianoche


El DBA está empezando a dormirse, espera dormir plácidamente ……
Ha pasado un día largo en el trabajo esta ahora en casa y está listo para
un sueño profundo...
3
© 2014 IBM Corporation
12:05 AM

Adiós a nuestra noche de sueño placentero

Una aplicación batch canceló con un “unknown database error”
¿Por donde inicio el analisis de este errror?

Revisando la consola y listo los jobs que cancelaron en JES

Revisando el address espace del DB2 Master

¿Cuáles DB2 Tools pueden ayudar a realizar este análisis de
errores?
4
© 2014 IBM Corporation
Frame para Monitoreo y Performance
Identificar, diagnosticar, resolver y prevenir problemas de rendimiento
• Drill-down en el detalle y contexto relacionado
• Analizar datos capturados – Ver que cambió
• Recibir alertas de problemas potenciales
• Vista rápida de ambientes complejos
DB2 Query
Monitor
1. Identificar
2. Diagnosticar
Tivoli OMEGAMON XE
for DB2 Performance Expert
Netwo
rk
DB2 SQL
Performance
Analyzer
User
s
Application
Servers
4. Prevenir
• Monitorear y analizar datos históricos
y tendencias para planificación
55
• Auto-administrar cargas
Optim pureQuery
Runtime
DB2 for
z/OS
3. Resolver
Optim Query
Workload Tuner
• Asesoria de expertos para resolución
de problemas
• Corregir el problema
database)
© 2014 (SQL,
IBM Corporation
DB2 Performance Solution Pack for z/OS

OMEGAMON for DB2 Performance Expert on z/OS

Monitoreo de aplicaciones y sistemas
–
Reportes detallados y warehouse de performance con Diagnosticar
motor integral en tiempo real y capacidad Extended
Insight
DB2 Query Monitor for z/OS

Monitor SQL dedicado
–
Vistas actuales e históricas de detalle de consultas en
subsistemsa DB2 con capacidad de definir alertas para
advertencia anticipada
Optim Query Workload Tuner for DB2 for z/OS

Análisis de rendimiento SQL basado en Eclipse
–
Incluye “Asesores” que provee recomendaciones
expertas para realizar ajustes y tunning
DB2 SQL Performance Analyzer for z/OS
–
Identificar
–
–
Prevenir
–
–
Análisis SQL basado en z/OS
Estimación de costos y función de explain con análisis
“what if”
Resolver
6
© 2014 IBM Corporation
3 AM

Cancela un Job de Reorg
 Lectura del Job log
 Determinamos que nos quedamos sin espacio en el
STOGROUP
 Si ejecutamos con SHRLEVEL(NONE) y estamos en la fase
RELOAD, la base de datos está caída e inaccesible
 Conseguir mas espacio en el STOGROUP
 Re-ejecutar el job – si no funciona, recuperar desde el
image copy tomado antes de iniciar el reorg
 Ya no duermo mientras espero que la base vuelva a levantar
antes que comience de los procesos online...
7
© 2014 IBM Corporation
3 AM – Otra versión

Si estaba corriendo con SHRLEVEL(REFERENCE) o
SHRLEVEL(CHANGE)
 Ejecuto un –TERM UTIL del Utilitario REORG
 Me vuelvo a dormir
 La base de datos estuvo disponible ya que se trabajó en una copia
 Mientras el REORG se ejecuta, la base de datos está disponible a los
usuarios
 SHRLEVEL(REFERENCE) - read only
 SHRLEVEL(CHANGE)
- update
8
© 2014 IBM Corporation
Recovery Expert
Administrador inteligente de backup y recuperación
 Reduce la complejidad de la recuperación
 Analiza los recursos de recuperación y detecta y recupera objetos



relacionados
Provee estimados de recuperación basado en costos en tiempo
real
Reduce drásticamente el tiempo requerido por el DBA
Utiliza eficientemente todos los activos de backup y recuperación
 Minimiza el riesgo


Funcionalidad de Health check para validar la posibilidad de
recuperación a un punto en el tiempo
Plan de verificación de recuperación para verificar que los objetos
están disponibles para recuperación
 Simplifica las operaciones y procedimientos de recuperación ante
desastres
9
© 2014 IBM Corporation
DB2 Utilities Enhancement Tool
 Ayuda a controlar el entorno DB2 con la capacidad de cancelar
threads activos en forma transparente y bloquear nuevos threads
sobre objetos DB2
 Permite crear pasos en un job batch para cancelar threads sobre
objetos DB2
 Calcula y crea automáticamente tablas de mapeo e índices para la
utilidad REORG TABLESPACE con SHRLEVEL CHANGE, Drop
automático de estos objetos cuando finaliza
 Posibilidad de bloqueo de threads en base a una política definida
para evitar contención
 Opciones adicionales en utilitarios REORG, LOAD y CHECK DATA
para mejorar la productividad y disponibilidad
10
© 2014 IBM Corporation
6 AM
5
11
© 2014 IBM Corporation
7 AM – Llego a la oficina



Busco un café, reviso las caídas de anoche
Reviso reportes diarios para verificar:
 Que todas las bases de datos están activas y funcionales
 DDF está operacional
 Todas las bases de datos tienen backups válidos
 Verifico si hay packages / plans inválidos
 Verifico si tengo suficiente DASD
 Reviso reportes de rendimientos de la noche
 Busco si hay jobs que demoraron mucho mas que otras veces
Herramientas que pueden asistirme:
 DB2 Administration Tool
 Omegamon
 Query Monitor
12
© 2014 IBM Corporation
7:30 AM





Todo está bien, puedo comenzar con mis actividades del día
Hay cambios a la base para implementar el fin de semana, necesito
realizar las actividades para prepararlos
Son cambios que fueron haciéndose durante tres meses
Hubo múltiples cambios durante ese período
Para recopilarlos puedo:
1. Encontrar todos los cambios que todos los DBAs estuvimos
haciendo en este período y en las tablas, y componerlos en
múltiples archivos de DDL
2.
Usar una herramienta para preparar el cambio
13
© 2014 IBM Corporation
Entender objetos y administrar cambios
• Navegar el entorno DB2 y entender objetos
y relaciones
• Administrar y Editar Objetos DB2 y datos de tablas
1. Navegar
2. Administrar
4. Rastrear
3. Modificar
DB2 para z/OS
14
• Rastrear cambios de configuración en el
tiempo
• Mantener historia de cambios en las bases
• Registrar, Analizar y Ejecutar cambios en las
bases
• Coordinar cambios en grupos de múltiples
personas
© 2014 IBM Corporation
DB2 Administration Solution Pack
DB2 Admin: Entender los
objetos y relaciones en el
sistema DB2
Visualizar y actualizar
datos fácilmente
Facilitar administración
de cambios y
configuraciones DB2
en el tiempo
15
© 2014 IBM Corporation
Responder a las necesidades de la empresa
Catalog
Navigation
DB2 Utility
JCL
SQL
Statements
Los DBAs son
interrumpidos
frecuentemente por lo
“inesperado””

Tienen que poder
encontrar el problema
rápido y resolverlo aún
mas rápido

Object/Data
Migration
DDL recreation
(GEN)
Manage DB2
ZParms
Space
Management

DB2 Admin
DB2 Object
Compare
CREATE/ALTER
Dialogs

DB2
Commands
Los DBAs tienen que poder
definir y cambiar objetos
Necesitan focualizarse en las
necesidades de negocio y
dejar que la herramienta
realice el trabajo detallado
Complex Alters
(ALT)
Change
Management
16
© 2014 IBM Corporation
InfoSphere Optim Configuration Manager (OCM)
Solución única en el mercado
Centraliza la administración de las configuraciones de
base de datos, tanto de servidores como clientes en
z/OS y LUW
Valor en el Cliente
Solución diseñada para
administrar en forma
centralizada los clientes y
seguir los cambios a las
configuraciones a los
clientes o servidores de
aplicaciones de datos a la
vez que se mantiene la
disponibilidad del sistema
e integridad de la base de
datos.

Valor en el Servidor

Mejora eficiencia ya que
permite establece políticas
y estándares de
configuración de clientes
establecidas por el DBA
17
© 2014 IBM Corporation
8:10 AM


Un programador solicita ayuda para saber si
sus queries están siendo escritos de manera
eficiente.
El DBA realiza una pausa en la tarea que
estaba realizando y le muestra las diferentes
herramientas para ver si puedo ayudarlo…..

Las herramientas deben ser capaces de
manejar este tipo de interrupciones para
poder volver a donde me quede cuando
alguien llego y realizó una pregunta
18
© 2014 IBM Corporation
IBM Data Studio





Guía a los usuarios en la implementación de mejores prácticas
Permite crear, alterar, descartar y administrar privilegios sobre objetos, ver
distribuciones y actualizar estadísticas sobre los objetos
Acelera el desarrollo y mejora la estandarización al ofrecer templates y
editores para crear, probar, hacer debugging y despliegue de rutinas como
procedimientos almacenados y funciones definidas por el usuario.
Permite crear Web Services que expongan fácilmente operaciones de la
base de datos (SELECT y DML, expresiones Xquery, o llamadas a
procedimientos almacenados).
Simplificar la construcción de consultas y edición, incluyendo soporte de
XQuery. Permite dar formato a las consultas, ver gráficos de plan de
acceso y ofrecer recomendaciones sobre estadísticas.
19
© 2014 IBM Corporation
Optim Query Capture and Replay para DB2 en z/OS
Ayuda a disminuir drásticamente el costo y riesgo asociados a cambios de
infraestructura
Requirements
Captura cargas productivas y
las ejecuta nuevamente en
ambientes de desarrollo
Application
Source



Minimiza problemas de
producción inexperados
Shorten testing cycles
Desarrolla escenarios de
pruebas mas reales
Benefits

Record
Optim Query
Capture and
Replay
Target

Play

Reduce riesgos y cumple
los SLA’s con cargas
mas reales al momento
de probar
Incrementa la
productividad con la
automatización de
procesos repetitivos
Cumple con pruebas en
tiempo y presupuesto
20
© 2014 IBM Corporation
9 AM

Reunión diaria de status para revisar las últimas 24 horas del
Data Center
 Necesito llevar reportes para mostrar :
 Revisar las cancelaciones – análisis inicial
 Uso de espacio – si hay suficiente …
21
© 2014 IBM Corporation
9:30 AM




Regreso de la reunión
Me busco otro café
El área de aplicaciones dice que necesitan copiar datos de
producción al sistema de desarrollo para analizar un problema
 Necesitan mover 5 cuentas, con toda la información
relacionada que pertenece a estas cuentas
Un segundo desarrollador necesita mover una tabla completa de
producción a desarrollo en forma URGENTE !!!!!
22
© 2014 IBM Corporation
InfoSphere Optim Test Data Management
Produción o Clon de Producción
Subset & Enmascarar
2TB
25 GB
• Crear entornos de prueba a medida
25 GB
• Sustituir datos sensibles por datos
ficticios manteniendo el contexto
Testeo Unitario
Desarrollo
• Refrescar y mantener de manera
sencilla entornos de pruebas
• Comparar datos para resolver defectos
en aplicativos de forma mas rápida
• Acelerar los tiempos de entrega
100 GB
50 GB
Entrenamiento
Test Integración
InfoSphere Optim TDM soporta datos en plataformas distribuídas (LUW) y z/OS.
Soporte para realizar sub conjuntos de datos para aplicaciones empaquetadas como ser:
23
Other
© 2014 IBM Corporation
DB2 Cloning Tool






Clona rápidamente subsistemas DB2, Espacios de Tablas, o
Espacios de Índices para crear entornos de prueba actualizados
Automatiza el proceso de clonado para proveer clones usables
de DB2 en minutos
Clona un subsistema DB2 renombrando y catalogando data sets,
corrigiendo las internas de los volúmenes, y actualizando la
información de control interna del DB2
Aprovecha la tecnología Fast copy para copiar rápidamente
archivos DB2 dentro de un subsistema o diferente subsistema
Utiliza cualquier tecnología de clonado de volúmenes como
FlashCopy
Provee una interface ISPF tanto para clonado de volúmenes
como espacios de tablas
24
© 2014 IBM Corporation
10 AM

Regreso a prepararme para el cambio del fin de semana
 Creo DDL con Object Compare
 Verifico rendimiento de nuevos queries de nuevos programas
 No realizo nuevos binds para aquel código que no cambio el
SQL
25
© 2014 IBM Corporation
DB2 Path Checker





Identifica, analiza y documenta potenciales cambios en los
access path por adelantado si iniciar el proceso de bind
Determina rápidamente si un bind de un Database Request
Module (DBRM) va a resultar en un cambio de access path
Provee información sobre potenciales cambios a los access path
antes de que ocurran y luego de un rebind
Prueba cambios reales o propuestos en planes y crea un reporte
de pasos cambiados y no cambiados
Opcionalmente provee estimación de costos y estadísticas de
catálogo DB2 para cambios de access path
26
© 2014 IBM Corporation
DB2 Bind Manager




Elimina automáticamente binds innecesarios, procesando sólo
los que se requieren
Ayuda a determinar dónde se requiere un bind comparando los
tokens de consistencia de un plan en una DBRMLIB con los
tokens correspondientes en las tablas de catálogo DB2
DB2 Bind Manager puede ser invocado directamente desde el
IBM DB2 Administration Tool
Provee información mas detallada para logs de errores y
mensajes que puede ser utilizada por el soporte IBM para
resolver problemas de manera mas rápida
27
© 2014 IBM Corporation
10:15 AM

El gerente pide encontrar todas los números de cliente en
nuestros datos, incluyendo bases de datos y archivos
 Uso DB2 Admin para encontrar todas las ocurrencias de la
columna NUMERO_CLIENTE
 Debido a aplicativos de terceros, cambios de estándares en el
tiempo, y programadores que “se olvidaron” de seguir el
estándar, la columna puede llamarse diferente

InfoSphere Discovery puede ayudar
28
© 2014 IBM Corporation
InfoSphere Discovery
Accelera el despliegue de
proyectos al automatizar el
descubrimiento de los datos
distribuidos
Discovery
Requerimientos
Definir objetos de negocios
para aplicaciones de
archivado y generación de
lotes de prueba
Descubrir reglas de
transformación de datos y
relaciones heterogéneas
Identificar objetos sensitivos
escondidos para
privacidad de datos
Beneficios
Automatización de
actividades manuales,
aceleran el tiempo al valor
Conocimiento de relaciones
entre datos reduce
riesgos del proyecto
Provee consistencia entre
proyectos de datos
29
© 2014 IBM Corporation
Mediodía

Viene la gente de producción y dice que el sistema está funcionando
lento... y sospechan del DB2

Herramientas a usar

Omegamon

Query Monitor

Buffer Pool Analyzer
30
© 2014 IBM Corporation
Reunión con todo el staff para ver si podemos deducir cuál
es el problema
31
© 2014 IBM Corporation
Monitoreo Punto a Punto – Extended Insight
DB2 for z/OS
ITCAM for Transactions
End-to-End SQL monitoring
ITCAM
for WebSphere
IBM Tivoli
Monitoring (ITM)
IBM Tivoli OMEGAMON XE for
DB2 Performance Expert on z/OS
details
 … me dice qué aplicación es, y qué función de negocio
 … donde puedo medir que está realmente experimentando mi aplicación / usuario. Me
dice que componentes están involucrados y onde mi aplicación / SQL está utilizando el
tiempo
 … me dice donde la sentencia SQL está codificada y me deja cambiarla si es necesario
32
© 2014 IBM Corporation
1 PM – Almuerzo... o Reunión de DW?

Se necesita discutir cómo crear un datawarehouse operacional
que sea fuerte, elástico, adaptativo, de manera que nuestros
representatnes de ventas al teléfono puedan tomar decisiones
para ayudar a los clientes de la mejor manera y ofrecer nuevos
productos y servicios...
33
© 2014 IBM Corporation
InfoSphere Information Server
Information Services Director
Publish SOA services for information
integration and access
Business Glossary
QualityStage
Enterprise Data
Dictionary
Data Quality: Standardize,
Correct & Match Data
Information Analyzer
Global Name Recognition
Data Source Profiling &
Problem Diagnosis
Recognize & Classify
Multi-cultural names
DataStage
Federation Server
Virtualize access to
disparate information
Extract, Transform, and
Load in Batch or Realtime
CDC & Replication
Deliver and replicate
changed data
Metadata Workbench / FastTrack
Manage and track consistent metadata across information integration
tasks and automate generation of data flow logic
Parallel Processing
Rich Connectivity to Applications, Data, and Content
34
© 2014 IBM Corporation
IBM InfoSphere Data Replication
CDC
Replicación Heterogenea en tiempo real
Replication Server
Replicación de DB2 a DB2 System z
Replication Server
2 Tecnologias de replicación de datos
35
35
© 2014 IBM Corporation
35
IBM InfoSphere Data Replication (IIDR)
 Proporciona las siguientes tecnologías
– InfoSphere Change Data Capture
– InfoSphere Replication Server
• SQL Replication
• QReplication
• Federation Server
– InfoSphere Data Event Publisher
 Compatible con los nuevos productos en z/OS
– InfoSphere Data Replication for DB2 for z/OS, v10.1
36
© 2014 IBM Corporation
36
IBM Cognos
37
© 2014 IBM Corporation
IBM zEnterprise y DB2 Analytics Accelerator
Un cambio revolucionario para la nueva generación de Business Analytics
Aplicaciones de Cargas Mixtas
Operational Business Analytics
Hybrid DB
Alto volúmen de transacciones de
negocio y reportes batch, ejectuando
en forma paralela con consultas
complejas
38
© 2014 IBM Corporation
4 PM

El auditor pide que le entregue reportes de acceso a los datos la
última semana
39
© 2014 IBM Corporation
Guardium Activity Monitor
DATOS
Entornos
Big Data
InfoSphere
BigInsights
Nuevo
Integration with
LDAP, IAM,
SIEM, TSM,
Remedy, …
40
© 2014 IBM Corporation
5 PM


Una aplicación dió un error y se necesita regresar a un punto
antes de su ejecución
Uso el Log Analysis tool para crear o recrear el DML requerido
para volver atrás las modificaciones de la transacción.
41
© 2014 IBM Corporation
DB2 Log Analysis Tool







Ayuda a minimizar las recuperaciones de DB2 al determinar qué
datos han sido cambiados e identificando puntos de recuperación
Extrae en forma directa información de los logs de DB2 y páginas
DB2 para identificar quién, qué, cuando, dónde y cómo los datos
fueron cambiados
Permite evitar ejecutar traces costosos de DB2
No requiere DATA CAPTURE para ninguna tabla, pero esta
soportado
Ayuda a identificar tiempos sin actividad para ejecutar utilidades y
determinar posibles puntos de recuperación
Permite ejecutar en modalidad log forward y log backward en la
misma ejecución
Permite identificar triggers, cargar la salida del reporte general en
tablas DB2, soporta LOBs y tipos de dato XML
42
© 2014 IBM Corporation
6 PM


Termino de hacer los cambios para el fin de semana y ejecuto el
Path Checker para determinar qué paquetes pueden tener
afectación en rendimiento rendimiento
Comienzo con el siguiente proyecto de automatización de los
utilitarios DB2
43
© 2014 IBM Corporation
IBM DB2 Utilities Solution Pack

DB2 Sort para z/OS
–
Administrar
–
Procesamiento de sort de alta velocidad para utilerías para datos DB2 para
z/OS
Optimiza la eficiencia y optimizar recursos




Balancea la utilización de almacenamiento central y espacio de disco
Aloca almacenamiento basado en los recursos del sistema para
optimizar el uso de memoria
Capacidad adicional de offload a zIIP para bajar el consumo de CPU
DB2 High Performance Unload para z/OS
–
Descarga rápida y eficiente de datos para movimiento entre sistemas o para
reorganizaciones
–
Ejecuta fuera de DB2, no consume recursos que compitan
–
Migración eficiente desde herramientas no IBM
–
Puede invocar DB2 Sort para reducir uso de CPU y elapsed durante el
procesamiento del sort

Controlar
Optimizar
Soporte de image copies usando particiones, incluyendo un archivo por
partición cuando se usa un global full image copy
Automatizar
44
© 2014 IBM Corporation
IBM DB2 Utilities Solution Pack

Administrar
DB2 Utilities Enhancement Tool for z/OS
– Maximiza el control de utilidades de acuerdo a necesidades del
negocio
Optimizar
– Monitor de sintaxis de utilitarios que permite establecer y
mantener políticas de sintaxis útiles para procesos de auditoría
– Habilidad de cancelar y bloquear threads y jobs de utilitarios
– Monitor de mensajes de utilitarios para controlar códigos de
retorno en utilidades DB2 para adaptarse a las necesidades de
las aplicaciones

DB2 Automation Tool para z/OS
– Utilidad para mantenimiento del tipo “configurar y olvidarse”.
Disminuye los costos del sistema y mejora la disponibilidad
– Perfiles fáciles de usar permiten indicar condiciones para
determinar cuando o si se ejecutan los utilitarios
Controlar
45
– Mejora la disponibilidad al reducir la ventana batch para los
utilitarios
Automatizar
– Evitar el REORG ahora recursos de sistema, especialmente
CPU
© 2014 IBM Corporation
7 PM - Fin del día
¿Se asustaron o cansaron de ser
un DBA?
46
© 2014 IBM Corporation
Alejandro Orozpe Guzman
IBM DB2 Tools
Senior IT Specialist, zIM, SWG México
[email protected]
47
47
© 2014 IBM Corporation