"Pipes in the clouds" con Apache Storm. - BigData Day MX

Pipes in the clouds
Fabián Romero
Lic. en Ciencias de la
Computación
fromeroj
[email protected]
Apache Storm
Sistema gratuito y de código libre
para efectuar computo distribuido
en tiempo real y tolerante a
fallas.
Es un framework que permite
realizar computo en tiempo real.
www.bigdataconf.m
Apache Storm
Nathan Marz
www.bigdataconf.m
Big data
Archivos
Filosofía de Unix
www.bigdataconf.m
BD
BIG DATA
Alternativas
Almacenamiento
Fuente
de datos
Datos
Procesados
www.bigdataconf.m
Objetivos
Escalabil
idad
horizonal
Procesami
ento de
datos
garantiza
do
Un nivel de
abstracción
mas alto
que el del
paso de
mensajes
OBJETIVOS
Robusto y
fácil de
configurar
Toleranci
a a fallos
Sin
interme
diarios
www.bigdataconf.m
Propiedades
Numerosos casos de uso
Escalable
Garantiza que no hay perdida de
información
Extremadamente robusto
Tolerante a fallas
Agnóstico del lenguaje de
programación
www.bigdataconf.m
Clusters
Supervi
sor
ZOOKEEP
ER
NIMBU
S
Supervi
sor
Supervi
sor
ZOOKEEP
ER
Supervi
sor
Supervi
sor
Conceptos
Stream
Spout
Bolt
Topología
Topología
Agrupamiento de Streams…
Shuffle: aleatorio.
Fields: particionado por los campos indicados.
All: el stream se replica a todas las tareas del
bolt.
Global: el stream va a una sola tarea.
Abstraccíon
Sistemas financieros
Detección de fraudes
 Ruteo de ordenes
 Respuesta en precios

Texto acotación 1
www.bigdataconf.m
Texto acotación 2
Manufactura
Detección de fallas
 Aseguramiento de la
calidad
 Cadena de suministros
 Mejora continua
 SCADA
 Internet de las cosas

Texto acotación 1
www.bigdataconf.m
Web
Fallas de aplicación
 Manejo de cargas
 Precios
 Contenido
personalizado

Texto acotación 1
www.bigdataconf.m
Texto acotación 2
Gracias
Nombre del ponente
@username
facebook.com/u
Correo_ponente