Microsoft SQL Server Percepciones más profundas a través de los datos Documento estratégico técnico Publicado: Junio de 2015 Aplica a: SQL Server 2016 Resumen: El almacenamiento de datos, el análisis y la inteligencia de negocios deben adaptarse a un todo nuevo alcance, escala y diversidad de información y datos. También deben seguir adoptando las nuevas formas que descubrimos, y colaborar en la información todos los días. En la actualidad, los datos provienen de fuentes relacionales y no relacionales, de entornos en las instalaciones y la nube, así como de Big Data y otras fuentes. Microsoft SQL Server puede ayudarle a acceder, integrar y almacenar estos datos. También puede ayudarle a escalarlos y administrarlos, así como a obtener perspectivas más profundas de ellos. Derechos de autor La información contenida en este documento representa la visión actual de Microsoft sobre los asuntos analizados a la fecha de publicación. Debido a que Microsoft debe responder a las cambiantes condiciones del mercado, no debe interpretarse como un compromiso por parte de Microsoft, y Microsoft no puede garantizar la precisión de la información presentada después de la fecha de publicación. Este documento estratégico es sólo para fines informativos. MICROSOFT NO OFRECE GARANTÍA ALGUNA, EXPRESA, IMPLÍTICITA O REGULATORIA, EN CUANTO A LA INFORMACIÓN EN ESTE DOCUMENTO. El cumplimiento con todas las leyes de derechos de autor aplicables es responsabilidad del usuario. Sin limitación de los derechos de autor, ninguna parte de este documento puede ser reproducida, almacenada o introducida en un sistema de recuperación, o transmitida en cualquier forma o por cualquier medio (electrónico, mecánico, fotocopia, grabación, o de otra manera), o para cualquier propósito, sin la autorización expresa por escrito de Microsoft Corporation. Microsoft puede tener patentes, solicitudes de patentes, marcas registradas, derechos de autor u otros derechos de propiedad intelectual sobre el contenido de este documento. Salvo lo dispuesto en un acuerdo por escrito de licencia de Microsoft, la presentación de este documento no le otorga ninguna licencia sobre estas patentes, marcas registradas, derechos de autor u otra propiedad intelectual. © 2015 Microsoft Corporation. Todos los derechos reservados. Microsoft, Active Directory, Microsoft Azure, Bing, Excel, SharePoint, Silverlight, SQL Server, Visual Studio, Windows y Windows Server son marcas registradas del grupo de empresas de Microsoft. Las demás marcas registradas son propiedad de sus respectivos propietarios. Página 2 Índice Evolución de SQL Server Perspectivas más profundas a través de los datos con SQL Server Acceda a todos los datos SQL Server FileStream Conexión y análisis transparente de Big Data a través de conectores Hadoop PolyBase Factoría de Datos de Azure Integration Services Escale y administre Solución Microsoft Big Data Almacenamiento masivo de datos Analytics Platform System Almacenamiento de datos (DW) en memoria: Índice de almacén de columnas Proyectos HDInsight y Apache de Azure Analysis Services Master Data Services Perspectivas eficaces Power BI Herramientas de Datos y BI de SQL Server en Visual Studio 2015 Análisis de Transmisiones de Azure Aprendizaje Automático de Azure Integración R Reporting Services BI móvil Conclusión Más información 4 6 6 6 7 7 9 9 10 10 10 11 11 13 13 14 15 15 16 16 17 17 18 19 19 19 Página 3 Evolución de SQL Server El creciente volumen, velocidad, diversidad y ubicación de los datos empresariales hacen que sea cada vez más difícil descubrir, conectar, mover, transformar, integrar y analizar todo. De hecho, la tasa de crecimiento anual compuesta de datos estimada de 2013 al 2020 es del 41 por ciento1, esto puede ser llamado una explosión de datos. Este es el resultado de más y más dispositivos combinados con un nuevo deseo por parte de las empresas de más datos, para entender y predecir mejor las necesidades de sus clientes, con el fin de tomar decisiones más inteligentes con datos. Sin embargo, sin la capacidad de analizar estos datos, los datos por sí solos no son valiosos. Microsoft SQL Server y la plataforma de datos de Microsoft relacionada pueden entregar las herramientas que necesita para obtener perspectivas más profundas de todos los datos. Nuestros clientes y los analistas de la industria coinciden en que SQL Server es un líder en este ámbito (Figuras 1 y 2). Figura 1: Cuadrante Mágico de Gartner para soluciones de almacenamiento de datos y administración de datos para análisis2 1 IDC, “Universo Digital”, Diciembre de 2012. 2 Gartner, http://www.gartner.com/technology/reprints.do?id=1-29WVKZC&ct=150213&st=sb, Febrero de 2015. Página 4 Figura 2: Cuadrante Mágico de Gartner para plataformas de inteligencia de negocios y análisis3 SQL Server ha ido evolucionando junto con la explosión en las fuentes de datos y continúa innovando para facilitar la administración de datos (Figura 3). Figura 3: Principales funcionalidades de SQL Server añadidas a través de las versiones SQL Server 2016 introduce muchas nuevas características y mejoras, incluyendo: 3 Gartner, http://www.gartner.com/technology/reprints.do?id=1-2AELNBP&ct=150223&st=sb, Febrero de 2015. Página 5 La tecnología PolyBase le permite consultar datos relacionales de SQL Server y Hadoop a través de una única consulta T-SQL; Una serie de mejoras a Analysis Services, incluyendo modelos tabulares de nivel empresarial, procesamiento paralelo más eficiente y la administración de datos en memoria; Mejoras adicionales a Reporting Services, incluyendo soporte para navegadores y dispositivos modernos, soporte actualizado para una amplia gama de fuentes de datos, nuevos tipos de gráficos, y más; Herramientas de desarrollo de SQL Server en Visual Studio para la construcción de modelos de BI y modelos de Analysis Services e informes de Reporting Services; Integración del lenguaje R, que añade capacidades de análisis predictivo a su base de datos relacional; Informes para dispositivos móviles. Perspectivas más profundas a través de los datos con SQL Server Big Data, tanto en la nube como en las instalaciones; nuevos tipos de datos no relacionales; y la continua importancia de los almacenes de datos y sistemas transaccionales han sido algunas de las principales tendencias que están modificando la forma en que estamos diseñando la plataforma de datos de Microsoft. En este documento técnico vamos a examinar estas cuestiones en el contexto del acceso a más tipos de datos, la escalación de recursos para manejar el volumen cada vez mayor, y el uso de estos datos para ofrecer perspectivas eficaces para su negocio. Acceda a todos los datos Los datos pueden estar en muchos formatos y ubicaciones, ya sean relacionales o no relacionales, en las instalaciones o en la nube, y Big Data o datos tabulares tradicionales. SQL Server tiene un conjunto completo de herramientas para facilitar el acceso a todos estos datos. SQL Server FileStream Aproveche los datos no estructurados a través de soporte para tipos de datos complejos Con el dramático cambio de tipos de datos estructurados a complejos, la nueva misión crítica requiere soporte para incorporar los tipos de datos complejos, no para añadirlos a un costo y esfuerzo adicional. SQL Server da soporte un número cada vez mayor de tipos y volúmenes de datos complejos con FILESTREAM, Almacenamiento Remoto de BLOBs (RBS), y soporte espacial, mejoras en la parte superior de la base ya sólida e integrada que se extiende más allá de las capacidades relacionales. Este soporte permite a las organizaciones construir aplicaciones ricas e innovadoras sin pagar primas adicionales. SQL Server FileTable se basa en FILESTREAM para integrar soporte de espacio de nombres de Win32 y compatibilidad de las aplicaciones a los datos de los archivos almacenados en SQL Server. Página 6 Innumerables aplicaciones mantienen sus datos en dos "mundos": no estructurados (documentos, archivos multimedia y otros datos no estructurados en los servidores de archivos) y estructurados (metadatos estructurados relacionados en los sistemas relacionales). FileTable baja la barrera de entrada para las organizaciones que tienen archivos en los servidores que actualmente ejecutan aplicaciones Win32, al tiempo que reduce el esfuerzo causado por mantener dos sistemas dispares y mantenerlos sincronizados. Alta disponibilidad para datos no estructurados Con SQL Server, los tipos de datos complejos se manejan con la misma atención que los tipos de datos comunes. Las organizaciones pueden utilizar FILESTREAM para almacenar y administrar datos complejos en una variedad de formas, como si fuera parte de la base de datos. Además, con SQL Server, las organizaciones pueden disfrutar de los beneficios de alta disponibilidad de AlwaysOn para datos complejos administrados a través de FILESTREAM, incluso cuando aprovechan RBS y FileTable. Conexión y análisis transparente de Big Data a través de conectores Hadoop Los conectores Hadoop para SQL Server y Analytics Platform System (APS) están disponibles para su descarga a las organizaciones que tienen licencias para SQL Server y APS. Estos conectores permiten el movimiento de datos bidireccional a través de SQL Server y Hadoop, por lo que los usuarios pueden trabajar eficazmente con datos estructurados y no estructurados. Además, las personas pueden utilizar la plataforma líder de Inteligencia de negocios (BI) de Microsoft para llevar a cabo análisis de conjuntos de datos Hadoop. Los usuarios pueden acceder y crear mashups de conjuntos de datos Hadoop utilizando herramientas de productividad familiares como Microsoft Excel y clientes de BI premiados como PowerPivot y Power View para realizar análisis de manera inmersiva e interactiva. Nuevo en SQL Server 2016: PolyBase La realidad del almacenamiento de datos moderno es compleja. Los almacenes monolíticos individuales para los datos de la empresa son cada vez más raros. En cambio, es cada vez más probable que las empresas tengan múltiples bases de datos relacionales, datos Hadoop, bases de datos NoSQL orientadas a documentos, etcétera. PolyBase permite a los usuarios consultar datos no relacionales en Hadoop, blobs, archivos, y combinarlos al instante con sus datos relacionales existentes en SQL Server. También ofrece la opción a los usuarios de importar datos Hadoop para almacenamiento persistente en SQL Server y exportar datos relacionales antiguos a Hadoop. Una funcionalidad similar ha estado disponible en Microsoft Analytics Platform System y ésta ahora ha sido incorporada en el motor de la base de datos de SQL Server. Página 7 PolyBase también ofrece la capacidad de acceder y consultar los datos que están en las instalaciones o en la nube, y ejecutan análisis y BI sobre esos datos. Por lo tanto, SQL Server 2016 y PolyBase pueden ayudarle a construir una solución híbrida que ofrece perspectivas más profundas sobre sus datos, dondequiera que se encuentren. Mientras que PolyBase le permiten mover los datos en un escenario híbrido, también es común dejar los datos donde residen y consultarlos donde sea (Figura 4). Esto se relaciona con el concepto de un lago de datos. Un lago de datos puede ser pensado como proporcionar acceso completo a Big Data en bruto sin moverlos. Esto puede ser visto como un enfoque alternativo para procesar Big Data para hacer más fácil su análisis, y posteriormente moverlos/sincronizarlos en un almacén de datos. Las ventajas de no mover los datos son muchas. Por lo general, significa que más allá de establecer la conectividad en el lago de datos, no está desarrollando nada nuevo, por lo que puede ser más económico. Además, también puede haber límites organizacionales para mover o modificar los datos que se vuelven irrelevantes con este enfoque. Por último, el procesamiento de datos y la sincronización pueden ser operaciones complejas, y usted puede no saber de antemano cómo procesar los datos para ofrecer las mejores perspectivas. SQL Server 2016 y PolyBase pueden ser un componente importante al crear un lago de datos, combinándolo con sus datos relacionales, y haciendo análisis y BI en él. Figura 4: Uso de PolyBase para consultar datos en un escenario híbrido Después de instalar PolyBase en SQL Server (mediante la adición de una función de instancia), usted puede comenzar a trabajar con PolyBase dentro de Visual Studio (VS) al conectarse a SQL Server utilizando SQL Server Object Explorer en VS. Trabajar con datos externos es generalmente un proceso de tres pasos: 1. Definir las fuentes de datos externas, como aquellas en el Almacén de Blobs de Windows Azure, o en Hadoop (ya sea en Microsoft HDInsight o Hadoop externo); pasando las credenciales de seguridad. Página 8 2. Definir el formato de archivo/datos externo (por ejemplo, archivos de texto delimitados, Hive RC, Hive ORC o Parquet). 3. Definir una tabla externa. Las declaraciones de Lenguaje de definición de datos (DDL) soportadas incluyen CREAR/SOLTAR, ALTERAR y CREAR ESTADÍSTICAS. Una vez que se han configurado PolyBase y las tablas externas, puede empezar a consultar los datos. Usted puede unir las tablas en SQL Server con las tablas externas y utilizar un conjunto maduro de declaraciones de T-SQL para realizar consultas. También puede ejecutar el procesamiento de consultas basado en divisiones, llamado "cómputo push-down” utilizando nuevas sugerencias de consulta. El cómputo push-down le permite empujar el procesamiento al nivel de origen, como se muestra a continuación. PolyBase se puede utilizar con las herramientas de BI de Microsoft como una fuente de datos y también puede ser utilizado por muchas herramientas de BI de terceros, como Tableau, Cognos, y similares. PolyBase también se integra con AlwaysOn y conmutación por error. También puede escalar PolyBase añadiendo múltiples instancias de SQL Server 2016 a una granja de PolyBase. Mejorado en SQL Server 2016: Factoría de Datos de Azure La Factoría de Datos de Azure (ADF) le permite procesar datos en las instalaciones como SQL Server, junto con datos en la nube como la Base de datos SQL de Azure, blobs y tablas. Estas fuentes de datos se pueden componer, procesar y monitorear a través de pipelines de datos simples, de alta disponibilidad y tolerantes a fallos. ADF soporta el procesamiento Hive, Pig y C#, además de características de procesamiento clave como Administración automática de clúster Hadoop (HDInsight), reintentos de fallos transitorios, políticas de tiempo de espera configurables, y alertas. ADF le ayuda a evaluar rápidamente la fortaleza del pipeline de datos de extremo a extremo, a localizar problemas, y tomar medidas correctivas, de ser necesario. También puede Página 9 utilizar los pipelines de datos para entregar datos transformados desde la nube a fuentes en las instalaciones como SQL Server o mantenerlos en sus fuentes de almacenamiento en la nube para el consumo de las herramientas de BI y análisis, incluyendo Aprendizaje Automático de Azure y otras aplicaciones. Integration Services Microsoft Integration Services es una plataforma para desarrollar soluciones de integración de datos y de transformaciones de datos de nivel empresarial. Utilice Integration Services para resolver problemas complejos de negocios mediante la copia o descarga de archivos, enviar mensajes de correo electrónico en respuesta a eventos, actualizar los almacenes de datos, limpiar y extraer datos, y administrar objetos y datos de SQL Server. Los paquetes pueden trabajar solos o en conjunto con otros paquetes para abordar necesidades empresariales complejas. Integration Services puede extraer y transformar datos de una amplia variedad de fuentes, tales como archivos de datos XML, archivos planos, y fuentes de datos relacionales, y luego cargar los datos en uno o más destinos. Mejorado en SQL Server 2016: SQL Server 2016 contiene una serie de mejoras que pueden mejorar el desarrollo, la administración y el monitoreo de sus paquetes de datos de SQL Server Integration Services (SSIS) y ofrece una serie de beneficios a sus operaciones en las instalaciones y en la nube en las áreas de integración de la nube, mejoras de conectividad y mejoras de productos. Integración de la nube La Factoría de Datos de Azure (ADF) ahora puede orquestar la ejecución de SSIS en las instalaciones. Además, SSIS puede leer desde ADF como una fuente de datos a través de la tarea de flujo de datos de ADF. Los desarrolladores de SSIS también ahora pueden aprovechar el Conector de Almacenamiento de Azure para mover datos de en las instalaciones al Almacenamiento de Azure, o viceversa. Los desarrolladores de SSIS también pueden activar empleos de Azure HDInsight directamente de SSIS, por lo que pueden integrarse mejor con HDInsight para procesar los datos que ya están en la nube sin necesidad de mover los datos de la nube no procesados en las instalaciones. Los desarrolladores de SSIS pueden administrar y controlar otros servicios/activos de Azure genéricamente dentro del pipeline de SSIS utilizando una tarea commandlet de Azure para emitir un commandlet a Azure directamente. Mejoras de conectividad Además de los conectores de ADF y HDInsights mencionados anteriormente, SQL Server 2016 también tiene una amplia gama de conectores de datos nuevos y mejorados que incluyen: OData Version 4, Hadoop File System (HDFS), JavaScript Object Notation (JSON), y el conector de Oracle/Teradata V4 de Attunity . Página 10 Mejoras del producto SQL Server 2016 realiza una serie de mejoras significativas a la capacidad de uso de SSIS. Por ejemplo, el propio diseñador de paquetes ha sido mejorado con muchas mejoras en las áreas de cambio de tamaño, arrastrar y soltar, y otras características. SQL Server 2016 también soporta plantillas de paquetes para facilitar la reutilización de código y la configuración del paquete. Además, los paquetes de SSIS ahora se pueden implementar de forma incremental, en lugar de tener que implementar todo el proyecto. Los niveles de registro personalizado también se pueden configurar en la parte superior del nivel de registro actual. Los desarrolladores pueden actualizar fácilmente y totalmente sus proyectos a la compatibilidad de SSIS de SQL Server 2016 con el clic de un botón. Además, ahora puede configurar fácilmente AlwaysOn de alta disponibilidad para la base de datos del catálogo de SSIS directamente en SQL Server Management Studio (SSMS) sin necesidad de configurarlo manualmente. Escale y administre Con una diversa cartera de datos generada en volúmenes sin precedentes, es cada vez más importante que las organizaciones tengan acceso rápido y global disponible de forma redundante a los datos que escalan a petabytes y más allá. SQL Server le ayudará a escalar y administrar sus datos para ofrecerle perspectivas más profundas, independientemente de la ubicación, el volumen, la velocidad, o la forma de los datos. Solución Microsoft Big Data La estrategia de Microsoft para Big Data abarca Hadoop para activar los datos ambientales que llegan a existir fuera de la plataforma de datos tradicional. Hadoop es la implementación de fuente abierta del motor y entorno de cómputo paralelo MapReduce, y se utiliza para procesar flujos de datos que van mucho más allá del tamaño de incluso los conjuntos de datos empresariales más grandes. Ya sea que los datos sean de sensores, clickstreams, medios sociales, ubicaciones geográficas, o sean generados y recopilados en grandes masas, Hadoop está a menudo al servicio de procesamiento y análisis de los mismos. La solución de Big Data de Microsoft permite a los clientes aumentar su análisis con datos a disposición del público de los sitios de medios sociales como Twitter y Facebook y cientos de proveedores de datos de confianza en Azure Marketplace. Azure Marketplace también expone cientos de aplicaciones y algoritmos de data mining para ayudar a las organizaciones a desbloquear nuevas perspectivas de negocios. Para complementar la estrategia de Microsoft para Big Data en general, PolyBase ofrece tecnología de punta en el motor de procesamiento de datos en Microsoft Analytics Platform System. Como se señaló anteriormente, PolyBase está diseñado para ser una forma sencilla de combinar los datos no relacionales y los datos relacionales tradicionales para su análisis. Si bien las organizaciones normalmente aumentarían la carga de TI para llenar previamente el almacén de datos con los datos de Hadoop o tendrían que tomar una amplia capacitación en MapReduce para consultar datos no relacionales, PolyBase hace estas tareas de manera transparente para ofrecer a los usuarios los beneficios de Big Data sin esas complejidades. Página 11 Además, a través de una profunda integración con PowerPivot, Power View y las herramientas empresariales del almacén de datos, la solución de Microsoft para Big Data ofrece a las organizaciones perspectivas profundas de todos sus datos estructurados y no estructurados con las herramientas que utilizan todos los días. Almacenamiento masivo de datos Microsoft ofrece una gama de soluciones que ayudan a las organizaciones a abordar los desafíos de Big Data con su familia de soluciones de almacenamiento de datos - SQL Server, SQL Server Fast Track Data Warehouse y Analytics Platform System - que ofrecen una plataforma robusta y escalable para almacenar y analizar datos en un almacén de datos tradicional. SQL Server 2014 proporciona características mejoradas tales como RBS y tablas con particiones que escalan a 15,000 particiones para soportar escenarios grandes de ventana deslizante. (En un escenario de ventana deslizante, las tablas con particiones son administradas para eficiencia con el fin de mantener el mismo número de particiones en el tiempo mediante la adición de una nueva partición para acomodar los datos más recientes y eliminar la partición que contiene los datos más antiguos.) SQL Server 2014 también cuenta con mayor soporte para un máximo de 640 núcleos lógicos para permitir un alto rendimiento para grandes cargas de trabajo y escenarios de consolidación. Analytics Platform System Microsoft Analytics Platform System (APS) es un dispositivo llave en mano de análisis de Big Data, que combina la tecnología del almacenamiento de datos de procesamiento paralelo masivo (MPP) de Microsoft junto con HDInsight (el 100% de distribución de Apache Hadoop de Microsoft) y lo entrega como un dispositivo llave en mano. Para integrar los datos de SQL Server con los datos de Hadoop, APS ofrece la tecnología de consulta de datos PolyBase. Beneficios de APS: Mejora en el rendimiento de hasta 100x sobre los almacenes de datos heredados Datos relacionales y no relacionales en un dispositivo Integración transparente del almacén de datos relacional y Hadoop con PolyBase Escalabilidad lineal de 6 petabytes de capacidad de datos de usuario El precio más bajo por terabyte para un dispositivo de almacenamiento de datos en la industria Almacenamiento de datos (DW) en memoria: Índice de almacén de columnas El índice de almacén de columnas en memoria de SQL Server almacena y administra los datos mediante el uso de almacenamiento de datos basado en columnas y el procesamiento de consultas basado en columnas (Figura 5). Los índices de almacén de columnas pueden transformar la experiencia de DW para los usuarios al permitir un rendimiento más rápido para consultas comunes de DW como consultas de filtrado, adición, agrupación y star-join. Página 12 Figura 5: Almacenamiento columnar en memoria, índice de almacén de columnas El índice de almacén de columnas se desarrolla en la parte superior de una tabla a nivel de fila existente y proporciona una vista de los datos que coloca el índice en columnas específicas. Traduce los datos con base en sólo aquellas columnas necesarias y luego almacena esta vista, lo que resulta en mejoras de rendimiento espectaculares. El nivel de ganancias de rendimiento depende de los datos y la naturaleza de la consulta. Los administradores de bases de datos también pueden actualizar el índice de almacén de columnas agrupado en línea para acomodar las consultas de almacenamiento de datos en tiempo real sin necesidad de quitar y volver a crear el índice. Para ahorrar espacio en el disco, se puede aplicar una nueva opción llamada COLUMNSTORE_ARCHIVE para obtener mayores ahorros de compresión y espacio de almacenamiento de hasta un 90 por ciento. El formato de almacenamiento en columnas ofrece una compresión de datos significativa mediante el almacenamiento de cada columna por separado. Dado que los datos dentro de una columna son similares y, a menudo se repiten, SQL Server puede alcanzar un nivel muy alto de compresión de datos. Las tasas de compresión más altas mejoran el rendimiento de las consultas mediante el uso de una huella más pequeña en memoria. Las consultas de análisis a menudo seleccionan sólo algunas columnas de la tabla FACT. Con el almacenamiento en columnas, sólo las columnas requeridas se leen en la memoria, reduciendo I/O aún más, a diferencia del formato de almacenamiento basado en filas en el que todas las columnas se cargan en la memoria como parte de las filas. La ejecución de consultas optimizada se consigue utilizando técnicas tales como la aplicación de predicados en el formato comprimido, empujando hacia abajo los predicados a la capa de almacenamiento cuando sea posible, aprovechando las nuevas arquitecturas de procesador, y utilizando un nuevo modo de ejecución por lotes. Página 13 El procesamiento de consultas en modo por lotes es básicamente un mecanismo de ejecución de consultas basado en vectores, que está estrechamente integrado con el índice de almacén de columnas. Las consultas que se dirigen a un índice de almacén de columnas pueden utilizar el modo por lotes para procesar hasta 900 filas juntas, lo que permite la ejecución eficiente de consultas, proporcionando una mejora de 3-4x en el rendimiento de las consultas. En SQL Server, el procesamiento en modo por lotes está optimizado para los índices de almacén de columnas con el fin de aprovechar al máximo su estructura y capacidades en memoria. SQL Server puede escalar en un único servidor ya que las tablas del almacén de columnas no tienen que adaptarse a la memoria. Es decir, no hay ninguna limitación para adaptarse a todos los índices de almacén de columnas en memoria, ya que estos índices residen en el disco y sólo los datos requeridos se cargan en la memoria en función de las necesidades, como parte de las consultas que se ejecutan. Por lo tanto, uno puede tener una configuración de DW mucho más grande en un solo servidor, como un servidor con 2 TB de memoria y 40 TB de datos que se ejecutan en él. Para los almacenes de datos aún más grandes, Microsoft y Dell se han unido para ofrecer el dispositivo Cloud Platform System (CPS). Los índices de almacén de columnas se puede utilizar para alcanzar ganancias en el rendimiento de las consultas de hasta 100x sobre el almacenamiento orientado a filas tradicional y compresión de datos significativo (típicamente 10 veces) para los patrones de datos comunes. Mejorado en SQL Server 2016: Análisis de operaciones Tradicionalmente, los clientes han ejecutado cargas de trabajo de operaciones (procesamiento de transacciones en línea) y de análisis (DW) en diferentes cajas conectadas a través de Extraer, Transformar y Cargar (ETL). El proceso ETL migra periódicamente los datos del almacén de operaciones al almacén de datos para permitir a las empresas a tomar decisiones informadas y oportunas. Los inconvenientes de esta topología incluyen que esos datos de operaciones no están inmediatamente disponibles para su análisis debido a retrasos en ETL, la complejidad de este tipo de solución, así como mayores costos. SQL Server 2016 introduce algunas mejoras significativas en esta área, incluyendo la capacidad de crear índices de almacén de columnas no agrupados actualizables y ejecutar un índice de columnas sobre su almacén de filas en memoria o en disco. Esto significa que puede obtener la velocidad de OLTP en memoria a la vez que realiza análisis de operaciones. Mejoras al índice de almacén de columnas Existen muchas mejoras al índice de almacén de columnas. Las tablas con un índice de almacén de columnas en ellas ahora pueden aplicar la integridad referencial a través de relaciones de claves externas. Estas tablas ahora también pueden tener índices adicionales en ellas para hacer que las consultas sean más eficientes. Además, ahora es posible añadir datos a una tabla que tiene un índice de almacén de columnas no agrupado sin tener que quitar y volver a crear el índice. Página 14 Puede crear índices de almacén de columnas en las tablas en el disco y también en las tablas de memoria optimizada. El almacén de columnas de SQL Server 2016 también soporta monitoreo y resolución de problemas mejorado con los nuevos contadores de DMVS, XEvents y PerfMon. Análisis en las cargas de trabajo OLTP Además de las modificaciones al índice de almacén de columnas, SQL Server 2016 también minimiza los impactos de las consultas de análisis que se ejecutan contra una carga de trabajo OLTP. Estas consultas de análisis se pueden ejecutar en una carga de trabajo OLTP en memoria sin modificaciones en las aplicaciones y un impacto mínimo en el rendimiento de la carga de trabajo OLTP. Usted también tiene la opción de descargar las cargas de trabajo de análisis a una secundaria legible en un entorno de alta disponibilidad. El almacén de columnas de SQL Server 2016 ofrece el mejor rendimiento y escalabilidad disponible, y se puede aplicar de manera flexible tanto a las cargas de trabajo de análisis como a las cargas de trabajo de OLTP. Proyectos HDInsight y Apache de Azure Microsoft ofrece una implementación o distribución de clase empresarial de Hadoop llamada HDInsight para Azure que se integra con SQL Server, Active Directory y Microsoft System Center para que sea considerablemente más fácil, más eficiente y más económico para las organizaciones capitalizar sobre la oportunidad que puede representar Big Data. HDInsight es la distribución de Hadoop soportada por Microsoft que es 100 por ciento compatible con Apache. HDInsight faculta a las organizaciones con nuevas perspectivas sobre los datos no estructurados e intactos, al tiempo que se conecta con herramientas de inteligencia de negocio ampliamente utilizadas. HDInsight incorpora una serie de herramientas diseñadas para facilitar el trabajo con Big Data. Estas herramientas incluyen las siguientes: Sqoop: trabaja con datos estructurados, como los que se encuentran en una base de datos de SQL Server o en un almacén de datos y los importa o exporta de los clústeres de HDInsight Hbase: Base de datos NoSQL para datos no estructurados y semi-estructurados Oozie: Administración del flujo de trabajo Hive: SQL-como consultas de Big Data PIG: Herramientas de scripting para transformaciones MapReduce Storm: Procesamiento de datos en tiempo real Estas herramientas son bloques de construcción importantes para desarrollar soluciones de Big Data. Analysis Services Analysis Services es un motor de análisis de datos en línea utilizado en soluciones de soporte para la toma de decisiones y de inteligencia de negocios, que ofrece análisis de datos para los informes de negocios y las aplicaciones cliente, como Excel, informes de Reporting Services y otras herramientas de BI de terceros. Un flujo de trabajo típico para Analysis Services incluye la construcción de un modelo de procesamiento analítico en línea (OLAP) o de datos tabulares, Página 15 implementar el modelo como una base de datos en una instancia de Analysis Services, procesar la base de datos para cargarla con los datos y, a continuación, asignar permisos para permitir el acceso a los datos. Cuando está listo, este modelo de datos de usos múltiples puede ser accedido por cualquier aplicación cliente con soporte para Analysis Services como una fuente de datos. Mejorado en SQL Server 2016: Para SQL Server 2016, están previstas varias mejoras para Analysis Services, que incluye mejoras en la preparación de la empresa, en la plataforma de modelado, las herramientas de BI, la integración de SharePoint y BI híbrida. En el área de preparación de la empresa, las mejoras incluyen mayor rendimiento con las jerarquías no naturales, recuento relacional diferente de OLAP, consultas detalladas, procesamiento y separación del proceso de consulta, así como medidas semi-aditivas. Se tienen previstos Comandos de la Consola de la Base de Datos para soportar también la detección de problemas con índices OLAP multidimensionales. Además, está previsto que Netezza esté disponible como una fuente de datos. En el modo Tabular, las optimizaciones de procesamiento mejorarán el procesamiento paralelo de particiones. Las mejoras adicionales a la plataforma de modelado en modo Tabular en SQL Server 2016 Analysis Services hará que la experiencia de usuario para crear modelos de datos sea más fácil y eficiente. Los planes para el modelo de datos incluyen soporte para el filtrado transversal bidireccional (de muchos a muchos). Optimizaciones al motor de consultas para mejorar el rendimiento de la Consulta directa y también están previstas nuevas funciones de Expresiones de Análisis de Datos tales como: DATEDIFF GEOMEAN PERCENTILE PRODUCT XIRR XNPV En el área de conectividad híbrida, Power BI ahora ofrece conectividad transparente a los modelos de Analysis Services en las instalaciones. Esto se explica con más detalle en la sección sobre Perspectivas eficaces más adelante. SQL Server 2016 Analysis Services proporcionará paridad funcional con SharePoint vNext y Excel vNext. Master Data Services Master Data Services (MDS) sigue facilitando a las organizaciones administrar estructuras de datos maestros (mapeo de objetos, datos de referencia, y dimensiones y jerarquías) que se utilizan en las operaciones de integración de datos. Con Entity Based Staging, los administradores de bases de datos (DBAs) pueden cargar a todos los miembros y los valores de los atributos para una entidad de una sola vez. Además, las áreas funcionales del Explorador y Administración de Integración de Página 16 la aplicación web Master Data Manager se han actualizado con una nueva apariencia basada en la herramienta de desarrollo del navegador Microsoft Silverlight. Los DBAs pueden añadir y eliminar miembros con mayor rapidez, y pueden moverlos a una jerarquía más fácilmente. El Add-in de MDS para Excel democratiza la administración de datos, por lo que los trabajadores de la información tienen la capacidad de crear aplicaciones de administración de datos directamente en Excel. Los trabajadores de la información pueden utilizar este add-in para cargar un conjunto filtrado de datos de la base de datos MDS, trabajar con los datos en Excel, y luego publicar las modificaciones de nuevo a la base de datos MDS. Los administradores también pueden utilizar el add-in para crear nuevas entidades y atributos. Mejorado en SQL Server 2016: Las mejoras en MDS pueden organizarse en torno al rendimiento y la escala, la capacidad de administración y monitoreo, y la seguridad. En las áreas de rendimiento y escala, se han producido mejoras realizadas en el add-in de Excel, así como en las operaciones de clasificación basada en la entidad a granel. Para la escalabilidad, la implementación del modelo MDS ha sido mejorada para soportar modelos más grandes. Además, ahora existe soporte para la compresión a nivel de fila por entidad opcional. En las áreas de capacidad de administración y monitoreo, ahora existe soporte para los ajustes de retención configurables para los registros de transacciones y la reutilización de las entidades a través de los modelos. Ahora, cada atributo tiene un nombre de pantalla visible. También hay mejoras en la administración de jerarquías, así como en la resolución de problemas y el registro. En el área de seguridad, MDS en SQL Server 2016 ahora tiene permisos de seguridad más granulares en torno a leer, escribir, borrar y crear (Figura 6). También hay soporte para múltiples administradores de sistemas y una propiedad de permiso de administración de modelo explícita. Figura 6: Mejoras a los permisos de seguridad en Master Data Services Página 17 Perspectivas eficaces Los datos son la nueva moneda, y el uso de los datos se ha convertido en un importante diferenciador competitivo. International Data Corporation (IDC) realizó recientemente un estudio que analizó a las empresas que tienen una cultura centrada en los datos en comparación con las que no la tienen, y el estudio calcula un dividendo masivo de datos para las empresas que tienen una cultura centrada en los datos. Estas empresas estaban aprovechando diversos datos, no sólo en relacional o localizados internamente, sino tanto relacionales y no relacionales, interna y externamente. También estaban utilizando nuevos modelos de análisis para no solamente ver los datos históricos, sino para utilizar los datos históricos para predecir el futuro. El estudio también señaló que las perspectivas de los datos no se limitan a unos cuantos en las empresas, sino que eran compartidos de manera más amplia en esas organizaciones. Por último, estaban haciendo todo esto a gran velocidad, casi en tiempo real, en muchos casos. Tienden a ser mucho más productivos, más eficientes con sus operaciones, y a innovar más rápido, y la combinación de estos factores conduce a mayores ventas en comparación con su competencia.4 Power BI Power BI es un conjunto de servicios y características en línea que le permiten encontrar y visualizar datos, compartir descubrimientos y colaborar en nuevas formas intuitivas. Mejorado en SQL Server 2016: Power BI Analysis Services Connector 4 IDC y Microsoft, Abril de 2014. Página 18 SQL Server 2016 le permite conectar Poder BI a sus modelos de Analysis Services en las instalaciones. Esto le permite aprovechar sus inversiones existentes en SQL Server Analysis Services en las instalaciones al tiempo que obtiene la capacidad de utilizar el amplio conjunto de herramientas de Power BI sin tener que mover esos conjuntos de datos a la nube (Figura 7). Figura 7: Cómo aprovechar los beneficios combinados de Power BI y SQL Server Analysis Services Además, como se mencionó anteriormente, SQL Server 2016 Analysis Services presenta mejoras en varias áreas, incluyendo la capacidad de trabajar mejor con grandes modelos tabulares, y se puede acceder a estos desde Power BI. Power BI puede acceder a la configuración del modelo de permisos existente, que soporta permisos detallados, y utilizar esta seguridad para sus tableros e informes de Power BI. Mejorado en SQL Server 2016: Herramientas de Datos y BI de SQL Server en Visual Studio 2015 Las Herramientas de Datos de SQL Server han sido consolidadas y mejoradas en un número de maneras en las Herramientas de Datos de SQL Server para Visual Studio 2015. Las Herramientas de Datos de SQL Server incluyen todos los tipos de proyectos de SQL Server para Bases de datos relacionales, Integration Services, Analysis Services y Reporting Services. Por otra parte, se ha simplificado la experiencia de configuración junto con el proceso para importar desde Office vNext. También hay soporte para un nuevo modelo de objetos y lenguaje de scripting Tabular de Analysis Services. Página 19 Análisis de Transmisiones de Azure El servicio de Análisis de Transmisiones de Azure en la nube le permite desarrollar e implementar rápidamente una solución de análisis de bajo costo, en tiempo real para descubrir perspectivas a partir de dispositivos, sensores, infraestructura y aplicaciones. Habilita varias oportunidades, incluyendo escenarios de Internet de las Cosas (IoT), administración y monitoreo remoto en tiempo real, u obtener perspectivas a partir de dispositivos como los teléfonos móviles o los automóviles conectados. El Análisis de Transmisiones de Azure utiliza una sintaxis basada en SQL y distribuye automáticamente consultas para escala, rendimiento y capacidad de recuperación. Se utiliza con mayor frecuencia para un pequeño número de consultas de alto volumen en tiempo real. Utiliza Hubs de Eventos de Azure para ingerir millones de eventos por segundo. El Análisis de Transmisiones de Azure procesará los eventos ingeridos en tiempo real, comparando múltiples transmisiones en tiempo real o comparando las transmisiones en tiempo real junto con los valores y modelos históricos. Esto permite la detección de anomalías, la transformación de los datos entrantes, la capacidad para activar una alerta cuando aparece un error o una condición específica en la transmisión, y la capacidad para accionar los tableros en tiempo real. Puede manejar el procesamiento de eventos complejos, incluyendo la agregación, la reducción y la limpieza. Aprendizaje Automático de Azure El Aprendizaje Automático de Azure es un servicio en la nube totalmente administrado que permite a los científicos y desarrolladores de datos incrustar de manera eficiente el análisis predictivo en sus aplicaciones, ayudando a las organizaciones a aprovechar los conjuntos de datos masivos. El Aprendizaje Automático de Azure puede analizar Big Data para ayudar a identificar patrones en los datos y predecir eventos futuros y el comportamiento de los usuarios. El Aprendizaje Automático de Azure ofrece una experiencia optimizada para todos los niveles de habilidades de los científicos de datos, desde crear con sólo un navegador web, hasta utilizar la función de arrastrar y soltar y las gráficas de flujo de datos simples, y establecer experimentos. Machine Learning Studio cuenta con una biblioteca de experimentos de ahorro de tiempo de muestra, paquetes R y Python, y con los mejores algoritmos en su clase de negocios de Microsoft como Xbox y Bing. Azure ML también soporta código personalizado R y Python, que se puede integrar directamente en su espacio de trabajo. Los experimentos se pueden compartir fácilmente, para que otros puedan continuar donde usted se quedó. Nuevo en SQL Server 2016: Integración R R es el lenguaje más popular para análisis predictivo disponible hoy en día. Sin embargo, R como un lenguaje de fuente abierta no ha escalado bien para el análisis de Big Data. La compra de Revolution Analytics por parte de Microsoft, como el proveedor líder de software y servicios Página 20 comerciales construido sobre R, ha integrado esta funcionalidad a la plataforma de datos de Microsoft. El Análisis Predictivo es una capacidad clave de Big Data. R le permite cerrar la brecha entre la base de datos y la ciencia de los datos. SQL Server 2016 le permite administrar los modelos R en SQL Server. Esto le ayudará a utilizar el poder de R y la ciencia de los datos para desbloquear las perspectivas de Big Data con análisis avanzado (Figura 8). Figura 8: Cómo utilizar el análisis avanzado para obtener perspectivas de Big Data Esta integración significa que los profesionales de bases de datos pueden utilizar T-SQL para análisis avanzado de datos y modelos de operación y pueden asegurar y garantizar su disponibilidad. Los científicos de datos pueden trabajar en su entorno de análisis favorito, como R en Visual Studio o Python en Visual Studio, mientras aprovechan el poder de cómputo, la memoria y el paralelismo del motor de la base de datos y la mayor fidelidad del modelo (Figura 9). Figura 9: Flexibilidad en la creación, implementación y administración del modelo con la integración R Esta integración de R facilitará muchos escenarios de Big Data, como el uso de Big Data para una mejor segmentación de la audiencia, previsión de rotación, detección de anomalías y análisis de Página 21 fraudes y riesgos. Al mismo tiempo los usuarios de negocios pueden acceder a los resultados desde cualquier lugar y en cualquier dispositivo. Además, una vez que los modelos han sido desarrollados y entrenados, pueden ser implementados como servicios Web en Azure Marketplace. Reporting Services SQL Server Reporting Services (SSRS) ofrece una gama completa de herramientas y servicios listos para usar para ayudarle a crear, implementar y administrar informes para su organización. Reporting Services incluye características de programación que le permiten ampliar y personalizar la funcionalidad de los informes. Reporting Services es una plataforma de informes basada en el servidor que proporciona una funcionalidad completa de informes para una variedad de fuentes de datos. Reporting Services incluye un conjunto completo de herramientas para que usted pueda crear, administrar y entregar informes y APIs que permiten a los desarrolladores integrar o ampliar el procesamiento de datos e informes en aplicaciones personalizadas. Las herramientas de Reporting Services funcionan en el entorno de Microsoft Visual Studio y están totalmente integradas con las herramientas y los componentes de SQL Server. Mejorado en SQL Server 2016: SQL Server 2016 ofrece una serie de mejoras en Reporting Services que le permiten crear informes modernos sobre todos sus datos y consumirlos en cualquier dispositivo. Con conectores nativos para las versiones más recientes de las fuentes de datos de Microsoft, como SQL Server y Analysis Services; fuentes de datos de terceros, tales como Oracle Database, Oracle Essbase, SAP BW y Teradata; y conectores ODBC y OLEDB para muchas más fuentes de datos, puede crear informes sobre una amplia gama de fuentes de datos. Están previstos nuevos temas y estilos de informes para que sea más fácil que nunca crear informes de aspecto moderno, y los nuevos tipos de gráficos le permiten visualizar los datos de nuevas maneras. Un mayor control sobre los indicadores de parámetros le ofrece una mayor capacidad para diseñar informes parametrizados dinámicos. Con soporte para navegadores modernos en múltiples plataformas, Reporting Services proporciona una plataforma para ver e interactuar con sus informes sobre la gran cantidad actual de dispositivos modernos. BI móvil SQL Server 2016 soporta inteligencia de negocios móvil en dispositivos de Windows, iOS y Android (Figura 10). Esto permite a los usuarios visualizar e interactuar con los datos en sus dispositivos móviles, utilizando las aplicaciones móviles nativas disponibles sin costo alguno en las respectivas tiendas de aplicaciones. Usted puede utilizar estas herramientas para conectarse a fuentes de datos empresariales, integrarse con Active Directory para la autenticación de usuarios, ofrecer actualizaciones de datos en directo a los dispositivos móviles, y personalizar las consultas de datos para cada usuario. Página 22 Figura 10: BI móvil en dispositivos de Windows, iOS y Android Conclusión El almacenamiento de datos, el análisis y la inteligencia de negocios deben adaptarse a todo un nuevo alcance, escala y diversidad de información y datos, y también deben seguir adoptando las nuevas formas que descubrimos, y colaborar en la información todos los días. Los datos que les interesan a las empresas se están expandiendo a una velocidad explosiva. Ya sea que los datos provengan de fuentes relacionales o no relacionales, de entornos en las instalaciones o en la nube, Big Data o de otras fuentes, SQL Server puede ayudarle a acceder, integrar y almacenar estos datos, así como a escalarlos y administrarlos y obtener perspectivas más profundas de ellos. SQL Server proporciona las herramientas que necesita para obtener perspectivas más profundas de sus datos más fácilmente que nunca. Más información Las siguientes Páginas Web ofrecen más información sobre los temas tratados en este documento: http://www.microsoft.com/en-us/server-cloud/products/sql-server-2016/: Página Web de SQL Server http://www.microsoft.com/en-us/bi/default.aspx: Página Web de Inteligencia de negocios de Microsoft http://www.microsoft.com/bigdata/: Soluciones de Big Data de Microsoft Página 23 Retroalimentación ¿Le fue útil este documento? Por favor denos su opinión al decirnos, en una escala de 1 (deficiente) a 5 (excelente), cómo califica este documento y por qué le ha dado esa calificación. Más específicamente: ¿Lo califica alto por sus ejemplos relevantes, capturas de pantallas útiles, redacción clara, u otra razón? ¿Lo califica bajo debido a que los ejemplos no aplican a sus preocupaciones, capturas de pantallas difusas, o redacción poco clara? Esta retroalimentación nos ayudará a mejorar la calidad de los documentos estratégicos que publicamos. Por favor envíe su retroalimentación a: mailto:[email protected] Página 24
© Copyright 2024