Integración de datos
Desarrollos ETL
Los procesos ETL (Extraer – Transformar – Load), son parte de la integración de datos y constan de 3 fases:
Fase de Extracción:
se extraen los datos, se analizan y comprueban, se interpretan para finalmente ser convertidos a un formato que permite su transformación.
Fase de Transformación:
Aquí se aplican las reglas de negocio, propias y características del negocio. Estas reglas o directrices deben ser:
- declarativas
- independientes
- claras
- inteligibles
- con una utilidad para la actividad de negocio en cuestión
Fase de carga (load):
Aquí los datos son cargados en el sistema de destino. Existen 2 formas básicas (acumulación simple y rolling), aunque puede haber multitud de acciones diferentes, según los requerimientos de cada organización.
En esta fase es donde las restricciones definidas en la fase de transformación se traducen en una garantía de calidad de los datos.
En nuestros desarrollos ETL usamos componentes Microsoft, como SQL Server, aplicando tecnologías stack SQL: SSIS (SQL Server Integration Services) y también MS Azure y Data Factory.
Podemos realizar integraciones e implementaciones usando tecnologías como MatchIT, Talend y muchas otras tecnologías de vanguardia.
¿Qué es Integración de Datos?
Cuando se habla de Integración de Datos y consolidación de datos se refiere a los procesos ETL (Extraer, Transformar y Cargar)
Los desarrollos de ETL necesitan ser adaptados a medida al tipo y forma de alimentación de datos usada y en Adroit disponemos de equipos de desarrollo con experiencia y capacitación para realizar desarrollos ETL a medida para cualquier tipo de empresa y fuente de datos.
En Adroit establecemos distinciones entre scripts SQL “históricos” y desarrollos ETL más modernos. Para nosotros un desarrollo ETL no se limita a escribir código SQL. Los desarrollos ETL más modernos requieren un conjunto de habilidades y técnicas de desarrollo diferente y aportan a los clientes beneficios significativos.
Data Warehouse: el enfoque moderno de Microsoft
A medida que el uso de la nube se va extendiendo cada vez a más organizaciones, Microsoft ha desarrollado un enfoque de almacenamiento de datos (DATA Warehousing) con un enfoque “moderno” dentro de AZURE.
En este enfoque moderno de Microsoft se integran diferentes componentes para integrar fuentes de datos entrantes, transformarlos y desarrollarlos, para poner el resultado final a disposición del usuario final, a través de aplicaciones de Business Intelligence (BI), como Power BI.
Adroit tiene experiencia en el desarrollo de procesos de trabajo basados en datos en la nube, utilizando Microsoft Azure Data Factory, para automatizar el flujo de datos y la transformación de datos entre los almacenes de datos compatibles.
Somos expertos en el desarrollo de canales y bloques de datos que permiten a los clientes mover y limpiar datos de múltiples fuentes en una Vista de Única de Cliente; esta fuente de datos limpia y estandarizada se usa después dentro de los entregables de “Model and Serve” en lo que se considera un almacenamiento de datos moderno (Modern Data Warehouse).