Introducción Data Warehousing y su entorno total de implementación DSE - Data Storage Environment DSE - Administración y automatización del ambiente Metodología

DSE (Data Storage Environment) Misión Crítica

 

INTRODUCCIÓN

En nuestro White Paper Nro. 3 fijamos nuestra posición sobre aspectos básicos y aclaratorios sobre el DataWarehousing.-

Es muy importante considerar que DataWarehousing es un proceso, no un producto, porque esta confusión será el comienzo de un fracaso a corto o mediano plazo.-

Este White Paper tiene como objetivo explicar cual es el &quotArea Crítica" de la implementación, mantenimiento y mejoramiento contínuo, y al mismo tiempo ayudarlo con una metodología adecuada a encontrar un punto de equilibrio entre la respuesta rápida a los Usuarios y una implementación ordenada y exitosa de un proceso de DataWarehousing.-

Es imprescindible encontrar ese equilibrio y para esto es necesario comprender la complejidad del entorno de DataWarehousing y aplicar una metodología de trabajo que garantice el éxito de la implementación .-

Top.-

Data Warehousing y su entorno total de implementación

Top.-

DSE - Data Storage Environment

La comprensión de la complejidad e importancia de los procesos que ocurren en el DSE es el primer paso y el principal para implementar y mantener un DataWarehouse.-

Según Inmon (creador del término DataWarehouse) el 80% del esfuerzo y la inversión para implementar y mantener un proceso de DataWarehousing se realiza sobre el DSE.-

Como muestra el gráfico anterior los datos que alimentarán el DataWarehouse deben ser extraídos de diversas y múltiples fuentes que fueron procesadas o no en la empresa.-

Ej.: Diferentes Host y RDBMS, Archivos VSAM, , el mismo dato en diferentes formato o en diferentes unidad de medida, de fuentes externas como Consultoras de Marketing, Encuestadoras, Proveedores, Internet/Intranet , etc.-

 Estos datos deben ser extraídos y transportados hacia el DataWarehouse consistentes, remapeados, integrados, limpios, sincronizados, con sus reglas de negocios definidas y sumarizados cuando sea necesario.-

Desde el DataWarehouse deben ser puestos a disposición de los usuarios o preferentemente distribuidos entre los mismos.-

Luego de implementado el proyecto, los Usuarios (Decision Markers de Marketing, Finanzas, Producción, Presupuestación….) irán adquiriendo conocimientos acerca de la explotación de la información en el DataWarehouse y habrá que proveerlos de la Herramientas de Análisis, Reporting, DataSets para DataMining o Datamarts adecuados a sus necesidades.-

No todos los usuarios necesitan OLAP y tal vez unos pocos DataMining y a otros les basta con Excel y tablas dinámicas.-

Todo estos cambios dinámicos deberán preverse en DSE para que un DataWarehouse sea explotado al máximo de sus posibilidades.-

Es muy importante conocer el porque un DataWarehouse tiene que estar preparado para crecer permanentemente por agregados, para absorber con transparencia los cambios en datos fuentes o nuevos requerimientos de los Usuarios.-

En general las tecnologías aplicadas a DataWarehousing están poco difundidas y en constante evolución y es frecuente que la presión de los usuarios o la confusión lleve a analizar la implementación del proceso de DataWarehousing a través de las excelentes y atractivas Herramientas de Reporting , Análisis Olap, DSS, DataMining o desde un DataMart y sus Plantillas.-

Los dos motivos por el cual siempre se deberán revisar los procesos de alimentación de un DataWarehouse son:

• Las frecuentes actualizaciones tecnológicas o mantenimiento de aplicaciones OLTP, reingeniería, etc..

  En consecuencia cambian las fuentes de datos(formatos , Unidad de Medida, ...) y estos cambios deben reflejarse en el DW e integrarlos a los datos anteriores.
  Esto ocurrirá aun cuando se este trabajando sobre un ambiente OLTP estabilizado y hayamos realizado un excelente relevamiento de las necesidades.
  Según el mismo Inmon, si Ud. esta pensando mejorar su modelo de datos transaccional(OLTP) para evitar o minimizar la fase DSE Ud. nunca tendrá un DataWarehouse.
  

• Las presiones de los Usuarios y/o Decision Makers de la empresa.
  El proceso en si mismo de DataWarehousing permite a los Usuarios descubrir una independencia de IS impensada.- Además estos deben tener una visión integral de los datos que pueden explotar.
  Los productos de Reporting OLAP, DSS o Data Mining producen a los Decision Makers un cambio de percepción exigiendo cada vez mas y mejor información que seguramente no fueron solicitadas en su momento ni por ellos mismos.

Top.-

DSE - Administración y automatización del ambiente

En la figura superior se hace notar como se incrementan los costo de mantenimiento de un DataWarehouse a través del tiempo si no se automatiza y se administra el DSE.

Es obvio que si no se cuenta con las herramientas apropiadas y no se automatizan los procesos de mantenimiento, los costos de Análisis, Programación, Administración de Base de Datos, etc. crecerán indefinidamente a medida que evolucione el DataWarehouse.

Se debe ejercer en DSE un estricto control sobre el dato y sus procesos con una administración dinámica y flexible.-

Para seleccionar las herramientas y automatizar los procesos del DSE se debe tener en cuenta que:

• Los registros de un DataWarehouse no se actualizan.
• El volumen de información crece constantemente por agregación de registros.
• Incorporación o cambios continuos en los datos fuentes.
• Debe alertar sobre cambios no previstos o no informados en datos fuentes.
• Es un proceso Batch pero debe prever procesos por excepción.
• Debe preveer procesos que contemplen el análisis de Granularidad vs. Volumen.
• Debe Implementarse con tecnología Abierta y Relacional (RDBMS)

Si se cumplen con estas condiciones podrá implementar un DataWarehouse con las siguientes características:

• Escalable (Muy importante por el crecimiento continuo de la información).
• De fácil acceso, Flexible.
• Con capacidad de Distribución Herramientas y Función del Usuario.
• Poder agregar rápidamente mas dimensiones en DataMart (Rolap/Molap).
• Ejecutar procesos de DataMining sin inconvenientes en los DataSets adecuados.
• Asegurar la calidad del dato.
• No interferir los procesos transaccionales.

Top.-

METODOLOGÍA

Estas son las características principales que debe contemplar una Metodología para hacer del DataWarehousing un suceso permanente en su empresa y que este proceso sea de costo accesible e inversamente proporcional al beneficio que brinde:

• Diseño especifico para DataWarehousing.
• Comienzo con una fase Piloto, con el Usuario "Clave" y con un grupo de Trabajo con apoyo Gerencial. (Esta fase debe ser de inmediata implementación, no debe generar expectativas desmesuradas pero debe ser eficaz para poder publicitar la propagación y motivar a los próximos usuarios y diseñar e implementar la administración del DSE al mismo tiempo).
• Administración desde Meta Data Dictionary.
• Diseño Olap (Rolap/Molap) para DataMart.
• Transferencia de conocimientos.
• Mejoramiento continuo.
• Estricto control del cronograma de trabajo.

Top.-

Carlos A. Arabito (DataWarehousing/DSS Consultant)

OSC S.A.
e-mail: carlos.arabito@gmail.com