Data Roles - Analyst vs Scientist vs Engineer
El tema de definición de roles en proyectos de datos viene provocando una amplia confusión con la explosión de la industria. La aparición de conceptos como big data en el mundo tecnológico y fuera de él ha llamado la atención de las entidades llevándolas a preguntarse por su importancia. El planteo que viene resonando a lo iniciantes los lleva a preguntarse si están aprovechando sus datos para muchos propósitos o simplemente están tirados.
Hace un tiempo encontré una documentación de Microsoft que ha marcado de forma brillante el enfoque de cada rol en un equipo de datos. Me gustaría compartir en este artículo la definición de esos roles para que ayude a la comunidad, tanto de entidades en busca de desarrollo como así también a quienes buscan formarse, a comprender que camino tomar para aquello que están buscando pueda lograrse.
Roles en datos
Por muchos años la exploración de datos nació con los administradores de base de datos puesto que son los dueños y encargados de su mantenimiento. Junto con ellos, estaba de la mano la disciplina de inteligencia de negocios (Bi). El crecimiento de los datos en el mundo hizo que todo esto se vaya diversificando llegando a separar aun más los involucrados con los datos. Veamos la propuesta de Microsoft al respecto. Los roles ideales para un proyecto de datos completo son:
Business Analyst
Data Analyst
Data Engineer
Data Scientist
Database Admin
Analista de negocios
Aunque existen algunas similitudes entre un analista de datos y un analista de negocios, el diferenciador clave entre ambos es lo que hacen con los datos. Un analista de negocios está más cerca de la empresa y es un especialista en la interpretación de los datos que proceden de la visualización. A menudo, las tareas del analista de datos y el analista de negocios pueden ser responsabilidad de una misma persona.
Analista de datos
Un analista de datos permite a las empresas maximizar el valor de sus recursos de datos a través de herramientas de visualización y creación de informes como Microsoft Power BI. El analista de datos es responsable de la generación de perfiles, la limpieza y la transformación de los datos. Sus responsabilidades también incluyen el diseño y la creación de modelos de datos escalables y eficaces, y la habilitación e implementación de las funciones de análisis avanzado en informes para su análisis. Un analista de datos trabaja con las partes interesadas pertinentes para identificar los requisitos de datos y de creación de informes necesarios y, después, se encarga de convertir los datos sin procesar en conclusiones relevantes y significativas.
Además, también es responsable de administrar los recursos de Power BI, incluidos los informes, paneles, áreas de trabajo y los conjuntos de datos subyacentes que se usan en los informes. Se le encomienda la implementación y configuración de los procedimientos de seguridad adecuados, junto con los requisitos de las partes interesadas, para garantizar la seguridad de todos los recursos de Power BI y sus datos.
Un analista de datos trabaja con ingenieros de datos para determinar y localizar los orígenes de datos adecuados que satisfacen los requisitos de las partes interesadas. Además, trabaja con ingenieros de datos y administradores de bases de datos para asegurarse de tener el acceso adecuado a los orígenes de datos que necesita. El analista de datos también trabaja con ingenieros de datos para identificar nuevos procesos o mejorar los ya existentes a fin de recopilar datos para su análisis.
Ingeniero de datos
Los ingenieros de datos aprovisionan y configuran las tecnologías de plataforma de datos locales y en la nube. Administran y protegen el flujo de datos estructurados y no estructurados procedentes de múltiples orígenes. Entre las plataformas de datos que usan están las bases de datos relacionales, las bases de datos no relacionales, los flujos de datos y los almacenes de archivos. Los ingenieros de datos también se aseguran de que los servicios de datos se integren de forma segura y sin problemas en los servicios de datos.
Entre sus responsabilidades principales se incluye el uso de servicios datos locales y en la nube, y herramientas para la ingesta, la salida y la transformación de datos procedentes de múltiples orígenes. Los ingenieros de datos colaboran con las partes interesadas de la empresa para identificar y cumplir los requisitos de los datos. Además, diseñan e implementan soluciones.
Aunque podría haber cierta semejanza entre las tareas y responsabilidades de un ingeniero de datos y un administrador de bases de datos, el ámbito de trabajo de un ingeniero de datos va más allá del mantenimiento de una base de datos y del servidor en el que se hospeda, y es probable que no incluya la administración general de los datos operativos.
El ingeniero de datos agrega un valor enorme a los proyectos de ciencia de datos y de inteligencia empresarial. Cuando el ingeniero de datos aglutina los datos, lo que se suele describir como limpieza y transformación de los datos, los proyectos se mueven más rápidamente porque los científicos de datos pueden centrarse en sus áreas de trabajo específicas.
Como analista de datos, trabajará junto a un ingeniero de datos para asegurarse de que puede acceder a los distintos orígenes de datos estructurados y no estructurados, ya que le ayudarán a optimizar los modelos de datos que normalmente se sirven desde un almacén de datos o lago de datos moderno.
Tanto los administradores de base de datos como los profesionales de inteligencia empresarial pueden adoptar un rol de ingeniero de datos si se familiarizan con las herramientas y tecnologías usadas para procesar grandes cantidades de datos.
Científico de datos
Los científicos de datos realizan un análisis avanzado para extraer valor de los datos. Su trabajo puede variar del análisis descriptivo al análisis predictivo. El análisis descriptivo evalúa los datos a través de un proceso conocido como análisis de datos exploratorio (EDA). El análisis predictivo se usa en el aprendizaje automático para aplicar técnicas de modelado que pueden detectar anomalías o patrones. Estos análisis son una parte importante de los modelos de previsión.
El análisis descriptivo y el predictivo solo representan aspectos parciales del trabajo de los científicos de datos. Algunos científicos de datos pueden adentrarse en el aprendizaje profundo, realizando experimentos iterativos para resolver un problema de datos complicado mediante el uso de algoritmos personalizados complejos.
Las pruebas anecdóticas sugieren que la mayor parte del trabajo de un proyecto de ciencia de datos se invierte en la limpieza y transformación de datos y en la ingeniería de características. Los científicos de datos pueden acelerar el proceso de experimentación cuando los ingenieros de datos usan sus conocimientos para limpiar y transformar correctamente los datos.
A simple vista, es posible que parezca que el trabajo de un científico de datos y un analista de datos son diferentes, pero no es así. Un científico de datos examina los datos para determinar las preguntas que necesitan respuestas y, a menudo, diseñará una hipótesis o un experimento, y luego recurrirá al analista de datos para que le ayude con la visualización de datos y la creación de informes.
Administrador de base de datos
Un administrador de bases de datos implementa y administra los aspectos operativos de las soluciones de plataforma de datos híbridas y nativas de la nube que se basan en servicios de datos de Microsoft Azure y Microsoft SQL Server. También es responsable de la disponibilidad general y de las optimizaciones y el rendimiento coherentes de las soluciones de base de datos. Trabaja con las partes interesadas para identificar e implementar las directivas, las herramientas y los procesos para los planes de copia de seguridad y recuperación de datos.
El rol de un administrador de base de datos es diferente del de un ingeniero de datos. Un administrador de bases de datos supervisa y administra el estado general de una base de datos y el hardware en el que se encuentra, mientras que un ingeniero de datos está implicado en el proceso de limpieza y transformación de datos, es decir, la ingesta, transformación, validación y limpieza de los datos para satisfacer las necesidades y los requisitos empresariales.
El administrador de bases de datos también es responsable de administrar la seguridad general de los datos, y de conceder y restringir el acceso y los privilegios de los usuarios a los datos en función de las necesidades y los requisitos empresariales.
Ojala ésta definición de roles que propone Microsoft nos ayude a comprender mejor la orientación de los roles en proyecto de datos para armar equipos o comprender como orientar nuestros objetivos.
