Temos visto muita informação sobre mudanças no mercado de trabalho, nas relações entre empregador e empregado, nomadismo digital e novas profissões. Sabemos que nossa profissão também está mudando. Quais as opções um profissional com o nosso background ou experiência tem?
Cientista de dados x Engenheiro de dados
Ciência de Dados e Engenharia de Dados são 2 diferentes ramos de atuação dentro do conceito de Big Data e as funções de Cientista de Dados e Engenheiro de Dados são normalmente confundidas, principalmente pelos recrutadores. As descrições de posições de trabalho normalmente misturam ambas as funções ou exigem que o profissional tenha os conhecimentos de Data Science e Data Engineering.
Quem é e o que faz o Cientista de Dados?
O trabalho do cientista de dados está relacionado ao uso de capacidades analíticas e técnicas para gerar insights através dos dados. Sendo assim, uma responsabilidade essencial para esse profissional é saber fazer perguntas que precisam ser respondidas: o primeiro passo para investir em um projeto de Big Data é ter um problema para ser resolvido por meio da análise de dados.
Além de fazer boas perguntas, é necessário respondê-las. Para isso, é desejável conhecimentos em estatística, aprendizado de máquina, ferramentas de Data Mining e alguma noção acerca da área de negócios.
Uma das premissas que justificam e dá força à ideia de visualização de dados é que toda análise e perguntas respondidas devem ser comunicadas para a área de interesse, senão para toda a empresa. Trabalhar e dominar alguma das muitas ferramentas de visualização de dados é outra tarefa do cientista de dados.
Ferramentas Cientista de Dados
Um Cientista de Dados pode:
• Utilizar de Machine Learning para otimizar a pesquisa de dados;
• Otimizar de estratégias para alcançar os objetivos de negócio;
• Análise preditiva para prever futuros lucros ou prejuízos no negócio;
• Detectar fraudes ou anomalias na operação do negócio;
• Compreender a razão de variações extremas na análise de dados;
• Através da estatística, prever os próximos cliques de um usuário em um site de compras.
Quem é e o que faz o Engenheiro de Dados?
O Engenheiro de Dados são os responsáveis por fazer o trabalho do Cientista de Dados acontecer: digamos, “ser mais efetivo”. Em linhas gerais, são responsáveis pela arquitetura e infraestrutura de dados.
É um profissional focado em design, construção e manutenção de sistemas para armazenamento e processamento de dados. Tais soluções precisam atender às necessidades da empresa, principalmente no que diz respeito às características do dado com que ela trabalha: que podem representar uma quantidade massiva, ou mesmo serem não-estruturados (como vídeos, o que demanda uma atenção diferente). Por isso, é bastante desejável um conhecimento extensivo em software engineering.
Ferramentas Engenheiro de Dados
Indiretamente, já falamos de algumas ferramentas usadas pelos cientistas de dados nos posts sobre ferramentas de big data analytics e business intelligence. De qualquer forma, aí vão algumas delas:
Um Engenheiro de Dados pode:
• Construir aplicações de larga escala SaaS (Software as a Service);
• Construir e customizar aplicações Hadoop e MapReduce;
• Definir e construir bancos de dados relacionais com arquitetura distribuída para processamento de Big Data;
• Extrair, transformar e carregar (ETL) dados de um banco de dados para outro.
O campo comum entre cientistas e engenheiros
Atualmente, na maioria das empresas, a forma de atuação desses dois profissionais é bem semelhante e quase não há distinção entre eles: muitas vezes é necessário atuar nas duas áreas. Conforme a evolução da área em termos mercadológicos, ficará mais nítida a distinção entre diferentes funções.
Empresas que já investem ou que pretendem investir em projetos maiores de Big Data precisam das habilidades desses profissionais. Muitas vezes precisam buscá-los externamente para conseguir obter os resultados esperados.
Referências: 1 e 2
