Como prosperar e evoluir na área de Data Engineering
Hoje em dia os dados gerados pelas aplicações são a matéria-prima que potencia todas as indústrias e as ajuda a tomar decisões de negócio mais acertadas. Gerir, manter, e guardar dados são tarefas que fazem parte do quotidiano de um Data Engineer.
Existem várias posições na indústria dos dados e é fácil perdermos o foco sobre aquelas que são exatamente as nossas funções, mesmo quando já trabalhamos na área há algum tempo. Para além de nós, Data Engineers, existem também os Data Scientists e os Data Analysts e em algumas empresas a linha entre as funções que pertencem a uns e a outros acaba por ser bastante ténue. Dito isto, a minha primeira Tip surge exactamente nesse sentido:
1 – Procura adquirir conhecimentos técnicos que vão para além da tua função.
Enquanto Data Engineer, não deves apenas procurar ser especialista na tua área de atuação, mas deves também procurar manter-te atualizado sobre as funções nos cargos adjacentes (Data Science e Data Analysis). O facto de teres valências e/ou skills técnicos nestas outras áreas torna a comunicação entre equipas mais eficaz. E, para além disso, faz com que tenhas uma maior percepção das especificidades de cada área de uma forma mais clara, o que vai também ajudar a que te destaques na tua carreira.
2 – Sê um bom Team Player.
Um Data Engineer deve colaborar ativamente com os Cientistas e Analistas de Dados, assim como com as áreas de negócio, de forma a conseguir construir soluções que vão ao encontro, ou até superem, as necessidades da empresa. Muitas vezes, durante o design de pipelines, existe uma fase de descoberta onde é necessário falar com as várias áreas de negócio, perceber quais as suas necessidades e como podemos desenvolver esse pipeline de modo a acrescentar valor ao negócio. Ter, portanto, uma boa relação com todas as unidades envolvidas é crucial para que todo este processo decorra de forma mais rápida, eficiente e fluída.
3 – Pensamento crítico e atenção ao detalhe.
É essencial ter um pensamento crítico e atenção do detalhe na construção de pipelines, que fazem a extração de dados e os transformam e carregam em bases de dados para que possam ser utilizados pelas outras áreas. Deves ser capaz de olhar para o problema, desconstruí-lo em unidades o mais pequenas possível, e rapidamente montar todas estas peças de modo a que trabalhem mais eficientemente.
Pessoalmente, costumo utilizar o seguinte método para contruir este pensamento crítico:
- Formular uma Hipótese
- Ter uma ideia de como montar este sistema
- Recolher informação
- Tendo em conta a minha hipótese vou levantar informação sobre o mesmo
- Aplicar essa informação
- Verificar se a minha hipótese é exequível
- Considerar as implicações
- Mesmo que seja exequível, quais são os impactos desta solução?
- Explorar mais pontos de vista
- Depois de chegarmos a uma possível hipótese, é importante testar esta hipótese contra outros pontos de vista, para validar se é a melhor solução possível. Caso não seja voltar ao ponto 1 J
4 – Não pares de aprender.
Trabalhar em Engenharia de Dados é um trabalho desafiante porque te dá a oportunidade de ter uma carreira sempre em desenvolvimento. Devemos ter sempre presente que manter-nos informados e continuar a aprender novas tecnologias é absolutamente essencial para trabalhar nesta área. As Linguagens e Framework estão em constante evolução, e o que é considerado standard rapidamente deixa de o ser. Neste sentido, é essencial estar sempre atualizado sobre as novas tecnologias que estão na vanguarda e, se possível, juntares-te a uma comunidade onde possas ter uma visão mais alargada de como está a indústria. Uma que gosto particularmente e recomendo é a Towards Data Science.
Concluindo, ter os conhecimentos técnicos é extremamente importante, mas precisas de mais do que isso para te tornares um excelente profissional. Acredito que estas tips te podem ajudar no teu caminho para te tornares um melhor Data Engineer!
What's Your Reaction?