Nos programas de Modern BI e Big Data, as organizações continuam a perder imenso tempo em trabalho repetitivo e tecnicamente exigente: recolha de requisitos, mapeamento de KPIs, desenho de modelos dimensionais, geração de código Spark, construção de modelos em Power BI e migração de workloads. Para responder a este desafio, o CoE criou a A Team – uma família de agentes alimentados por GenAI, concebidos como aceleradores, e não substitutos, ao longo de todo o ciclo de vida dos projetos de dados.

Da exploração interna a produtos prontos para clientes

A iniciativa A Team começou como um projeto de exploração interna dentro do Centro de Excelência de Modern BI e Big Data, cuja missão principal é impulsionar a inovação através do teste contínuo de novas funcionalidades, construção de soluções robustas e só depois a sua disponibilização aos clientes. Em vez de comercializar ideias não comprovadas, o CoE promove uma mentalidade “innovation-first”, prototipando internamente, validando tanto o valor como as limitações, e só então transformando essas capacidades em produtos maduros e fiáveis para projetos de clientes.

Ao longo do último ano, os agentes e a “agentificação”, em combinação com GenAI, têm sido o tema mais relevante dentro do CoE. A equipa tem-se focado em aprender a orquestrar múltiplos agentes especializados, integrá-los em ecossistemas de engenharia existentes (Databricks, Fabric, VS Code, GitHub Copilot, Genie Code, entre outros) e garantir que os humanos mantêm o controlo. Estes agentes são claramente posicionados como aceleradores, proporcionando maior velocidade e consistência às equipas, ao mesmo tempo que preservam a responsabilidade humana no design e validação.

Arquitetura A Team: grupos de agentes especializados

A Team é o nome do projeto umbrella para um conjunto de grupos de agentes, cada um focado em fases específicas do ciclo de vida dos dados. Cada agente é concebido para operar de forma independente — desde que receba o formato de input adequado — embora também possam ser orquestrados de ponta a ponta em fluxos multi-etapas. Esta abordagem modular facilita a adoção em projetos reais, onde as equipas raramente fazem mudanças totais de uma só vez, preferindo introduzir novos aceleradores de forma incremental.

Destacam-se três grupos principais:

• SWAT Kimball – agentes focados em requisitos de BI, mapeamento de KPIs, modelação dimensional e implementação física baseada em Spark.
• Ciphersmiths – agentes focados na migração e modernização de código (“lift and shift plus best practices”).
• Librarians – agentes focados na documentação de código, pipelines de dados e bases de dados, atualmente em desenvolvimento ativo.

Outros agentes para qualidade de dados, observabilidade, geração de testes, validação de frameworks, avaliação de custos e orquestração estão em desenvolvimento ou planeados.

SWAT Kimball: dos KPIs aos modelos em estrela

O SWAT Kimball aborda a parte mais sensível e intensiva dos projetos de BI: transformar KPIs de negócio em modelos dimensionais robustos e código executável. O fluxo começa normalmente com um documento de negócio que descreve os KPIs e as suas fórmulas matemáticas, juntamente com um “print” de uma ou mais bases de dados com metadata de tabelas, colunas e tipos de dados. O formato preferido é Markdown, porque os LLMs o processam de forma mais fiável e eficiente, embora PDFs e outros formatos possam ser convertidos previamente (por exemplo, através de outro LLM como o Claude).

Principais agentes do SWAT Kimball:

• KPI Wizard – lê fórmulas de KPIs e metadata das bases de dados, mapeia cada KPI às colunas de origem, calcula um nível de confiança por mapeamento e sugere KPIs adicionais relevantes.
• Confidence Judge – atua como “LLM as judge”, recalculando e validando os níveis de confiança e corrigindo erros diretamente no documento de mapeamento.
• Model Storyteller – utiliza o mapeamento validado para gerar um modelo dimensional lógico detalhado e o design do esquema em estrela, incluindo tabelas de factos, dimensões, granularidade, estratégia SCD, chaves e medidas aditivas/não aditivas.
• KPI Sentinel – valida que todos os KPIs estão cobertos no modelo e identifica lacunas ou ambiguidades, produzindo uma avaliação do tipo aprovação/reprovação com alertas estruturados.
• DIMS Builder e Facts Builder – geram notebooks PySpark para cada dimensão e facto, direcionados para Databricks ou Fabric, seguindo frameworks e boas práticas internas.
• Notebook Inspector e Functional Sentinel – atuam como validadores, resumindo notebooks, verificando conformidade com templates e boas práticas, e garantindo que a lógica pedida está corretamente implementada.

Ao longo de todo o processo, os humanos permanecem envolvidos para validar mapeamentos com stakeholders, aprovar o modelo lógico e rever o código gerado, tratando os agentes como assistentes de alta velocidade e não como decisores autónomos.

Ciphersmiths: industrializar a migração de código

O grupo Ciphersmiths aborda a realidade complexa das migrações, onde grandes bases de código legadas precisam de ser movidas para novas plataformas. Abordagens tradicionais de lift and shift enfrentam rapidamente limitações de qualidade, especialmente quando milhares de linhas são enviadas num único pedido a um LLM. O Ciphersmiths resolve isto através da decomposição do trabalho e validação em múltiplas camadas.

Agentes principais:

• Source Repartition – analisa o código e divide-o em blocos lógicos abaixo de um limite de tamanho, evitando cortes dentro de funções ou procedimentos.
• Code Migrator – executa a transformação de código entre linguagens ou frameworks, bloco a bloco.
• Code Inspector – compara código de origem e destino, identifica problemas e decide se a migração é aceitável. • Migration Fixer – corrige blocos problemáticos com base no relatório do Code Inspector, evitando repetir erros anteriores.
• Code Wise – aplica boas práticas para melhorar desempenho e qualidade do código migrado.
• Migration Mapper – gera um mapeamento detalhado entre origem e destino, facilitando a validação humana.

Esta abordagem reconhece que a automação reduz o esforço de codificação, mas aumenta a necessidade de validação rigorosa.

Librarians e além: documentação e governação

O grupo Librarians visa resolver a falta crónica de documentação atualizada. Já existem agentes que documentam código SQL, PySpark e templates Azure Data Factory, explicando o funcionamento de pipelines e scripts. Outros agentes analisam grandes bases de dados e produzem documentação estruturada e orientada ao negócio.

Na roadmap estão:

• Um agente orquestrador capaz de chamar automaticamente outros agentes.
• Agentes para qualidade de dados, observabilidade e geração de testes em pipelines CI/CD.
• Agentes de avaliação de custos, especialmente para Databricks.

Estas iniciativas estão a ser testadas com ferramentas como GitHub Copilot e Databricks Genie Code.

Porque isto é importante para os clientes

Para os clientes, os agentes GenAI da A Team traduzem-se em entregas mais rápidas sem comprometer a qualidade, maior consistência e melhor documentação em projetos de BI e engenharia de dados. Ao tratar os agentes como aceleradores — e não substitutos — o CoE garante que os especialistas humanos mantêm o controlo, ao mesmo tempo que desbloqueiam ganhos significativos de produtividade e mantêm elevados padrões de fiabilidade.