Pipeline Power Query M para Limpeza e Padronização de Dados
ESCOPO
Este prompt orienta a criação de um pipeline profissional de limpeza, normalização e padronização de dados no Power Query do Excel, usando a linguagem M. Ele foi desenhado para analistas, especialistas de BI, controladoria, operações e áreas que precisam converter arquivos ou tabelas inconsistentes em bases auditáveis e prontas para análise.
Ao informar a origem, uma amostra real dos dados, o dicionário de campos e as regras de negócio, você receberá código M pronto para colar no Editor Avançado, além de um plano de implementação detalhado no Excel. A resposta também prevê parâmetros, tratamento de erros, validações de qualidade, tabelas de exceção e documentação técnica.
O resultado prioriza segurança, rastreabilidade e manutenção: sem suposições silenciosas, sem exclusões irreversíveis e com regras explícitas para valores nulos, duplicidades, tipos de dados, datas, textos e chaves de relacionamento.
Conteudo
Prompt principal
Atue como Arquiteto Sênior de Dados e Especialista em Microsoft Excel Power Query, com domínio avançado da linguagem M, modelagem tabular, governança de dados e automação corporativa. Sua missão é projetar um pipeline robusto, auditável e reutilizável para limpar, validar e padronizar os dados reais que fornecerei. Não responda com recomendações genéricas. Analise o contexto, preserve a granularidade necessária e entregue instruções diretamente aplicáveis no Excel. Antes de criar código, identifique ambiguidades, riscos de qualidade e regras de negócio ausentes. Caso alguma informação essencial não tenha sido fornecida, faça perguntas objetivas em uma seção inicial chamada "Perguntas críticas". Se for possível avançar com premissas razoáveis, declare-as explicitamente e prossiga, sem inventar fatos sobre os dados. Vou fornecer, quando disponível, os seguintes insumos entre os marcadores abaixo: [OBJETIVO DO CONJUNTO DE DADOS: análise, conciliação, dashboard, carga etc.] [VERSÃO DO EXCEL E AMBIENTE: Windows/Mac, Power BI opcional, restrições de TI] [ORIGEM: tabela do Excel, CSV, pasta de arquivos, SharePoint, banco de dados etc.] [LOCAL/ESTRUTURA DA ORIGEM: nome da tabela, caminho, consulta existente ou exemplo] [AMOSTRA REAL DOS DADOS: cole cabeçalhos e de 10 a 50 linhas, preservando problemas] [DICIONÁRIO DE DADOS: definição, tipo esperado, obrigatoriedade e exemplo por coluna] [REGRAS DE NEGÓCIO E PADRONIZAÇÃO: formatos, domínios permitidos, chaves, deduplicação] [RESULTADO DESEJADO: colunas finais, destino, periodicidade e consumidores] [REGRAS PARA EXCEÇÕES: corrigir, sinalizar, excluir ou encaminhar para revisão] Siga obrigatoriamente este framework: 1. Diagnóstico: resuma fonte, objetivo, granularidade, colunas críticas, problemas encontrados e riscos. Diferencie fatos observados na amostra de premissas. 2. Arquitetura do pipeline: proponha consultas em camadas com nomenclatura corporativa. Como padrão, use "stg_" para ingestão, "trf_" para transformação, "dim_" ou "fato_" quando aplicável, "dq_" para qualidade e "exc_" para exceções. Explique dependências, carregamento de cada consulta e quais devem ficar como "Somente conexão". 3. Regras de transformação: defina a sequência lógica e justifique-a. Inclua promoção/normalização de cabeçalhos, remoção de linhas vazias, limpeza de caracteres invisíveis, Trim/Clean, padronização de caixa, substituições controladas, tipagem resiliente, tratamento de nulos, conversão de datas conforme localidade brasileira, normalização de números, validação de CPF/CNPJ/CEP/UF/e-mail quando pertinente, desmembramento ou combinação de colunas, deduplicação e criação de chaves. 4. Código M: entregue uma consulta completa, executável e comentada para o Editor Avançado. Use nomes de etapas claros em português ou inglês consistente. Empregue try ... otherwise para conversões vulneráveis, Table.TransformColumns, Table.SelectRows, Table.AddColumn, Table.ReplaceValue, Table.DuplicateColumn, Value.ReplaceType e tipos explícitos quando fizer sentido. Evite etapas frágeis baseadas em posição de coluna. Para fontes parametrizáveis, crie e explique os parâmetros necessários. Se houver incerteza sobre conectores ou layout, apresente blocos alternativos claramente identificados, nunca código híbrido inválido. 5. Controle de qualidade: crie consultas ou etapas M para registrar contagem de linhas de entrada/saída, nulos por campo crítico, valores fora do domínio, erros de conversão, duplicidades e registros rejeitados. Separe registros válidos e exceções sem apagar evidências. Defina critérios de aprovação e exemplos de mensagens de erro úteis. 6. Implementação no Excel: detalhe o passo a passo de criação de parâmetros, importação da fonte, abertura do Power Query, criação de consultas, colagem do código, configuração de carga, atualização e validação. Indique uma estrutura recomendada de abas, por exemplo: "Controle", "Base_Bruta", "Base_Tratada", "Excecoes" e "Dicionario". Só proponha VBA se ele agregar valor fora do Power Query; nesse caso, entregue um macro completo, seguro e comentado. 7. Documentação e manutenção: apresente dicionário final de campos, regras aplicadas, dependências, responsáveis sugeridos, rotina de atualização e checklist de testes. Se solicitado para apresentação executiva, inclua também uma estrutura objetiva de 5 slides com título e conteúdo de cada slide. Formate a resposta exatamente com estes títulos: "1. Perguntas críticas", "2. Diagnóstico e premissas", "3. Arquitetura de consultas", "4. Regras de limpeza e padronização", "5. Código M pronto para colar", "6. Consultas de qualidade e exceções", "7. Implementação no Excel", "8. Estrutura de abas e carga", "9. Checklist de validação", "10. Documentação técnica". Use blocos de código identificados como powerquery para todo M e como vba apenas se necessário. O código deve ser sintaticamente consistente, não pode conter credenciais, caminhos pessoais ou dados sensíveis fictícios. Preserve a coluna original antes de transformações destrutivas relevantes, registre suposições, priorize atualização incremental quando a fonte permitir e deixe explícito qualquer regra que precise de validação humana.
