Guia de Análise Estatística para Alta Maturidade

Foram testados dois modelos de predição:

As métricas de avaliação de resultado dos modelos são o MSE (Mean Square Error) e o MAE (Mean Absolute Error,) pois fornecem perspectivas complementares sobre o erro do modelo. A distinção entre elas foi fundamental para a análise, especialmente no tratamento de outliers.

MAE (Erro Absoluto Médio):

O MAE calcula a média do erro absoluto, dando o mesmo peso a todos os erros.

Vantagem: É mais robusto a outliers e fornece uma medida do erro mais intuitiva, representando o desvio médio real do modelo. A queda brusca do MAE após o tratamento de outliers confirmou que eles distorciam significativamente a média do erro.

MSE (Erro Quadrático Médio):

O MSE calcula a média do erro quadrado.

Vantagem: O MSE penaliza erros maiores de forma mais acentuada. É útil quando grandes desvios da previsão são particularmente indesejáveis.

A análise conjunta do MAE e do MSE é crucial. O MAE nos deu uma visão realista do erro médio do modelo, enquanto o MSE destacou a presença e o impacto de erros significativos, orientando a remoção dos outliers.

Para o teste utilizamos dados históricos de contratação de janeiro de 2024 a dezembro de 2024. Analisando os dados encontramos presença de 6 outliers com valores acima de 50 dias. Para melhorar a estabilidade e a precisão do modelo foi decidido retirar esses outliers.

Por exemplo, no caso da árvore de decisão seguem os erros médios encontrados:

Antes da Remoção dos Outliers:

Após a Remoção dos Outliers:

As implicações da retirada dos outliers são:

Uma etapa crucial na seleção do modelo preditivo é entender como a "importância" de uma variável é definida em diferentes algoritmos.

A Regressão Linear Múltipla oferece uma interpretação direta da influência de cada variável, enquanto a Árvore de Decisão, embora menos interpretável, tende a capturar melhor as relações não-lineares e interações complexas entre as variáveis. O fato de a Árvore de Decisão ter alcançado um desempenho superior em termos de métricas, pois as relações entre os dados não são estritamente lineares.

Seleção de Atributos (Feature Selection)

A análise de importância das variáveis no modelo de Árvore de Decisão revelou que a variável presencial possuía uma contribuição insignificante.

A remoção desta variável simplificou o modelo, resultando em uma pequena melhora adicional nas métricas:

Fase 4: Ajuste de Hiper-parâmetros

Uma busca em grade (Grid Search) foi conduzida para otimizar os hiperparâmetros do modelo de Árvore de Decisão.

A melhor configuração encontrada foi: max_depth: 3, min_samples_leaf: 4, e min_samples_split: 2.

Embora a validação do modelo com os hiperparâmetros ajustados tenha retornado um MSE (63.34) e um MAE (6.23) ligeiramente superiores à fase anterior, a diferença foi insignificante. A principal contribuição desta etapa foi confirmar que um modelo mais simples (com profundidade 3) é o ideal para os dados, evitando o overfitting.

Com base nesta validação final, a Linha de Base de Performance (PPB) oficial do processo foi estabelecida:

Modelo Selecionado: Arvóre de decisão.

Erro médio ao quadrado: 5,8 dias

Estabilidade: O modelo opera de forma consistente, com diferenças de predição variando de -2 a +2 dias de margem de erro na predição.

A análise exploratória inicial dos dados revelou que as ausências são eventos raros, com a grande maioria dos registros (mais de 90%) apresentando zero dias de desconto. Diante disso, a abordagem inicial de tentar prever a Percentagem a receber (um problema de regressão) foi descartada por ser estatisticamente instável e de baixo valor prático.

A decisão metodológica foi reformular o problema como uma classificação binária: prever a probabilidade de um funcionário ter ou não ao menos uma ausência em um determinado mês (Teve Ausência, Sim ou Não). Esta abordagem se mostrou mais robusta e diretamente alinhada com a necessidade de negócio de identificar potenciais riscos.

Foram testados três modelos de classificação:

O teste foi realizando utilizando um conjunto de dados inicial de um ano. Nos testes preliminares, o modelo XGBoost demonstrou a maior capacidade de detecção (Taxa de Detecção/Recall) dos casos de ausência, sendo selecionado como o protótipo para uma fase de validação mais rigorosa.

Para estabelecer uma Linha de Base de Desempenho de Processo (Process Performance Baseline - PPB), foi conduzido um backtest cronológico simulando o desempenho do modelo XGBoost ao longo de 19 meses. Esta análise foi crucial e revelou uma instabilidade significativa no desempenho. A Taxa de Detecção variava drasticamente de um mês para o outro (entre 27% e 92%), indicando que o processo, com as variáveis disponíveis, não estava sob controle estatístico e não era confiável para uso em produção.

A causa raiz da instabilidade foi identificada como a falta de variáveis preditivas robustas. O processo foi então otimizado por um extenso trabalho de engenharia de atributos, centralizado no dbt para garantir consistência e governança. O escopo dos dados foi ampliado para três anos (08/2022 a 07/2025) e foram adicionadas novas variáveis-chave, incluindo:

Um novo backtest comparativo foi executado com o conjunto de dados enriquecido. Os resultados demonstraram, de forma conclusiva a superioridade do modelo de Regressão Logística. O modelo mais simples, quando alimentado com dados de alta qualidade, provou ser não apenas o de melhor desempenho, mas também o mais estável.

Com base nesta validação final, a Linha de Base de Performance (PPB) oficial do processo foi estabelecida:

Modelo Selecionado: Regressão Logística.

Taxa de Detecção (Recall) Média: 62%.

Estabilidade: O modelo opera de forma consistente, com o recall variando em uma faixa controlada de 56% a 72%, uma melhora drástica em relação aos testes iniciais. Isso pode ser visto no gráfico acima.