Sentimento econômico e IA: como modelos de machine learning transformam percepção em dados acionáveis

A pesquisa Quaest de julho trouxe um alívio tímido: a percepção sobre os preços dos alimentos melhorou, mas o brasileiro ainda carrega uma preocupação estrutural com a economia. Esse tipo de dado, coletado por meio de entrevistas e questionários, sempre foi o termômetro clássico para governos e empresas. Mas, como engenheiro de software que trabalha com inteligência aplicada, enxergo nesse cenário uma oportunidade rara de discutir o que está por trás dos números: como transformar a percepção — um fenômeno subjetivo e ruidoso — em variáveis que um modelo de machine learning possa consumir, interpretar e, eventualmente, antecipar.

Não se trata de substituir pesquisas convencionais, mas de complementá-las com camadas de processamento que a escala humana jamais alcançaria. Em projetos que liderei nos últimos anos, aprendi que o verdadeiro valor da IA aplicada à economia não está em prever o futuro com precisão divina, mas em extrair sinais fracos do ruído — e esses sinais, muitas vezes, aparecem antes das manchetes. Vou compartilhar aqui os desafios técnicos, as decisões de arquitetura e os trade-offs reais que encontrei ao construir sistemas que tratam dados de percepção econômica.

O abismo entre dado bruto e sinal confiável

Pesquisas como a Quaest geram respostas categóricas: "melhorou", "piorou", "igual". A primeira tentação de qualquer engenheiro é jogar isso diretamente em um modelo de classificação. O problema é que a pergunta feita ao entrevistado carrega vieses de contexto, humor do dia, exposição recente a notícias. Um modelo ingênuo tratará todas as respostas como igualmente verdadeiras, quando na verdade são ruidosas. Em um dos projetos que implementei para uma fintech, usamos uma abordagem de calibração por ponto de corte: associamos cada resposta a um nível de confiança baseado em variáveis demográficas e no histórico do entrevistado. Isso reduziu em 18% os falsos positivos de otimismo econômico — um ganho que, em termos de decisão de crédito, significava milhões de reais em risco evitado.

A arquitetura que adotamos na época combinava um pipeline de ETL em streaming (usando Apache Kafka e Spark Structured Streaming) com um modelo de regressão logística multinomial treinado sobre dados históricos do IBGE e de pesquisas de confiança. O pulo do gato não estava no algoritmo, mas no tratamento de dados ausentes e na normalização temporal: respostas coletadas em datas próximas a eventos políticos ou crises tinham pesos diferentes. Isso é um ponto que muitos tutoriais ignoram — a engenharia de features, nesse domínio, exige conhecimento profundo de calendário econômico e sazonalidade.

Processamento de linguagem natural em respostas abertas

Nem toda pesquisa se limita a múltipla escolha. A Quaest, por exemplo, coleta percepções qualitativas sobre o que preocupa o brasileiro. Essas respostas em texto livre são uma mina de ouro para modelos de NLP, mas também um barril de pólvora. Em um experimento que conduzi com uma equipe de cientistas de dados, tentamos extrair tópicos emergentes de respostas sobre inflação usando um modelo BERTimbau fine-tuned em português brasileiro. O resultado: o modelo captou corretamente o medo do desemprego como tema subjacente em 73% dos casos, mas também gerou falsos alarmes ao associar palavras como "gasolina" a "crise política" quando o contexto era apenas de reajuste de preços.

O aprendizado foi que, para aplicações econômicas, modelos pré-treinados genéricos são insuficientes. É necessário um fine-tuning específico com dados rotulados por especialistas — e isso custa caro, tanto em tempo quanto em computação. Em uma infraestrutura cloud com GPUs (usamos instâncias AWS p3.2xlarge), o treinamento de uma única época levava cerca de 4 horas com 50 mil amostras. A otimização do pipeline de dados (caching, paralelização, uso de tokenizers eficientes) foi tão crítica quanto a escolha do modelo. Se você está pensando em implementar algo similar, comece com um modelo menor, como DistilBERT, e avalie o trade-off entre latência e acurácia para o seu volume de dados.

Infraestrutura e custos: o lado menos glamoroso

Uma das barreiras que encontrei ao propor sistemas de IA para análise de percepção econômica em empresas de médio porte foi a justificativa de custo. Manter um pipeline de sentiment analysis em tempo real, com ingestão de dados de fontes como redes sociais, notícias e pesquisas, exige um orçamento de cloud que pode chegar a centenas de dólares por mês em instâncias de processamento e armazenamento. Em um projeto para um banco digital, optamos por uma arquitetura híbrida: o treinamento dos modelos era feito em lote noturno (spot instances com 70% de desconto), enquanto a inferência acontecia em servidores dedicados menores, com cache de resultados por até 15 minutos. Isso reduziu o custo operacional em 40% sem perda significativa de qualidade — uma lição que levo para qualquer iniciativa de IA aplicada.

Outro ponto crítico é a governança dos dados de pesquisa. A Lei Geral de Proteção de Dados (LGPD) impõe restrições severas ao tratamento de informações pessoais, mesmo que agregadas. Em um dos meus projetos, tivemos que anonimizar as respostas textuais usando técnicas de substituição de entidades nomeadas (NER) antes de alimentar o modelo. Isso adicionou uma etapa de pré-processamento que consumia cerca de 30% mais tempo de CPU. A lição é clara: privacidade não é um requisito opcional, é uma restrição arquitetural que precisa ser projetada desde o início, não uma reflexão tardia.

O que a Quaest nos ensina sobre limitações dos modelos

A pesquisa de julho revela uma melhora na percepção de preços dos alimentos, mas a economia ainda preocupa. Se um modelo de IA treinado apenas com dados de sentimento das redes sociais tivesse sido usado, ele provavelmente teria capturado apenas o alívio momentâneo, perdendo o subtexto da ansiedade persistente. Isso acontece porque as redes sociais tendem a amplificar vozes extremas, enquanto as pesquisas estruturadas captam uma média mais representativa. Em outras palavras, não existe uma fonte de dados perfeita. A IA aplicada à economia exige fusão de fontes — combinar pesquisas, indicadores oficiais, dados de transações e até clima — com um modelo de ponderação que respeite os vieses de cada canal.

Em um sistema que desenvolvi para prever intenção de consumo, usamos um ensemble de modelos: um para sentimento de redes sociais (LSTM com embeddings treinados do zero), outro para respostas de pesquisa (regressão logística com features temporais), e um terceiro baseado em indicadores macro (SARIMA). A saída final era uma média ponderada, onde os pesos eram ajustados dinamicamente por um meta-modelo. O resultado foi uma previsão com erro absoluto médio 22% menor do que qualquer modelo individual. Mas a complexidade de manutenção era alta — cada novo modelo exigia reavaliação dos pesos e monitoramento de drift.

Implicações para produtos e decisões de negócio

Para quem trabalha com produtos digitais, a percepção econômica não é um dado abstrato. Ela impacta diretamente a taxa de conversão, o ticket médio e a inadimplência. Em um e-commerce que assessorei, usamos um modelo de sentimento econômico regionalizado (treinado com dados de pesquisas locais e tweets geolocalizados) para ajustar automaticamente o limite de crédito e as ofertas de parcelamento. Quando o sentimento piorava em uma região, o sistema reduzia o valor máximo de parcelamento e aumentava a taxa de juros de forma dinâmica. O resultado foi uma redução de 15% nas perdas por inadimplência sem queda significativa nas vendas.

Essa abordagem, no entanto, exige maturidade de engenharia além do modelo. O pipeline de dados precisava ser atualizado a cada hora, com latência máxima de 5 minutos entre a coleta da pesquisa e a decisão de crédito. Implementamos isso com uma arquitetura de microsserviços em Kubernetes, usando filas RabbitMQ para desacoplar a ingestão da inferência. O monitoramento contínuo da qualidade do modelo era feito com métricas de drift de features e logs de decisão. Se você está nesse tipo de aplicação, prepare-se para investir tanto em engenharia de dados quanto em ciência de dados — um não anda sem o outro.

Riscos e limitações que não aparecem nos artigos de blog

Há um risco que raramente é discutido: o viés de confirmação. Modelos treinados com dados históricos de pesquisa tendem a reforçar padrões existentes, cegando-se para mudanças estruturais na economia. Por exemplo, um modelo treinado antes de 2020 poderia nunca capturar o impacto de um choque como a pandemia. Em um projeto de pós-graduação que orientei, testamos um modelo de LSTM com dados de 2015-2019 e pedimos para prever 2020: o erro disparou 300%. A solução foi incorporar mecanismos de detecção de mudança de regime (changepoint detection) e re-treinar o modelo sempre que um novo regime fosse identificado. Isso adicionou complexidade, mas tornou o sistema útil em cenários de crise — como o que a Quaest captura agora.

Outro ponto é a explicabilidade. Em decisões de crédito baseadas em sentimento econômico, reguladores podem exigir que você explique por que um cliente foi classificado como de alto risco. Modelos de deep learning são notoriamente caixa-preta. Nesse caso, vale a pena sacrificar um pouco de acurácia por um modelo mais interpretável, como XGBoost com SHAP values. A escolha não é técnica, sim de compliance. Em um projeto recente, optamos por um modelo de gradient boosting com features limitadas (20 no máximo) para garantir que cada decisão pudesse ser auditada em 5 minutos. O trade-off foi perder 5% de acurácia, mas ganhamos aprovação regulatória em três meses, contra mais de um ano se tivéssemos usado uma rede neural complexa.

Perspectiva pessoal: o que a IA realmente pode fazer pela economia

Depois de mais de uma década trabalhando com sistemas de IA, aprendi a desconfiar de promessas de "previsão infalível". A pesquisa Quaest é um lembrete de que a percepção humana é volátil, contextual e cheia de contradições. A IA não vai substituir pesquisas de opinião — ela vai amplificar a capacidade de extrair sinais delas, desde que engenheiros e cientistas de dados estejam dispostos a lidar com a sujeira dos dados reais, com os custos de infraestrutura e com as limitações éticas e legais.

O que me entusiasma é a possibilidade de dar a empresas e governos uma visão mais granular e em tempo real do que a população está sentindo. Em vez de esperar meses pela próxima rodada de pesquisa, podemos ter um painel atualizado a cada hora com indicadores de confiança, inflação percebida e intenção de consumo. Mas isso exige investimento contínuo em engenharia de dados, em MLOps para monitorar modelos e em equipes multidisciplinares que entendam tanto de economia quanto de redes neurais. Se você está pensando em entrar nessa área, comece não pelo modelo, mas pelo pipeline de dados. O resto — acredite — vem junto.