Projeto desenvolvido para o Hackathon Elas+ Tech - Ada Tech, sob o tema Consumo Inteligente. O foco é a análise de padrões de consumo, com o desafio de aplicar estatística exploratória para classificar gastos e identificar categorias dominantes. A solução inclui a construção de um modelo em Python e painéis focados em gerar recomendações de economia ou identificar produtos mais rentáveis.
Índice:
- 1. Visão Geral e Proposta de Valor
- 2. Arquitetura da Solução
- 3. Execução Técnica
- 4. Insights Estratégicos (Storytelling)
- 5. MVP Interativo (Streamlit)
- 6. Como Executar o Projeto
- 7. Integrantes do Esquadrão
- 8. Conclusão
- 9. Nossa Jornada no Hackathon
- 10. Como Contribuir
- 11. Referências
O SmartConsumer Insight Engine é uma solução de dados de ponta a ponta (E2E) desenvolvida para ajudar consumidores individuais a otimizar sua saúde financeira. Através da análise de padrões de consumo, identificamos "vilões" do orçamento e prevemos gastos futuros para gerar recomendações práticas de economia.
- Público-alvo: Usuários finais que buscam inteligência financeira e controle de gastos.
- Problema: Dificuldade em identificar padrões de gastos supérfluos e prever o fechamento da fatura mensal.
Nossa solução segue um pipeline estruturado para garantir a integridade dos insights:
- Ingestão: Carga do dataset spending_patterns_detailed.csv (Kaggle).
- Camada de Dados (SQL): Criação de banco SQLite e extração de faturamento por categoria.
- Processamento Estatístico: Aplicação de estatística descritiva e probabilidade condicional para validar comportamentos de consumo.
- Inteligência (Machine Learning): Modelo preditivo para estimativa de gastos futuros.
- Visualização (Storytelling): Dashboard interativo com foco em recomendações estratégicas.
graph LR
A[(Kaggle Dataset)] --> B[Python / Pandas]
B --> C{SQLite Database}
C -->| Queries SQL | D[Estatística & Probabilidade]
D --> E[Machine Learning Model]
E --> F[Dashboard Interativo]
F --> G[Recomendações de Economia]
subgraph "Processamento & Inteligência"
B
C
D
E
end
style G fill:#CCCCCC,stroke:#333,color:#333,stroke-width:4px
Demonstramos o uso de SQL para extrair insights estruturados diretamente do banco de dados, focando em:
- Cálculo da participação percentual de cada categoria no faturamento total.
- Segmentação de gastos por método de pagamento para identificar o impacto do crédito.
A análise não é baseada em suposições, mas em fatos estatísticos:
- Probabilidade Condicional: "Qual a chance de uma compra ser via Mobile App dado que a categoria é Shopping?".
- Métricas Descritivas: Identificação da moda (itens mais frequentes) e dispersão dos gastos.
Construímos um modelo de Regressão Linear via Scikit-Learn para prever o gasto total de uma transação.
- Features: Quantidade e Preço Unitário.
- Objetivo: Antecipar o impacto de compras no orçamento e validar a tendência de gastos baseada no histórico.
Nosso painel de visualização destaca descobertas que orientam a tomada de decisão:
- O Gatilho do Crédito: Usuários tendem a gastar mais em lazer quando utilizam cartão de crédito.
- Destaque de Vendas: O motor de busca compara o perfil do usuário com o benchmark de mercado (onde Alimentação representa a maior fatia em 68% dos casos).
- Efeito Sazonal: Identificação de picos de consumo em novembro (Black Friday).
Desenvolvemos um protótipo funcional para que o usuário possa interagir com o SmartConsumer Insight Engine em tempo real.
Funcionalidades:
- Calculadora Preditiva: Insira a quantidade e o preço de um item para prever o impacto na fatura mensal.
- Dashboard Dinâmico: Visualize os "vilões do orçamento" através de gráficos interativos do Plotly.
- Como rodar o MVP localmente:
- Na raiz do projeto, execute:
streamlit run app/app.py - O sistema abrirá automaticamente uma aba no seu navegador com a interface do projeto.
- Na raiz do projeto, execute:
A solução SmartConsumer Insight Engine está disponível para testes em tempo real. O deploy foi realizado via Streamlit Cloud, permitindo que você interaja com as predições e insights sem a necessidade de configuração local.
🔗 Link do Web App: https://smartconsumer.streamlit.app/
Funcionalidades da Versão Online:
- Upload de Dados: Carregue arquivos CSV compatíveis para análise instantânea.
- Calculadora Preditiva: Simule compras e veja a estimativa da fatura gerada pelo nosso modelo de ML.
- Insights SQL Dinâmicos: Visualização imediata do ranking de categorias e gatilhos de consumo.
Você pode explorar o SmartConsumer Insight Engine de duas maneiras:
1. Execução Online (Google Colab)
Esta é a forma mais rápida de visualizar o projeto funcionando sem configurar nada em sua máquina.
- Acesse o notebook através do link Colab Notebook.
- Vá em - Vá em Arquivo > Salvar uma cópia no Drive. Execute as células sequencialmente para ver o pipeline de dados em ação.
2. Execução Local (Sua Máquina)
Para rodar o projeto localmente, siga estes passos:
- Clone o repositório:
git clone https://github.com/mydevslab/smartConsumer-insight-engine.git
- Instale as dependências:
Certifique-se de ter o Python instalado e rode o comando abaixo para instalar as bibliotecas necessárias (pandas, scikit-learn, plotly e sqlite3):
pip install -r requirements.txt (O projeto exige Streamlit 1.36+ para alinhamento visual dinâmico).
- Abra o Notebook:
Navegue até a pasta /notebooks e abra o arquivo .ipynb usando o Jupyter Notebook ou VS Code.
- Base de Dados:
O projeto utiliza o dataset do Kaggle. Caso o download automático não seja iniciado pelo script, baixe-o neste link e coloque-o na raiz do projeto.
O SmartConsumer Insight Engine é uma ferramenta poderosa para capacitar consumidores a entender e controlar seus hábitos de consumo. Através de uma abordagem baseada em dados, oferecemos insights acionáveis que podem transformar a saúde financeira dos usuários, promovendo um consumo mais consciente e inteligente.
O SmartConsumer Insight Engine foi desenvolvido no Hackathon Elas+ Tech, onde o Esquadrão 12 transformou dados em inteligência acionável para o consumo. Nossa jornada focou em um sistema de análise financeira baseado na Tríplice Hélice da Inovação, visando modernização de serviços e impacto social.
Desde a identificação do problema de gastos excessivos em alimentação até a construção de uma arquitetura desacoplada com SQLite, Python e um modelo de Regressão Linear focado em Explainability (XAI), cada etapa buscou entregar valor e transparência.
Nossa apresentação nos posicionou entre os 10 melhores grupos de 54, reafirmando que a ciência de dados, orientada a produto e impacto, é um diferencial. Para detalhes sobre nossa experiência, desafios e aprendizados, consulte: Um pouco da nossa jornada
Agradecemos o seu interesse em contribuir com o SmartConsumer Insight Engine! Sua colaboração é muito valiosa para aprimorar este projeto. Abaixo estão algumas diretrizes para facilitar o processo de contribuição:
Se você encontrar um bug ou tiver uma ideia para uma nova funcionalidade, por favor, abra uma Issue no repositório. Ao fazer isso, siga as seguintes recomendações:
- Bugs: Descreva o problema detalhadamente, incluindo os passos para reproduzi-lo, o comportamento esperado e o comportamento observado. Se possível, inclua capturas de tela ou logs de erro.
- Sugestões de Funcionalidades: Explique a funcionalidade proposta, o problema que ela resolve e como ela se encaixa na visão geral do projeto.
Se você deseja contribuir com código, siga este fluxo:
- Fork o repositório.
- Clone o seu fork para a sua máquina local.
- Crie uma branch para a sua funcionalidade ou correção (
git checkout -b feature/minha-nova-featureoubugfix/correcao-de-bug). - Faça suas alterações e testes.
- Commit suas alterações com mensagens claras e descritivas (
git commit -m "feat: Adiciona nova funcionalidade X"oufix: Corrige bug Y). - Push suas alterações para o seu fork (
git push origin feature/minha-nova-feature). - Abra um Pull Request (PR) para a branch
maindo repositório original.
Agradecemos antecipadamente por suas contribuições!
Segue a lista de referências utilizadas para a construção do projeto:
- Dataset Kaggle: Spending Patterns Detailed
- Documentação SQLite
- Documentação Pandas
- Documentação Scikit-Learn
- Documentação Plotly
Nota: Este projeto é uma simulação para fins educacionais e não deve ser utilizado como aconselhamento financeiro real.