← Voltar

Espelho Inteligente com Assistente Virtual e Reconhecimento Facial

Projeto acadêmico desenvolvido na UTFPR para a disciplina de Oficinas de Integração 1, integrando hardware e software em um dispositivo do cotidiano através de IoT, Inteligência Artificial, Reconhecimento Facial e Comandos de Voz.

Smart Mirror in Operation

Funcionalidades

  • Assistente virtual personalizada (Zoey) com integração da API OpenAI
  • Interação por comando de voz com transcrição automática
  • Reconhecimento facial para autenticação e interface personalizada
  • Exibição de informações em tempo real: data, hora, clima, notícias, ações, placares esportivos e versículos bíblicos
  • Ativação automática da interface por sensor de movimento (HC-SR501)
  • Leitura de temperatura e umidade com sensor DHT11

Hardware

  • Raspberry Pi 3B+
  • Sensor de movimento HC-SR501
  • Sensor de temperatura e umidade DHT11
  • Câmera (para reconhecimento facial)
  • Microfone (para entrada de voz)
  • Monitor LCD + vidro com película (espelho improviso)
  • Frame touch

Software

  • Python 3.11 (backend)
  • OpenCV (reconhecimento facial)
  • SpeechRecognition + ChatGPT API (comando de voz e assistente virtual)
  • FastAPI (servidor backend)
  • HTML, CSS, JavaScript (frontend/interface)
  • SQLite (banco de dados local)
  • APIs externas: NewsAPI, InfoMoney, BibliaOn, CNNBrasil

Inteligência Artificial

A assistente virtual Zoey foi implementada usando a API da OpenAI (modelo GPT-4-o-mini). Capaz de interagir com usuários por voz, responder perguntas, fornecer notícias e até manter diálogos simples. A personalidade e comportamento da Zoey foram customizados para garantir uma experiência única no contexto do espelho inteligente.

Reconhecimento Facial

Implementado com OpenCV e o algoritmo LBPH (Local Binary Patterns Histograms). Cada usuário possui um perfil único, com widgets personalizados e autenticação baseada em similaridade facial (>60% de precisão). O sistema armazena dados faciais com segurança em banco local e carrega a interface apenas para usuários reconhecidos.

Resultados

Sistema funcional com todas as funcionalidades planejadas implementadas com sucesso. Reconhecimento facial robusto e seguro. Interface intuitiva e responsiva. Sensor de movimento altamente confiável. A única limitação foi o espelho improviso com película, que não atingiu o mesmo nível de reflexividade de um espelho profissional two-way.

Vídeo do Projeto

Ver no GitHub