Intro

L’idée est d’expérimenter, tous azimuts et sans discrimination de prix, toutes les possibilités logicielles et matérielles pour ne garder que le meilleur et concevoir une sorte de compagnon domestique et domotique dopé à l’IA. Quelque chose de drôle qui serait toujours là, au courant de tout, et prêt à rendre service. Comme les amis-robots de J.F. Sebastian dans Blade Runner.

Objectif de cette étape

• Se familiariser avec l’utilisation de l’API d’OpenAI sur un site web pour un chatbot personnalisé.
• Se familiariser avec le TTS du navigateur.
• Implémenter l’historique des conversations en Javascript (l’API OpenAI ne le permet pas)
• Simuler un accès à Internet par l’ajout de fils d’actualités RSS au prompt.

Le prototype #1 (PHP/Javascript)

Le micro custom ^^

Requis

• Aucun hardware requis.
• Un site en localhost.

Features

• STT (via le bouton micro) et TTS (voix générée gratuitement dans le navigateur).
• Simulation d’accès à Internet par scrapping de fils d’actualités RSS en temps réel.
• Historique de contexte implémenté (⚠️ l’utilisation de ChatGPT par API ne permet pas l’historisation du contexte : il oublie à chaque échange ! Il faut inévitablement l’implémenter).
• Base de données customs pour surcharger le prompt personnalisé (environ 25.000 tokens)
• Accès aux agendas, aux mails, SMS reçus et envoyés, historiques Plex…

Avantages

• Réponses très personnalisées !
• Nécessite uniquement un abonnement à un LLM (gratuit si Ollama en local).

Inconvénients et limites

• Navigateur très tatillon avec la vie privée, en particulier l’activation du micro.
• Navigateur tatillon avec les vidéos en autoplay.
• Compliqué aussi de faire le pont avec le système domotique (architecture REST tentaculaire).
• Pas d’accès aux caméras ni à aucun device domotique.
• Pas de wake word (le mot qui réveille) : il faut cliquer sur le bouton “micro” pour relancer un échange. Nécessite donc une souris à portée.
• Aucune voix personnalisable. La voix change par ailleurs selon le navigateur 🙁

Conclusion

• Rigolo un moment sur une grande télé avec un micro déporté.
• Mais mêmes les enfants s’en lassent vite : c’est répétitif.
• Ca manque d’interaction ! Entre autres, une caméra et un accès complet et natif à la domotique pour interagir avec l’environnement.

➡️ Passage à l’étape 2 !