Serveur d’Inférence IA Local

Introduction Ce projet est un serveur centralisé d’intelligence artificielle conçu pour être exécuté sur un réseau local (LAN). Il permet aux autres machines du réseau d’envoyer des requêtes vers des modèles d’IA (LLM, Génération d’images, Vision) de manière asynchrone, grâce à une file d’attente FIFO persistante (SQLite). Fonctionnalités Principales Dashboard Lire la suite

Tests de modèles d’IA

Les tests ont été réalisés sur un Raspberry PI 5 possédant 8 GO de RAM à l’aide d’un programme Python fonctionnant sous un autre ordinateur dans le même réseau local en utilisant Ollama. Les performances de six modèles d’intelligence artificielle ont été évaluées sur la base du fichier log.txt généré Lire la suite

Ollama : Intégration de LLMs en local

Qu’est-ce qu’Ollama ? Ollama est une plateforme open-source permettant d’exécuter et d’intégrer facilement des modèles de langage avancés (LLMs) en local sur un ordinateur ou un serveur. Conçue pour les développeurs et les chercheurs, Ollama simplifie l’utilisation de l’intelligence artificielle sans dépendre d’une infrastructure cloud. Principales caractéristiques 1. Exécution locale Lire la suite

Par geo, il y a