IA : Installer un Modèle de Langage (LLM) avec Ollama

Source : https://www.linuxtricks.fr/wiki/ia-installer-un-modele-de-langage-llm-avec-ollama

Création d’un machine virtuelle sous Debian 12 avec accès SSH via le VPN.

SSH et PuTTY

• Changer le port pour SSH
• Utilisation de PuTTY depuis le réseau local ou à distance

Exemples de paramétrages à adapter pour Debian 12

• Modification de la variable d’environnement PATH pour pouvoir utiliser les commandes du Shell
• Modification du fichier sources.list sous Debian 11
• Exemple de paramétrages en IP fixe sous debian 11

Ollama est un outil open-source qui permet d'exécuter de grands modèles de langage (LLMs) localement sur votre propre ordinateur.

1. Installer Ollama :

En administrateur root (su)

Télécharger l’archive Ollama :

wget https://ollama.com/download/ollama-linux-amd64.tgz

Extraire l’archive :

tar -C /usr -xvzf ollama-linux-*.tgz

Créer un utilisateur et un groupe dédié (ollama):

useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama

Ajouter un utilisateur (mv) dans le groupe ollama :

usermod -a -G ollama mv

Création d’un service systemd :

nano /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=default.target

[CRTL] + [X] pour quitter l’éditeur nano.

[O] pour confirmer l’enregistrement des modifications.

[Entrée] pour confirmer le nom du fichier.

Recharger systemd :

systemctl daemon-reload

Activer et démarrer le service :

systemctl enable --now ollama

Pour voir les logs :

journalctl -u ollama

2. Commandes Ollama :

Toutes les commandes ollama peuvent être utilisées en tant qu'utilisateur classique du système (mv dans notre cas).

Pour lister les modèles installés :

ollama list

Installer le modèle llama3 (version légère que j'ai installée) :

ollama pull llama3

Exemple pour la version 70b (trop lourde pour moi !) :

ollama pull llama3:70b

Exécuter le modèle en mode interractif :

ollama run llama3

Exécuter le modèle en one shot :

ollama run llama3 "Qu'est ce que Fedora Linux?"

La suite...

Pour qu’Ollama écoute sur toutes les interfaces réseau