Détails

Écrit par : Super User

Catégorie : Informatique

Publié le : 27 Septembre 2023

Clics : 2566

• vie privée
• IA
• Tuto

Bonjour !

Installer son "ChatGPT" personnel et hors ligne sur son propre PC est possible.
Mais... je n'ai pas réussi !
Je vous laisse ce petit tuto quand même

1- installer oobabooga (l'interface utilisateur qui va pouvoir se servir d'une IA (ici, le projet est d'installer
StableLM)

 

Requis avant l'installation:
Un dossier de préférence à la base d'un disque dur secondaire contenu dans un dossier ou plusieurs dossier avec un nom sans espace (ex "Mon Dossier": NON.... mais "Mon_Dossier" ou "MonDossier": oui (etc)

Il faut une bibliothèque Windows: Microsoft Visual C++ 14.0" ou supérieur ! (installez là avant ! (pour l'explication détaillée, regardez plus bas, voici le lien au cas où: https://visualstudio.microsoft.com/fr/visual-cpp-build-tools/)
Une carte graphique Nvidia exclusivement de plus de 4gb est plus que conseillée mais optionnelle (mais ça va prendre un temps de dingue sans pour calculer des réponses sans +++++)... Autre chose, cette version actuelle ne comprend que l'anglais et ne répond .... qu'en anglais, et parfois très mal et sans empathie, méfiez vous, ça peut être brutal !
Il faut aussi un très gros disque dur, 1to, c'est bien ! (500go, ça marche, mais vous allez le remplir qu'avec vos IA. La simple installation sans IA d'OObabooga prend tranquillement 12.6go actuellement sur le disque dur.
L'IA va vous réclamer une base de donnée de minimum 12GO (ou de 32go si vous prenez la version plus complête) et la mise à jour progressive de StableLM risque de créer des fichiers plus importants, jusqu'à 150go ou plus (la taille actuelle de ChatGPT pour mémoire)...
Stable diffusion vu sa taille est un objet de curiosité mais faisant donc plus d'erreurs que ChatGPT mais a le mérite d'être libre, marcher sans connection internet, peut apprendre de vous, et protéger votre intimité du net (vos données restent à la maison).
C'est bon ?, tout est ok en amont ? on peut continuer l'installation !

Allez, on va installer tout ça !

Allez ici:
https://github.com/oobabooga/one-click-installers

Cliquez sur  <>CODE

Téléchargez "Télécharger ZIP"

Décompresser ce fichier ZIP ( qui s'appelle "one-click-installers-main.zip" où vous voulez (mais il ne faudra plus le déplacer ensuite +++)
Personnellement, je l'ai mis à la racine d'une autre disque dur D: par exemple.
Avant l'installation, vous pouvez le renommer comme vous le souhaitez.
J'ai renommé le répertoire "one-click-installers-main" en "oobabooga" par exemple.

Il faut que tous les répertoires actuels ou ceux d'avant dans lequel est contenu votre dossier décompressé ne possêde pas de blanc dans le nom du répertoire, sinon, ça plante.
si vous décompressez le dossier zippé d'installation d'Oobabooga dans "Mon Dossier", ça ne marchera pas.
Il faudra renommer "Mon Dossier" en "Mon_Dossier" par exemple +++++

Quand vous êtes prêt, et si vous êtes sur windows,

Cliquez sur "start_windows.bat"  et non pas "update_windows.bat" et lancer le script d'installation (puis levez vous pour vous faire un café, c'est un poil long, il y a un tsunami de fichiers qui vont arriver.

Une pause se fait dans l'installation avec cette question:

What is your GPU

A) NVIDIA
B) AMD (Linux/MacOS only. Requires ROCm SDK 5.4.2/5.4.3 on Linux)
C) Apple M Series
D) None (I want to run models in CPU mode)

Input>

Si vous avez une carte graphique Nvidia vaec 4gb de mémoire minimum (ou plus évidemment !):
Tapez A puis [Entrée]

Si vous n'avez pas de carte graphique:
Tapez D puis [Entrée]

SI vous avez une carte graphique, le traitement sera très rapide, quasi instantanée.
SI vous n'en n'avez pas, ça marche aussi mais ça sera dix à vingt fois plus lent .... (au secours !!!)

En cas de soucis pendant l'installation:

Si il vous manque une bibliothèque Microsoft: "Microsoft Visual C++ 14.0"
Regardez par ici: https://visualstudio.microsoft.com/fr/visual-cpp-build-tools/
(installez les derniers packages MSVC ..... vous pouvez aussi jeter un coup d'oeil à cette FAQ: https://answers.microsoft.com/en-us/windows/forum/all/microsoft-visual-c-140/6f0726e2-6c32-4719-9fe5-aa68b5ad8e6d?page=2 )

(mais il faudra savoir sagement arrêter l'installation de StableLM, puis installer les bibliothèques Microsoft manquantes, redémarrer son PC puis relancer l'installation.... La cafetière du début est utile comme vous le voyez).

Retournez dans la fenêtre noire d'installation d"Oobabooga.
Tapez: [CTRL]+C pour arrêter le script d'installation proprement (cf la ligne verte en bas), tapez O puis redémarrer votre PC pour installler cette maudite bibliothèque puis recommencer à partir du début l'installation d'Oobabooga.

Building wheels for collected packages: hnswlib Building wheel for hnswlib (pyproject.toml) ... error error: subprocess-exited-with-error × Building wheel for hnswlib (pyproject.toml) did not run successfully. │ exit code: 1 ╰─> [5 lines of output] running bdist_wheel running build running build_ext building 'hnswlib' extension error: Microsoft Visual C++ 14.0 or greater is required. Get it with "Microsoft C++ Build Tools": https://visualstudio.microsoft.com/visual-cpp-build-tools/ [end of output] note: This error originates from a subprocess, and is likely not a problem with pip. ERROR: Failed building wheel for hnswlib Failed to build hnswlib ERROR: Could not build wheels for hnswlib, which is required to install pyproject.toml-based projects Command '"D:\Oobabooga\installer_files\conda\condabin\conda.bat" activate "D:\Oobabooga\installer_files\env" >nul && python -m pip install -r extensions\superboogav2\requirements.txt --upgrade' failed with exit status code '1'. Exiting... Appuyez sur une touche pour continuer... Terminer le programme de commandes (O/N) ?

Et on recommence .... GRAOUMPF !
On efface tout le répertoire d'Oobabooga et on recommence de zéro !!!

Lancer l'interface utilisateur.

On arrive enfin au bout de l'installation et on peut ouvrir enfin l'interface utilisateur:

Surligner à la souris ce lien puis faites "[CTRL] + C" (on copie ce lien).
Ouvrez votre navigateur web puis coller ce lien internet local dedans.
ici, pour moi, c'est http://127.0.0.1:7860 (sinon recopiez votre propre lien généré dans l'installation qui peut être différent du mien qui a été généré !.

L'interface utilisateur n'est qu'une coquille vide.
Ne tapez rien, il ne vous répondra pas, car il manque le cerveau numérique, une intelligence artificielle que l'on va installer de suite !

 
Changez d'onglet...
On a deux possibilités pour Stable diffusion:
Une version à 3 billions de paramêtres qui pèse.... 12go: https://huggingface.co/stabilityai/stablelm-base-alpha-3b
une version à 7 billions de paramêtres qui pèse.... 32go: https://huggingface.co/stabilityai/stablelm-tuned-alpha-7b

Donc on choisira la bibliothèque adaptée à son usage...
Légère ou complête mais plus lourde à gérer pour son PC...

Quand le lien est copié sur le site d'huggingFace,
On revient sur son interface utilisateur dans l'onglet "model".

On colle le lien dans "Download model or Lora" (1) puis on clique sur Download (2)

Puis on repart boire un café !

Après avoir fini la cafetière on obtient ça:

Activons le !
Il suffit de cliquer sur raffraichir (le bouton bleu) (1)
Puis de choisir le modele que l'on a téléchargé (qui est apparu dans la liste après raffraichissement) (2)

puis cliquez sur "LOAD" (le bouton juste à droite de (1) (et aller reprendre un café !!!)

Si ça rame trop:
Sélectionner:
[X] Auto-Devices
[X] Load-in-8bits
(ou si c'est pas encore top, load-in-4bits)

Et on relance le chargementen retapant sur l'icone LOAD.

PS: j'ai du lancer le LOAD en mode 4bit ....(ça plantait en 8bits)
Et ça ne marche pas du tout chez moi en version StableLM avec 7 billions de paramêtres:
Mon Pc n'est pas assez puissant. (une carte graphique Nvidia de 4gb)
Je passe donc en stableLM 3 billions de paramêtres .... alias "stabilityai/stablelm-base-alpha-3b".

ça ne marche toujours pas ! (trop lourd pour mon PC, un truc m'échappe)


J'arrête donc le test de StableLM et j'essaye un de ses concurrents Vicuna:
https://huggingface.co/lmsys/vicuna-13b-delta-v1.1

Weights version	Link	FastChat version compatibility	Base Model	Release Date	Fine-tuning Data
v1.5	7B, 7B-16k, 13B, 13B-16k	>=0.2.21	Llama 2	Aug. 1, 2023	370M tokens

Installation identique que pour StableLM mais c'est déjà préconfiguré en interne:
Il faudra donc configurer Oobabooga en model ExLlama 2 puis charger ce modèle ....
On va voir .....

Ne marche pas.
Je réessaye via ce modele;
https://huggingface.co/anon8231489123/vicuna-13b-GPTQ-4bit-128g/tree/main


Source:
Ce tuto est tiré d'une vidéo d'un youtubeur:
https://www.youtube.com/watch?v=2T3aAamOZo8

Mais franchement, 15 mn de baratin, ça saoule.