Llama 3 met behulp van Hugging Face

Op 18 april 2024 werd het nieuwste grote taalmodel van MetaAI, Llama 3, uitgebracht. Er werden twee versies aan gebruikers gepresenteerd: 8B en 70B. De eerste versie bevat meer dan 15K tokens en werd getraind op gegevens geldig tot maart 2023. De tweede, grotere versie werd getraind op gegevens geldig tot december 2023.

Stap 1. Bereid besturingssysteem voor

Update cache en pakketten

Laten we de pakketcache updaten en je besturingssysteem upgraden voordat je begint met het instellen van LLaMa 3. Let op dat we voor deze handleiding Ubuntu 22.04 LTS als besturingssysteem gebruiken:

sudo apt update && sudo apt -y upgrade

We moeten ook Python Installer Packages (PIP) toevoegen, als het nog niet aanwezig is in het systeem:

sudo apt install python3-pip

Installeer Nvidia-stuurprogramma's

Je kunt de geautomatiseerde hulpprogramma die standaard bij Ubuntu-distributies is inbegrepen, gebruiken:

sudo ubuntu-drivers autoinstall

Als alternatief kun je Nvidia-stuurprogramma's handmatig installeren. Vergeet niet de server opnieuw op te starten:

sudo shutdown -r now

Stap 2. Haal het model op

Log in op Hugging Face met je gebruikersnaam en wachtwoord. Ga naar de pagina die overeenkomt met de gewenste LLM-versie: Meta-Llama-3-8B of Meta-Llama-3-70B. Op het moment van publicatie van dit artikel, wordt de toegang tot het model verstrekt op individuele basis. Vul een kort formulier in en klik op de Verzenden knop:

Vraag toegang aan bij HF

Daarna ontvang je een bericht dat je aanvraag is ingediend:

Je krijgt toegang na 30-40 minuten en wordt hierover per e-mail op de hoogte gesteld.

Voeg SSH-sleutel toe aan HF

Genereer en voeg een SSH-sleutel toe die u kunt gebruiken in Hugging Face:

cd ~/.ssh && ssh-keygen

Als het sleutelpaar is gegenereerd, kun je de openbare sleutel weergeven in de terminal emulator:

cat id_rsa.pub

Kopieer alle informatie vanaf ssh-rsa tot en met usergpu@gpuserver zoals weergegeven op de volgende screenshot:

Open Hugging Face Profielinstellingen. Kies vervolgens SSH en GPG-sleutels en klik op de knop SSH-sleutel toevoegen:

Vul in het Sleutelnaam en plak de gekopieerde SSH-openbare sleutel uit de terminal. Sla de sleutel op door op Sleutel toevoegen te klikken:

Nu is je HF-account gekoppeld met de openbare SSH-sleutel. Het tweede deel (privésleutel) is opgeslagen op de server. De volgende stap is om een specifieke Git LFS (Large File Storage) extensie te installeren, die wordt gebruikt voor het downloaden van grote bestanden zoals neurale netwerkmodellen. Open je home-directory:

cd ~/

Download en voer het shell-script uit. Dit script installeert een nieuwe externe repository met git-lfs:

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash

Nu kun je het installeren met behulp van de standaard pakketbeheerder:

sudo apt-get install git-lfs

Laten we git configureren voor gebruik met onze HF-bijnaam:

git config --global user.name "John"

En gekoppeld aan het HF e-mail account:

git config --global user.email "john.doe@example.com"

Download het model

Open de doelmap:

cd /mnt/fastdisk

En begin met het downloaden van de repository. Voor dit voorbeeld hebben we voor de 8B-versie gekozen:

git clone git@hf.co:meta-llama/Meta-Llama-3-8B

Dit proces duurt ongeveer 5 minuten. Je kunt dit monitoren door het volgende commando uit te voeren in een andere SSH-console:

watch -n 0.5 df -h

Hier zie je hoe de vrije schijfruimte op de gemonteerde schijf afneemt, wat bevestigt dat de download vordert en de gegevens worden opgeslagen. De status wordt elke halve seconde vernieuwd. Om het handmatig stoppen met kijken, druk je op de sneltoets Ctrl + C.

Als alternatief kunt je btop installeren en het proces met deze tool monitoren:

sudo apt -y install btop && btop

Om de btop-tool af te sluiten, druk je op de Esc-toets en selecteer je Afsluiten.

Stap 3. Voer het model uit

Open de map:

cd /mnt/fastdisk

Download de Llama 3 repository:

git clone https://github.com/meta-llama/llama3

Verander de map:

cd llama3

Voer het voorbeeld uit:

torchrun --nproc_per_node 1 example_text_completion.py \
--ckpt_dir /mnt/fastdisk/Meta-Llama-3-8B/original \
--tokenizer_path /mnt/fastdisk/Meta-Llama-3-8B/original/tokenizer.model \
--max_seq_len 128 \
--max_batch_size 4

Nu kunt u Llama 3 gebruiken in uw applicaties.

Zie ook:

Bijgewerkt: 21.06.2024

Gepubliceerd: 19.04.2024

Hebt u nog vragen? Schrijf ons!