app.py

import gradio as gr
import spaces 
import time 
import os 
key = (os.getenv('API_KEY'))

# Utiliser le jeton d'accès API pour charger le modèle
from transformers import pipeline

messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe = pipeline("text-generation", model="meta-llama/Meta-Llama-3-8B-Instruct", token=key)
pipe(messages)



@spaces.GPU(duration=240)


# Fonction de génération de texte
def generate_text(prompt):
    
    inputs = tokenizer(prompt, return_tensors="pt")
    
    response_ids = model.generate(inputs.input_ids)
    
    response_text = tokenizer.decode(response_ids[0], skip_special_tokens=True)

    return response_text 
# Définir une fonction pour l'interface de chat

def chatbot(message, history):
    return generate_text(message)
   
gr.ChatInterface(chatbot).launch()