app.py

import gradio as gr
from transformers import AutoTokenizer, AutoModelForCausalLM
import warnings

# Ignorowanie ostrzeżeń o przestarzałym formacie wiadomości
warnings.filterwarnings("ignore", category=UserWarning, module="gradio.components.chatbot")

# Ładowanie modelu
model_name = "allegro/herbert-base-cased"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

def generate_response(prompt):
    inputs = tokenizer.encode(prompt, return_tensors="pt")
    outputs = model.generate(
        inputs,
        max_length=150,
        num_return_sequences=1,
        do_sample=True,
        temperature=0.7,
        top_k=50,
        top_p=0.95,
    )
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

def chat(message, history):
    formatted_history = ""
    if history:
        for human, ai in history:
            formatted_history += f"Użytkownik: {human}\nAI: {ai}\n"
    
    prompt = f"{formatted_history}Użytkownik: {message}\nAI:"
    response = generate_response(prompt)
    return response.replace(prompt, "").strip()

# Prostszy interfejs bez przykładów, które mogą powodować problemy
demo = gr.Interface(
    fn=chat,
    inputs=gr.Textbox(lines=2, placeholder="Wpisz swoje pytanie..."),
    outputs="text",
    title="Polski ChatAI",
    description="Rozmawiaj ze mną po polsku!"
)

demo.launch()