Update app.py

app.py

@@ -1,15 +1,13 @@
-import os
-os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0"  # отключаем нестабильную загрузку
-
-import torch
-import gradio as gr
+from fastapi import FastAPI
+from pydantic import BaseModel
 from transformers import AutoTokenizer, AutoModelForCausalLM
+import torch
 
-model_id = "sberbank-ai/rugpt3medium_based_on_gpt2"
+app = FastAPI()
 
+model_id = "sberbank-ai/rugpt3medium_based_on_gpt2"
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 model = AutoModelForCausalLM.from_pretrained(model_id)
-
 device = "cuda" if torch.cuda.is_available() else "cpu"
 model.to(device)
 
@@ -19,9 +17,12 @@ context = (
     "расположенный в городе Иннополис, Татарстан.\n"
 )
 
-def respond(message, history=None):
-    prompt = f"Прочитай текст и ответь на вопрос:\n\n{context}\n\nВопрос: {message}\nОтвет:"
+class Question(BaseModel):
+    message: str
 
+@app.post("/ask")
+def ask(q: Question):
+    prompt = f"{context}\nВопрос: {q.message}\nОтвет:"
     input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
 
     with torch.no_grad():
@@ -34,22 +35,10 @@ def respond(message, history=None):
             pad_token_id=tokenizer.eos_token_id
         )
 
-    full_output = tokenizer.decode(output_ids[0], skip_special_tokens=True)
-
-    # Извлекаем только текст после "Ответ:"
-    if "Ответ:" in full_output:
-        answer = full_output.split("Ответ:")[-1].strip()
+    output = tokenizer.decode(output_ids[0], skip_special_tokens=True)
+    if "Ответ:" in output:
+        answer = output.split("Ответ:")[-1].strip()
     else:
-        answer = full_output[len(prompt):].strip()
-
-    return answer
-
-iface = gr.ChatInterface(
-    fn=respond,
-    title="Бот об Университете Иннополис",
-    chatbot=gr.Chatbot(label="Диалог"),
-    textbox=gr.Textbox(placeholder="Задай вопрос на русском...", label="Твой вопрос")
-)
+        answer = output.strip()
 
-if __name__ == "__main__":
-    iface.launch()
+    return {"answer": answer}