Update app.py

app.py

@@ -2,10 +2,8 @@ import os
 os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0"  # отключаем нестабильную загрузку
 
 import torch
+import gradio as gr
 from transformers import AutoTokenizer, AutoModelForCausalLM
-from fastapi import FastAPI
-from fastapi.middleware.cors import CORSMiddleware
-from pydantic import BaseModel
 
 model_id = "sberbank-ai/rugpt3medium_based_on_gpt2"
 
@@ -21,8 +19,9 @@ context = (
     "расположенный в городе Иннополис, Татарстан.\n"
 )
 
-def respond(message: str) -> str:
+def respond(message, history=None):
     prompt = f"Прочитай текст и ответь на вопрос:\n\n{context}\n\nВопрос: {message}\nОтвет:"
+
     input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
 
     with torch.no_grad():
@@ -37,6 +36,7 @@ def respond(message: str) -> str:
 
     full_output = tokenizer.decode(output_ids[0], skip_special_tokens=True)
 
+    # Извлекаем только текст после "Ответ:"
     if "Ответ:" in full_output:
         answer = full_output.split("Ответ:")[-1].strip()
     else:
@@ -44,27 +44,12 @@ def respond(message: str) -> str:
 
     return answer
 
-app = FastAPI(title="Иннополис бот API")
-
-app.add_middleware(
-    CORSMiddleware,
-    allow_origins=["*"],  # можно указать конкретный домен
-    allow_credentials=True,
-    allow_methods=["*"],
-    allow_headers=["*"],
+iface = gr.ChatInterface(
+    fn=respond,
+    title="Бот об Университете Иннополис (на русском)",
+    chatbot=gr.Chatbot(label="Диалог"),
+    textbox=gr.Textbox(placeholder="Задай вопрос на русском...", label="Твой вопрос")
 )
 
-class QuestionRequest(BaseModel):
-    question: str
-
-class AnswerResponse(BaseModel):
-    answer: str
-
-@app.post("/api/ask", response_model=AnswerResponse)
-def ask_question(request: QuestionRequest):
-    answer = respond(request.question)
-    return {"answer": answer}
-
 if __name__ == "__main__":
-    import uvicorn
-    uvicorn.run(app, host="0.0.0.0", port=8000)
+    iface.launch()