Update app.py

app.py

@@ -1,22 +1,24 @@
 import gradio as gr
-import huggingface
+import torch
+from transformers import AutoModelForVisualQuestionAnswering
 
 # Загружаем модель
-model = huggingface.transformers.AutoModelForQuestionAnswering.from_pretrained("facebook/bart-base")
+model = AutoModelForVisualQuestionAnswering.from_pretrained("microsoft/visual-turing-nlg-question-answering")
 
-# Функция для генерации ответа
-def generate_answer(image, prompt):
-    # Получаем текст из изображения
-    text = huggingface.vision.ImageCaptioner.from_pretrained("facebook/bart-base").generate(image)
+# Создаем интерфейс gradio
+def generate_answer(image, prompt=None):
+    # Преобразуем изображение в тензор
+    image = torch.as_tensor(image)
 
-    # Если был указан дополнительный prompt, добавляем его к тексту
-    if prompt:
-        text += f" {prompt}"
+    # Если указан дополнительный prompt, добавляем его к запросу
+    if prompt is not None:
+        prompt = f"{prompt} {image.shape[1]} {image.shape[0]}"
 
-    # Генерируем ответ на вопрос
-    answer = model.generate(text=text, max_length=100, do_sample=True)
+    # Получаем ответ от модели
+    answer = model(image, prompt=prompt).logits[0].argmax(dim=-1)
 
+    # Возвращаем ответ
     return answer
 
-# Создаем интерфейс gradio
-gr.Interface(generate_answer, inputs=[gr.Image(), gr.Text()], outputs=gr.Text(), title="Решение задач по фото")
+# Создаем интерфейс
+gr.Interface(generate_answer, inputs=[gr.Image(), gr.Text()], outputs=gr.Text())