app.py

import gradio as gr
import huggingface

# Загружаем модель
model = huggingface.transformers.AutoModelForQuestionAnswering.from_pretrained("facebook/bart-base")

# Функция для генерации ответа
def generate_answer(image, prompt):
    # Получаем текст из изображения
    text = huggingface.vision.ImageCaptioner.from_pretrained("facebook/bart-base").generate(image)

    # Если был указан дополнительный prompt, добавляем его к тексту
    if prompt:
        text += f" {prompt}"

    # Генерируем ответ на вопрос
    answer = model.generate(text=text, max_length=100, do_sample=True)

    return answer

# Создаем интерфейс gradio
gr.Interface(generate_answer, inputs=[gr.Image(), gr.Text()], outputs=gr.Text(), title="Решение задач по фото")