Update app.py

app.py

@@ -1,76 +1,22 @@
 import gradio as gr
-import requests
-import json
-import os
-from PIL import Image
+import huggingface
 
-def generate(description, image):
-    if image is None:
-        # No image uploaded, generate text only
-        return generate_text(description)
+# Загружаем модель
+model = huggingface.transformers.AutoModelForQuestionAnswering.from_pretrained("facebook/bart-base")
 
-    # Image uploaded, generate text with image caption
-    return generate_text_with_image(description, image)
+# Функция для генерации ответа
+def generate_answer(image, prompt):
+    # Получаем текст из изображения
+    text = huggingface.vision.ImageCaptioner.from_pretrained("facebook/bart-base").generate(image)
 
-def generate_text(description):
-    headers = {
-        'Content-Type': 'application/json',
-        'Authorization': f'Bearer {os.getenv("API_KEY")}'
-    }
+    # Если был указан дополнительный prompt, добавляем его к тексту
+    if prompt:
+        text += f" {prompt}"
 
-    payload = {
-        'prompt': f'{description}',
-        'max_tokens': 10000,
-        'model': os.getenv("MODEL")
-    }
+    # Генерируем ответ на вопрос
+    answer = model.generate(text=text, max_length=100, do_sample=True)
 
-    response = requests.post(os.getenv("BASE_URL"), headers=headers, json=payload)
-    data = json.loads(response.text)
+    return answer
 
-    if 'choices' in data and len(data['choices']) > 0:
-        command = data['choices'][0]['text'].strip()
-        return command
-    elif 'error' in data:
-        error_message = data['error']['message']
-        return f'Ошибка: {error_message}'
-    else:
-        return f'Не удалось сгенерировать текст. {data}'
-
-def generate_text_with_image(description, image):
-    # Preprocess image
-    image = Image.open(image).resize((224, 224))
-    image = image.convert('RGB')
-    image = image.tobytes()
-
-    # Convert image to base64 encoding
-    image_base64 = base64.b64encode(image).decode('utf-8')
-
-    headers = {
-        'Content-Type': 'application/json',
-        'Authorization': f'Bearer {os.getenv("API_KEY")}'
-    }
-
-    payload = {
-        'prompt': f'{description}',
-        'max_tokens': 10000,
-        'model': os.getenv("MODEL"),
-        'input_image': image_base64
-    }
-
-    response = requests.post(os.getenv("BASE_URL"), headers=headers, json=payload)
-    data = json.loads(response.text)
-
-    if 'choices' in data and len(data['choices']) > 0:
-        command = data['choices'][0]['text'].strip()
-        return command
-    elif 'error' in data:
-        error_message = data['error']['message']
-        return f'Ошибка: {error_message}'
-    else:
-        return f'Не удалось сгенерировать текст. {data}'
-
-iface = gr.Interface(fn=generate, inputs=[
-    gr.Textbox(label="Запрос"),
-    gr.File(label="Изображение")
-], outputs=gr.Textbox(label="Ответ"), title="GPT")
-iface.launch()
+# Создаем интерфейс gradio
+gr.Interface(generate_answer, inputs=[gr.Image(), gr.Text()], outputs=gr.Text(), title="Решение задач по фото")