import gradio as gr import requests import os import base64 from PIL import Image import io # Функция для кодирования изображения в base64 def encode_image_to_base64(image): buffered = io.BytesIO() image.save(buffered, format="JPEG") img_str = base64.b64encode(buffered.getvalue()).decode("utf-8") return img_str # Функция для отправки запроса в OpenAI с изображением и получения ответа def ask_openai_with_image(instruction, image): # Убираем пробелы с начала и конца инструкции instruction = instruction.strip() if image != None: # Кодируем загруженное изображение в base64 base64_image = encode_image_to_base64(image) # Создаем данные для запроса с закодированным изображением payload = { "model": "gpt-4-vision-preview", "messages": [ { "role": "user", "content": instruction, }, { "role": "system", "content": f"data:image/jpeg;base64,{base64_image}", } ], "max_tokens": 4095, } if image == None: # Создаем данные для запроса с закодированным изображением payload = { "model": "gpt-4-vision-preview", "messages": [ { "role": "user", "content": instruction, } ], "max_tokens": 4095, } # API ключ для OpenAI api_key = os.getenv("API_KEY") # Заголовки для запроса headers = { 'Authorization': f'Bearer {api_key}', 'Content-Type': 'application/json', } # URL для запроса к API OpenAI url = "https://api.openai.com/v1/chat/completions" # Отправляем запрос в OpenAI response = requests.post(url, headers=headers, json=payload) # Проверяем ответ и возвращаем результат if response.status_code == 200: response_json = response.json() try: # Пытаемся извлечь текст из ответа return response_json["choices"][0]["message"]["content"] except Exception as e: # Если есть ошибка в структуре JSON, выводим ее return f"Error processing the image response: {e}" else: # Если произошла ошибка, возвращаем сообщение об ошибке return f"Error: {response.status_code} - {response.text}" # Создаем интерфейс с помощью Gradio with gr.Blocks() as demo: with gr.Row(): with gr.Column(): instructions = gr.Textbox(label="Prompt") image_input = gr.Image(label="Изображение", type="pil") submit_button = gr.Button("Генерация") with gr.Column(): output_markdown = gr.Markdown(label="AI Response") submit_button.click( fn=ask_openai_with_image, inputs=[instructions, image_input], outputs=[output_markdown] ) demo.launch()