Update app.py

app.py

@@ -1,11 +1,14 @@
 import gradio as gr
-from transformers import BlipProcessor, BlipForConditionalGeneration
+from transformers import BlipProcessor, BlipForConditionalGeneration, pipeline
 from PIL import Image
 import requests
 
-# Carregar o modelo e o processador BLIP
+# Carregar o modelo BLIP para geração de descrições de imagens
 processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
-model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base")
+model_blip = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base")
+
+# Carregar um modelo de linguagem para análise nutricional (exemplo: GPT-Neo)
+nutrition_model = pipeline("text-generation", model="EleutherAI/gpt-neo-125M")
 
 def interpret_image(image):
     # Converter a imagem para o formato PIL se necessário
@@ -14,21 +17,50 @@ def interpret_image(image):
     
     # Processar a imagem e gerar a descrição
     inputs = processor(image, return_tensors="pt")
-    out = model.generate(**inputs)
+    out = model_blip.generate(**inputs)
     
     # Decodificar a saída para texto
     description = processor.decode(out[0], skip_special_tokens=True)
     
     return description
 
+def nutritional_analysis(image):
+    # Passo 1: Gerar descrição da imagem usando BLIP
+    description = interpret_image(image)
+    
+    # Passo 2: Criar um prompt para análise nutricional
+    prompt = (
+        f"Com base na descrição do prato de comida abaixo, forneça uma análise nutricional detalhada, "
+        f"incluindo estimativas de calorias, macronutrientes (carboidratos, proteínas, gorduras), "
+        f"e recomendações para melhorar o prato, se necessário.\n\n"
+        f"Descrição do prato: {description}\n\n"
+        f"Análise nutricional:"
+    )
+    
+    # Passo 3: Usar o modelo de linguagem para gerar a análise nutricional
+    analysis = nutrition_model(prompt, max_length=300, num_return_sequences=1)[0]['generated_text']
+    
+    # Retornar a descrição e a análise nutricional
+    return description, analysis
+
 # Interface Gradio
-iface = gr.Interface(
-    fn=interpret_image,
-    inputs=gr.Image(type="pil", label="Upload uma imagem"),
-    outputs=gr.Textbox(label="Descrição da Imagem"),
-    title="Interpretação de Imagens com BLIP",
-    description="Carregue uma imagem e o modelo BLIP irá gerar uma descrição."
-)
+with gr.Blocks() as demo:
+    gr.Markdown("# Agente Nutricionista com Análise de Imagens")
+    gr.Markdown("Carregue uma imagem de um prato de comida e receba uma descrição e uma análise nutricional detalhada.")
+    
+    with gr.Row():
+        image_input = gr.Image(type="pil", label="Upload de Imagem")
+        with gr.Column():
+            description_output = gr.Textbox(label="Descrição do Prato")
+            analysis_output = gr.Textbox(label="Análise Nutricional")
+    
+    submit_button = gr.Button("Analisar")
+    
+    def process_image(image):
+        description, analysis = nutritional_analysis(image)
+        return description, analysis
+    
+    submit_button.click(process_image, inputs=image_input, outputs=[description_output, analysis_output])
 
 # Iniciar o aplicativo
-iface.launch()
+demo.launch()