Update app.py

app.py

@@ -3,6 +3,8 @@ import numpy as np
 import os
 from dotenv import load_dotenv
 import pandas as pd
+from transformers import Blip2Processor, Blip2ForConditionalGeneration
+import torch
 
 # Carrega variáveis de ambiente
 load_dotenv()
@@ -10,6 +12,30 @@ load_dotenv()
 # Obtém a API key da variável de ambiente
 API_KEY = os.getenv('NUTRITION_API_KEY', '')
 
+# Carrega o modelo BLIP2 para identificação de alimentos
+model_name = "Salesforce/blip2-opt-2.7b"
+processor = Blip2Processor.from_pretrained(model_name)
+model = Blip2ForConditionalGeneration.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto")
+
+def identify_foods(image):
+    """
+    Usa o modelo BLIP2 para identificar alimentos na imagem
+    """
+    prompt = "Liste todos os alimentos visíveis nesta imagem de refeição."
+    inputs = processor(image, text=prompt, return_tensors="pt").to(model.device)
+    
+    outputs = model.generate(
+        **inputs,
+        max_new_tokens=100,
+        do_sample=False,
+        num_beams=5,
+        temperature=1.0,
+        top_p=0.9,
+    )
+    
+    description = processor.decode(outputs[0], skip_special_tokens=True)
+    return description
+
 def analyze_nutrition(image):
     """
     Função principal que processa a imagem e retorna os resultados formatados
@@ -17,6 +43,9 @@ def analyze_nutrition(image):
     try:
         if not API_KEY:
             raise ValueError("API Key não encontrada nas variáveis de ambiente. Configure NUTRITION_API_KEY no arquivo .env")
+        
+        # Identifica os alimentos na imagem
+        identified_foods = identify_foods(image)
             
         # Simula resultado da análise (aqui você usaria a API_KEY para fazer a requisição real)
         nutrients = {
@@ -53,14 +82,18 @@ def analyze_nutrition(image):
             
         recommendations_text = "\n".join(recommendations) if recommendations else "✅ Valores nutricionais dentro das recomendações!"
         
+        # Formata a descrição dos alimentos identificados
+        foods_identified = f"🔍 Alimentos Identificados:\n{identified_foods}"
+        
         return {
             "message": "Análise concluída com sucesso!",
-            "nutrients": nutrients
-        }, plot_data, table_data, recommendations_text
+            "nutrients": nutrients,
+            "foods_identified": foods_identified
+        }, plot_data, table_data, foods_identified, recommendations_text
         
     except Exception as e:
         error_json = {"error": str(e)}
-        return error_json, None, None, f"Erro na análise: {str(e)}"
+        return error_json, None, None, f"Erro na análise: {str(e)}", ""
 
 # Interface Gradio
 with gr.Blocks(theme=gr.themes.Soft()) as iface:
@@ -83,6 +116,12 @@ with gr.Blocks(theme=gr.themes.Soft()) as iface:
         with gr.Column(scale=2):
             # Outputs
             with gr.Tab("Resumo"):
+                with gr.Row():
+                    foods_detected = gr.Textbox(
+                        label="Alimentos Identificados",
+                        lines=3
+                    )
+                
                 with gr.Row():
                     recommendations = gr.Textbox(
                         label="Recomendações",
@@ -112,7 +151,7 @@ with gr.Blocks(theme=gr.themes.Soft()) as iface:
     analyze_btn.click(
         fn=analyze_nutrition,
         inputs=[image_input],
-        outputs=[json_output, macro_plot, nutri_table, recommendations]
+        outputs=[json_output, macro_plot, nutri_table, foods_detected, recommendations]
     )
     
     gr.Markdown("""