no cache embeddings baches

app.py

@@ -6,6 +6,7 @@ from datasets import load_dataset, DownloadConfig
 import os
 import pickle
 from pathlib import Path
+import gc
 
 # 🔑 Configurar token de Hugging Face
 HF_TOKEN = os.getenv("HF_TOKEN")
@@ -44,24 +45,38 @@ def build_database():
     
     print("🔄 Calculando embeddings (esto puede tomar unos minutos)...")
     database = []
-    for i, item in enumerate(dataset):
-        try:
-            img = item["image"]
-            img_processed = preprocess_image(img)
-            embedding = DeepFace.represent(
-                img_path=img_processed,
-                model_name="Facenet",
-                enforce_detection=False
-            )[0]["embedding"]
-            database.append((f"image_{i}", img, embedding))
-            print(f"✅ Procesada imagen {i+1}/{len(dataset)}")
-        except Exception as e:
-            print(f"❌ No se pudo procesar imagen {i}: {e}")
+    batch_size = 10  # Procesar 10 imágenes a la vez
     
-    # Guardar embeddings en el archivo
-    print("💾 Guardando embeddings en el archivo...")
-    with open(EMBEDDINGS_FILE, 'wb') as f:
-        pickle.dump(database, f)
+    for i in range(0, len(dataset), batch_size):
+        batch = dataset[i:i + batch_size]
+        print(f"📦 Procesando lote {i//batch_size + 1}/{(len(dataset) + batch_size - 1)//batch_size}")
+        
+        for j, item in enumerate(batch):
+            try:
+                img = item["image"]
+                img_processed = preprocess_image(img)
+                embedding = DeepFace.represent(
+                    img_path=img_processed,
+                    model_name="Facenet",
+                    enforce_detection=False
+                )[0]["embedding"]
+                database.append((f"image_{i+j}", img, embedding))
+                print(f"✅ Procesada imagen {i+j+1}/{len(dataset)}")
+                
+                # Liberar memoria
+                del img_processed
+                gc.collect()
+                
+            except Exception as e:
+                print(f"❌ No se pudo procesar imagen {i+j}: {e}")
+        
+        # Guardar progreso después de cada lote
+        print("💾 Guardando progreso...")
+        with open(EMBEDDINGS_FILE, 'wb') as f:
+            pickle.dump(database, f)
+        
+        # Liberar memoria después de cada lote
+        gc.collect()
     
     return database
 
@@ -74,6 +89,11 @@ def find_similar_faces(uploaded_image):
             model_name="Facenet",
             enforce_detection=False
         )[0]["embedding"]
+        
+        # Liberar memoria
+        del img_processed
+        gc.collect()
+        
     except:
         return [], "⚠ No se detectó un rostro válido en la imagen."