Update app.py

app.py

@@ -27,11 +27,14 @@ bnb_config = BitsAndBytesConfig(load_in_8bit=True)  # Cargar en 8-bit para reduc
 
 model = AutoModelForCausalLM.from_pretrained(
     MODEL_NAME,
-    torch_dtype=torch.float32,  # Forzar CPU con float32
-    device_map={"": "cpu"},  # Usar solo CPU
+    torch_dtype=torch.float16,  # Usa menos RAM que float32
+    low_cpu_mem_usage=True,  # Reduce uso de memoria en CPU
+    device_map={"": "cpu"},
     token=HF_TOKEN
 )
 
+)
+
 
 
 # Memoria conversacional