ы

app.py

@@ -20,9 +20,13 @@ model = AutoModelForCausalLM.from_pretrained(
     token=hf_token,
     torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
     device_map="auto",
+    offload_folder="offload",
+    offload_state_dict=True,
     trust_remote_code=True,
 )
 
+os.makedirs("offload", exist_ok=True)
+
 # Создаём пайплайн
 pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)