Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
|
@@ -9,7 +9,8 @@ models = {
|
|
| 9 |
"microsoft/Phi-3.5-vision-instruct",
|
| 10 |
trust_remote_code=True,
|
| 11 |
torch_dtype=torch.float32, # CPU üzerinde çalıştığı için float32 kullanılıyor
|
| 12 |
-
device_map=
|
|
|
|
| 13 |
).eval()
|
| 14 |
}
|
| 15 |
|
|
|
|
| 9 |
"microsoft/Phi-3.5-vision-instruct",
|
| 10 |
trust_remote_code=True,
|
| 11 |
torch_dtype=torch.float32, # CPU üzerinde çalıştığı için float32 kullanılıyor
|
| 12 |
+
device_map="auto", # FlashAttention2 kontrolünü devre dışı bırakır
|
| 13 |
+
low_cpu_mem_usage=True # Daha az bellek kullanımı sağlar
|
| 14 |
).eval()
|
| 15 |
}
|
| 16 |
|