Update Dockerfile
Browse files- Dockerfile +1 -1
Dockerfile
CHANGED
@@ -54,7 +54,7 @@ CMD bash -c "\
|
|
54 |
--model ${MODEL_ID} \
|
55 |
--port 1234 \
|
56 |
--dtype bfloat16 \
|
57 |
-
--gpu-memory-utilization 0.
|
58 |
--max-model-len 8192 & \
|
59 |
uvicorn app:app --host 0.0.0.0 --port 7860"
|
60 |
|
|
|
54 |
--model ${MODEL_ID} \
|
55 |
--port 1234 \
|
56 |
--dtype bfloat16 \
|
57 |
+
--gpu-memory-utilization 0.85 \
|
58 |
--max-model-len 8192 & \
|
59 |
uvicorn app:app --host 0.0.0.0 --port 7860"
|
60 |
|