Update Dockerfile
Browse files- Dockerfile +2 -1
Dockerfile
CHANGED
|
@@ -54,7 +54,8 @@ CMD bash -c "\
|
|
| 54 |
--model $MODEL_ID \
|
| 55 |
--port 1234 \
|
| 56 |
--dtype bfloat16 \
|
| 57 |
-
--gpu-memory-utilization 0.
|
|
|
|
| 58 |
uvicorn app:app --host 0.0.0.0 --port 7860"
|
| 59 |
|
| 60 |
|
|
|
|
| 54 |
--model $MODEL_ID \
|
| 55 |
--port 1234 \
|
| 56 |
--dtype bfloat16 \
|
| 57 |
+
--gpu-memory-utilization 0.9 \
|
| 58 |
+
--max-model-len 8192
|
| 59 |
uvicorn app:app --host 0.0.0.0 --port 7860"
|
| 60 |
|
| 61 |
|