hsuwill000 commited on
Commit
8c67e00
·
verified ·
1 Parent(s): f8000d9

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +1 -16
app.py CHANGED
@@ -8,24 +8,10 @@ import re
8
  # 下載模型
9
  model_ids = [
10
  "OpenVINO/Qwen3-0.6B-int4-ov",
11
- #"OpenVINO/Qwen3-0.6B-int8-ov",
12
- #"OpenVINO/Qwen3-0.6B-fp16-ov",
13
-
14
  "OpenVINO/Qwen3-1.7B-int4-ov",
15
- #"OpenVINO/Qwen3-1.7B-int8-ov",
16
- #"OpenVINO/Qwen3-1.7B-fp16-ov",
17
-
18
  #"OpenVINO/Qwen3-4B-int4-ov",#不可用
19
- #"OpenVINO/Qwen3-4B-int8-ov",
20
- #"OpenVINO/Qwen3-4B-fp16-ov",
21
-
22
  "OpenVINO/Qwen3-8B-int4-ov",
23
- #"OpenVINO/Qwen3-8B-int8-ov",
24
- #"OpenVINO/Qwen3-8B-fp16-ov",
25
-
26
  "OpenVINO/Qwen3-14B-int4-ov",
27
- #"OpenVINO/Qwen3-14B-int8-ov",
28
- #"OpenVINO/Qwen3-14B-fp16-ov",
29
 
30
  ]
31
 
@@ -74,8 +60,7 @@ demo = gr.Interface(
74
  ],
75
  outputs=[
76
  gr.Textbox(label="tokens/sec"),
77
- #gr.Textbox(label="回應")
78
- gr.Markdown(label="回應")
79
  ],
80
  title="Qwen3 Model Inference",
81
  description="基於 Qwen3 推理應用,支援思考過程分離與 GUI。"
 
8
  # 下載模型
9
  model_ids = [
10
  "OpenVINO/Qwen3-0.6B-int4-ov",
 
 
 
11
  "OpenVINO/Qwen3-1.7B-int4-ov",
 
 
 
12
  #"OpenVINO/Qwen3-4B-int4-ov",#不可用
 
 
 
13
  "OpenVINO/Qwen3-8B-int4-ov",
 
 
 
14
  "OpenVINO/Qwen3-14B-int4-ov",
 
 
15
 
16
  ]
17
 
 
60
  ],
61
  outputs=[
62
  gr.Textbox(label="tokens/sec"),
63
+ gr.Textbox(label="回應"),
 
64
  ],
65
  title="Qwen3 Model Inference",
66
  description="基於 Qwen3 推理應用,支援思考過程分離與 GUI。"