Update app.py

app.py

@@ -19,13 +19,15 @@ tokenizer.set_chat_template(tokenizer.chat_template)
 
 
 def generate_response(prompt):
-    full_response = ""  # 用於儲存完整的回應
+    full_response = ""
+    tokenpersec = "計算中..."
+    global response_box # 宣告 response_box 為全域變數
 
     def streamer(subword):
         nonlocal full_response
         full_response += subword
-        yield full_response  # 使用 yield 使 streamer 成為生成器
-        return ov_genai.StreamingStatus.RUNNING # 返回 StreamingStatus.RUNNING
+        response_box.update(value=full_response)  # 更新 Textbox 的內容
+        return ov_genai.StreamingStatus.RUNNING
 
     try:
         # 使用流式生成
@@ -38,16 +40,12 @@ def generate_response(prompt):
 
 
 # 建立 Gradio 介面
-demo = gr.Interface(
-    fn=generate_response,
-    inputs=gr.Textbox(lines=5, label="輸入提示 (Prompt)"),
-    outputs=[
-        gr.Textbox(label="tokens/sec"),
-        gr.Textbox(label="回應"),
-    ],
-    title="Qwen3-0.6B-int4-ov ",
-    description="基於 Qwen3-0.6B-int4-ov 推理應用，支援思考過程分離與 GUI。"
-)
+with gr.Blocks() as demo:
+    input_box = gr.Textbox(lines=5, label="輸入提示 (Prompt)")
+    response_box = gr.Textbox(label="回應", streaming=True) # 啟用 streaming
+    speed_box = gr.Textbox(label="tokens/sec")
+
+    input_box.change(fn=generate_response, inputs=input_box, outputs=[speed_box, response_box]) # 將輸入框的改變連接到 generate_response 函數
 
 if __name__ == "__main__":
     demo.launch()