Update app.py

app.py

@@ -19,26 +19,46 @@ tokenizer.set_chat_template(tokenizer.chat_template)
 
 
 def generate_response(prompt):
+    full_response = ""
+    tokenpersec = ""  # 初始化
+
+    def streamer(subword):
+        nonlocal full_response
+        nonlocal tokenpersec  # 声明 nonlocal
+        full_response += subword
+        yield tokenpersec, full_response  # 使用 yield 逐步更新
+
     try:
-        generated = pipe.generate([prompt], max_length=1024)
+        pipe.start_chat()
+        generator = pipe.generate(prompt, streamer=streamer, max_new_tokens=1024)  # 建立生成器
+        
+        # 迭代生成器，產生流式更新
+        for tokenpersec, response_chunk in generator:
+            yield tokenpersec, response_chunk # 產生中間更新
+
+        pipe.finish_chat()
+        
+        generated = pipe.generate([prompt], max_length=1024) # 為了得到 perf_metrics
         tokenpersec=f'{generated.perf_metrics.get_throughput().mean:.2f}'
 
-        return tokenpersec, generated
+        yield tokenpersec, full_response  # 產生最終完整更新
+
     except Exception as e:
-        return "發生錯誤", "發生錯誤", f"生成回應時發生錯誤：{e}"
-    
+        yield "發生錯誤", f"生成回應時發生錯誤：{e}"
+
 
 # 建立 Gradio 介面
 demo = gr.Interface(
     fn=generate_response,
-    inputs=gr.Textbox(lines=1, label="輸入提示 (Prompt)"),
+    inputs=gr.Textbox(lines=5, label="輸入提示 (Prompt)"),
     outputs=[
         gr.Textbox(label="tokens/sec"),
-        gr.Textbox(label="回應")
+        gr.Markdown(label="回應") # 使用 Markdown
     ],
     title="Qwen3-0.6B-int4-ov ",
-    description="基於 Qwen3-0.6B-int4-ov 推理應用，支援思考過程分離與 GUI。"
+    description="基於 Qwen3-0.6B-int4-ov 推理應用，支援思考過程分離與 GUI。 使用Markdown顯示"
 )
 
 if __name__ == "__main__":
+    demo.queue()
     demo.launch()