Update app.py

app.py

@@ -26,7 +26,7 @@ def finish_chat():
 # 建立推論函式：使用 streamer 並回傳 generator 結果
 def generate_stream(prompt):
     q = queue.Queue()
-
+    tps_result = ""
     def streamer(subword):
         print(subword, end='', flush=True)
         q.put(subword)
@@ -34,6 +34,7 @@ def generate_stream(prompt):
 
     def worker():
         # 在背景 thread 中做推論
+        nonlocal tps_result
         gen_result = pipe.generate([prompt], streamer=streamer, max_new_tokens=4096)
         tps = gen_result.perf_metrics.get_throughput().mean
         tps_result = f"{tps:.2f} tokens/s"