Update app.py

app.py

@@ -30,6 +30,7 @@ def finish_chat():
 	
 # 建立推論函式：使用 streamer 並回傳 generator 結果
 def generate_stream(prompt):
+    prompt = prompt + " /no_think"
     q = queue.Queue()
     tps_result = ""
     def streamer(subword):
@@ -40,7 +41,6 @@ def generate_stream(prompt):
     def worker():
         # 在背景 thread 中做推論
         nonlocal tps_result
-        prompt = prompt + "/no_think"
         gen_result = pipe.generate([prompt], streamer=streamer, max_new_tokens=32767)
         tps = gen_result.perf_metrics.get_throughput().mean
         tps_result = f"{tps:.2f} tokens/s"