Update app.py

app.py

@@ -24,7 +24,7 @@ def generate_stream(prompt):
 
     def worker():
         # 在背景 thread 中做推論
-        pipe.generate([prompt], streamer=streamer, max_new_tokens=32768)
+        pipe.generate([prompt], streamer=streamer, max_new_tokens=4096)
         q.put(None)  # 結束符號
 
     threading.Thread(target=worker).start()