Update app.py

app.py

@@ -56,7 +56,7 @@ class ZephyrToolCallingAgentTool(Tool):
             "text-generation",
             model=self.model,
             tokenizer=self.tokenizer,
-            max_new_tokens=512,
+            max_new_tokens=128, # 128 or 512
             temperature=0.2
         )