Update app.py

app.py

@@ -49,7 +49,7 @@ class StarlingBot:
             input_ids = input_ids.to(device)
             response = model.generate(
                 input_ids=input_ids, 
-                use_cache=False, 
+                use_cache=True, 
                 early_stopping=False, 
                 bos_token_id=model.config.bos_token_id, 
                 eos_token_id=model.config.eos_token_id,