Create app2.py

app2.py

@@ -0,0 +1,16 @@
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+model = AutoModelForCausalLM.from_pretrained("galatolo/cerbero-7b")
+tokenizer = AutoTokenizer.from_pretrained("galatolo/cerbero-7b")
+
+prompt = """Questa è una conversazione tra un umano ed un assistente AI.
+[|Umano|] Come posso distinguere un AI da un umano?
+[|Assistente|]"""
+
+input_ids = tokenizer(prompt, return_tensors='pt').input_ids
+with torch.no_grad():
+    output_ids = model.generate(input_ids, max_new_tokens=128)
+
+generated_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)
+print(generated_text)