Update app.py

app.py

@@ -41,7 +41,7 @@ def group_texts(examples):
     return result    
 
 #Generate Response - nach dem training testen, wie es funktioniert
-def generate_response(prompt):
+def generate_response(prompt, model, tokenizer):
     input_ids = tokenizer.encode(prompt, return_tensors="pt")
     output = model.generate(input_ids, max_length=100)
     response = tokenizer.decode(output[:, input_ids.shape[-1]:][0], skip_special_tokens=True)
@@ -161,8 +161,31 @@ print("Evaluate:")
 #trainer.evaluate()
 print("Done Eval")
 
+###################################################
+#Save to a place -????? Where????
+print("Save to ???")
+login(token=os.environ["HF_WRITE_TOKEN"]) 
+trainer.save_model("test-tis-1")
+print("done")
+
+#######################################
+# Load model
+print("load model_neu")
+model_neu = trainer.load("test-tis-1")
+print("done load")
+
+#####################################
+#Push to Hub
+#print("push to hub")
+#login(token=os.environ["HF_WRITE_TOKEN"]) 
+#trainer.push_to_hub("test-tis-1")
+#tokenizer.push_to_hub("test-tis-1")????
+#print("done")
+
+
+
 ############################
-#Test
+#Test des Modells
 ############################
 print("Test")
 text = "Was ist Tis?"
@@ -170,7 +193,7 @@ text = "Was ist Tis?"
 # Example usage
 prompt = "Was ist TIS?"
 
-response = generate_response(prompt)
+response = generate_response(prompt, model_neu, tokenizer)
 print(response)
 print("response done")
 
@@ -190,22 +213,6 @@ print("Output:\n" )
 '''
 
 
-###################################################
-#Save to a place -????? Where????
-print("Save to ???")
-#login(token=os.environ["HF_WRITE_TOKEN"]) 
-#trainer.save_model("alexkueck/test-tis-1")
-print("done")
-
-
-#####################################
-#Push to Hub
-print("push to hub")
-#login(token=os.environ["HF_WRITE_TOKEN"]) 
-#trainer.push_to_hub("test-tis-1")
-#tokenizer.push_to_hub("test-tis-1")????
-print("done")
-
 
 
 ##############################################