Update app.py

app.py

@@ -121,7 +121,7 @@ login(token=os.environ["HF_ACCESS_TOKEN"])
 base_model = "EleutherAI/gpt-neo-1.3B"    #load_8bit = False (in load_tokenizer_and_model)
 #base_model = "TheBloke/airoboros-13B-HF"   #load_8bit = True
 tokenizer,model,device = load_tokenizer_and_model(base_model,  False)
-tokenizer.add_special_tokens({'pad_token': '[PAD]'})
+#tokenizer.add_special_tokens({'pad_token': '[PAD]'}) #not necessary with fast Toekenizers like GPT2
 
 dataset_neu = daten_laden("alexkueck/tis") 
 #dataset_neu = daten_laden("EleutherAI/pile")
@@ -185,7 +185,7 @@ trainer = Trainer(
         args=training_args,
         train_dataset=lm_datasets["train"],
         eval_dataset=lm_datasets["test"],
-        tokenizer=tokenizer,
+        #tokenizer=tokenizer,
         #compute_metrics=compute_metrics,
 )
 print ("trainer")
@@ -227,6 +227,7 @@ print("done")
 #Testen des fine-tuned Modells
 print("Predict")
 predict("Was ist Tis?")
+print("done")
 
 #######################################################################
 #Darstellung mit Gradio