Spaces:
Paused
Paused
Update app.py
Browse files
app.py
CHANGED
@@ -95,7 +95,7 @@ lm_datasets = tokenized_datasets.map(
|
|
95 |
batch_size=1000,
|
96 |
num_proc=4,
|
97 |
)
|
98 |
-
|
99 |
#die Daten wurden nun "gereinigt" und für das Model vorbereitet.
|
100 |
#z.B. anschauen mit: tokenizer.decode(lm_datasets["train"][1]["input_ids"])
|
101 |
|
@@ -112,7 +112,7 @@ training_args = TrainingArguments(
|
|
112 |
weight_decay=0.01,
|
113 |
push_to_hub=True,
|
114 |
)
|
115 |
-
|
116 |
############################################
|
117 |
#def trainieren_neu(name):
|
118 |
#Trainer zusammenstellen
|
@@ -123,7 +123,7 @@ trainer = Trainer(
|
|
123 |
eval_dataset=lm_datasets["train"],
|
124 |
#compute_metrics=compute_metrics,
|
125 |
)
|
126 |
-
|
127 |
#trainer ausführen
|
128 |
trainer.train()
|
129 |
|
|
|
95 |
batch_size=1000,
|
96 |
num_proc=4,
|
97 |
)
|
98 |
+
print ("lm datasets")
|
99 |
#die Daten wurden nun "gereinigt" und für das Model vorbereitet.
|
100 |
#z.B. anschauen mit: tokenizer.decode(lm_datasets["train"][1]["input_ids"])
|
101 |
|
|
|
112 |
weight_decay=0.01,
|
113 |
push_to_hub=True,
|
114 |
)
|
115 |
+
print ("training args")
|
116 |
############################################
|
117 |
#def trainieren_neu(name):
|
118 |
#Trainer zusammenstellen
|
|
|
123 |
eval_dataset=lm_datasets["train"],
|
124 |
#compute_metrics=compute_metrics,
|
125 |
)
|
126 |
+
print ("trainer")
|
127 |
#trainer ausführen
|
128 |
trainer.train()
|
129 |
|