Spaces:
Paused
Paused
Update app.py
Browse files
app.py
CHANGED
@@ -162,9 +162,9 @@ tokenizer.pad_token_id = 0
|
|
162 |
|
163 |
####################################################
|
164 |
#Datensets für Finetuning laden
|
165 |
-
|
166 |
#dataset_neu = daten_laden("EleutherAI/pile")
|
167 |
-
dataset_neu = daten_laden("yelp_review_full")
|
168 |
|
169 |
#############################################
|
170 |
#Vorbereiten für das Training der neuen Daten
|
@@ -294,6 +294,7 @@ trainer = SetFitTrainer(
|
|
294 |
train_dataset=lm_datasets["train"],
|
295 |
eval_dataset=lm_datasets["test"],
|
296 |
loss_class=CosineSimilarityLoss,
|
|
|
297 |
batch_size=16,
|
298 |
num_iterations=20, # Number of text pairs to generate for contrastive learning
|
299 |
num_epochs=1 # Number of epochs to use for contrastive learning
|
|
|
162 |
|
163 |
####################################################
|
164 |
#Datensets für Finetuning laden
|
165 |
+
dataset_neu = daten_laden("alexkueck/tis")
|
166 |
#dataset_neu = daten_laden("EleutherAI/pile")
|
167 |
+
#dataset_neu = daten_laden("yelp_review_full")
|
168 |
|
169 |
#############################################
|
170 |
#Vorbereiten für das Training der neuen Daten
|
|
|
294 |
train_dataset=lm_datasets["train"],
|
295 |
eval_dataset=lm_datasets["test"],
|
296 |
loss_class=CosineSimilarityLoss,
|
297 |
+
column_mapping = ['id', 'text'],
|
298 |
batch_size=16,
|
299 |
num_iterations=20, # Number of text pairs to generate for contrastive learning
|
300 |
num_epochs=1 # Number of epochs to use for contrastive learning
|