alexkueck commited on
Commit
b1a0b6c
·
1 Parent(s): d1458bd

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +3 -2
app.py CHANGED
@@ -162,9 +162,9 @@ tokenizer.pad_token_id = 0
162
 
163
  ####################################################
164
  #Datensets für Finetuning laden
165
- #dataset_neu = daten_laden("alexkueck/tis")
166
  #dataset_neu = daten_laden("EleutherAI/pile")
167
- dataset_neu = daten_laden("yelp_review_full")
168
 
169
  #############################################
170
  #Vorbereiten für das Training der neuen Daten
@@ -294,6 +294,7 @@ trainer = SetFitTrainer(
294
  train_dataset=lm_datasets["train"],
295
  eval_dataset=lm_datasets["test"],
296
  loss_class=CosineSimilarityLoss,
 
297
  batch_size=16,
298
  num_iterations=20, # Number of text pairs to generate for contrastive learning
299
  num_epochs=1 # Number of epochs to use for contrastive learning
 
162
 
163
  ####################################################
164
  #Datensets für Finetuning laden
165
+ dataset_neu = daten_laden("alexkueck/tis")
166
  #dataset_neu = daten_laden("EleutherAI/pile")
167
+ #dataset_neu = daten_laden("yelp_review_full")
168
 
169
  #############################################
170
  #Vorbereiten für das Training der neuen Daten
 
294
  train_dataset=lm_datasets["train"],
295
  eval_dataset=lm_datasets["test"],
296
  loss_class=CosineSimilarityLoss,
297
+ column_mapping = ['id', 'text'],
298
  batch_size=16,
299
  num_iterations=20, # Number of text pairs to generate for contrastive learning
300
  num_epochs=1 # Number of epochs to use for contrastive learning