Update goai_helpers/goai_traduction.py

goai_helpers/goai_traduction.py

@@ -3,6 +3,7 @@ import spaces
 from transformers import pipeline, AutoModelForSeq2SeqLM, AutoTokenizer
 from peft import PeftModel, PeftConfig
 import os
+import unicodedata
 from huggingface_hub import login
 
 max_length = 512
@@ -37,13 +38,16 @@ def goai_traduction(text, src_lang, tgt_lang):
     outputs = model.generate(
         **inputs,
         forced_bos_token_id=tgt_lang_id,  
-        max_new_tokens=1024
+        max_new_tokens=1024,
+        bad_words_ids=None,  # Évite de bloquer des tokens spécifiques
+        no_repeat_ngram_size=0  # Désactive la pénalité pour les répétitions
     )
     
     # Décodage de la sortie
     translation = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]
     print("ici translation")
     print(translation)
+    translation = unicodedata.normalize('NFC', translation)
     return translation