Update goai_helpers/goai_traduction.py

goai_helpers/goai_traduction.py

@@ -30,6 +30,7 @@ def goai_traduction(text, src_lang, tgt_lang):
     
     # Tokenisation du texte d'entrée
     inputs = tokenizer(text, return_tensors="pt").to(device)
+    print(inputs)
     
     # Utilisation de convert_tokens_to_ids au lieu de lang_code_to_id
     tgt_lang_id = tokenizer.convert_tokens_to_ids(tgt_lang)
@@ -39,7 +40,8 @@ def goai_traduction(text, src_lang, tgt_lang):
         **inputs,
         forced_bos_token_id=tgt_lang_id,  
         max_new_tokens=1024,
-        bad_words_ids=None,  # Évite de bloquer des tokens spécifiques
+        min_length=10,
+        length_penalty=1.0,
         no_repeat_ngram_size=0  # Désactive la pénalité pour les répétitions
     )
     
@@ -47,7 +49,6 @@ def goai_traduction(text, src_lang, tgt_lang):
     translation = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]
     print("ici translation")
     print(translation)
-    translation = unicodedata.normalize('NFC', translation)
     return translation