Update train_tokenizer.py

train_tokenizer.py

@@ -1,37 +1,40 @@
+import regex  # Χρησιμοποιείται για την υποστήριξη Unicode properties στο regex
 from tokenizers import Tokenizer, decoders, models, normalizers, pre_tokenizers, trainers
 from datasets import load_dataset
-import re
 
-# Προσαρμοσμένος Pre-tokenizer για κώδικα και πολυγλωσσικό κείμενο
+# Ορισμός custom regex για κώδικα και πολυγλωσσικό κείμενο.
+# Χρησιμοποιεί το module regex που υποστηρίζει \p{L} και \p{N}.
 code_regex = r"""(?x:
-    //.*?$|/\*.*?\*/|  # Σχόλια
-    "(?:\\.|[^\\"])*"|  # Strings
-    '(?:\\.|[^\\'])*'|  # Chars
-    \b(?:if|else|for|while|return|function)\b|  # Keywords
+    //.*?$|                # Σχόλια τύπου //
+    /\*.*?\*/|             # Σχόλια τύπου /* */
+    "(?:\\.|[^\\"])*"|     # Strings με διπλά εισαγωγικά
+    '(?:\\.|[^\\'])*'|     # Strings με μονά εισαγωγικά
+    \b(?:if|else|for|while|return|function)\b|  # Κλειδικά για κώδικα
     [<>]=?|\+\+|--|&&|\|\||[-+*/%=&|^~!]=?|  # Operators
-    \d+\.?\d*|\.\d+|  # Αριθμοί
-    [{}[\](),.;:]|  # Σύμβολα
-    \p{L}+|\p{N}+|  # Unicode letters/numbers
-    \s+|  # Whitespace
-    \S  # Άλλα
+    \d+\.?\d*|\.\d+|       # Αριθμοί
+    [{}[\](),.;:]|         # Σύμβολα
+    \p{L}+|\p{N}+|         # Unicode γράμματα/αριθμοί
+    \s+|                   # Διαστήματα
+    \S                     # Οποιοσδήποτε άλλος χαρακτήρας
 )"""
 
 def train_tokenizer(iterator, vocab_size=32000, min_frequency=2):
+    # Δημιουργία του Tokenizer με το μοντέλο BPE και ειδικό token για Unknown.
     tokenizer = Tokenizer(models.BPE(unk_token="<unk>"))
     
-    # Προχωρημένο Normalization
+    # Εφαρμογή normalization (NFC και αφαίρεση τόνων, αν χρειάζεται)
     tokenizer.normalizer = normalizers.Sequence([
         normalizers.NFC(),
-        normalizers.StripAccents()  # Προαιρετικό για τόνους
+        normalizers.StripAccents()  # Προαιρετικό: αφαιρεί τόνους
     ])
     
-    # Προσαρμοσμένος Pre-tokenizer
+    # Ορισμός custom pre-tokenizer με χρήση regex και ByteLevel
     tokenizer.pre_tokenizer = pre_tokenizers.Sequence([
-        pre_tokenizers.Regex(code_regex),
+        pre_tokenizers.Regex(pattern=code_regex),
         pre_tokenizers.ByteLevel(add_prefix_space=False)
     ])
     
-    # Προχωρημένος Trainer
+    # Ορισμός του Trainer για το BPE
     trainer = trainers.BpeTrainer(
         vocab_size=vocab_size,
         min_frequency=min_frequency,
@@ -40,6 +43,10 @@ def train_tokenizer(iterator, vocab_size=32000, min_frequency=2):
         show_progress=True
     )
     
+    # Εκπαίδευση του tokenizer από iterator κειμένων
     tokenizer.train_from_iterator(iterator, trainer=trainer)
+    
+    # Ορισμός decoder ώστε να αντιστρέφεται σωστά η κωδικοποίηση
     tokenizer.decoder = decoders.ByteLevel()
+    
     return tokenizer