Proper translit PoC

README.md

@@ -1,2 +1,7 @@
 # qirimli-tts
 Text-to-Speech for Crimean Tatar language
+
+
+# Attibution
+
+Transliteration: [prosvita/crh.transliteration](https://github.com/prosvita/crh.transliteration)  

crh_transliterator/cyr_to_lat.py

@@ -0,0 +1,597 @@
+mappings = [
+    ["«", '"'],
+    ["»", '"'],
+    # 0. словарик
+    # алейкум
+    ["алейкум", "aleyküm"],
+    # бейуде
+    ["бейуде", "beyüde"],
+    # большевик
+    ["большевик", "bolşevik"],
+    # борнен
+    ["борнен", "bornen"],
+    # бугунь
+    ["([\s\"'\(\)\-.,:;!?>\]])бугун", "\1bugün"],
+    # бузкесен
+    ["бузкесен", "buzkesen"],
+    # буксир
+    ["буксир", "buksir"],
+    # бульбуль
+    ["бульбуль", "bülbül"],
+    # бульвар
+    ["бульвар", "bulvar"],
+    # бульдозер
+    ["бульдозер", "buldozer"],
+    # бульон
+    ["бульон", "bulyon"],
+    # бунен
+    ["бунен", "bunen"],
+    ["буннен", "bunnen"],
+    # бус-бутюн
+    ["бус-бутюн", "büs-bütün"],
+    # бутерброд
+    ["бутерброд", "buterbrod"],
+    # буфер и буфет
+    ["буфе([рт])", "bufe\1"],
+    # буюк
+    ["буюк([^ъ])", "büyük\1"],
+    # формы глагола буюмек
+    ["бую([гдйлмнпрстчшc])(и)", "büyü\1\2"],
+    # буюп
+    ["([\s\"'\(\)\-.,:;!?>\]])буюп([\s\"'.,:;!?\)\-\[<])", "\1büyüp\2"],
+    # буют
+    ["буют([^ыа])", "büyüt\1"],
+    # гонъюль
+    ["гонъюл", "göñül"],
+    # горизонт
+    ["горизонт", "gorizont"],
+    # госпиталь
+    ["госпиталь", "gospital"],
+    # гунях
+    ["гунях", "günâh"],
+    # гуна
+    ["гуна", "güna"],
+    # гургуль
+    ["гургуль", "gürgül"],
+    # гуя
+    ["гуя", "güya"],
+    # ёлнен
+    ["ёлнен", "yolnen"],
+    # зумбуль
+    ["зумбуль", "zümbül"],
+    # кодекс
+    ["кодекс", "kodeks"],
+    # кодификация и однокоренные
+    ["кодифик", "kodifik"],
+    # козь
+    ["козь([^я])", "köz\1"],
+    # кой
+    ["кой([\s\"'.,:;!?\)\-\[<])", "köy\1"],
+    ["койнинъ([\s\"'.,:;!?\)\-\[<])", "köyniñ\1"],
+    ["койни([\s\"'.,:;!?\)\-\[<])", "köyni\1"],
+    ["койге([\s\"'.,:;!?\)\-\[<])", "köyge\1"],
+    ["койде([\s\"'.,:;!?\)\-\[<])", "köyde\1"],
+    ["койдеки([\s\"'.,:;!?\)\-\[<])", "köydeki\1"],
+    ["койден([\s\"'.,:;!?\)\-\[<])", "köyden\1"],
+    ["койлю", "köylü"],
+    ["([\s\"'\(\)\-.,:;!?>\]])кою", "\1köyü"],
+    # ком-кок
+    ["([\s\"'\(\)\-.,:;!?>\]])ком-кок", "\1köm-kök"],
+    # кок
+    ["([\s\"'\(\)\-.,:;!?>\]])кок([^еёюяЕЁЮЯ])", "\1kök\2"],
+    # кокос
+    ["кокос", "kokos"],
+    # коллега и однокоренные
+    ["коллег", "kolleg"],
+    ["коллега", "kollega"],
+    # коллекция, коллектив и однокоренные
+    ["коллек([цт])", "kollek\1"],
+    # комбинат и однокоренные
+    ["комбин", "kombin"],
+    # комедия
+    ["комедия", "komediya"],
+    # комендант и однокоренные
+    ["коменда", "komenda"],
+    # комета
+    ["комета", "kometa"],
+    # комиссия, комитет
+    ["коми([ст])", "komi\1"],
+    # комментарий и однокоренные
+    ["коммент", "komment"],
+    # коммерция и коммерсант
+    ["коммер([сц])", "kommer\1"],
+    # компенсация и однокоренные
+    ["компенс", "kompens"],
+    # компиляция и однокоренные
+    ["компил", "kompil"],
+    # компьютер
+    ["компьютер", "kompyuter"],
+    # конвейер
+    ["конвейер", "konveyer"],
+    # конвенция и однокоренные
+    ["конвен", "konven"],
+    # конверт
+    ["конверт", "konvert"],
+    # конденсатор и однокоренные
+    ["конденс", "kondens"],
+    # кондитер
+    ["кондитер", "konditer"],
+    # коник (конический)
+    ["коник", "konik"],
+    # консер
+    ["консерв", "konserv"],
+    # контейнер
+    ["контейнер", "konteyner"],
+    # континент
+    ["континент", "kontinent"],
+    # конференция, конфет
+    ["конфе", "konfe"],
+    # конфискация и однокоренные
+    ["конфискац", "konfiskats"],
+    # концентрация и однокоренные
+    ["концен", "kontsen"],
+    # концерт
+    ["концерт", "kontsert"],
+    # коньки
+    ["коньки", "konki"],
+    # коньки
+    ["коньяк", "konyak"],
+    # конъюктура
+    ["конъюктур", "konyuktur"],
+    # копирлемек и однокоренные
+    ["копирле", "kopirle"],
+    # копия
+    ["копия", "kopiya"],
+    # коп
+    ["([\s\"'\(\)\-.,:;!?>\]])коп([^еёюяЕЁЮЯ])", "\1köp\2"],
+    # корея
+    ["корея", "koreya"],
+    # корректор, корреспондент
+    ["корре", "korre"],
+    # коридор
+    ["коридор", "koridor"],
+    # косметика
+    ["косме", "kosme"],
+    # костюм
+    ["костюм", "kostüm"],
+    # космик (космический)
+    ["космик", "kosmik"],
+    # котировка
+    ["котировка", "kotirovka"],
+    # котлет
+    ["котлет", "kotlet"],
+    # коше
+    ["коше", "köşe"],
+    # куе
+    ["([\s\"'\(\)\-.,:;!?>\]])куе", "\1küye"],
+    # кулинар
+    ["кулинар", "kulinar"],
+    # кульминация
+    ["кульминац", "kulminats"],
+    # культивация
+    ["культив", "kultiv"],
+    # культура
+    ["культура", "kultura"],
+    # курьк
+    ["([\s\"'\(\)\-.,:;!?>\]])курк([\s\"'.,:;!?\)\-\[<])", "\1kürk\2"],
+    ["([\s\"'\(\)\-.,:;!?>\]])куркке", "\1kürkke"],
+    ["([\s\"'\(\)\-.,:;!?>\]])куркни", "\1kürkni"],
+    ["([\s\"'\(\)\-.,:;!?>\]])куркте", "\1kürkte"],
+    ["([\s\"'\(\)\-.,:;!?>\]])куркчи", "\1kürkçi"],
+    ["([\s\"'\(\)\-.,:;!?>\]])куркчю", "\1kürkçü"],
+    # курсив
+    ["курсив", "kursiv"],
+    # кушкулемек и однокоренные
+    ["кушку", "küşkü"],
+    # куюк
+    ["куюк", "küyük"],
+    # медьюн
+    ["медьюн", "medyun"],
+    # месуль
+    ["месуль", "mesül"],
+    ["месули", "mesüli"],
+    # мефкуре
+    ["мефкуре", "mefküre"],
+    # могедек
+    ["могедек", "mögedek"],
+    # муурь
+    ["муур", "müür"],
+    # муче
+    ["муче", "müçe"],
+    # муюз
+    ["муюз", "müyüz"],
+    # нумюне
+    ["нумюне", "nümüne"],
+    # ог
+    ['(["\s(-])ог([^ъ])', "\1öг\2"],
+    # одеколон
+    ["одеколон", "odekolon"],
+    # океан
+    ["океан", "okean"],
+    # …ольчер
+    ["ольчер", "ölçer"],
+    # олимп
+    ["олимп", "olimp"],
+    # онен
+    ["онен", "onen"],
+    ["оннен", "onnen"],
+    # операция и однокоренные
+    ["опера", "opera"],
+    # опция и однокоренные
+    ["опция", "optsiya"],
+    ["опци", "optsi"],
+    # орден и ордер
+    ["([\s\"'\(\)\-.,:;!?>\]])орде([нр])", "\1orde\2"],
+    # оригинал
+    ["оригинал", "original"],
+    # ориентир
+    ["ориент", "oriyent"],
+    # оркестр
+    ["оркестр", "orkestr"],
+    # офис
+    ["офис", "ofis"],
+    # офицер
+    ["офицер", "ofitser"],
+    # офсет
+    ["офсет", "ofset"],
+    # оюннен
+    ["оюннен", "oyunnen"],
+    # публикация и однокоренные
+    ["публик", "publik"],
+    # публицистика и однокоренные
+    ["публиц", "publits"],
+    # сурет
+    ["сурет", "süret"],
+    # ультиматум и однокоренные
+    ["ультимат", "ultimat"],
+    # ультра
+    ["ультра", "ultra"],
+    # уника
+    ["([\s\"'\(\)\-.,:;!?>\]])уник", "\1unik"],
+    # универcаль, универмаг, университет
+    ["универ", "univer"],
+    # унтер
+    ["([\s\"'\(\)\-.,:;!?>\]])унтер", "\1unter"],
+    # урьян
+    ["урьян", "uryan"],
+    # джонк
+    ["джонкю", "cönkü"],
+    ["джонк([^ъ])", "cönk\1"],
+    # джуньджу
+    ["джуньджу", "cüncü"],
+    # шовинизм и однокоренные
+    ["шовини", "şovini"],
+    # шоссе
+    ["шоссе", "şosse"],
+    # шофёр
+    ["шоф[её]р", "şoför"],
+    # шунен
+    ["шунен", "şunen"],
+    ["шуннен", "şunnen"],
+    # юз
+    ["([\s\"'\(\)\-.,:;!?>\]])юз([\s\"'.,:;!?\)\-\[<])", "\1yüz\2"],
+    # юзбашы
+    ["([\s\"'\(\)\-.,:;!?>\]])юзбашы", "\1yüzbaşı"],
+    # юзйыллыкъ
+    ["([\s\"'\(\)\-.,:;!?>\]])юзйыл", "\1yüzyıl"],
+    # юк
+    ["([\s\"'\(\)\-.,:;!?>\]])юк([^ъ])", "\1yüк\2"],
+    # юрип
+    ["([\s\"'\(\)\-.,:;!?>\]])юрип", "\1yürip"],
+    # 3-юнджи, 4-юнджи
+    ["([34])-юнджи", "\1-ünci"],
+    # некоторые глагольные формы на -ама, -алма
+    # букама, букалма
+    ["([\s\"'\(\)\-.,:;!?>\]])букама", "\1bükama"],
+    ["([\s\"'\(\)\-.,:;!?>\]])букалма", "\1bükalma"],
+    # комама, комалма
+    ["([\s\"'\(\)\-.,:;!?>\]])комама", "\1kömama"],
+    ["([\s\"'\(\)\-.,:;!?>\]])комалма", "\1kömalma"],
+    # корама, коралма
+    ["([\s\"'\(\)\-.,:;!?>\]])корама", "\1körama"],
+    ["([\s\"'\(\)\-.,:;!?>\]])коралма", "\1köralma"],
+    # кочама, кочалма
+    ["([\s\"'\(\)\-.,:;!?>\]])кочама", "\1köçama"],
+    ["([\s\"'\(\)\-.,:;!?>\]])кочалма", "\1köçalma"],
+    # куяма, куялма
+    ["([\s\"'\(\)\-.,:;!?>\]])куяма", "\1küyama"],
+    ["([\s\"'\(\)\-.,:;!?>\]])куялма", "\1küyalma"],
+    # кулама, кулалма
+    # [ "([\s\"'\(\)\-.,:;!?>\]])кулама", "\1külama" ],
+    # [ "([\s\"'\(\)\-.,:;!?>\]])кулалма", "\1külalma" ],
+    # кусама, кусалма
+    ["([\s\"'\(\)\-.,:;!?>\]])кусама", "\1küsama"],
+    ["([\s\"'\(\)\-.,:;!?>\]])кусалма", "\1küsalma"],
+    # кутама, куталма
+    ["([\s\"'\(\)\-.,:;!?>\]])кутама", "\1kütama"],
+    ["([\s\"'\(\)\-.,:;!?>\]])куталма", "\1kütalma"],
+    # опама, опалма
+    ["([\s\"'\(\)\-.,:;!?>\]])опама", "\1öpama"],
+    ["([\s\"'\(\)\-.,:;!?>\]])опалма", "\1öpalma"],
+    # осама, осалма
+    ["([\s\"'\(\)\-.,:;!?>\]])осама", "\1ösama"],
+    ["([\s\"'\(\)\-.,:;!?>\]])осалма", "\1ösalma"],
+    # отама, оталма
+    # [ "([\s\"'\(\)\-.,:;!?>\]])отама", "\1ötama" ],
+    ["([\s\"'\(\)\-.,:;!?>\]])оталма", "\1ötalma"],
+    # узама, узалма
+    # [ "([\s\"'\(\)\-.,:;!?>\]])узама", "\1üzama" ],
+    ["([\s\"'\(\)\-.,:;!?>\]])узалма", "\1üzalma"],
+    # утама, уталма
+    ["([\s\"'\(\)\-.,:;!?>\]])утама", "\1ütama"],
+    ["([\s\"'\(\)\-.,:;!?>\]])уталма", "\1ütalma"],
+    # Имена собственные
+    ["аджыумер", "acıümer"],
+    ["аджыусеин", "acıüsein"],
+    ["боливия", "boliviya"],
+    ["([\s\"'\(\)\-.,:;!?>\]])ишунь", "\1işün"],
+    ["корбекул", "körbekül"],
+    ["корьбекул", "körbekül"],
+    ["куркулет", "kürkület"],
+    ["къарагоз", "qaragöz"],
+    ["къуртумер", "qurtümer"],
+    ["къуртусеин", "qurtüsein"],
+    ["марьино", "maryino"],
+    ["одесса", "odessa"],
+    ["одеса", "odesa"],
+    ["потелов", "potelov"],
+    ["пушкин", "puşkin"],
+    ["сеитумер", "seitümer"],
+    ["сеитусеин", "seitüsein"],
+    ["сейитумер", "seyitümer"],
+    ["сейитусеин", "seyitüsein"],
+    ["щёлкино", "şçolkino"],
+    ["эмирусеин", "emirüsein"],
+    ["юртер", "yurter"],
+    ["ющенко", "yuşçenko"],
+    # -ьон
+    ["([^\s])ьон", "\1yon"],
+    # Я
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])Я([\s\"'.,:;!?\)\-\[<])",
+        "\1Ya\2",
+    ],  # TODO: check why there is no case for small letters
+    # Ё
+    ["([\s\"'\(\)\-.,:;!?>\]])Ё([\s\"'.,:;!?\)\-\[<])", "\1Yo\2"],
+    # йе
+    ["йе", "yye"],
+    # йя
+    ["йя", "yya"],
+    # 1. буквы гъ, къ, нъ, дж
+    ["гъ", "ğ"],
+    ["къ", "q"],
+    ["нъ", "ñ"],
+    ["дж", "c"],
+    # 2. o', u' первый заход - ё и ю после согласных
+    ["([бвгджзйклмнпрстфхцчшщñcБВГДЖЗЙКЛМНПРСТФХЦЧШЩÑC])ю", "\1ü"],
+    ["([бвгджзйклмнпрстфхцчшщñcБВГДЖЗЙКЛМНПРСТФХЦЧШЩÑC])ё", "\1ö"],
+    # 3. o', u' второй заход
+    # буква u'
+    # ю
+    [
+        '([\s"\'\(\)\-.,:;!?>\]"аыоуеиёюАЫОУЕИЁЮ])ю([бвгджзйклмнпрстфхцчшщcñ])([бвгджзйклмнпрстфхцчшщcñ])([ьеюэü])',
+        "\1yü\2\3\4",
+    ],
+    [
+        '([\s"\'\(\)\-.,:;!?>\]"АЫОУЕИЁЮ])Ю([БВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([БВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([ЬЕЮЭÜ])',
+        "\1YÜ\2\3\4",
+    ],
+    [
+        '([\s"\'\(\)\-.,:;!?>\]"(аыоуеиёюАЫОУЕИЁЮ])ю([бвгджзйклмнпрстфхцчшщcñ])([ьеюэü])',
+        "\1yü\2\3",
+    ],
+    [
+        '([\s"\'\(\)\-.,:;!?>\]"(АЫОУЕИЁЮ])Ю([БВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([ЬЕЮЭÜ])',
+        "\1YÜ\2\3",
+    ],
+    ["ю([бвгджзйклмнпрстфхцчшщcñ])([бвгджзйклмнпрстфхцчшщcñ])([ьеюэü])", "yü\1\2\3"],
+    ["ю([бвгджзйклмнпрстфхцчшщcñ])([ьеюэü])", "yü\1\2"],
+    # у и ую
+    # после у или ую две согласных
+    # строчная у
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])([бгкмпшcБГКМПCШ])у([бвгджзйклмнпрстфхцчшщcñ])([бвгджзйклмнпрстфхцчшщcñ])([ьеёиюэü])",
+        "\1\2ü\3\4\5",
+    ],
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])у([бвгджзйклмнпрстфхцчшщcñ])([бвгджзйклмнпрстфхцчшщcñ])([ьеёиюэü])",
+        "\1ü\2\3\4",
+    ],
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])ую([бвгджзйклмнпрстфхцчшщcñ])([бвгджзйклмнпрстфхцчшщcñ])([ьеёиюэü])",
+        "\1üyü\2\3\4",
+    ],
+    # заглавная У
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])([бг��мпшcБГКМПШC])У([бвгджзйклмнпрстфхцчшщcñБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([бвгджзйклмнпрстфхцчшщcñБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([ьеёиюэüЬЕЁИЮЭÜ])",
+        "\1\2Ü\3\4\5",
+    ],
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])У([бвгджзйклмнпрстфхцчшщcñБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([бвгджзйклмнпрстфхцчшщcñБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([ьеёиюэüЬЕЁИЮЭÜ])",
+        "\1Ü\2\3\4",
+    ],
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])Ую([бвгджзйклмнпрстфхцчшщcñБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([бвгджзйклмнпрстфхцчшщcñБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([ьеёиюэüЬЕЁИЮЭÜ])",
+        "\1Üyü\2\3\4",
+    ],
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])УЮ([бвгджзйклмнпрстфхцчшщcñБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([бвгджзйклмнпрстфхцчшщcñБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([ьеёиюэüЬЕЁИЮЭÜ])",
+        "\1ÜYÜ\2\3\4",
+    ],
+    # после у или ую одна согласная
+    # строчная у
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])([бгкмпшcБГКМПШC])у([бвгджзйклмнпрстфхцчшщycñ])([ьеёиюэü])",
+        "\1\2ü\3\4",
+    ],
+    ["([\s\"'\(\)\-.,:;!?>\]])у([бвгджзйклмнпрстфхцчшщycñ])([ьеёиюэü])", "\1ü\2\3"],
+    ["([\s\"'\(\)\-.,:;!?>\]])ую([бвгджзйклмнпрстфхцчшщycñ])([ьеёиюэü])", "\1üyü\2\3"],
+    # заглавная У
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])([бгкмпшcБГКМПШC])У([бвгджзйклмнпрстфхцчшщcñyБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([ьеёиюüэЬЕЁИЮЭÜ])",
+        "\1\2Ü\3\4",
+    ],
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])У([бвгджзйклмнпрстфхцчшщcñyБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([ьеёиюüэЬЕЁИЮЭÜ])",
+        "\1Ü\2\3",
+    ],
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])Ую([бвгджзйклмнпрстфхцчшщcñyБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([ьеёиюüэЬЕЁИЮЭÜ])",
+        "\1Üyü\2\3",
+    ],
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])УЮ([бвгджзйклмнпрстфхцчшщcñyБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([ьеёиюüэЬЕЁИЮЭÜ])",
+        "\1ÜYÜ\2\3",
+    ],
+    # ещё один заход (не помню уже точно для чего он, но для чего-то нужен)
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])([бгкмпшcБГКМПШC])у([бвгджзйклмнпрстфхцчшщycñ])([ьеёиюэü])",
+        "\1\2ü\3\4",
+    ],
+    ["([\s\"'\(\)\-.,:;!?>\]])у([бвгджзйклмнпрстфхцчшщycñ])([ьеёиюэü])", "\1ü\2\3"],
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])([бгкмпшcБГКМПШC])У([бвгджзйклмнпрстфхцчшщcñyБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([ьеёиюüэЬЕЁИЮЭÜ])",
+        "\1\2Ü\3\4",
+    ],
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])У([бвгджзйклмнпрстфхцчшщcñyБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([ьеёиюüэЬЕЁИЮЭÜ])",
+        "\1Ü\2\3",
+    ],
+    # арабские слова на муи- муэ-
+    ["([\s\"'\(\)\-.,:;!?>\]])му([иэ])", "\1mü\2"],
+    # буква o'
+    # ё
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])ё([бвгджзйклмнпрстфхцчшщcñ])([бвгджзйклмнпрстфхцчшщcñ])([ьеюü])",
+        "\1yö\2\3\4",
+    ],
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])Ё([бвгджзйклмнпрстфхцчшщcñ])([бвгджзйклмнпрстфхцчшщcñ])([ьеюü])",
+        "\1Yö\2\3\4",
+    ],
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])Ё([БВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([БВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([ЬЕЮÜ])",
+        "\1YÖ\2\3\4",
+    ],
+    ["([\s\"'\(\)\-.,:;!?>\]])ё([бвгджзйклмнпрстфхцчшщcñ])([ьеёюэü])", "\1yö\2\3"],
+    # о
+    # после о две согласных
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])([бгкшcБГКШC])о([бвгджзйклмнпрстфхцчшщcñ])([бвгджзйклмнпрстфхцчшщcñ])([ьеёиюэü])",
+        "\1\2ö\3\4\5",
+    ],
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])о([бвгджзйклмнпрстфхцчшщcñ])([бвгджзйклмнпрстфхцчшщcñ])([ьеёиюэü])",
+        "\1ö\2\3\4",
+    ],
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])([-\s\"'(бгкшcБГКШC])О([бвгджзйклмнпрстфхцчшщcñБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([бвгджзйклмнпрстфхцчшщcñБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([ьеёиюэüЬЕЁИЮЭÜ])",
+        "\1\2Ö\3\4\5",
+    ],
+    # после о одна согласная
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])О([бвгджзйклмнпрстфхцчшщcñБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([бвгджзйклмнпрстфхцчшщcñБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([ьеёиюэüЬЕЁИЮЭÜ])",
+        "\1Ö\2\3\4",
+    ],
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])([-\s\"'(бгкшcБГКШC])о([бвгджзйклмнпрстфхцчшщcñ])([ьеёиюэü])",
+        "\1\2ö\3\4",
+    ],
+    ["([\s\"'\(\)\-.,:;!?>\]])о([бвгджзйклмнпрстфхцчшщcñ])([ьеёиюэü])", "\1ö\2\3"],
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])([-\s\"'(бгкшcБГКШC])О([бвгджзйклмнпрстфхцчшщcñБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([ьеёиюэüЬЕЁИЮЭÜ])",
+        "\1\2Ö\3\4",
+    ],
+    [
+        "([\s\"'\(\)\-.,:;!?>\]])О([бвгджзйклмнпрстфхцчшщcñБВГДЖЗЙКЛМНПРСТФХЦЧШЩCÑ])([ьеёиюэüЬЕЁИЮЭÜ])",
+        "\1Ö\2\3",
+    ],
+    # 4. o', u' третий заход
+    ["([бвгджзйклмнпрстфхцчшщcñ])ю", "\1ü"],
+    ["([бвгджзйклмнпрстфхцчшщcñ])ё", "\1ö"],
+    # 5. o', u' четвёртый заход
+    ["([ьеёюэöü])ю", "\1yü"],
+    # 6. буквы е и я
+    # случаи е -> ye и я -> ya
+    ['([\s"\'\(\)\-.,:;!?>\]"аыоуеиёэюяьъöüeАЫОУЕИЁЭЮЯЬЪÖÜE(])е', "\1ye"],
+    [
+        '([\s"\'\(\)\-.,:;!?>\]"аыоуеиёэюяьъöüeАЫОУЕИЁЭЮЯЬЪÖÜE(])Е([АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯQCĞÑÜÖ\s"\'.,:;!?\)\-\[<])',
+        "\1YE\2",
+    ],
+    [
+        '([\s"\'\(\)\-.,:;!?>\]"аыоуеиёэюяьъöÜeАЫОЯУЕИЁЭЮЯЬЪÖÜE(])Е([абвгдеёжзийклмнопрстуфхцчшщъыьэюяqcğñüö])',
+        "\1Ye\2",
+    ],
+    ['([\s"\'\(\)\-.,:;!?>\]"аыоуеиёэюяöÜñqğьъeАЫОУЕИЁЭЮЯÖÜÑQĞЬЪE(])я', "\1ya"],
+    [
+        '([\s"\'\(\)\-.,:;!?>\]"аыоуеиёэюяöÜñqğьъeАЫОУЕИЁЭЮЯÖÜÑQĞЬЪE(])Я([АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯQCĞÑÜÖ\s"\'.,:;!?\)\-\[<])',
+        "\1YA\2",
+    ],
+    [
+        '([\s"\'\(\)\-.,:;!?>\]"аыоуеиёэюяöÜñqğьъeАЫОУЕИЁЭЮЯÖÜÑQĞЬЪE(])Я([абвгдеёжзийклмнопрстуфхцчшщъыьэюяqcğñüö])',
+        "\1Ya\2",
+    ],
+    ['([\s"\'\(\)\-.,:;!?>\]"аыоуеиёэюяьъöüaeАЫОУЕИЁЭЮЯЬЪÖÜAE(])е', "\1ye"],
+    [
+        '([\s"\'\(\)\-.,:;!?>\]"аыоуеиёэюяьъöüaeАЫОУЕИЁЭЮЯЬЪÖÜAE(])Е([АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯQCĞÑÜÖ\s"\'.,:;!?\)\-\[<])',
+        "\1YE\2",
+    ],
+    [
+        '([\s"\'\(\)\-.,:;!?>\]"аыоуеиёэюяьъöÜaeАЫОУЕИЁЭЮЯЬЪÖÜAE(])Е([абвгдеёжзийклмнопрстуфхцчшщъыьэюяqcğñüö])',
+        "\1Ye\2",
+    ],
+    ['([\s"\'\(\)\-.,:;!?>\]"аыоуеиёэюяöÜñqğьъaeАЫОУЕИЁЭЮЯÖÜÑQĞЬЪAE(])я', "\1ya"],
+    [
+        '([\s"\'\(\)\-.,:;!?>\]"аыоуеиёэюяöÜñqğьъaeАЫОУЕИЁЭЮЯÖÜÑQĞЬЪAE(])Я([АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯQCĞÑÜÖ\s"\'.,:;!?\)\-\[<])',
+        "\1YA\2",
+    ],
+    [
+        '([\s"\'\(\)\-.,:;!?>\]"аыоуеиёэюяöÜñqğьъaeАЫОУЕИЁЭЮЯÖÜÑQĞЬЪAE(])Я([абвгдеёжзийклмнопрстуфхцчшщъыьэюяqcğñüö])',
+        "\1Ya\2",
+    ],
+    # остальные вхождения е и я
+    ["е", "e"],
+    ["я", "â"],
+    # 7. все оставшиеся вхождения о, у, ё, ю
+    ["Ю([АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯQCĞÑÜÖ])", "YU\1"],
+    ["ю", "yu"],
+    ["Ё([АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯQCĞÑÜÖ])", "YO\1"],
+    ["ё", "yo"],
+    ["у", "u"],
+    ["о", "o"],
+    # 8. убираем ь и ъ
+    ["ь", ""],
+    ["ъ", ""],
+    # 9. все остальные буквы
+    # заглавные Ц и Щ
+    ["Ц([АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯQCĞÑÜÖ])", "TS\1"],
+    ["Ц", "Ts"],
+    ["Щ([АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯQCĞÑÜÖ])", "ŞÇ\1"],
+    ["Щ", "Şç"],
+    # строчные
+    ["а", "a"],
+    ["б", "b"],
+    ["в", "v"],
+    ["г", "g"],
+    ["д", "d"],
+    ["ж", "j"],
+    ["з", "z"],
+    ["и", "i"],
+    ["й", "y"],
+    ["к", "k"],
+    ["л", "l"],
+    ["м", "m"],
+    ["н", "n"],
+    ["п", "p"],
+    ["р", "r"],
+    ["с", "s"],
+    ["т", "t"],
+    ["ф", "f"],
+    ["х", "h"],
+    ["ц", "ts"],
+    ["ч", "ç"],
+    ["ш", "ş"],
+    ["щ", "şç"],
+    ["ы", "ı"],
+    ["э", "e"],
+]

crh_transliterator/transliterator.py

@@ -0,0 +1,12 @@
+from .cyr_to_lat import mappings
+import re
+
+
+def transliterate(text: str):
+    text = text.lower()  # always treat lowercase
+    text = " " + text + " "
+
+    for mapping in mappings:
+        text = re.sub(mapping[0], mapping[1], text)
+
+    return text[1:-1]

pytest.ini

@@ -1,3 +1,3 @@
 # pytest.ini
 [pytest]
-addopts = --cov --cov-report html --cov-report xml --cov-report term --cov-branch --ignore=tests
+addopts = --cov --cov-report html --cov-report xml --cov-report term --cov-branch

tests/test_converter.py

@@ -1,20 +1,31 @@
 import converter
+from crh_transliterator.transliterator import transliterate
 from tabulate import tabulate
 
 
-def test_cyrillic_converter():
+def test_latin_converter():
     cases = _read_test_cases()
+    failed = []
     for case in cases:
-        assert converter.to_cyrillic(case[0]) == case[1]
+        if converter.to_latin(case[1]).lower() != case[0].lower():
+            failed.append(
+                (case[1].lower(), converter.to_latin(case[1]).lower(), case[0].lower())
+            )
+    if len(failed) > 0:
+        failed_rows = "\n".join([str(item) for item in failed])
+        raise Exception(
+            f"Failed {len(failed)}/{len(cases)} ({round((len(failed)/len(cases))*100,2)}%) cases.\n"
+            + tabulate(failed, headers=["Original", "Converted", "Ground truth"])
+        )
 
 
-def test_latin_converter():
+def test_transliterator():
     cases = _read_test_cases()
     failed = []
     for case in cases:
-        if converter.to_latin(case[1]).lower() != case[0].lower():
+        if transliterate(case[1]).lower() != case[0].lower():
             failed.append(
-                (case[1].lower(), converter.to_latin(case[1]).lower(), case[0].lower())
+                (case[1].lower(), transliterate(case[1]).lower(), case[0].lower())
             )
     if len(failed) > 0:
         failed_rows = "\n".join([str(item) for item in failed])