Upload utils.py

utils.py

@@ -0,0 +1,324 @@
+ascending_metrics = {
+    "wer",
+    "cer",
+    "loss",
+    "mae",
+    "mahalanobis",
+    "mse",
+    "perplexity",
+    "ter",
+}
+
+metric_ranges = {
+    "accuracy": (0,1),
+    "precision": (0,1),
+    "recall": (0,1),
+    "macro f1": (0,1),
+    "micro f1": (0,1),
+    "pearson": (-1, 1),
+    "matthews_correlation": (-1, 1),
+    "spearmanr": (-1, 1),
+    "google_bleu": (0, 1),
+    "precision@10": (0, 1),
+    "mae": (0, 1),
+    "mauve": (0, 1),
+    "frontier_integral": (0, 1),
+    "mean_iou": (0, 1),
+    "mean_accuracy": (0, 1),
+    "overall_accuracy": (0, 1),
+    "meteor": (0, 1),
+    "mse": (0, 1),
+    "perplexity": (0, float("inf")),
+    "rogue1": (0, 1),
+    "rogue2": (0, 1),
+    "sari": (0, 100),
+}
+
+CV11_LANGUAGES = {
+     'ab': 'Abkhaz',
+     'ace': 'Acehnese',
+     'ady': 'Adyghe',
+     'af': 'Afrikaans',
+     'am': 'Amharic',
+     'an': 'Aragonese',
+     'ar': 'Arabic',
+     'arn': 'Mapudungun',
+     'as': 'Assamese',
+     'ast': 'Asturian',
+     'az': 'Azerbaijani',
+     'ba': 'Bashkir',
+     'bas': 'Basaa',
+     'be': 'Belarusian',
+     'bg': 'Bulgarian',
+     'bn': 'Bengali',
+     'br': 'Breton',
+     'bs': 'Bosnian',
+     'bxr': 'Buryat',
+     'ca': 'Catalan',
+     'cak': 'Kaqchikel',
+     'ckb': 'Central Kurdish',
+     'cnh': 'Hakha Chin',
+     'co': 'Corsican',
+     'cs': 'Czech',
+     'cv': 'Chuvash',
+     'cy': 'Welsh',
+     'da': 'Danish',
+     'de': 'German',
+     'dsb': 'Sorbian, Lower',
+     'dv': 'Dhivehi',
+     'dyu': 'Dioula',
+     'el': 'Greek',
+     'en': 'English',
+     'eo': 'Esperanto',
+     'es': 'Spanish',
+     'et': 'Estonian',
+     'eu': 'Basque',
+     'fa': 'Persian',
+     'ff': 'Fulah',
+     'fi': 'Finnish',
+     'fo': 'Faroese',
+     'fr': 'French',
+     'fy-NL': 'Frisian',
+     'ga-IE': 'Irish',
+     'gl': 'Galician',
+     'gn': 'Guarani',
+     'gom': 'Goan Konkani',
+     'ha': 'Hausa',
+     'he': 'Hebrew',
+     'hi': 'Hindi',
+     'hil': 'Hiligaynon',
+     'hr': 'Croatian',
+     'hsb': 'Sorbian, Upper',
+     'ht': 'Haitian',
+     'hu': 'Hungarian',
+     'hy-AM': 'Armenian',
+     'hyw': 'Armenian Western',
+     'ia': 'Interlingua',
+     'id': 'Indonesian',
+     'ie': 'Interlingue',
+     'ig': 'Igbo',
+     'is': 'Icelandic',
+     'it': 'Italian',
+     'izh': 'Izhorian',
+     'ja': 'Japanese',
+     'jbo': 'Lojban',
+     'ka': 'Georgian',
+     'kaa': 'Karakalpak',
+     'kab': 'Kabyle',
+     'kbd': 'Kabardian',
+     'ki': 'Kikuyu',
+     'kk': 'Kazakh',
+     'km': 'Khmer',
+     'kmr': 'Kurmanji Kurdish',
+     'kn': 'Kannada',
+     'knn': 'Konkani (Devanagari)',
+     'ko': 'Korean',
+     'kpv': 'Komi-Zyrian',
+     'kw': 'Cornish',
+     'ky': 'Kyrgyz',
+     'lb': 'Luxembourgish',
+     'lg': 'Luganda',
+     'lij': 'Ligurian',
+     'ln': 'Lingala',
+     'lo': 'Lao',
+     'lt': 'Lithuanian',
+     'lv': 'Latvian',
+     'mai': 'Maithili',
+     'mdf': 'Moksha',
+     'mg': 'Malagasy',
+     'mhr': 'Meadow Mari',
+     'mk': 'Macedonian',
+     'ml': 'Malayalam',
+     'mn': 'Mongolian',
+     'mni': 'Meetei Lon',
+     'mos': 'Mossi',
+     'mr': 'Marathi',
+     'mrj': 'Hill Mari',
+     'ms': 'Malay',
+     'mt': 'Maltese',
+     'my': 'Burmese',
+     'myv': 'Erzya',
+     'nan-tw': 'Taiwanese (Minnan)',
+     'nb-NO': 'Norwegian Bokmål',
+     'nd': 'IsiNdebele (North)',
+     'ne-NP': 'Nepali',
+     'nia': 'Nias',
+     'nl': 'Dutch',
+     'nn-NO': 'Norwegian Nynorsk',
+     'nr': 'IsiNdebele (South)',
+     'nso': 'Northern Sotho',
+     'nyn': 'Runyankole',
+     'oc': 'Occitan',
+     'om': 'Afaan Ormoo',
+     'or': 'Odia',
+     'pa-IN': 'Punjabi',
+     'pap-AW': 'Papiamento (Aruba)',
+     'pl': 'Polish',
+     'ps': 'Pashto',
+     'pt': 'Portuguese',
+     'quc': "K'iche'",
+     'quy': 'Quechua Chanka',
+     'rm-sursilv': 'Romansh Sursilvan',
+     'rm-vallader': 'Romansh Vallader',
+     'ro': 'Romanian',
+     'ru': 'Russian',
+     'rw': 'Kinyarwanda',
+     'sah': 'Sakha',
+     'sat': 'Santali (Ol Chiki)',
+     'sc': 'Sardinian',
+     'scn': 'Sicilian',
+     'sdh': 'Southern Kurdish',
+     'shi': 'Shilha',
+     'si': 'Sinhala',
+     'sk': 'Slovak',
+     'skr': 'Saraiki',
+     'sl': 'Slovenian',
+     'snk': 'Soninke',
+     'so': 'Somali',
+     'sq': 'Albanian',
+     'sr': 'Serbian',
+     'ss': 'Siswati',
+     'st': 'Southern Sotho',
+     'sv-SE': 'Swedish',
+     'sw': 'Swahili',
+     'syr': 'Syriac',
+     'ta': 'Tamil',
+     'te': 'Telugu',
+     'tg': 'Tajik',
+     'th': 'Thai',
+     'ti': 'Tigrinya',
+     'tig': 'Tigre',
+     'tk': 'Turkmen',
+     'tl': 'Tagalog',
+     'tn': 'Setswana',
+     'tok': 'Toki Pona',
+     'tr': 'Turkish',
+     'ts': 'Xitsonga',
+     'tt': 'Tatar',
+     'tw': 'Twi',
+     'ty': 'Tahitian',
+     'uby': 'Ubykh',
+     'udm': 'Udmurt',
+     'ug': 'Uyghur',
+     'uk': 'Ukrainian',
+     'ur': 'Urdu',
+     'uz': 'Uzbek',
+     've': 'Tshivenda',
+     'vec': 'Venetian',
+     'vi': 'Vietnamese',
+     'vot': 'Votic',
+     'xh': 'Xhosa',
+     'yi': 'Yiddish',
+     'yo': 'Yoruba',
+     'yue': 'Cantonese',
+     'zgh': 'Tamazight',
+     'zh-CN': 'Chinese (China)',
+     'zh-HK': 'Chinese (Hong Kong)',
+     'zh-TW': 'Chinese (Taiwan)',
+     'zu': 'Zulu',
+}
+
+FLEURS_LANGUAGES = {
+    'af_za': 'Afrikaans',
+     'am_et': 'Amharic',
+     'ar_eg': 'Arabic',
+     'as_in': 'Assamese',
+     'ast_es': 'Asturian',
+     'az_az': 'Azerbaijani',
+     'be_by': 'Belarusian',
+     'bg_bg': 'Bulgarian',
+     'bn_in': 'Bengali',
+     'bs_ba': 'Bosnian',
+     'ca_es': 'Catalan',
+     'ceb_ph': 'Cebuano',
+     'ckb_iq': 'Sorani-Kurdish',
+     'cmn_hans_cn': 'Mandarin Chinese',
+     'cs_cz': 'Czech',
+     'cy_gb': 'Welsh',
+     'da_dk': 'Danish',
+     'de_de': 'German',
+     'el_gr': 'Greek',
+     'en_us': 'English',
+     'es_419': 'Spanish',
+     'et_ee': 'Estonian',
+     'fa_ir': 'Persian',
+     'ff_sn': 'Fula',
+     'fi_fi': 'Finnish',
+     'fil_ph': 'Filipino',
+     'fr_fr': 'French',
+     'ga_ie': 'Irish',
+     'gl_es': 'Galician',
+     'gu_in': 'Gujarati',
+     'ha_ng': 'Hausa',
+     'he_il': 'Hebrew',
+     'hi_in': 'Hindi',
+     'hr_hr': 'Croatian',
+     'hu_hu': 'Hungarian',
+     'hy_am': 'Armenian',
+     'id_id': 'Indonesian',
+     'ig_ng': 'Igbo',
+     'is_is': 'Icelandic',
+     'it_it': 'Italian',
+     'ja_jp': 'Japanese',
+     'jv_id': 'Javanese',
+     'ka_ge': 'Georgian',
+     'kam_ke': 'Kamba',
+     'kea_cv': 'Kabuverdianu',
+     'kk_kz': 'Kazakh',
+     'km_kh': 'Khmer',
+     'kn_in': 'Kannada',
+     'ko_kr': 'Korean',
+     'ky_kg': 'Kyrgyz',
+     'lb_lu': 'Luxembourgish',
+     'lg_ug': 'Ganda',
+     'ln_cd': 'Lingala',
+     'lo_la': 'Lao',
+     'lt_lt': 'Lithuanian',
+     'luo_ke': 'Luo',
+     'lv_lv': 'Latvian',
+     'mi_nz': 'Maori',
+     'mk_mk': 'Macedonian',
+     'ml_in': 'Malayalam',
+     'mn_mn': 'Mongolian',
+     'mr_in': 'Marathi',
+     'ms_my': 'Malay',
+     'mt_mt': 'Maltese',
+     'my_mm': 'Burmese',
+     'nb_no': 'Norwegian',
+     'ne_np': 'Nepali',
+     'nl_nl': 'Dutch',
+     'nso_za': 'Northern-Sotho',
+     'ny_mw': 'Nyanja',
+     'oc_fr': 'Occitan',
+     'om_et': 'Oromo',
+     'or_in': 'Oriya',
+     'pa_in': 'Punjabi',
+     'pl_pl': 'Polish',
+     'ps_af': 'Pashto',
+     'pt_br': 'Portuguese',
+     'ro_ro': 'Romanian',
+     'ru_ru': 'Russian',
+     'sd_in': 'Sindhi',
+     'sk_sk': 'Slovak',
+     'sl_si': 'Slovenian',
+     'sn_zw': 'Shona',
+     'so_so': 'Somali',
+     'sr_rs': 'Serbian',
+     'sv_se': 'Swedish',
+     'sw_ke': 'Swahili',
+     'ta_in': 'Tamil',
+     'te_in': 'Telugu',
+     'tg_tj': 'Tajik',
+     'th_th': 'Thai',
+     'tr_tr': 'Turkish',
+     'uk_ua': 'Ukrainian',
+     'umb_ao': 'Umbundu',
+     'ur_pk': 'Urdu',
+     'uz_uz': 'Uzbek',
+     'vi_vn': 'Vietnamese',
+     'wo_sn': 'Wolof',
+     'xh_za': 'Xhosa',
+     'yo_ng': 'Yoruba',
+     'yue_hant_hk': 'Cantonese Chinese',
+     'zu_za': 'Zulu',
+}