nskwal/mrayumi-base-1e

test

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base on the quati and msmarco datasets. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-base
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Datasets:
  • quati
  • msmarco
• Language: pt

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("nskwal/mrayumi-base-1e")
# Run inference
sentences = [
    'para que serve a azitromicina',
    'Infecções bacterianas. A azitromicina é mais comumente usada para tratar as seguintes infecções: 1 Infecções respiratórias, como bronquite. 2 Infecções de ouvido (otite média). 3 infecções sinusais (sinusite). 4 Pneumonia. 5 Infecções da garganta (amigdalite / faringite). 6 Infecções da pele, como celulite, foliculite ou impetigo.',
    'A azitromicina também pode ser usada para tratar várias outras infecções bacterianas mais incomuns. A azitromicina não é eficaz contra nenhuma infecção causada por um vírus, como gripe, gastroenterite ou resfriado comum.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Datasets

quati

• Dataset: quati
• Size: 1,415 training samples
• Columns: query and passage
• Approximate statistics based on the first 1000 samples:

  	query	passage
  type	string	string
  details	min: 8 tokens mean: 12.57 tokens max: 21 tokens	min: 65 tokens mean: 267.65 tokens max: 412 tokens

• Samples:

  query	passage
  "O que são os celulares ""mid-range""?"	Câmeras traseiras: 64 MP quad-pixel + 12 MP (ultra-wide) + 5 MP (macro) + 5 MP (sensor de profundidade) Filma em: 4K Câmera frontal: 32 MP Bateria: 4.500 mAh com carregamento turbo de 25W Tem conexão 3G e 4G Pontos positivos: Tela grande com resolução Full HD 128 GB de armazenamento é um bom espaço Câmera de 64 MP que filma em 4K Câmera frontal também filma em 4K Processador potente para uso no dia a dia Pontos negativos: Bateria com tamanho abaixo dos concorrentes Sem proteção contra água Melhor Preço Conclusões Como dito no começo da matéria o mercado de celulares está crescendo exponencialmente e isso faz com que estejam disponíveis vários modelos no mercado, para os mais diferentes gostos. Nem todo mundo precisa ou está disposto a pagar pelos melhores celulares e é onde entram os modelos citados nesta lista: Um bom celular por um preço mediano. Para um uso comum estes modelos atendem muito bem. Se você sentiu falta de alguma opção nesta lista deixe ai nos comentários. Vale lembrar ...
  "O que são os celulares ""mid-range""?"	Smartphone Motorola Moto G8 Plus Imagem Celular Intermediário Detalhes Smartphone Xiaomi Redmi Note 8 Pro Melhor celular intermediário, processador rápido Smartphone Xiaomi Redmi Note 8 Melhor celular intermediário custo benefício, câmera quádrupla Smartphone Motorola One Action Sensor exclusivo para vídeo Smartphone Huawei P30 Lite Diversas tecnologias diferenciadas Smartphone Samsung Galaxy A50 Câmera frontal de 25 MP Smartphone Samsung Galaxy A30s Leitor de impressão digital embutido na tela Smartphone Motorola Moto G8 Plus Design moderno e bonito Hoje em dia os smartphones são verdadeiros aliados. Apenas com eles é possível executar uma grande quantidade de tarefas como ligações, mensagens, acesso a e-mail e redes sociais e muito mais. Mas para conseguir isso é importante ter em mãos um aparelho que reúna componentes de qualidade, tal como, boa câmera, ótimo espaço de armazenamento e processador ágil. Pensando nisso, selecionamos os modelos de celular intermediário que englobam as ...
  "O que são os celulares ""mid-range""?"	Os monócitos, eosinófilos, basófilos e seus progenitores circulam no sangue em pequenas quantidades, no entanto, essas células são muitas vezes combinados em um grupo que é designado como MXD ou MID. Este grupo pode ser expressa como uma percentagem do número total de leucócitos (MXD%), ou um número absoluto (MXD #, # MID). Estes tipos de células do sangue e as células brancas do sangue e são funções importantes (a luta contra parasitas, bactérias, reacções alérgicas, etc.). Absoluta e percentagem deste valor aumenta se o aumento do número de um dos tipos de células na sua composição. Para determinar a natureza da alteração geralmente é estudar a percentagem de cada tipo de célula (monócitos, eosinófilos, basófilos e os seus precursores). Requisitos: eosinófilos reduzidos e aumento no sangue # MID (MID, MXD #) 0,2-0,8 x 109 / l MID% (MXD%) 5 - 10% O número de granulócitos (GRA, GRAN) Granulócitos - são leucócitos que contêm grânulos (leucócitos granulares). Granulócitos 3 tipos de célu...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

msmarco

• Dataset: msmarco
• Size: 39,780,811 training samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 4 tokens mean: 11.4 tokens max: 32 tokens	min: 14 tokens mean: 102.05 tokens max: 401 tokens	min: 30 tokens mean: 91.92 tokens max: 470 tokens

• Samples:

  query	positive	negative
  é um pouco de cafeína ok durante a gravidez	Não sabemos muito sobre os efeitos da cafeína durante a gravidez sobre você e seu bebê. Portanto, é melhor limitar a quantidade que você recebe a cada dia. Se você estiver grávida, limite a cafeína a 200 miligramas por dia. Isso é aproximadamente a quantidade em 1 x 8 onças de café ou uma xícara de 12 onças de café.	Em geral, é seguro para mulheres grávidas comer chocolate porque estudos demonstraram alguns benefícios de comer chocolate durante a gravidez. No entanto, as mulheres grávidas devem garantir que a ingestão de cafeína seja inferior a 200 mg por dia.
  que fruta é nativa da Austrália	Passiflora herbertiana. Um raro maracujá nativo da Austrália. Os frutos são de casca verde, polpa branca, com uma classificação comestível desconhecida. Algumas fontes listam as frutas como comestíveis, doces e saborosas, enquanto outras listam as frutas como sendo amargas e não comestíveis.assiflora herbertiana. Um raro maracujá nativo da Austrália. Os frutos são de casca verde, polpa branca, com uma classificação comestível desconhecida. Algumas fontes listam as frutas como comestíveis, doces e saborosas, enquanto outras listam as frutas como amargas e não comestíveis.	A noz de cola é o fruto da árvore da cola, um gênero (Cola) de árvores que são nativas das florestas tropicais da África.
  quão grande é o exército canadense	As Forças Armadas canadenses. 1 A primeira missão de manutenção da paz canadense em grande escala começou no Egito em 24 de novembro de 1956. 2 Há aproximadamente 65.000 membros da Força Regular e 25.000 membros reservistas nas forças armadas canadenses. 3 No Canadá, o dia 9 de agosto é designado como Dia Nacional dos Pacificadores.	O Canadian Physician Health Institute (CPHI) é um programa nacional criado em 2012 como uma colaboração entre a Canadian Medical Association (CMA), a Canadian Medical Foundation (CMF) e as Provincial and Territorial Medical Associations (PTMAs).

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• gradient_accumulation_steps: 2
• learning_rate: 2e-05
• weight_decay: 0.01
• warmup_ratio: 0.05
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 2
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.05
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0051	100	6.6139
0.0103	200	3.3742
0.0154	300	0.6789
0.0206	400	0.3686
0.0257	500	0.3366
0.0309	600	0.3183
0.0360	700	0.3071
0.0412	800	0.295
0.0463	900	0.2863
0.0515	1000	0.2771
0.0566	1100	0.2693
0.0618	1200	0.2587
0.0669	1300	0.2539
0.0721	1400	0.2459
0.0772	1500	0.2393
0.0824	1600	0.2312
0.0875	1700	0.2269
0.0927	1800	0.217
0.0978	1900	0.2103
0.1030	2000	0.2089
0.1081	2100	0.1999
0.1133	2200	0.1961
0.1184	2300	0.1901
0.1236	2400	0.1847
0.1287	2500	0.1798
0.1339	2600	0.1764
0.1390	2700	0.1703
0.1441	2800	0.1637
0.1493	2900	0.1599
0.1544	3000	0.158
0.1596	3100	0.152
0.1647	3200	0.1506
0.1699	3300	0.1478
0.1750	3400	0.1431
0.1802	3500	0.1417
0.1853	3600	0.1368
0.1905	3700	0.1349
0.1956	3800	0.1327
0.2008	3900	0.129
0.2059	4000	0.1287
0.2111	4100	0.1257
0.2162	4200	0.1236
0.2214	4300	0.1222
0.2265	4400	0.118
0.2317	4500	0.1181
0.2368	4600	0.1152
0.2420	4700	0.1154
0.2471	4800	0.1102
0.2523	4900	0.1099
0.2574	5000	0.1101
0.2626	5100	0.1064
0.2677	5200	0.107
0.2729	5300	0.1043
0.2780	5400	0.103
0.2831	5500	0.1006
0.2883	5600	0.0995
0.2934	5700	0.0983
0.2986	5800	0.0978
0.3037	5900	0.0969
0.3089	6000	0.0957
0.3140	6100	0.0971
0.3192	6200	0.0941
0.3243	6300	0.0928
0.3295	6400	0.0939
0.3346	6500	0.0904
0.3398	6600	0.0899
0.3449	6700	0.0916
0.3501	6800	0.0885
0.3552	6900	0.0881
0.3604	7000	0.088
0.3655	7100	0.0873
0.3707	7200	0.0866
0.3758	7300	0.0844
0.3810	7400	0.085
0.3861	7500	0.0829
0.3913	7600	0.0819
0.3964	7700	0.0812
0.4016	7800	0.079
0.4067	7900	0.0808
0.4119	8000	0.0803
0.4170	8100	0.0798
0.4221	8200	0.0789
0.4273	8300	0.0772
0.4324	8400	0.0772
0.4376	8500	0.0755
0.4427	8600	0.0751
0.4479	8700	0.0751
0.4530	8800	0.0734
0.4582	8900	0.0735
0.4633	9000	0.0732
0.4685	9100	0.0732
0.4736	9200	0.0726
0.4788	9300	0.0715
0.4839	9400	0.0722
0.4891	9500	0.0721
0.4942	9600	0.0701
0.4994	9700	0.0696
0.5045	9800	0.0707
0.5097	9900	0.0702
0.5148	10000	0.0702
0.5200	10100	0.0686
0.5251	10200	0.0685
0.5303	10300	0.0663
0.5354	10400	0.0667
0.5406	10500	0.0658
0.5457	10600	0.0654
0.5509	10700	0.0664
0.5560	10800	0.065
0.5611	10900	0.0647
0.5663	11000	0.0651
0.5714	11100	0.0656
0.5766	11200	0.0632
0.5817	11300	0.0642
0.5869	11400	0.0638
0.5920	11500	0.0622
0.5972	11600	0.0626
0.6023	11700	0.0621
0.6075	11800	0.0614
0.6126	11900	0.062
0.6178	12000	0.0606
0.6229	12100	0.0618
0.6281	12200	0.0611
0.6332	12300	0.0582
0.6384	12400	0.0598
0.6435	12500	0.0591
0.6487	12600	0.0585
0.6538	12700	0.0582
0.6590	12800	0.0578
0.6641	12900	0.0577
0.6693	13000	0.0581
0.6744	13100	0.058
0.6796	13200	0.0559
0.6847	13300	0.0563
0.6899	13400	0.0567
0.6950	13500	0.0563
0.7001	13600	0.0563
0.7053	13700	0.0542
0.7104	13800	0.0552
0.7156	13900	0.0556
0.7207	14000	0.055
0.7259	14100	0.0542
0.7310	14200	0.0539
0.7362	14300	0.0537
0.7413	14400	0.0541
0.7465	14500	0.0527
0.7516	14600	0.0526
0.7568	14700	0.0545
0.7619	14800	0.053
0.7671	14900	0.0541
0.7722	15000	0.0527
0.7774	15100	0.0526
0.7825	15200	0.0523
0.7877	15300	0.0521
0.7928	15400	0.0509
0.7980	15500	0.0512
0.8031	15600	0.0508
0.8083	15700	0.0507
0.8134	15800	0.0495
0.8186	15900	0.0503
0.8237	16000	0.0499
0.8289	16100	0.0504
0.8340	16200	0.0498
0.8391	16300	0.0506
0.8443	16400	0.0501
0.8494	16500	0.0489
0.8546	16600	0.0483
0.8597	16700	0.0489
0.8649	16800	0.0485
0.8700	16900	0.0476
0.8752	17000	0.0491
0.8803	17100	0.0473
0.8855	17200	0.0476
0.8906	17300	0.0476
0.8958	17400	0.047
0.9009	17500	0.047
0.9061	17600	0.0473
0.9112	17700	0.045
0.9164	17800	0.0468
0.9215	17900	0.0471
0.9267	18000	0.0459
0.9318	18100	0.0459
0.9370	18200	0.0458
0.9421	18300	0.0453
0.9473	18400	0.0449
0.9524	18500	0.046
0.9576	18600	0.0454
0.9627	18700	0.0455
0.9678	18800	0.0437
0.9730	18900	0.044
0.9781	19000	0.0447
0.9833	19100	0.0452
0.9884	19200	0.0435
0.9936	19300	0.0449
0.9987	19400	0.0457

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 4.1.0
• Transformers: 4.51.3
• PyTorch: 2.6.0+cu126
• Accelerate: 1.6.0
• Datasets: 3.5.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}