Adel-Elgabry/arabic-semantic-search

SentenceTransformer based on sentence-transformers/LaBSE

This is a sentence-transformers model finetuned from sentence-transformers/LaBSE. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/LaBSE
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'BertModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'cls', 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 768, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh', 'module_input_name': 'sentence_embedding', 'module_output_name': 'sentence_embedding'})
  (3): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'شخص رمز قال ناقد مارتن تيرفل يم ان نصف دبى اوروبا بان دبى رمز هذا دل علي اهميه المدرسه الرمزيه الايحاء استخدام كوسيله نفاذ ال عالم نص لخف مسرح ثمن الحريه تضامن رمز عد عبر مدلول الشخصيه وابعادها خلال حدث ايزكياردو مثل رمز للقايد عسكر متسلط أراد ان استخدم لقا اداه حكم لف قتل الابرياء ناس واني حرز نصر علي عدو قاء قبض هذا هدف اتضح شكل جل خلال مخاطب لمونسيرا بقل حجز علي الاربعه اشخاص اشخاص خذا بالمصادفه شارع ابرياء مونسيرا راجل امرأة شعب استطرد مونسيرا تصوير وحش ايزكياردو الهمجيه بقل اوليك عذب حت موت اوليك قتل بان نشر سيقانهم منشار او صب احشايهم رصاص مذوب ايضا واجب يامر ارتكاب تدبير الحيوانيه مونسيرا شاخص تقفي ضد تيار الاقوي مناصر الاضعف والايمان قضة بقى الشخصيه موجود طوال عرض مسرح جعل شبا بطل تراجيدي أظل بحث حتف خلال طول القوميه اذن نحن امام ملحم تراجيدي جلا بقاء نيل الحريه نادى اهم الساسه عالم اثناء ثور العارمه عبر تاريخ التي هد قوي نظم الارستقراطيه هذا جديد منذ بد الخليقه نحن أعاش دوام صراع خير شر جدال زمن انتهى أقول مونسيرا مقطع حوار رجل دين انا اختنق وجد نتا بتا لما أثار قط هذه الالوان تعذيب قتل سلب والارهاب ان شجب اعمال هولاء راجل أراد ان قاتل رضا كون احرارا في حديث مونسيرا الحريه قد غاية غباء لم أيمن ابدا بان حر شعب طال زمن تحقق',
    'شخص رمز قال ناقد مارتن تيرفل يم ان نصف دبى اوروبا بان دبى رمز هذا دل علي اهميه المدرسه الرمزيه الايحاء استخدام كوسيله نفاذ ال عالم نص لخف مسرح ثمن الحريه تضامن رمز عد عبر مدلول الشخصيه وابعادها خلال حدث ايزكياردو مثل رمز للقايد عسكر متسلط أراد ان استخدم لقا اداه حكم لف قتل الابرياء ناس واني حرز نصر علي عدو قاء قبض هذا هدف اتضح شكل جل خلال مخاطب لمونسيرا بقل حجز علي الاربعه اشخاص اشخاص خذا بالمصادفه شارع ابرياء مونسيرا راجل امرأة شعب استطرد مونسيرا تصوير وحش ايزكياردو الهمجيه بقل اوليك عذب حت موت اوليك قتل بان نشر سيقانهم منشار او صب احشايهم رصاص مذوب ايضا واجب يامر ارتكاب تدبير الحيوانيه مونسيرا شاخص تقفي ضد تيار الاقوي مناصر الاضعف والايمان قضة بقى الشخصيه موجود طوال عرض مسرح جعل شبا بطل تراجيدي أظل بحث حتف خلال طول القوميه اذن نحن امام ملحم تراجيدي جلا بقاء نيل الحريه نادى اهم الساسه عالم اثناء ثور العارمه عبر تاريخ التي هد قوي نظم الارستقراطيه هذا جديد منذ بد الخليقه نحن أعاش دوام صراع خير شر جدال زمن انتهى أقول مونسيرا مقطع حوار رجل دين انا اختنق وجد نتا بتا لما أثار قط هذه الالوان تعذيب قتل سلب والارهاب ان شجب اعمال هولاء راجل أراد ان قاتل رضا كون احرارا في حديث مونسيرا الحريه قد غاية غباء لم أيمن ابدا بان حر شعب طال زمن تحقق',
    'تطور بحرين مقابل الطفره الصينيه تطور بحرين ملحوظ سنة الاخيره أعاد منتخب بحرين شار جلا المشاركه نهو بد فرض ذات واحد منتخب القويه خصوص المنطقه الخليجيه شفع تاريخ منتخب بحرين لكن اعتمد بالتاكيد علي سجل وحد تحقيق نتايج ايجابيه مشارك الثانيه كاسي امم اسيا أعاش منتخب بحرين فضل حال دفع فيفا ال اختيار فضل منتخب تطور عام ماضي اذ رتق ال مركز عالم ان مركز المايه عام ثبت منتخب بحرين ان نتايجه الاخيره عرض القويه تكني عابر نهو عاقد عزم علي ظهر بمستوي مشرف محفل الاسيوي رغم خاسر اخر اختبار الوديه امام كور الجنوبيه المرشحه البارزه قب صفر لكن قبل فاز ودي ايضا علي تايلاند المشاركه نهاية صفر بعد انجاز منتخب بحرين بالتاهل ال دار ثاني تصفية الموهله ال مونديال كدى النقله النوعيه طر علي ادايه كاسي عرب الثامنه كويت عندما حل صيف للسعوديه اواخر عام ذات حل صيف للسعوديه ايضا كاسي خليج السادسه عاشر كويت اواخر عام حال أبلى بلاء حسن تصفية الموهله ال مونديال المانيا كان قدر بحر ان خاض مباراة الاولي البطوله امام اصحاب الارض هزم لبن صفر ايام اطار تحضير ان تعادل الامارات لكن قدر اعتبر صعب بالنسبه ال بحريني فانها صيني لعب وسط ضغط كبير لان مطالب فوز كان رييس اتحاد بحرين شيخ سلم بن ابراهيم ال خليف صريح بقل ناشر البطوله الاسيويه جلا المنافسه لان مستوي منتخب بحرين شاهد تطور كبير منح حق بان كوى حدا الاطراف المنافسه البطوله واضاف اولا على تخطى دار الاول ولد قانع تام وثاق كبير قدر لاعب علي تحقيق خلال الاصرار والعزيمه ملك عن المواجهه لصى قال جميع نظر ال المباراه كمباراه قمه طرف كون الاعصاب مشدود متوتر منتخب صيني هذا صب مصلح افتقد مدرب منتخب بحر كروات يوريسيتش ستريشكو عام جهد لاعب جيد خط خلف سلم عاس عبدالله مرزوق سبب الاصابه لكن ملك عدد لاعب قادر علي تقديم عرض جيد من فيصل عبد عزيز حس باب محمد سالم طل يوسف علاء حبيل حس علي ملقب بيل',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 1.0000, 0.1308],
#         [1.0000, 1.0000, 0.1308],
#         [0.1308, 0.1308, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,000 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 58 tokens mean: 243.6 tokens max: 256 tokens	min: 58 tokens mean: 243.6 tokens max: 256 tokens

• Samples:

  sentence_0	sentence_1
  حقة الملتقي الاول صاحب الاعمال دولة مجلس تعاون خليج نجاح ملحوظ شاهد شار قد تم تنظيم الملتقي تعاون الامانه عامه اتحاد غرف دولة مجلس تعاون خليج غرف تاجر صانع عمان مدين مسقط يوم قال حاص بنت عبد رحمن عانة ناطق راسم اسم جن متابع تنفيذ توصية الملتقي ان اهم توصية خرج الملتقي حث غرف أوجد لدى جان صاحب الاعمال علي سرع انشاء لج ليتسني تشكيل جن اقليميه صاحب الاعمال عمل مظل امانه اتحاد قد بارك غرف الاعضاء اجتماع جن قياد التنفيذيه تم عقد مملك بحر يوم كره انشاء جن صاحب الاعمال خليج حفز اعضاء جن متابع تنفيذ توصية الملتقي ال المبادره باعداد مسود اللايحه التنظيميه لاج التي اشتمل علي تشكيل واهدافها اختصاص والي عمل واوضحت حاص عانة بان تاسيس جن خليج صاحب الاعمال شان ان ساهم اتساع دار المراه للمشاركه لحى الاقتصاديه نمى تعزيز اواصر تعاون مجال عمل مشترك واصل حديث قايله ان اللجنه هدف ال تفعيل دار صاحب الاعمال اقتصاد دولة المنطقه مساعد علي تواصل بعض تقديم تسهيل تدريب كاف خدمة تكفل للمراه زياد مساهم ضخ رووس الاموال مشروع الصغيره والمتوسطه ضمن توطين فضل يد العامله بما أعز محافظ المراه علي واجب الاخري واعربت ثقة ب...	حقة الملتقي الاول صاحب الاعمال دولة مجلس تعاون خليج نجاح ملحوظ شاهد شار قد تم تنظيم الملتقي تعاون الامانه عامه اتحاد غرف دولة مجلس تعاون خليج غرف تاجر صانع عمان مدين مسقط يوم قال حاص بنت عبد رحمن عانة ناطق راسم اسم جن متابع تنفيذ توصية الملتقي ان اهم توصية خرج الملتقي حث غرف أوجد لدى جان صاحب الاعمال علي سرع انشاء لج ليتسني تشكيل جن اقليميه صاحب الاعمال عمل مظل امانه اتحاد قد بارك غرف الاعضاء اجتماع جن قياد التنفيذيه تم عقد مملك بحر يوم كره انشاء جن صاحب الاعمال خليج حفز اعضاء جن متابع تنفيذ توصية الملتقي ال المبادره باعداد مسود اللايحه التنظيميه لاج التي اشتمل علي تشكيل واهدافها اختصاص والي عمل واوضحت حاص عانة بان تاسيس جن خليج صاحب الاعمال شان ان ساهم اتساع دار المراه للمشاركه لحى الاقتصاديه نمى تعزيز اواصر تعاون مجال عمل مشترك واصل حديث قايله ان اللجنه هدف ال تفعيل دار صاحب الاعمال اقتصاد دولة المنطقه مساعد علي تواصل بعض تقديم تسهيل تدريب كاف خدمة تكفل للمراه زياد مساهم ضخ رووس الاموال مشروع الصغيره والمتوسطه ضمن توطين فضل يد العامله بما أعز محافظ المراه علي واجب الاخري واعربت ثقة ب...
  عمان وطن قال صحيفه معاريف الاسراييليه ان الرييس الايراني علي خاتم تحدث للصحيفه اثناء مشارك موتمر دافوس منعقد حال قال الصحيفه ان خط الايراني محافظ مرى حت ال مقطع حوار عرف نفس كاسراييلي الموتمر اقتصاد دافوس فقا الرييس الايراني محمد خاتم علي رد لاول مر علي سوال معاريف حت ان هم بان صحيفه كي صهيوني كان خاتم وصل ال الموتمر سنوي عقد سويسرا صاعد ال المنصه أجاب علي اسيله صحفي عندما تب ان مراسل قفى حيال مراسل اسراييلي تغير سيماء ابتسام علي وجه وساد حرج القاعه وزير عراق طارق عزيز او وزير سورة فاروق شرع كشر تجاهل اسيله الاسراييليين حبذ خاتم بالذات انصات ال السوال واجاب شكل موضوع قد سيل اي شرط توافق ايران علي اعتراف دولة اسراييل فاجاب لصحيفه معاريف لدى مشكل اخلاقيه اسراييل سبب احتلال واضاف قايلا ان احتلال أمكن ان يود ال شرع خطير جدا احتلال اراض واعلان الملكيه على مع فاننا تدخل شو الاخرين نحن احترم قارر شعب فلسطيني قارر اتخذ جانب كون مقبول طرف ردف الرييس الايراني أقول اننا معني ان سود المنطقه سالم قام علي استقرار هدوء لابناء ديان الثلاث اليهوديه المسيحيه والاسلام حيث أدار نمط حي عاد في سياق الموتمر ...	عمان وطن قال صحيفه معاريف الاسراييليه ان الرييس الايراني علي خاتم تحدث للصحيفه اثناء مشارك موتمر دافوس منعقد حال قال الصحيفه ان خط الايراني محافظ مرى حت ال مقطع حوار عرف نفس كاسراييلي الموتمر اقتصاد دافوس فقا الرييس الايراني محمد خاتم علي رد لاول مر علي سوال معاريف حت ان هم بان صحيفه كي صهيوني كان خاتم وصل ال الموتمر سنوي عقد سويسرا صاعد ال المنصه أجاب علي اسيله صحفي عندما تب ان مراسل قفى حيال مراسل اسراييلي تغير سيماء ابتسام علي وجه وساد حرج القاعه وزير عراق طارق عزيز او وزير سورة فاروق شرع كشر تجاهل اسيله الاسراييليين حبذ خاتم بالذات انصات ال السوال واجاب شكل موضوع قد سيل اي شرط توافق ايران علي اعتراف دولة اسراييل فاجاب لصحيفه معاريف لدى مشكل اخلاقيه اسراييل سبب احتلال واضاف قايلا ان احتلال أمكن ان يود ال شرع خطير جدا احتلال اراض واعلان الملكيه على مع فاننا تدخل شو الاخرين نحن احترم قارر شعب فلسطيني قارر اتخذ جانب كون مقبول طرف ردف الرييس الايراني أقول اننا معني ان سود المنطقه سالم قام علي استقرار هدوء لابناء ديان الثلاث اليهوديه المسيحيه والاسلام حيث أدار نمط حي عاد في سياق الموتمر ...
  علا شارك فرق مسرح مسقط حر السلطنه ختام فعال مهرج دمشق مسرح ثاني دمشق وطن اختتم مسا ثلاثاء فعال الدوره ال مهرج دمشق فن المسرحيه انطلق يوم غياب دامي عام شارك مجموع فرق المسرحيه السوريه والعربيه والاجنبيه قدم السلطنه فرق مسرح مسقط حر عرض مسرح منتهي حب منتهي لقس تاليف منا ربيع اخراج جاسم البطاشي عن عرض لاقى استحسان جمهور مهرج تحدث مخرج البطاشي قايلا اننا سعيد بالمشاركه العمانيه مهرج انتظار طويل مسرحي عرب عراق واهم مهرج ولد رحم مهرجان المسرحيه وطن عرب كدى البطاشي علي دار مهرج تطوير ادوات خبر مسرحي مشارك واهم لقاء اتاحه مهرج فنان مسرحي كبار واشار ال ان المشاركه الاولي للسلطنه مهرج مهم عن مسرح منتهي حب منتهي لقس قال نص الصعبه تب منا ربيع تعاون مستمر مع استطاع عد تجربة وصول ال صيغة فن تناسب واشكاليه نص عن واقع مسرح عمان أضاف البطاشي قايلا تطور مسرح السلطنه تطور كبير فضل طاق الفنيه الاكاديميه والهاويه العاشقه مسرح الموجوده السلطنه فضل مهرج مسرح عمان اقيم موخرا عمان وكانت خط مهم قام زار تراث والثقافه صبح متنفس مسرحي تقديم اعمالهم المميزه جزم البطاشي ان مسرح خليج سنة القادمه انطلق السلطنه تحدث وط...	علا شارك فرق مسرح مسقط حر السلطنه ختام فعال مهرج دمشق مسرح ثاني دمشق وطن اختتم مسا ثلاثاء فعال الدوره ال مهرج دمشق فن المسرحيه انطلق يوم غياب دامي عام شارك مجموع فرق المسرحيه السوريه والعربيه والاجنبيه قدم السلطنه فرق مسرح مسقط حر عرض مسرح منتهي حب منتهي لقس تاليف منا ربيع اخراج جاسم البطاشي عن عرض لاقى استحسان جمهور مهرج تحدث مخرج البطاشي قايلا اننا سعيد بالمشاركه العمانيه مهرج انتظار طويل مسرحي عرب عراق واهم مهرج ولد رحم مهرجان المسرحيه وطن عرب كدى البطاشي علي دار مهرج تطوير ادوات خبر مسرحي مشارك واهم لقاء اتاحه مهرج فنان مسرحي كبار واشار ال ان المشاركه الاولي للسلطنه مهرج مهم عن مسرح منتهي حب منتهي لقس قال نص الصعبه تب منا ربيع تعاون مستمر مع استطاع عد تجربة وصول ال صيغة فن تناسب واشكاليه نص عن واقع مسرح عمان أضاف البطاشي قايلا تطور مسرح السلطنه تطور كبير فضل طاق الفنيه الاكاديميه والهاويه العاشقه مسرح الموجوده السلطنه فضل مهرج مسرح عمان اقيم موخرا عمان وكانت خط مهم قام زار تراث والثقافه صبح متنفس مسرحي تقديم اعمالهم المميزه جزم البطاشي ان مسرح خليج سنة القادمه انطلق السلطنه تحدث وط...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 1
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_ratio: None
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• enable_jit_checkpoint: False
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• use_cpu: False
• seed: 42
• data_seed: None
• bf16: False
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: -1
• ddp_backend: None
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_for_metrics: []
• eval_do_concat_batches: True
• auto_find_batch_size: False
• full_determinism: False
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• use_cache: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Time

• Training: 1.2 minutes

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.4.0
• Transformers: 5.0.0
• PyTorch: 2.10.0+cu128
• Accelerate: 1.13.0
• Datasets: 4.8.5
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}