Shuu12121 commited on
Commit
f9495f0
·
verified ·
1 Parent(s): 044a7a4

Update README.md (#1)

Browse files

- Update README.md (c60df62d5e6b924d2f671f2576abe5ae54e92630)

Files changed (1) hide show
  1. README.md +27 -19
README.md CHANGED
@@ -109,25 +109,29 @@ This model has been evaluated on the MTEB (Massive Text Embedding Benchmark).
109
 
110
  **タスク: CodeSearchNet Retrieval**
111
 
112
- * **MTEB 標準評価 (main_score: nDCG@10): 0.8890**
113
- * `ndcg_at_1`: 0.8060
114
- * `ndcg_at_3`: 0.8748
115
- * `ndcg_at_5`: 0.8837
116
- * `ndcg_at_10`: 0.8890
117
- * `ndcg_at_100`: 0.8940
118
- * `map_at_10`: 0.8659
119
- * `recall_at_10`: 0.9585
120
- * `mrr_at_10`: 0.8659
121
-
122
- * **COIR (Contextual Object Identity Recognition) 設定での評価 (main_score: nDCG@10): 0.7985**
123
- * `ndcg_at_1`: 0.7124
124
- * `ndcg_at_3`: 0.7752
125
- * `ndcg_at_5`: 0.7874
126
- * `ndcg_at_10`: 0.7985
127
- * `ndcg_at_100`: 0.8126
128
- * `map_at_10`: 0.7717
129
- * `recall_at_10`: 0.8818
130
- * `mrr_at_10`: 0.7717
 
 
 
 
131
 
132
  *注: 評価設定の違いにより、同じ CodeSearchNet Retrieval タスクでもスコアが異なります。*
133
  *Note: Scores differ for the same CodeSearchNet Retrieval task due to different evaluation settings.*
@@ -154,6 +158,10 @@ For reference, the MRR@100 scores for the base model `Shuu12121/CodeModernBERT-C
154
  * 特定のドメインやライブラリに特化したタスクでは、追加のファインチューニングが有効な場合があります。
155
  * 生成タスクには適していません(これはエンコーダモデルです)。
156
 
 
 
 
 
157
 
158
  ## 連絡先 / Contact
159
 
 
109
 
110
  **タスク: CodeSearchNet Retrieval**
111
 
112
+ * **MTEB 標準評価 (main_score: nDCG@10): 0.89296**
113
+ * `ndcg_at_1`: 0.8135
114
+ * `ndcg_at_3`: 0.8781
115
+ * `ndcg_at_5`: 0.8868
116
+ * `ndcg_at_10`: 0.8930
117
+ * `ndcg_at_20`: 0.8947
118
+ * `ndcg_at_100`: 0.8971
119
+ * `ndcg_at_1000`: 0.8995
120
+ * `map_at_10`: 0.8705
121
+ * `recall_at_10`: 0.9610
122
+ * `mrr_at_10`: 0.8705
123
+
124
+ * **COIR (Contextual Object Identity Retrieval) 設定での評価 (main_score: nDCG@10): 0.79884**
125
+ * `ndcg_at_1`: 0.7152
126
+ * `ndcg_at_3`: 0.7762
127
+ * `ndcg_at_5`: 0.7885
128
+ * `ndcg_at_10`: 0.7988
129
+ * `ndcg_at_20`: 0.8056
130
+ * `ndcg_at_100`: 0.8134
131
+ * `ndcg_at_1000`: 0.8172
132
+ * `map_at_10`: 0.7729
133
+ * `recall_at_10`: 0.8794
134
+ * `mrr_at_10`: 0.7729
135
 
136
  *注: 評価設定の違いにより、同じ CodeSearchNet Retrieval タスクでもスコアが異なります。*
137
  *Note: Scores differ for the same CodeSearchNet Retrieval task due to different evaluation settings.*
 
158
  * 特定のドメインやライブラリに特化したタスクでは、追加のファインチューニングが有効な場合があります。
159
  * 生成タスクには適していません(これはエンコーダモデルです)。
160
 
161
+ **Note:**
162
+ This model was evaluated on MTEB with commit hash `044a7a4b552f86e284817234c336bccf16f895ce`.
163
+ The current README may have been updated since that version, but the model weights remain unchanged.
164
+
165
 
166
  ## 連絡先 / Contact
167