Update README.md (#1)
Browse files- Update README.md (c60df62d5e6b924d2f671f2576abe5ae54e92630)
README.md
CHANGED
@@ -109,25 +109,29 @@ This model has been evaluated on the MTEB (Massive Text Embedding Benchmark).
|
|
109 |
|
110 |
**タスク: CodeSearchNet Retrieval**
|
111 |
|
112 |
-
* **MTEB 標準評価 (main_score: nDCG@10): 0.
|
113 |
-
* `ndcg_at_1`: 0.
|
114 |
-
* `ndcg_at_3`: 0.
|
115 |
-
* `ndcg_at_5`: 0.
|
116 |
-
* `ndcg_at_10`: 0.
|
117 |
-
* `
|
118 |
-
* `
|
119 |
-
* `
|
120 |
-
* `
|
121 |
-
|
122 |
-
*
|
123 |
-
|
124 |
-
|
125 |
-
* `
|
126 |
-
* `
|
127 |
-
* `
|
128 |
-
* `
|
129 |
-
* `
|
130 |
-
* `
|
|
|
|
|
|
|
|
|
131 |
|
132 |
*注: 評価設定の違いにより、同じ CodeSearchNet Retrieval タスクでもスコアが異なります。*
|
133 |
*Note: Scores differ for the same CodeSearchNet Retrieval task due to different evaluation settings.*
|
@@ -154,6 +158,10 @@ For reference, the MRR@100 scores for the base model `Shuu12121/CodeModernBERT-C
|
|
154 |
* 特定のドメインやライブラリに特化したタスクでは、追加のファインチューニングが有効な場合があります。
|
155 |
* 生成タスクには適していません(これはエンコーダモデルです)。
|
156 |
|
|
|
|
|
|
|
|
|
157 |
|
158 |
## 連絡先 / Contact
|
159 |
|
|
|
109 |
|
110 |
**タスク: CodeSearchNet Retrieval**
|
111 |
|
112 |
+
* **MTEB 標準評価 (main_score: nDCG@10): 0.89296**
|
113 |
+
* `ndcg_at_1`: 0.8135
|
114 |
+
* `ndcg_at_3`: 0.8781
|
115 |
+
* `ndcg_at_5`: 0.8868
|
116 |
+
* `ndcg_at_10`: 0.8930
|
117 |
+
* `ndcg_at_20`: 0.8947
|
118 |
+
* `ndcg_at_100`: 0.8971
|
119 |
+
* `ndcg_at_1000`: 0.8995
|
120 |
+
* `map_at_10`: 0.8705
|
121 |
+
* `recall_at_10`: 0.9610
|
122 |
+
* `mrr_at_10`: 0.8705
|
123 |
+
|
124 |
+
* **COIR (Contextual Object Identity Retrieval) 設定での評価 (main_score: nDCG@10): 0.79884**
|
125 |
+
* `ndcg_at_1`: 0.7152
|
126 |
+
* `ndcg_at_3`: 0.7762
|
127 |
+
* `ndcg_at_5`: 0.7885
|
128 |
+
* `ndcg_at_10`: 0.7988
|
129 |
+
* `ndcg_at_20`: 0.8056
|
130 |
+
* `ndcg_at_100`: 0.8134
|
131 |
+
* `ndcg_at_1000`: 0.8172
|
132 |
+
* `map_at_10`: 0.7729
|
133 |
+
* `recall_at_10`: 0.8794
|
134 |
+
* `mrr_at_10`: 0.7729
|
135 |
|
136 |
*注: 評価設定の違いにより、同じ CodeSearchNet Retrieval タスクでもスコアが異なります。*
|
137 |
*Note: Scores differ for the same CodeSearchNet Retrieval task due to different evaluation settings.*
|
|
|
158 |
* 特定のドメインやライブラリに特化したタスクでは、追加のファインチューニングが有効な場合があります。
|
159 |
* 生成タスクには適していません(これはエンコーダモデルです)。
|
160 |
|
161 |
+
**Note:**
|
162 |
+
This model was evaluated on MTEB with commit hash `044a7a4b552f86e284817234c336bccf16f895ce`.
|
163 |
+
The current README may have been updated since that version, but the model weights remain unchanged.
|
164 |
+
|
165 |
|
166 |
## 連絡先 / Contact
|
167 |
|