ai-forever commited on
Commit
c04eca7
·
verified ·
1 Parent(s): e3d57cf

Add/update results for Qwen2.5-32B-Instruct (version 1.34.1, guid e08710e0497a40a19335f00e33ff5169)

Browse files
Files changed (1) hide show
  1. results.json +92 -7
results.json CHANGED
@@ -1,7 +1,92 @@
1
- {
2
- "items": {
3
- },
4
- "last_version": "1.0.0",
5
- "n_questions": "600",
6
- "date_title": "31 декабря 2042"
7
- }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "items": {
3
+ "1.34.1": {
4
+ "e08710e0497a40a19335f00e33ff5169": {
5
+ "model_name": "Qwen2.5-32B-Instruct",
6
+ "timestamp": "2025-07-03T13:59:41",
7
+ "config": {
8
+ "embedding_model": "FRIDA_0",
9
+ "retriever_type": "mmr",
10
+ "retrieval_config": {
11
+ "top_k": 5,
12
+ "chunk_size": 500,
13
+ "chunk_overlap": 100
14
+ }
15
+ },
16
+ "metrics": {
17
+ "simple": {
18
+ "retrieval": {
19
+ "hit_rate": 0.8066666666666666,
20
+ "mrr": 0.8066666666666666,
21
+ "precision": 0.8066666666666666
22
+ },
23
+ "generation": {
24
+ "rouge1": 0.43398257014170327,
25
+ "rougeL": 0.4312788664379995
26
+ }
27
+ },
28
+ "cond": {
29
+ "retrieval": {
30
+ "hit_rate": 0.7866666666666666,
31
+ "mrr": 0.7866666666666666,
32
+ "precision": 0.7866666666666666
33
+ },
34
+ "generation": {
35
+ "rouge1": 0.6388590785598907,
36
+ "rougeL": 0.6388590785598907
37
+ }
38
+ },
39
+ "set": {
40
+ "retrieval": {
41
+ "hit_rate": 0.74,
42
+ "mrr": 0.74,
43
+ "precision": 0.74
44
+ },
45
+ "generation": {
46
+ "rouge1": 0.2568338011871614,
47
+ "rougeL": 0.19417994362310756
48
+ }
49
+ },
50
+ "mh": {
51
+ "retrieval": {
52
+ "hit_rate": 0.78,
53
+ "mrr": 0.78,
54
+ "precision": 0.78
55
+ },
56
+ "generation": {
57
+ "rouge1": 0.5099486232721527,
58
+ "rougeL": 0.5096152899388193
59
+ }
60
+ },
61
+ "overall": {
62
+ "retrieval": {
63
+ "hit_rate": 0.7783333333333333,
64
+ "mrr": 0.7783333333333333,
65
+ "precision": 0.7783333333333333
66
+ },
67
+ "generation": {
68
+ "rouge1": 0.45990601829022704,
69
+ "rougeL": 0.44348329463995434
70
+ }
71
+ },
72
+ "judge": {
73
+ "judge_completeness_score": 1.315,
74
+ "judge_cons_w_real_world_score": 1.5933333333333333,
75
+ "judge_correctness_score": 1.6533333333333333,
76
+ "judge_factual_accuracy_score": 1.4183333333333332,
77
+ "judge_fluff_score": 1.7966666666666666,
78
+ "judge_pres_details_score": 1.5266666666666666,
79
+ "judge_total_score": 1.5505555555555555
80
+ }
81
+ },
82
+ "metadata": {
83
+ "n_questions": 600,
84
+ "submit_timestamp": ""
85
+ }
86
+ }
87
+ }
88
+ },
89
+ "last_version": "1.34.1",
90
+ "n_questions": 600,
91
+ "date_title": "03 \u0438\u044e\u043b\u044f 2025"
92
+ }