ai-forever commited on
Commit
55fb689
·
verified ·
1 Parent(s): 5c69753

Add/update results for RuadaptQwen2.5-32B-Instruct (version 1.65.0, guid 96fe19ea9fd040a79cb43b2acd2d3b38)

Browse files
Files changed (1) hide show
  1. results.json +82 -6
results.json CHANGED
@@ -1,7 +1,83 @@
1
  {
2
- "items": {
3
- },
4
- "last_version": "1.0.0",
5
- "n_questions": "600",
6
- "date_title": "31 декабря 2042"
7
- }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  {
2
+ "items": {
3
+ "1.65.0": {
4
+ "96fe19ea9fd040a79cb43b2acd2d3b38": {
5
+ "model_name": "RuadaptQwen2.5-32B-Instruct",
6
+ "timestamp": "2025-07-02T19:37:20",
7
+ "config": {
8
+ "embedding_model": "Qwen3-Embedding-8B_0",
9
+ "retriever_type": "mmr",
10
+ "retrieval_config": {
11
+ "top_k": 5,
12
+ "chunk_size": 500,
13
+ "chunk_overlap": 100
14
+ }
15
+ },
16
+ "metrics": {
17
+ "simple": {
18
+ "retrieval": {
19
+ "hit_rate": 0.9133333333333333,
20
+ "mrr": 0.8594444444444443,
21
+ "precision": 0.2226666666666666
22
+ },
23
+ "generation": {
24
+ "rouge1": 0.4107514613415719,
25
+ "rougeL": 0.4089937985063229
26
+ }
27
+ },
28
+ "cond": {
29
+ "retrieval": {
30
+ "hit_rate": 0.9333333333333333,
31
+ "mrr": 0.8644444444444443,
32
+ "precision": 0.23733333333333329
33
+ },
34
+ "generation": {
35
+ "rouge1": 0.6565937318271725,
36
+ "rougeL": 0.6565937318271725
37
+ }
38
+ },
39
+ "set": {
40
+ "retrieval": {
41
+ "hit_rate": 0.8866666666666667,
42
+ "mrr": 0.8338888888888889,
43
+ "precision": 0.22666666666666666
44
+ },
45
+ "generation": {
46
+ "rouge1": 0.26252179768847855,
47
+ "rougeL": 0.19055019693209044
48
+ }
49
+ },
50
+ "mh": {
51
+ "retrieval": {
52
+ "hit_rate": 0.8733333333333333,
53
+ "mrr": 0.838,
54
+ "precision": 0.20799999999999996
55
+ },
56
+ "generation": {
57
+ "rouge1": 0.48718366014069714,
58
+ "rougeL": 0.48657759953463653
59
+ }
60
+ },
61
+ "overall": {
62
+ "retrieval": {
63
+ "hit_rate": 0.9016666666666666,
64
+ "mrr": 0.8489444444444445,
65
+ "precision": 0.22366666666666665
66
+ },
67
+ "generation": {
68
+ "rouge1": 0.45426266274947996,
69
+ "rougeL": 0.43567883170005556
70
+ }
71
+ }
72
+ },
73
+ "metadata": {
74
+ "n_questions": 600,
75
+ "submit_timestamp": ""
76
+ }
77
+ }
78
+ }
79
+ },
80
+ "last_version": "1.65.0",
81
+ "n_questions": 600,
82
+ "date_title": "02 \u0438\u044e\u043b\u044f 2025"
83
+ }