ai-forever commited on
Commit
a3d23e5
·
verified ·
1 Parent(s): 4254c48

Add/update results for Llama-3.2-3B-Instruct (version 1.34.1, guid b241597739cf4d2e9af2d1ecca332211)

Browse files
Files changed (1) hide show
  1. results.json +92 -7
results.json CHANGED
@@ -1,7 +1,92 @@
1
- {
2
- "items": {
3
- },
4
- "last_version": "1.0.0",
5
- "n_questions": "600",
6
- "date_title": "31 декабря 2042"
7
- }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "items": {
3
+ "1.34.1": {
4
+ "b241597739cf4d2e9af2d1ecca332211": {
5
+ "model_name": "Llama-3.2-3B-Instruct",
6
+ "timestamp": "2025-07-03T13:46:38",
7
+ "config": {
8
+ "embedding_model": "FRIDA_0",
9
+ "retriever_type": "mmr",
10
+ "retrieval_config": {
11
+ "top_k": 5,
12
+ "chunk_size": 500,
13
+ "chunk_overlap": 100
14
+ }
15
+ },
16
+ "metrics": {
17
+ "simple": {
18
+ "retrieval": {
19
+ "hit_rate": 0.8066666666666666,
20
+ "mrr": 0.8066666666666666,
21
+ "precision": 0.8066666666666666
22
+ },
23
+ "generation": {
24
+ "rouge1": 0.4226957852541825,
25
+ "rougeL": 0.4226957852541825
26
+ }
27
+ },
28
+ "cond": {
29
+ "retrieval": {
30
+ "hit_rate": 0.7866666666666666,
31
+ "mrr": 0.7866666666666666,
32
+ "precision": 0.7866666666666666
33
+ },
34
+ "generation": {
35
+ "rouge1": 0.44282136382136383,
36
+ "rougeL": 0.44282136382136383
37
+ }
38
+ },
39
+ "set": {
40
+ "retrieval": {
41
+ "hit_rate": 0.74,
42
+ "mrr": 0.74,
43
+ "precision": 0.74
44
+ },
45
+ "generation": {
46
+ "rouge1": 0.2577333940261936,
47
+ "rougeL": 0.19856586695719525
48
+ }
49
+ },
50
+ "mh": {
51
+ "retrieval": {
52
+ "hit_rate": 0.78,
53
+ "mrr": 0.78,
54
+ "precision": 0.78
55
+ },
56
+ "generation": {
57
+ "rouge1": 0.4283494140285536,
58
+ "rougeL": 0.4283494140285536
59
+ }
60
+ },
61
+ "overall": {
62
+ "retrieval": {
63
+ "hit_rate": 0.7783333333333333,
64
+ "mrr": 0.7783333333333333,
65
+ "precision": 0.7783333333333333
66
+ },
67
+ "generation": {
68
+ "rouge1": 0.38789998928257335,
69
+ "rougeL": 0.37310810751532375
70
+ }
71
+ },
72
+ "judge": {
73
+ "judge_completeness_score": 1.1385642737896493,
74
+ "judge_cons_w_real_world_score": 1.5,
75
+ "judge_correctness_score": 1.6283333333333334,
76
+ "judge_factual_accuracy_score": 1.3366666666666667,
77
+ "judge_fluff_score": 1.7483333333333333,
78
+ "judge_pres_details_score": 1.4033333333333333,
79
+ "judge_total_score": 1.4592051567427193
80
+ }
81
+ },
82
+ "metadata": {
83
+ "n_questions": 600,
84
+ "submit_timestamp": ""
85
+ }
86
+ }
87
+ }
88
+ },
89
+ "last_version": "1.34.1",
90
+ "n_questions": 600,
91
+ "date_title": "03 \u0438\u044e\u043b\u044f 2025"
92
+ }