ai-forever commited on
Commit
e3d57cf
·
verified ·
1 Parent(s): a3d23e5

Init results file.

Browse files
Files changed (1) hide show
  1. results.json +7 -92
results.json CHANGED
@@ -1,92 +1,7 @@
1
- {
2
- "items": {
3
- "1.34.1": {
4
- "b241597739cf4d2e9af2d1ecca332211": {
5
- "model_name": "Llama-3.2-3B-Instruct",
6
- "timestamp": "2025-07-03T13:46:38",
7
- "config": {
8
- "embedding_model": "FRIDA_0",
9
- "retriever_type": "mmr",
10
- "retrieval_config": {
11
- "top_k": 5,
12
- "chunk_size": 500,
13
- "chunk_overlap": 100
14
- }
15
- },
16
- "metrics": {
17
- "simple": {
18
- "retrieval": {
19
- "hit_rate": 0.8066666666666666,
20
- "mrr": 0.8066666666666666,
21
- "precision": 0.8066666666666666
22
- },
23
- "generation": {
24
- "rouge1": 0.4226957852541825,
25
- "rougeL": 0.4226957852541825
26
- }
27
- },
28
- "cond": {
29
- "retrieval": {
30
- "hit_rate": 0.7866666666666666,
31
- "mrr": 0.7866666666666666,
32
- "precision": 0.7866666666666666
33
- },
34
- "generation": {
35
- "rouge1": 0.44282136382136383,
36
- "rougeL": 0.44282136382136383
37
- }
38
- },
39
- "set": {
40
- "retrieval": {
41
- "hit_rate": 0.74,
42
- "mrr": 0.74,
43
- "precision": 0.74
44
- },
45
- "generation": {
46
- "rouge1": 0.2577333940261936,
47
- "rougeL": 0.19856586695719525
48
- }
49
- },
50
- "mh": {
51
- "retrieval": {
52
- "hit_rate": 0.78,
53
- "mrr": 0.78,
54
- "precision": 0.78
55
- },
56
- "generation": {
57
- "rouge1": 0.4283494140285536,
58
- "rougeL": 0.4283494140285536
59
- }
60
- },
61
- "overall": {
62
- "retrieval": {
63
- "hit_rate": 0.7783333333333333,
64
- "mrr": 0.7783333333333333,
65
- "precision": 0.7783333333333333
66
- },
67
- "generation": {
68
- "rouge1": 0.38789998928257335,
69
- "rougeL": 0.37310810751532375
70
- }
71
- },
72
- "judge": {
73
- "judge_completeness_score": 1.1385642737896493,
74
- "judge_cons_w_real_world_score": 1.5,
75
- "judge_correctness_score": 1.6283333333333334,
76
- "judge_factual_accuracy_score": 1.3366666666666667,
77
- "judge_fluff_score": 1.7483333333333333,
78
- "judge_pres_details_score": 1.4033333333333333,
79
- "judge_total_score": 1.4592051567427193
80
- }
81
- },
82
- "metadata": {
83
- "n_questions": 600,
84
- "submit_timestamp": ""
85
- }
86
- }
87
- }
88
- },
89
- "last_version": "1.34.1",
90
- "n_questions": 600,
91
- "date_title": "03 \u0438\u044e\u043b\u044f 2025"
92
- }
 
1
+ {
2
+ "items": {
3
+ },
4
+ "last_version": "1.0.0",
5
+ "n_questions": "600",
6
+ "date_title": "31 декабря 2042"
7
+ }