ai-forever commited on
Commit
23f3db7
·
verified ·
1 Parent(s): 3cf227f

Add/update results for RuadaptQwen2.5-32B-Instruct (version 1.34.1, guid d66fbb03979543989be8a24919e165b1)

Browse files
Files changed (1) hide show
  1. results.json +83 -0
results.json CHANGED
@@ -320,6 +320,89 @@
320
  "n_questions": 600,
321
  "submit_timestamp": ""
322
  }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
323
  }
324
  }
325
  },
 
320
  "n_questions": 600,
321
  "submit_timestamp": ""
322
  }
323
+ },
324
+ "d66fbb03979543989be8a24919e165b1": {
325
+ "model_name": "RuadaptQwen2.5-32B-Instruct",
326
+ "timestamp": "2025-07-03T14:00:18",
327
+ "config": {
328
+ "embedding_model": "multilingual-e5-large-instruct_0",
329
+ "retriever_type": "mmr",
330
+ "retrieval_config": {
331
+ "top_k": 5,
332
+ "chunk_size": 500,
333
+ "chunk_overlap": 100
334
+ }
335
+ },
336
+ "metrics": {
337
+ "simple": {
338
+ "retrieval": {
339
+ "hit_rate": 0.8133333333333334,
340
+ "mrr": 0.8133333333333334,
341
+ "precision": 0.8133333333333334
342
+ },
343
+ "generation": {
344
+ "rouge1": 0.45255226155184874,
345
+ "rougeL": 0.4515456138785345
346
+ }
347
+ },
348
+ "cond": {
349
+ "retrieval": {
350
+ "hit_rate": 0.8133333333333334,
351
+ "mrr": 0.8133333333333334,
352
+ "precision": 0.8133333333333334
353
+ },
354
+ "generation": {
355
+ "rouge1": 0.6798364760632296,
356
+ "rougeL": 0.6798364760632296
357
+ }
358
+ },
359
+ "set": {
360
+ "retrieval": {
361
+ "hit_rate": 0.78,
362
+ "mrr": 0.78,
363
+ "precision": 0.78
364
+ },
365
+ "generation": {
366
+ "rouge1": 0.2609808845363136,
367
+ "rougeL": 0.20473159754370324
368
+ }
369
+ },
370
+ "mh": {
371
+ "retrieval": {
372
+ "hit_rate": 0.76,
373
+ "mrr": 0.76,
374
+ "precision": 0.76
375
+ },
376
+ "generation": {
377
+ "rouge1": 0.5212195956548682,
378
+ "rougeL": 0.5212195956548682
379
+ }
380
+ },
381
+ "overall": {
382
+ "retrieval": {
383
+ "hit_rate": 0.7916666666666666,
384
+ "mrr": 0.7916666666666666,
385
+ "precision": 0.7916666666666666
386
+ },
387
+ "generation": {
388
+ "rouge1": 0.4786473044515651,
389
+ "rougeL": 0.4643333207850839
390
+ }
391
+ },
392
+ "judge": {
393
+ "judge_completeness_score": 1.3233333333333333,
394
+ "judge_cons_w_real_world_score": 1.59,
395
+ "judge_correctness_score": 1.67,
396
+ "judge_factual_accuracy_score": 1.4483333333333333,
397
+ "judge_fluff_score": 1.8433333333333333,
398
+ "judge_pres_details_score": 1.5333333333333334,
399
+ "judge_total_score": 1.5680555555555555
400
+ }
401
+ },
402
+ "metadata": {
403
+ "n_questions": 600,
404
+ "submit_timestamp": ""
405
+ }
406
  }
407
  }
408
  },