diff --git "a/trainer_state.json" "b/trainer_state.json"
new file mode 100644--- /dev/null
+++ "b/trainer_state.json"
@@ -0,0 +1,8442 @@
+{
+  "best_metric": null,
+  "best_model_checkpoint": null,
+  "epoch": 5.0,
+  "eval_steps": 500,
+  "global_step": 1200,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.004166666666666667,
+      "grad_norm": 6.832746617212501,
+      "learning_rate": 3.3333333333333335e-07,
+      "loss": 1.0708,
+      "step": 1
+    },
+    {
+      "epoch": 0.008333333333333333,
+      "grad_norm": 6.722005165892311,
+      "learning_rate": 6.666666666666667e-07,
+      "loss": 1.0439,
+      "step": 2
+    },
+    {
+      "epoch": 0.0125,
+      "grad_norm": 6.592513139645599,
+      "learning_rate": 1.0000000000000002e-06,
+      "loss": 1.0359,
+      "step": 3
+    },
+    {
+      "epoch": 0.016666666666666666,
+      "grad_norm": 6.400449551473129,
+      "learning_rate": 1.3333333333333334e-06,
+      "loss": 1.0264,
+      "step": 4
+    },
+    {
+      "epoch": 0.020833333333333332,
+      "grad_norm": 6.141935206476066,
+      "learning_rate": 1.6666666666666667e-06,
+      "loss": 1.0219,
+      "step": 5
+    },
+    {
+      "epoch": 0.025,
+      "grad_norm": 6.144188614406256,
+      "learning_rate": 2.0000000000000003e-06,
+      "loss": 1.0423,
+      "step": 6
+    },
+    {
+      "epoch": 0.029166666666666667,
+      "grad_norm": 4.723936973082147,
+      "learning_rate": 2.3333333333333336e-06,
+      "loss": 0.9905,
+      "step": 7
+    },
+    {
+      "epoch": 0.03333333333333333,
+      "grad_norm": 4.404721433571438,
+      "learning_rate": 2.666666666666667e-06,
+      "loss": 0.9999,
+      "step": 8
+    },
+    {
+      "epoch": 0.0375,
+      "grad_norm": 2.8556986560850834,
+      "learning_rate": 3e-06,
+      "loss": 0.9511,
+      "step": 9
+    },
+    {
+      "epoch": 0.041666666666666664,
+      "grad_norm": 2.645937958339345,
+      "learning_rate": 3.3333333333333333e-06,
+      "loss": 0.9576,
+      "step": 10
+    },
+    {
+      "epoch": 0.04583333333333333,
+      "grad_norm": 2.5264859541553673,
+      "learning_rate": 3.6666666666666666e-06,
+      "loss": 0.9467,
+      "step": 11
+    },
+    {
+      "epoch": 0.05,
+      "grad_norm": 4.249945414605477,
+      "learning_rate": 4.000000000000001e-06,
+      "loss": 0.923,
+      "step": 12
+    },
+    {
+      "epoch": 0.05416666666666667,
+      "grad_norm": 4.438511276924439,
+      "learning_rate": 4.333333333333334e-06,
+      "loss": 0.9284,
+      "step": 13
+    },
+    {
+      "epoch": 0.058333333333333334,
+      "grad_norm": 4.350535532893484,
+      "learning_rate": 4.666666666666667e-06,
+      "loss": 0.9276,
+      "step": 14
+    },
+    {
+      "epoch": 0.0625,
+      "grad_norm": 3.837878669737464,
+      "learning_rate": 5e-06,
+      "loss": 0.9148,
+      "step": 15
+    },
+    {
+      "epoch": 0.06666666666666667,
+      "grad_norm": 3.096451437357516,
+      "learning_rate": 5.333333333333334e-06,
+      "loss": 0.8751,
+      "step": 16
+    },
+    {
+      "epoch": 0.07083333333333333,
+      "grad_norm": 2.8188767114680444,
+      "learning_rate": 5.666666666666667e-06,
+      "loss": 0.8635,
+      "step": 17
+    },
+    {
+      "epoch": 0.075,
+      "grad_norm": 2.263860832111962,
+      "learning_rate": 6e-06,
+      "loss": 0.8441,
+      "step": 18
+    },
+    {
+      "epoch": 0.07916666666666666,
+      "grad_norm": 1.6832918244958086,
+      "learning_rate": 6.333333333333333e-06,
+      "loss": 0.8396,
+      "step": 19
+    },
+    {
+      "epoch": 0.08333333333333333,
+      "grad_norm": 1.3015547810704755,
+      "learning_rate": 6.666666666666667e-06,
+      "loss": 0.8143,
+      "step": 20
+    },
+    {
+      "epoch": 0.0875,
+      "grad_norm": 1.325993130595308,
+      "learning_rate": 7e-06,
+      "loss": 0.8114,
+      "step": 21
+    },
+    {
+      "epoch": 0.09166666666666666,
+      "grad_norm": 1.361193673338303,
+      "learning_rate": 7.333333333333333e-06,
+      "loss": 0.8006,
+      "step": 22
+    },
+    {
+      "epoch": 0.09583333333333334,
+      "grad_norm": 1.122439118254614,
+      "learning_rate": 7.666666666666667e-06,
+      "loss": 0.7868,
+      "step": 23
+    },
+    {
+      "epoch": 0.1,
+      "grad_norm": 0.916710349802209,
+      "learning_rate": 8.000000000000001e-06,
+      "loss": 0.7731,
+      "step": 24
+    },
+    {
+      "epoch": 0.10416666666666667,
+      "grad_norm": 0.9193543079053559,
+      "learning_rate": 8.333333333333334e-06,
+      "loss": 0.7738,
+      "step": 25
+    },
+    {
+      "epoch": 0.10833333333333334,
+      "grad_norm": 0.9146646422133236,
+      "learning_rate": 8.666666666666668e-06,
+      "loss": 0.7583,
+      "step": 26
+    },
+    {
+      "epoch": 0.1125,
+      "grad_norm": 0.7990361061623279,
+      "learning_rate": 9e-06,
+      "loss": 0.7399,
+      "step": 27
+    },
+    {
+      "epoch": 0.11666666666666667,
+      "grad_norm": 0.7768592276111252,
+      "learning_rate": 9.333333333333334e-06,
+      "loss": 0.7457,
+      "step": 28
+    },
+    {
+      "epoch": 0.12083333333333333,
+      "grad_norm": 0.8435019115381818,
+      "learning_rate": 9.666666666666667e-06,
+      "loss": 0.742,
+      "step": 29
+    },
+    {
+      "epoch": 0.125,
+      "grad_norm": 0.8088610628833126,
+      "learning_rate": 1e-05,
+      "loss": 0.7327,
+      "step": 30
+    },
+    {
+      "epoch": 0.12916666666666668,
+      "grad_norm": 0.8244906434691093,
+      "learning_rate": 1.0333333333333335e-05,
+      "loss": 0.7368,
+      "step": 31
+    },
+    {
+      "epoch": 0.13333333333333333,
+      "grad_norm": 0.6349527593388378,
+      "learning_rate": 1.0666666666666667e-05,
+      "loss": 0.7302,
+      "step": 32
+    },
+    {
+      "epoch": 0.1375,
+      "grad_norm": 0.7242668613698263,
+      "learning_rate": 1.1000000000000001e-05,
+      "loss": 0.7265,
+      "step": 33
+    },
+    {
+      "epoch": 0.14166666666666666,
+      "grad_norm": 0.6934236067516485,
+      "learning_rate": 1.1333333333333334e-05,
+      "loss": 0.7121,
+      "step": 34
+    },
+    {
+      "epoch": 0.14583333333333334,
+      "grad_norm": 0.6230632857377315,
+      "learning_rate": 1.1666666666666668e-05,
+      "loss": 0.722,
+      "step": 35
+    },
+    {
+      "epoch": 0.15,
+      "grad_norm": 0.6057998943730727,
+      "learning_rate": 1.2e-05,
+      "loss": 0.7071,
+      "step": 36
+    },
+    {
+      "epoch": 0.15416666666666667,
+      "grad_norm": 0.7154466695410022,
+      "learning_rate": 1.2333333333333334e-05,
+      "loss": 0.7115,
+      "step": 37
+    },
+    {
+      "epoch": 0.15833333333333333,
+      "grad_norm": 0.583085961426423,
+      "learning_rate": 1.2666666666666667e-05,
+      "loss": 0.7029,
+      "step": 38
+    },
+    {
+      "epoch": 0.1625,
+      "grad_norm": 0.6637301966327246,
+      "learning_rate": 1.3000000000000001e-05,
+      "loss": 0.7006,
+      "step": 39
+    },
+    {
+      "epoch": 0.16666666666666666,
+      "grad_norm": 0.6570162295776591,
+      "learning_rate": 1.3333333333333333e-05,
+      "loss": 0.7006,
+      "step": 40
+    },
+    {
+      "epoch": 0.17083333333333334,
+      "grad_norm": 1.6249295445681182,
+      "learning_rate": 1.3666666666666667e-05,
+      "loss": 0.7444,
+      "step": 41
+    },
+    {
+      "epoch": 0.175,
+      "grad_norm": 0.6711937521500816,
+      "learning_rate": 1.4e-05,
+      "loss": 0.681,
+      "step": 42
+    },
+    {
+      "epoch": 0.17916666666666667,
+      "grad_norm": 0.593977893755728,
+      "learning_rate": 1.4333333333333334e-05,
+      "loss": 0.6917,
+      "step": 43
+    },
+    {
+      "epoch": 0.18333333333333332,
+      "grad_norm": 0.5683636125066719,
+      "learning_rate": 1.4666666666666666e-05,
+      "loss": 0.6949,
+      "step": 44
+    },
+    {
+      "epoch": 0.1875,
+      "grad_norm": 0.6547304924994687,
+      "learning_rate": 1.5000000000000002e-05,
+      "loss": 0.6754,
+      "step": 45
+    },
+    {
+      "epoch": 0.19166666666666668,
+      "grad_norm": 0.7057244148349102,
+      "learning_rate": 1.5333333333333334e-05,
+      "loss": 0.6694,
+      "step": 46
+    },
+    {
+      "epoch": 0.19583333333333333,
+      "grad_norm": 0.5428808928110224,
+      "learning_rate": 1.5666666666666667e-05,
+      "loss": 0.6691,
+      "step": 47
+    },
+    {
+      "epoch": 0.2,
+      "grad_norm": 0.6611089292468514,
+      "learning_rate": 1.6000000000000003e-05,
+      "loss": 0.6866,
+      "step": 48
+    },
+    {
+      "epoch": 0.20416666666666666,
+      "grad_norm": 0.6437372302287256,
+      "learning_rate": 1.6333333333333335e-05,
+      "loss": 0.6857,
+      "step": 49
+    },
+    {
+      "epoch": 0.20833333333333334,
+      "grad_norm": 0.6242998695394557,
+      "learning_rate": 1.6666666666666667e-05,
+      "loss": 0.6718,
+      "step": 50
+    },
+    {
+      "epoch": 0.2125,
+      "grad_norm": 0.6614584849659777,
+      "learning_rate": 1.7e-05,
+      "loss": 0.651,
+      "step": 51
+    },
+    {
+      "epoch": 0.21666666666666667,
+      "grad_norm": 0.7075875910735387,
+      "learning_rate": 1.7333333333333336e-05,
+      "loss": 0.6701,
+      "step": 52
+    },
+    {
+      "epoch": 0.22083333333333333,
+      "grad_norm": 0.7746688794934284,
+      "learning_rate": 1.7666666666666668e-05,
+      "loss": 0.6612,
+      "step": 53
+    },
+    {
+      "epoch": 0.225,
+      "grad_norm": 0.6528458565370922,
+      "learning_rate": 1.8e-05,
+      "loss": 0.6612,
+      "step": 54
+    },
+    {
+      "epoch": 0.22916666666666666,
+      "grad_norm": 0.8854520187882521,
+      "learning_rate": 1.8333333333333333e-05,
+      "loss": 0.6698,
+      "step": 55
+    },
+    {
+      "epoch": 0.23333333333333334,
+      "grad_norm": 0.8249936321934339,
+      "learning_rate": 1.866666666666667e-05,
+      "loss": 0.6617,
+      "step": 56
+    },
+    {
+      "epoch": 0.2375,
+      "grad_norm": 0.5756591220496925,
+      "learning_rate": 1.9e-05,
+      "loss": 0.6677,
+      "step": 57
+    },
+    {
+      "epoch": 0.24166666666666667,
+      "grad_norm": 0.8391486543945865,
+      "learning_rate": 1.9333333333333333e-05,
+      "loss": 0.6706,
+      "step": 58
+    },
+    {
+      "epoch": 0.24583333333333332,
+      "grad_norm": 0.62922500152976,
+      "learning_rate": 1.9666666666666666e-05,
+      "loss": 0.6566,
+      "step": 59
+    },
+    {
+      "epoch": 0.25,
+      "grad_norm": 0.6497012856342578,
+      "learning_rate": 2e-05,
+      "loss": 0.6574,
+      "step": 60
+    },
+    {
+      "epoch": 0.25416666666666665,
+      "grad_norm": 0.7545979639769097,
+      "learning_rate": 2.0333333333333334e-05,
+      "loss": 0.6621,
+      "step": 61
+    },
+    {
+      "epoch": 0.25833333333333336,
+      "grad_norm": 0.8814596289446414,
+      "learning_rate": 2.066666666666667e-05,
+      "loss": 0.6586,
+      "step": 62
+    },
+    {
+      "epoch": 0.2625,
+      "grad_norm": 0.7700986600044052,
+      "learning_rate": 2.1000000000000002e-05,
+      "loss": 0.658,
+      "step": 63
+    },
+    {
+      "epoch": 0.26666666666666666,
+      "grad_norm": 0.9615923023054905,
+      "learning_rate": 2.1333333333333335e-05,
+      "loss": 0.6642,
+      "step": 64
+    },
+    {
+      "epoch": 0.2708333333333333,
+      "grad_norm": 0.8182385944675528,
+      "learning_rate": 2.1666666666666667e-05,
+      "loss": 0.6381,
+      "step": 65
+    },
+    {
+      "epoch": 0.275,
+      "grad_norm": 1.051267871370525,
+      "learning_rate": 2.2000000000000003e-05,
+      "loss": 0.6583,
+      "step": 66
+    },
+    {
+      "epoch": 0.2791666666666667,
+      "grad_norm": 1.2421800485008891,
+      "learning_rate": 2.2333333333333335e-05,
+      "loss": 0.6542,
+      "step": 67
+    },
+    {
+      "epoch": 0.2833333333333333,
+      "grad_norm": 0.6126955289728726,
+      "learning_rate": 2.2666666666666668e-05,
+      "loss": 0.6405,
+      "step": 68
+    },
+    {
+      "epoch": 0.2875,
+      "grad_norm": 1.3065782386729479,
+      "learning_rate": 2.3e-05,
+      "loss": 0.6495,
+      "step": 69
+    },
+    {
+      "epoch": 0.2916666666666667,
+      "grad_norm": 0.7369647940897622,
+      "learning_rate": 2.3333333333333336e-05,
+      "loss": 0.6528,
+      "step": 70
+    },
+    {
+      "epoch": 0.29583333333333334,
+      "grad_norm": 1.0013990364301564,
+      "learning_rate": 2.3666666666666668e-05,
+      "loss": 0.6464,
+      "step": 71
+    },
+    {
+      "epoch": 0.3,
+      "grad_norm": 0.7251342067519649,
+      "learning_rate": 2.4e-05,
+      "loss": 0.6532,
+      "step": 72
+    },
+    {
+      "epoch": 0.30416666666666664,
+      "grad_norm": 0.8534756592984158,
+      "learning_rate": 2.4333333333333333e-05,
+      "loss": 0.6456,
+      "step": 73
+    },
+    {
+      "epoch": 0.30833333333333335,
+      "grad_norm": 1.2829910855808402,
+      "learning_rate": 2.466666666666667e-05,
+      "loss": 0.6456,
+      "step": 74
+    },
+    {
+      "epoch": 0.3125,
+      "grad_norm": 1.236903958770797,
+      "learning_rate": 2.5e-05,
+      "loss": 0.6513,
+      "step": 75
+    },
+    {
+      "epoch": 0.31666666666666665,
+      "grad_norm": 0.5131185359463901,
+      "learning_rate": 2.5333333333333334e-05,
+      "loss": 0.6372,
+      "step": 76
+    },
+    {
+      "epoch": 0.32083333333333336,
+      "grad_norm": 2.3385091984770368,
+      "learning_rate": 2.566666666666667e-05,
+      "loss": 0.6548,
+      "step": 77
+    },
+    {
+      "epoch": 0.325,
+      "grad_norm": 0.8092584972470216,
+      "learning_rate": 2.6000000000000002e-05,
+      "loss": 0.6259,
+      "step": 78
+    },
+    {
+      "epoch": 0.32916666666666666,
+      "grad_norm": 1.1480450227714387,
+      "learning_rate": 2.6333333333333334e-05,
+      "loss": 0.6471,
+      "step": 79
+    },
+    {
+      "epoch": 0.3333333333333333,
+      "grad_norm": 1.3446863157735278,
+      "learning_rate": 2.6666666666666667e-05,
+      "loss": 0.6327,
+      "step": 80
+    },
+    {
+      "epoch": 0.3375,
+      "grad_norm": 0.9457919638742119,
+      "learning_rate": 2.7000000000000002e-05,
+      "loss": 0.6384,
+      "step": 81
+    },
+    {
+      "epoch": 0.3416666666666667,
+      "grad_norm": 1.3685610850125536,
+      "learning_rate": 2.7333333333333335e-05,
+      "loss": 0.6439,
+      "step": 82
+    },
+    {
+      "epoch": 0.3458333333333333,
+      "grad_norm": 0.927016131784247,
+      "learning_rate": 2.7666666666666667e-05,
+      "loss": 0.6346,
+      "step": 83
+    },
+    {
+      "epoch": 0.35,
+      "grad_norm": 1.7296485345201886,
+      "learning_rate": 2.8e-05,
+      "loss": 0.6144,
+      "step": 84
+    },
+    {
+      "epoch": 0.3541666666666667,
+      "grad_norm": 1.1192559744753852,
+      "learning_rate": 2.833333333333334e-05,
+      "loss": 0.6345,
+      "step": 85
+    },
+    {
+      "epoch": 0.35833333333333334,
+      "grad_norm": 1.9746537864549802,
+      "learning_rate": 2.8666666666666668e-05,
+      "loss": 0.6389,
+      "step": 86
+    },
+    {
+      "epoch": 0.3625,
+      "grad_norm": 1.5806534536841268,
+      "learning_rate": 2.9e-05,
+      "loss": 0.6421,
+      "step": 87
+    },
+    {
+      "epoch": 0.36666666666666664,
+      "grad_norm": 1.7605886971256688,
+      "learning_rate": 2.9333333333333333e-05,
+      "loss": 0.6361,
+      "step": 88
+    },
+    {
+      "epoch": 0.37083333333333335,
+      "grad_norm": 1.6811946573872856,
+      "learning_rate": 2.9666666666666672e-05,
+      "loss": 0.6314,
+      "step": 89
+    },
+    {
+      "epoch": 0.375,
+      "grad_norm": 1.3081097753931652,
+      "learning_rate": 3.0000000000000004e-05,
+      "loss": 0.6353,
+      "step": 90
+    },
+    {
+      "epoch": 0.37916666666666665,
+      "grad_norm": 1.5049824569727834,
+      "learning_rate": 3.0333333333333333e-05,
+      "loss": 0.6317,
+      "step": 91
+    },
+    {
+      "epoch": 0.38333333333333336,
+      "grad_norm": 1.3597412965849915,
+      "learning_rate": 3.066666666666667e-05,
+      "loss": 0.6308,
+      "step": 92
+    },
+    {
+      "epoch": 0.3875,
+      "grad_norm": 1.1246511962005503,
+      "learning_rate": 3.1e-05,
+      "loss": 0.6301,
+      "step": 93
+    },
+    {
+      "epoch": 0.39166666666666666,
+      "grad_norm": 1.3514034216556179,
+      "learning_rate": 3.1333333333333334e-05,
+      "loss": 0.6173,
+      "step": 94
+    },
+    {
+      "epoch": 0.3958333333333333,
+      "grad_norm": 0.8233867898594832,
+      "learning_rate": 3.1666666666666666e-05,
+      "loss": 0.6374,
+      "step": 95
+    },
+    {
+      "epoch": 0.4,
+      "grad_norm": 1.2477454499494327,
+      "learning_rate": 3.2000000000000005e-05,
+      "loss": 0.6276,
+      "step": 96
+    },
+    {
+      "epoch": 0.4041666666666667,
+      "grad_norm": 1.6817621692909872,
+      "learning_rate": 3.233333333333334e-05,
+      "loss": 0.6266,
+      "step": 97
+    },
+    {
+      "epoch": 0.4083333333333333,
+      "grad_norm": 0.9690166971983942,
+      "learning_rate": 3.266666666666667e-05,
+      "loss": 0.6115,
+      "step": 98
+    },
+    {
+      "epoch": 0.4125,
+      "grad_norm": 2.056378981841651,
+      "learning_rate": 3.3e-05,
+      "loss": 0.6411,
+      "step": 99
+    },
+    {
+      "epoch": 0.4166666666666667,
+      "grad_norm": 1.4524599154878437,
+      "learning_rate": 3.3333333333333335e-05,
+      "loss": 0.6296,
+      "step": 100
+    },
+    {
+      "epoch": 0.42083333333333334,
+      "grad_norm": 1.7764216839712343,
+      "learning_rate": 3.366666666666667e-05,
+      "loss": 0.6306,
+      "step": 101
+    },
+    {
+      "epoch": 0.425,
+      "grad_norm": 1.2833543049437115,
+      "learning_rate": 3.4e-05,
+      "loss": 0.6332,
+      "step": 102
+    },
+    {
+      "epoch": 0.42916666666666664,
+      "grad_norm": 1.5878349617582599,
+      "learning_rate": 3.433333333333333e-05,
+      "loss": 0.6239,
+      "step": 103
+    },
+    {
+      "epoch": 0.43333333333333335,
+      "grad_norm": 1.2599519265097134,
+      "learning_rate": 3.466666666666667e-05,
+      "loss": 0.6329,
+      "step": 104
+    },
+    {
+      "epoch": 0.4375,
+      "grad_norm": 1.4043098221264916,
+      "learning_rate": 3.5000000000000004e-05,
+      "loss": 0.628,
+      "step": 105
+    },
+    {
+      "epoch": 0.44166666666666665,
+      "grad_norm": 1.3695734550327043,
+      "learning_rate": 3.5333333333333336e-05,
+      "loss": 0.6242,
+      "step": 106
+    },
+    {
+      "epoch": 0.44583333333333336,
+      "grad_norm": 1.8927604495720616,
+      "learning_rate": 3.566666666666667e-05,
+      "loss": 0.6293,
+      "step": 107
+    },
+    {
+      "epoch": 0.45,
+      "grad_norm": 1.545056158668806,
+      "learning_rate": 3.6e-05,
+      "loss": 0.6314,
+      "step": 108
+    },
+    {
+      "epoch": 0.45416666666666666,
+      "grad_norm": 1.3545906617804928,
+      "learning_rate": 3.633333333333333e-05,
+      "loss": 0.6141,
+      "step": 109
+    },
+    {
+      "epoch": 0.4583333333333333,
+      "grad_norm": 1.2952086169381063,
+      "learning_rate": 3.6666666666666666e-05,
+      "loss": 0.6278,
+      "step": 110
+    },
+    {
+      "epoch": 0.4625,
+      "grad_norm": 1.3901722627101962,
+      "learning_rate": 3.7000000000000005e-05,
+      "loss": 0.6282,
+      "step": 111
+    },
+    {
+      "epoch": 0.4666666666666667,
+      "grad_norm": 1.3427286533742586,
+      "learning_rate": 3.733333333333334e-05,
+      "loss": 0.6462,
+      "step": 112
+    },
+    {
+      "epoch": 0.4708333333333333,
+      "grad_norm": 1.346385132452033,
+      "learning_rate": 3.766666666666667e-05,
+      "loss": 0.6271,
+      "step": 113
+    },
+    {
+      "epoch": 0.475,
+      "grad_norm": 0.7296460808724746,
+      "learning_rate": 3.8e-05,
+      "loss": 0.6216,
+      "step": 114
+    },
+    {
+      "epoch": 0.4791666666666667,
+      "grad_norm": 1.3372849398246114,
+      "learning_rate": 3.833333333333334e-05,
+      "loss": 0.6232,
+      "step": 115
+    },
+    {
+      "epoch": 0.48333333333333334,
+      "grad_norm": 1.1792019780697154,
+      "learning_rate": 3.866666666666667e-05,
+      "loss": 0.6221,
+      "step": 116
+    },
+    {
+      "epoch": 0.4875,
+      "grad_norm": 0.9733165096843328,
+      "learning_rate": 3.9e-05,
+      "loss": 0.6091,
+      "step": 117
+    },
+    {
+      "epoch": 0.49166666666666664,
+      "grad_norm": 3.070797337467993,
+      "learning_rate": 3.933333333333333e-05,
+      "loss": 0.6217,
+      "step": 118
+    },
+    {
+      "epoch": 0.49583333333333335,
+      "grad_norm": 1.815790495636315,
+      "learning_rate": 3.966666666666667e-05,
+      "loss": 0.6359,
+      "step": 119
+    },
+    {
+      "epoch": 0.5,
+      "grad_norm": 1.2390089256852326,
+      "learning_rate": 4e-05,
+      "loss": 0.6169,
+      "step": 120
+    },
+    {
+      "epoch": 0.5041666666666667,
+      "grad_norm": 1.2315486946506111,
+      "learning_rate": 3.999991538410973e-05,
+      "loss": 0.6164,
+      "step": 121
+    },
+    {
+      "epoch": 0.5083333333333333,
+      "grad_norm": 1.1701554198658328,
+      "learning_rate": 3.999966153715489e-05,
+      "loss": 0.6193,
+      "step": 122
+    },
+    {
+      "epoch": 0.5125,
+      "grad_norm": 1.170132178403549,
+      "learning_rate": 3.999923846128343e-05,
+      "loss": 0.6262,
+      "step": 123
+    },
+    {
+      "epoch": 0.5166666666666667,
+      "grad_norm": 0.924658478726418,
+      "learning_rate": 3.999864616007525e-05,
+      "loss": 0.6212,
+      "step": 124
+    },
+    {
+      "epoch": 0.5208333333333334,
+      "grad_norm": 1.3858534997900562,
+      "learning_rate": 3.999788463854215e-05,
+      "loss": 0.6233,
+      "step": 125
+    },
+    {
+      "epoch": 0.525,
+      "grad_norm": 1.2657158164721372,
+      "learning_rate": 3.999695390312783e-05,
+      "loss": 0.616,
+      "step": 126
+    },
+    {
+      "epoch": 0.5291666666666667,
+      "grad_norm": 0.9216763016227539,
+      "learning_rate": 3.999585396170777e-05,
+      "loss": 0.614,
+      "step": 127
+    },
+    {
+      "epoch": 0.5333333333333333,
+      "grad_norm": 0.8360006381611302,
+      "learning_rate": 3.999458482358924e-05,
+      "loss": 0.6153,
+      "step": 128
+    },
+    {
+      "epoch": 0.5375,
+      "grad_norm": 0.7839786158921856,
+      "learning_rate": 3.9993146499511146e-05,
+      "loss": 0.6009,
+      "step": 129
+    },
+    {
+      "epoch": 0.5416666666666666,
+      "grad_norm": 0.844641037367548,
+      "learning_rate": 3.9991539001644015e-05,
+      "loss": 0.6212,
+      "step": 130
+    },
+    {
+      "epoch": 0.5458333333333333,
+      "grad_norm": 1.0382957024566257,
+      "learning_rate": 3.998976234358982e-05,
+      "loss": 0.5999,
+      "step": 131
+    },
+    {
+      "epoch": 0.55,
+      "grad_norm": 1.6242521962961614,
+      "learning_rate": 3.998781654038192e-05,
+      "loss": 0.6096,
+      "step": 132
+    },
+    {
+      "epoch": 0.5541666666666667,
+      "grad_norm": 0.757093292258469,
+      "learning_rate": 3.9985701608484896e-05,
+      "loss": 0.5941,
+      "step": 133
+    },
+    {
+      "epoch": 0.5583333333333333,
+      "grad_norm": 1.320612616681096,
+      "learning_rate": 3.998341756579443e-05,
+      "loss": 0.6203,
+      "step": 134
+    },
+    {
+      "epoch": 0.5625,
+      "grad_norm": 1.0193798832099399,
+      "learning_rate": 3.998096443163716e-05,
+      "loss": 0.5934,
+      "step": 135
+    },
+    {
+      "epoch": 0.5666666666666667,
+      "grad_norm": 1.2908818567365226,
+      "learning_rate": 3.99783422267705e-05,
+      "loss": 0.6207,
+      "step": 136
+    },
+    {
+      "epoch": 0.5708333333333333,
+      "grad_norm": 0.8168141068726303,
+      "learning_rate": 3.9975550973382454e-05,
+      "loss": 0.6041,
+      "step": 137
+    },
+    {
+      "epoch": 0.575,
+      "grad_norm": 1.226295133247973,
+      "learning_rate": 3.9972590695091476e-05,
+      "loss": 0.6185,
+      "step": 138
+    },
+    {
+      "epoch": 0.5791666666666667,
+      "grad_norm": 0.8072529028243578,
+      "learning_rate": 3.9969461416946226e-05,
+      "loss": 0.6129,
+      "step": 139
+    },
+    {
+      "epoch": 0.5833333333333334,
+      "grad_norm": 0.9164338574256401,
+      "learning_rate": 3.996616316542537e-05,
+      "loss": 0.6096,
+      "step": 140
+    },
+    {
+      "epoch": 0.5875,
+      "grad_norm": 0.6469959513500211,
+      "learning_rate": 3.996269596843734e-05,
+      "loss": 0.6054,
+      "step": 141
+    },
+    {
+      "epoch": 0.5916666666666667,
+      "grad_norm": 0.7039330048055549,
+      "learning_rate": 3.995905985532015e-05,
+      "loss": 0.6099,
+      "step": 142
+    },
+    {
+      "epoch": 0.5958333333333333,
+      "grad_norm": 2.860385292654008,
+      "learning_rate": 3.995525485684109e-05,
+      "loss": 0.6421,
+      "step": 143
+    },
+    {
+      "epoch": 0.6,
+      "grad_norm": 1.29306335703376,
+      "learning_rate": 3.9951281005196486e-05,
+      "loss": 0.6136,
+      "step": 144
+    },
+    {
+      "epoch": 0.6041666666666666,
+      "grad_norm": 1.0424569923889895,
+      "learning_rate": 3.994713833401145e-05,
+      "loss": 0.61,
+      "step": 145
+    },
+    {
+      "epoch": 0.6083333333333333,
+      "grad_norm": 0.8181795724051063,
+      "learning_rate": 3.9942826878339554e-05,
+      "loss": 0.6207,
+      "step": 146
+    },
+    {
+      "epoch": 0.6125,
+      "grad_norm": 0.9973579708540373,
+      "learning_rate": 3.9938346674662565e-05,
+      "loss": 0.6077,
+      "step": 147
+    },
+    {
+      "epoch": 0.6166666666666667,
+      "grad_norm": 0.9616324528943014,
+      "learning_rate": 3.993369776089012e-05,
+      "loss": 0.5942,
+      "step": 148
+    },
+    {
+      "epoch": 0.6208333333333333,
+      "grad_norm": 0.7398130298674523,
+      "learning_rate": 3.992888017635944e-05,
+      "loss": 0.603,
+      "step": 149
+    },
+    {
+      "epoch": 0.625,
+      "grad_norm": 1.0467599824887701,
+      "learning_rate": 3.9923893961834914e-05,
+      "loss": 0.6195,
+      "step": 150
+    },
+    {
+      "epoch": 0.6291666666666667,
+      "grad_norm": 0.6645550535908764,
+      "learning_rate": 3.991873915950786e-05,
+      "loss": 0.6009,
+      "step": 151
+    },
+    {
+      "epoch": 0.6333333333333333,
+      "grad_norm": 0.9702680008326658,
+      "learning_rate": 3.991341581299609e-05,
+      "loss": 0.6069,
+      "step": 152
+    },
+    {
+      "epoch": 0.6375,
+      "grad_norm": 0.8185881298517128,
+      "learning_rate": 3.9907923967343583e-05,
+      "loss": 0.5993,
+      "step": 153
+    },
+    {
+      "epoch": 0.6416666666666667,
+      "grad_norm": 0.8221931733724522,
+      "learning_rate": 3.990226366902007e-05,
+      "loss": 0.6061,
+      "step": 154
+    },
+    {
+      "epoch": 0.6458333333333334,
+      "grad_norm": 0.9078682479987112,
+      "learning_rate": 3.989643496592067e-05,
+      "loss": 0.6047,
+      "step": 155
+    },
+    {
+      "epoch": 0.65,
+      "grad_norm": 0.9292043332159131,
+      "learning_rate": 3.989043790736547e-05,
+      "loss": 0.6163,
+      "step": 156
+    },
+    {
+      "epoch": 0.6541666666666667,
+      "grad_norm": 0.6420744015708145,
+      "learning_rate": 3.9884272544099126e-05,
+      "loss": 0.6064,
+      "step": 157
+    },
+    {
+      "epoch": 0.6583333333333333,
+      "grad_norm": 0.9300016754772198,
+      "learning_rate": 3.98779389282904e-05,
+      "loss": 0.61,
+      "step": 158
+    },
+    {
+      "epoch": 0.6625,
+      "grad_norm": 0.7116085686707454,
+      "learning_rate": 3.9871437113531757e-05,
+      "loss": 0.6001,
+      "step": 159
+    },
+    {
+      "epoch": 0.6666666666666666,
+      "grad_norm": 0.6506607966868728,
+      "learning_rate": 3.9864767154838864e-05,
+      "loss": 0.6013,
+      "step": 160
+    },
+    {
+      "epoch": 0.6708333333333333,
+      "grad_norm": 0.5244776504731719,
+      "learning_rate": 3.9857929108650186e-05,
+      "loss": 0.6115,
+      "step": 161
+    },
+    {
+      "epoch": 0.675,
+      "grad_norm": 0.5265289462591022,
+      "learning_rate": 3.985092303282645e-05,
+      "loss": 0.5974,
+      "step": 162
+    },
+    {
+      "epoch": 0.6791666666666667,
+      "grad_norm": 0.6913443137294888,
+      "learning_rate": 3.9843748986650185e-05,
+      "loss": 0.6027,
+      "step": 163
+    },
+    {
+      "epoch": 0.6833333333333333,
+      "grad_norm": 0.8952111006978029,
+      "learning_rate": 3.983640703082523e-05,
+      "loss": 0.6093,
+      "step": 164
+    },
+    {
+      "epoch": 0.6875,
+      "grad_norm": 0.8808092276456894,
+      "learning_rate": 3.982889722747621e-05,
+      "loss": 0.604,
+      "step": 165
+    },
+    {
+      "epoch": 0.6916666666666667,
+      "grad_norm": 1.0124872467980413,
+      "learning_rate": 3.982121964014797e-05,
+      "loss": 0.6017,
+      "step": 166
+    },
+    {
+      "epoch": 0.6958333333333333,
+      "grad_norm": 1.0141756140919487,
+      "learning_rate": 3.981337433380512e-05,
+      "loss": 0.6043,
+      "step": 167
+    },
+    {
+      "epoch": 0.7,
+      "grad_norm": 0.7940035583599523,
+      "learning_rate": 3.980536137483141e-05,
+      "loss": 0.603,
+      "step": 168
+    },
+    {
+      "epoch": 0.7041666666666667,
+      "grad_norm": 0.6815397720273677,
+      "learning_rate": 3.97971808310292e-05,
+      "loss": 0.6033,
+      "step": 169
+    },
+    {
+      "epoch": 0.7083333333333334,
+      "grad_norm": 0.5692713098104114,
+      "learning_rate": 3.978883277161889e-05,
+      "loss": 0.6129,
+      "step": 170
+    },
+    {
+      "epoch": 0.7125,
+      "grad_norm": 0.8949397237934722,
+      "learning_rate": 3.978031726723834e-05,
+      "loss": 0.602,
+      "step": 171
+    },
+    {
+      "epoch": 0.7166666666666667,
+      "grad_norm": 0.8439068707146551,
+      "learning_rate": 3.977163438994223e-05,
+      "loss": 0.6022,
+      "step": 172
+    },
+    {
+      "epoch": 0.7208333333333333,
+      "grad_norm": 0.6537749129209305,
+      "learning_rate": 3.976278421320152e-05,
+      "loss": 0.6046,
+      "step": 173
+    },
+    {
+      "epoch": 0.725,
+      "grad_norm": 0.5719443319621762,
+      "learning_rate": 3.9753766811902756e-05,
+      "loss": 0.5952,
+      "step": 174
+    },
+    {
+      "epoch": 0.7291666666666666,
+      "grad_norm": 0.5335331999127876,
+      "learning_rate": 3.9744582262347486e-05,
+      "loss": 0.5924,
+      "step": 175
+    },
+    {
+      "epoch": 0.7333333333333333,
+      "grad_norm": 0.5315711772829829,
+      "learning_rate": 3.973523064225159e-05,
+      "loss": 0.6038,
+      "step": 176
+    },
+    {
+      "epoch": 0.7375,
+      "grad_norm": 5.833689240074311,
+      "learning_rate": 3.972571203074463e-05,
+      "loss": 0.6138,
+      "step": 177
+    },
+    {
+      "epoch": 0.7416666666666667,
+      "grad_norm": 1.1180970011488844,
+      "learning_rate": 3.9716026508369193e-05,
+      "loss": 0.6115,
+      "step": 178
+    },
+    {
+      "epoch": 0.7458333333333333,
+      "grad_norm": 1.6810215498208934,
+      "learning_rate": 3.970617415708019e-05,
+      "loss": 0.5983,
+      "step": 179
+    },
+    {
+      "epoch": 0.75,
+      "grad_norm": 0.7611713210374506,
+      "learning_rate": 3.9696155060244166e-05,
+      "loss": 0.6102,
+      "step": 180
+    },
+    {
+      "epoch": 0.7541666666666667,
+      "grad_norm": 2.0108424942557246,
+      "learning_rate": 3.96859693026386e-05,
+      "loss": 0.6058,
+      "step": 181
+    },
+    {
+      "epoch": 0.7583333333333333,
+      "grad_norm": 1.2496496213454418,
+      "learning_rate": 3.967561697045118e-05,
+      "loss": 0.6251,
+      "step": 182
+    },
+    {
+      "epoch": 0.7625,
+      "grad_norm": 2.2604311300328663,
+      "learning_rate": 3.96650981512791e-05,
+      "loss": 0.6186,
+      "step": 183
+    },
+    {
+      "epoch": 0.7666666666666667,
+      "grad_norm": 1.9309829509381906,
+      "learning_rate": 3.965441293412827e-05,
+      "loss": 0.6222,
+      "step": 184
+    },
+    {
+      "epoch": 0.7708333333333334,
+      "grad_norm": 1.5275380908225737,
+      "learning_rate": 3.964356140941262e-05,
+      "loss": 0.6142,
+      "step": 185
+    },
+    {
+      "epoch": 0.775,
+      "grad_norm": 1.6402801417918575,
+      "learning_rate": 3.9632543668953284e-05,
+      "loss": 0.6074,
+      "step": 186
+    },
+    {
+      "epoch": 0.7791666666666667,
+      "grad_norm": 1.4018197992605743,
+      "learning_rate": 3.962135980597786e-05,
+      "loss": 0.6092,
+      "step": 187
+    },
+    {
+      "epoch": 0.7833333333333333,
+      "grad_norm": 1.57474479862592,
+      "learning_rate": 3.961000991511959e-05,
+      "loss": 0.5987,
+      "step": 188
+    },
+    {
+      "epoch": 0.7875,
+      "grad_norm": 0.9332683903563855,
+      "learning_rate": 3.9598494092416594e-05,
+      "loss": 0.6006,
+      "step": 189
+    },
+    {
+      "epoch": 0.7916666666666666,
+      "grad_norm": 6.4262698284657285,
+      "learning_rate": 3.958681243531103e-05,
+      "loss": 0.6427,
+      "step": 190
+    },
+    {
+      "epoch": 0.7958333333333333,
+      "grad_norm": 2.031731227747491,
+      "learning_rate": 3.957496504264828e-05,
+      "loss": 0.6164,
+      "step": 191
+    },
+    {
+      "epoch": 0.8,
+      "grad_norm": 1.0255549765691543,
+      "learning_rate": 3.9562952014676116e-05,
+      "loss": 0.5982,
+      "step": 192
+    },
+    {
+      "epoch": 0.8041666666666667,
+      "grad_norm": 1.7950123558844988,
+      "learning_rate": 3.955077345304383e-05,
+      "loss": 0.6145,
+      "step": 193
+    },
+    {
+      "epoch": 0.8083333333333333,
+      "grad_norm": 1.6661107778405753,
+      "learning_rate": 3.953842946080142e-05,
+      "loss": 0.6139,
+      "step": 194
+    },
+    {
+      "epoch": 0.8125,
+      "grad_norm": 1.255537604337782,
+      "learning_rate": 3.952592014239867e-05,
+      "loss": 0.6156,
+      "step": 195
+    },
+    {
+      "epoch": 0.8166666666666667,
+      "grad_norm": 1.0157832236691309,
+      "learning_rate": 3.951324560368429e-05,
+      "loss": 0.6147,
+      "step": 196
+    },
+    {
+      "epoch": 0.8208333333333333,
+      "grad_norm": 1.0705014177371002,
+      "learning_rate": 3.950040595190502e-05,
+      "loss": 0.6109,
+      "step": 197
+    },
+    {
+      "epoch": 0.825,
+      "grad_norm": 0.8720346538745792,
+      "learning_rate": 3.948740129570471e-05,
+      "loss": 0.604,
+      "step": 198
+    },
+    {
+      "epoch": 0.8291666666666667,
+      "grad_norm": 0.9108778498246244,
+      "learning_rate": 3.9474231745123425e-05,
+      "loss": 0.5978,
+      "step": 199
+    },
+    {
+      "epoch": 0.8333333333333334,
+      "grad_norm": 0.6858303735878576,
+      "learning_rate": 3.946089741159648e-05,
+      "loss": 0.6025,
+      "step": 200
+    },
+    {
+      "epoch": 0.8375,
+      "grad_norm": 0.8093276888050045,
+      "learning_rate": 3.9447398407953536e-05,
+      "loss": 0.6052,
+      "step": 201
+    },
+    {
+      "epoch": 0.8416666666666667,
+      "grad_norm": 0.5387365454899715,
+      "learning_rate": 3.943373484841761e-05,
+      "loss": 0.5951,
+      "step": 202
+    },
+    {
+      "epoch": 0.8458333333333333,
+      "grad_norm": 0.6523938284137194,
+      "learning_rate": 3.941990684860412e-05,
+      "loss": 0.5983,
+      "step": 203
+    },
+    {
+      "epoch": 0.85,
+      "grad_norm": 0.5930411495149569,
+      "learning_rate": 3.940591452551993e-05,
+      "loss": 0.6085,
+      "step": 204
+    },
+    {
+      "epoch": 0.8541666666666666,
+      "grad_norm": 0.6501507887091976,
+      "learning_rate": 3.9391757997562323e-05,
+      "loss": 0.591,
+      "step": 205
+    },
+    {
+      "epoch": 0.8583333333333333,
+      "grad_norm": 0.6330658290793114,
+      "learning_rate": 3.9377437384518014e-05,
+      "loss": 0.5937,
+      "step": 206
+    },
+    {
+      "epoch": 0.8625,
+      "grad_norm": 0.6849294359909535,
+      "learning_rate": 3.936295280756216e-05,
+      "loss": 0.6022,
+      "step": 207
+    },
+    {
+      "epoch": 0.8666666666666667,
+      "grad_norm": 0.9148446915969376,
+      "learning_rate": 3.934830438925728e-05,
+      "loss": 0.6108,
+      "step": 208
+    },
+    {
+      "epoch": 0.8708333333333333,
+      "grad_norm": 0.5414127308524658,
+      "learning_rate": 3.933349225355228e-05,
+      "loss": 0.5914,
+      "step": 209
+    },
+    {
+      "epoch": 0.875,
+      "grad_norm": 0.6807208332138882,
+      "learning_rate": 3.931851652578137e-05,
+      "loss": 0.5779,
+      "step": 210
+    },
+    {
+      "epoch": 0.8791666666666667,
+      "grad_norm": 0.5116956086012243,
+      "learning_rate": 3.930337733266299e-05,
+      "loss": 0.5859,
+      "step": 211
+    },
+    {
+      "epoch": 0.8833333333333333,
+      "grad_norm": 0.6464602536360001,
+      "learning_rate": 3.928807480229878e-05,
+      "loss": 0.5968,
+      "step": 212
+    },
+    {
+      "epoch": 0.8875,
+      "grad_norm": 0.5445816251083418,
+      "learning_rate": 3.927260906417246e-05,
+      "loss": 0.5865,
+      "step": 213
+    },
+    {
+      "epoch": 0.8916666666666667,
+      "grad_norm": 0.5331557945158678,
+      "learning_rate": 3.925698024914876e-05,
+      "loss": 0.5919,
+      "step": 214
+    },
+    {
+      "epoch": 0.8958333333333334,
+      "grad_norm": 0.4500416131513844,
+      "learning_rate": 3.9241188489472266e-05,
+      "loss": 0.6017,
+      "step": 215
+    },
+    {
+      "epoch": 0.9,
+      "grad_norm": 0.5131283210508815,
+      "learning_rate": 3.922523391876638e-05,
+      "loss": 0.5913,
+      "step": 216
+    },
+    {
+      "epoch": 0.9041666666666667,
+      "grad_norm": 0.434716603766219,
+      "learning_rate": 3.920911667203211e-05,
+      "loss": 0.6077,
+      "step": 217
+    },
+    {
+      "epoch": 0.9083333333333333,
+      "grad_norm": 0.5173179366442318,
+      "learning_rate": 3.919283688564699e-05,
+      "loss": 0.5913,
+      "step": 218
+    },
+    {
+      "epoch": 0.9125,
+      "grad_norm": 0.4041240210095621,
+      "learning_rate": 3.917639469736386e-05,
+      "loss": 0.589,
+      "step": 219
+    },
+    {
+      "epoch": 0.9166666666666666,
+      "grad_norm": 0.39317734578321195,
+      "learning_rate": 3.915979024630978e-05,
+      "loss": 0.582,
+      "step": 220
+    },
+    {
+      "epoch": 0.9208333333333333,
+      "grad_norm": 0.45574417962886826,
+      "learning_rate": 3.914302367298478e-05,
+      "loss": 0.5905,
+      "step": 221
+    },
+    {
+      "epoch": 0.925,
+      "grad_norm": 0.46494202536514745,
+      "learning_rate": 3.912609511926071e-05,
+      "loss": 0.6087,
+      "step": 222
+    },
+    {
+      "epoch": 0.9291666666666667,
+      "grad_norm": 0.34877093481702964,
+      "learning_rate": 3.910900472838004e-05,
+      "loss": 0.5858,
+      "step": 223
+    },
+    {
+      "epoch": 0.9333333333333333,
+      "grad_norm": 0.4465679019806231,
+      "learning_rate": 3.909175264495464e-05,
+      "loss": 0.601,
+      "step": 224
+    },
+    {
+      "epoch": 0.9375,
+      "grad_norm": 0.4484295111435038,
+      "learning_rate": 3.907433901496454e-05,
+      "loss": 0.5961,
+      "step": 225
+    },
+    {
+      "epoch": 0.9416666666666667,
+      "grad_norm": 0.3737784566652126,
+      "learning_rate": 3.9056763985756724e-05,
+      "loss": 0.5832,
+      "step": 226
+    },
+    {
+      "epoch": 0.9458333333333333,
+      "grad_norm": 0.5549965681657777,
+      "learning_rate": 3.903902770604386e-05,
+      "loss": 0.5935,
+      "step": 227
+    },
+    {
+      "epoch": 0.95,
+      "grad_norm": 0.39219086903022765,
+      "learning_rate": 3.9021130325903076e-05,
+      "loss": 0.5871,
+      "step": 228
+    },
+    {
+      "epoch": 0.9541666666666667,
+      "grad_norm": 0.4326134130395831,
+      "learning_rate": 3.900307199677462e-05,
+      "loss": 0.5869,
+      "step": 229
+    },
+    {
+      "epoch": 0.9583333333333334,
+      "grad_norm": 0.3878340710100633,
+      "learning_rate": 3.898485287146068e-05,
+      "loss": 0.5792,
+      "step": 230
+    },
+    {
+      "epoch": 0.9625,
+      "grad_norm": 0.491588750881979,
+      "learning_rate": 3.896647310412399e-05,
+      "loss": 0.5875,
+      "step": 231
+    },
+    {
+      "epoch": 0.9666666666666667,
+      "grad_norm": 0.47167566982740994,
+      "learning_rate": 3.8947932850286585e-05,
+      "loss": 0.5884,
+      "step": 232
+    },
+    {
+      "epoch": 0.9708333333333333,
+      "grad_norm": 0.40037721633670603,
+      "learning_rate": 3.892923226682849e-05,
+      "loss": 0.5829,
+      "step": 233
+    },
+    {
+      "epoch": 0.975,
+      "grad_norm": 0.45656296290139076,
+      "learning_rate": 3.891037151198634e-05,
+      "loss": 0.5735,
+      "step": 234
+    },
+    {
+      "epoch": 0.9791666666666666,
+      "grad_norm": 0.4209143206597181,
+      "learning_rate": 3.88913507453521e-05,
+      "loss": 0.5798,
+      "step": 235
+    },
+    {
+      "epoch": 0.9833333333333333,
+      "grad_norm": 0.4440792761438726,
+      "learning_rate": 3.887217012787167e-05,
+      "loss": 0.5786,
+      "step": 236
+    },
+    {
+      "epoch": 0.9875,
+      "grad_norm": 0.4053025555601259,
+      "learning_rate": 3.885282982184357e-05,
+      "loss": 0.591,
+      "step": 237
+    },
+    {
+      "epoch": 0.9916666666666667,
+      "grad_norm": 0.4480467695908802,
+      "learning_rate": 3.883332999091751e-05,
+      "loss": 0.582,
+      "step": 238
+    },
+    {
+      "epoch": 0.9958333333333333,
+      "grad_norm": 0.38550322094656303,
+      "learning_rate": 3.8813670800093046e-05,
+      "loss": 0.5841,
+      "step": 239
+    },
+    {
+      "epoch": 1.0,
+      "grad_norm": 0.3452238821589659,
+      "learning_rate": 3.879385241571817e-05,
+      "loss": 0.5872,
+      "step": 240
+    },
+    {
+      "epoch": 1.0041666666666667,
+      "grad_norm": 0.4406010955303967,
+      "learning_rate": 3.877387500548791e-05,
+      "loss": 0.5473,
+      "step": 241
+    },
+    {
+      "epoch": 1.0083333333333333,
+      "grad_norm": 0.4196619562165898,
+      "learning_rate": 3.87537387384429e-05,
+      "loss": 0.5601,
+      "step": 242
+    },
+    {
+      "epoch": 1.0125,
+      "grad_norm": 0.4781544548132093,
+      "learning_rate": 3.873344378496795e-05,
+      "loss": 0.543,
+      "step": 243
+    },
+    {
+      "epoch": 1.0166666666666666,
+      "grad_norm": 0.5015649231577988,
+      "learning_rate": 3.8712990316790633e-05,
+      "loss": 0.548,
+      "step": 244
+    },
+    {
+      "epoch": 1.0208333333333333,
+      "grad_norm": 0.45896771388250757,
+      "learning_rate": 3.8692378506979775e-05,
+      "loss": 0.5424,
+      "step": 245
+    },
+    {
+      "epoch": 1.025,
+      "grad_norm": 0.46992886856713934,
+      "learning_rate": 3.8671608529944035e-05,
+      "loss": 0.5459,
+      "step": 246
+    },
+    {
+      "epoch": 1.0291666666666666,
+      "grad_norm": 0.475481875853481,
+      "learning_rate": 3.8650680561430444e-05,
+      "loss": 0.5367,
+      "step": 247
+    },
+    {
+      "epoch": 1.0333333333333334,
+      "grad_norm": 0.38513999120173803,
+      "learning_rate": 3.862959477852285e-05,
+      "loss": 0.5559,
+      "step": 248
+    },
+    {
+      "epoch": 1.0375,
+      "grad_norm": 0.42911051850784293,
+      "learning_rate": 3.860835135964049e-05,
+      "loss": 0.5328,
+      "step": 249
+    },
+    {
+      "epoch": 1.0416666666666667,
+      "grad_norm": 0.38439411540736046,
+      "learning_rate": 3.858695048453645e-05,
+      "loss": 0.5365,
+      "step": 250
+    },
+    {
+      "epoch": 1.0458333333333334,
+      "grad_norm": 0.4556082309066422,
+      "learning_rate": 3.8565392334296135e-05,
+      "loss": 0.5463,
+      "step": 251
+    },
+    {
+      "epoch": 1.05,
+      "grad_norm": 0.37563339606917695,
+      "learning_rate": 3.854367709133575e-05,
+      "loss": 0.5442,
+      "step": 252
+    },
+    {
+      "epoch": 1.0541666666666667,
+      "grad_norm": 0.42796480491292316,
+      "learning_rate": 3.852180493940076e-05,
+      "loss": 0.5323,
+      "step": 253
+    },
+    {
+      "epoch": 1.0583333333333333,
+      "grad_norm": 0.45795521696408836,
+      "learning_rate": 3.849977606356432e-05,
+      "loss": 0.5545,
+      "step": 254
+    },
+    {
+      "epoch": 1.0625,
+      "grad_norm": 0.5434892586255291,
+      "learning_rate": 3.8477590650225735e-05,
+      "loss": 0.5475,
+      "step": 255
+    },
+    {
+      "epoch": 1.0666666666666667,
+      "grad_norm": 0.5281205108015046,
+      "learning_rate": 3.845524888710885e-05,
+      "loss": 0.5305,
+      "step": 256
+    },
+    {
+      "epoch": 1.0708333333333333,
+      "grad_norm": 0.4370969266096491,
+      "learning_rate": 3.843275096326048e-05,
+      "loss": 0.5573,
+      "step": 257
+    },
+    {
+      "epoch": 1.075,
+      "grad_norm": 0.5780691860713271,
+      "learning_rate": 3.841009706904881e-05,
+      "loss": 0.5487,
+      "step": 258
+    },
+    {
+      "epoch": 1.0791666666666666,
+      "grad_norm": 0.6207487195598114,
+      "learning_rate": 3.8387287396161784e-05,
+      "loss": 0.5353,
+      "step": 259
+    },
+    {
+      "epoch": 1.0833333333333333,
+      "grad_norm": 0.431876399456736,
+      "learning_rate": 3.8364322137605484e-05,
+      "loss": 0.5397,
+      "step": 260
+    },
+    {
+      "epoch": 1.0875,
+      "grad_norm": 0.5804160168692262,
+      "learning_rate": 3.834120148770248e-05,
+      "loss": 0.532,
+      "step": 261
+    },
+    {
+      "epoch": 1.0916666666666666,
+      "grad_norm": 0.6680196534577321,
+      "learning_rate": 3.8317925642090225e-05,
+      "loss": 0.5473,
+      "step": 262
+    },
+    {
+      "epoch": 1.0958333333333334,
+      "grad_norm": 0.5454194856383294,
+      "learning_rate": 3.829449479771935e-05,
+      "loss": 0.5567,
+      "step": 263
+    },
+    {
+      "epoch": 1.1,
+      "grad_norm": 0.40571905557902443,
+      "learning_rate": 3.827090915285202e-05,
+      "loss": 0.5544,
+      "step": 264
+    },
+    {
+      "epoch": 1.1041666666666667,
+      "grad_norm": 0.5235345680353714,
+      "learning_rate": 3.824716890706029e-05,
+      "loss": 0.5444,
+      "step": 265
+    },
+    {
+      "epoch": 1.1083333333333334,
+      "grad_norm": 0.5700836568044627,
+      "learning_rate": 3.8223274261224344e-05,
+      "loss": 0.5453,
+      "step": 266
+    },
+    {
+      "epoch": 1.1125,
+      "grad_norm": 0.4188022120925585,
+      "learning_rate": 3.8199225417530865e-05,
+      "loss": 0.5414,
+      "step": 267
+    },
+    {
+      "epoch": 1.1166666666666667,
+      "grad_norm": 0.7690176283666269,
+      "learning_rate": 3.817502257947129e-05,
+      "loss": 0.556,
+      "step": 268
+    },
+    {
+      "epoch": 1.1208333333333333,
+      "grad_norm": 0.5572958616235794,
+      "learning_rate": 3.815066595184007e-05,
+      "loss": 0.5428,
+      "step": 269
+    },
+    {
+      "epoch": 1.125,
+      "grad_norm": 0.391475640768384,
+      "learning_rate": 3.812615574073301e-05,
+      "loss": 0.5432,
+      "step": 270
+    },
+    {
+      "epoch": 1.1291666666666667,
+      "grad_norm": 0.5234766948965066,
+      "learning_rate": 3.81014921535454e-05,
+      "loss": 0.5349,
+      "step": 271
+    },
+    {
+      "epoch": 1.1333333333333333,
+      "grad_norm": 0.4394439696375235,
+      "learning_rate": 3.807667539897041e-05,
+      "loss": 0.5453,
+      "step": 272
+    },
+    {
+      "epoch": 1.1375,
+      "grad_norm": 0.4285560305810143,
+      "learning_rate": 3.805170568699722e-05,
+      "loss": 0.5395,
+      "step": 273
+    },
+    {
+      "epoch": 1.1416666666666666,
+      "grad_norm": 0.4359544909786749,
+      "learning_rate": 3.8026583228909244e-05,
+      "loss": 0.5534,
+      "step": 274
+    },
+    {
+      "epoch": 1.1458333333333333,
+      "grad_norm": 0.4300470633162109,
+      "learning_rate": 3.800130823728242e-05,
+      "loss": 0.55,
+      "step": 275
+    },
+    {
+      "epoch": 1.15,
+      "grad_norm": 0.3912020945403841,
+      "learning_rate": 3.7975880925983345e-05,
+      "loss": 0.5348,
+      "step": 276
+    },
+    {
+      "epoch": 1.1541666666666668,
+      "grad_norm": 0.4788065319423428,
+      "learning_rate": 3.795030151016746e-05,
+      "loss": 0.5193,
+      "step": 277
+    },
+    {
+      "epoch": 1.1583333333333332,
+      "grad_norm": 0.5122579098660471,
+      "learning_rate": 3.7924570206277274e-05,
+      "loss": 0.54,
+      "step": 278
+    },
+    {
+      "epoch": 1.1625,
+      "grad_norm": 0.3892443444552306,
+      "learning_rate": 3.78986872320405e-05,
+      "loss": 0.5562,
+      "step": 279
+    },
+    {
+      "epoch": 1.1666666666666667,
+      "grad_norm": 0.3757068038324186,
+      "learning_rate": 3.787265280646825e-05,
+      "loss": 0.5475,
+      "step": 280
+    },
+    {
+      "epoch": 1.1708333333333334,
+      "grad_norm": 0.4002637376745568,
+      "learning_rate": 3.784646714985311e-05,
+      "loss": 0.5446,
+      "step": 281
+    },
+    {
+      "epoch": 1.175,
+      "grad_norm": 0.6434613018830029,
+      "learning_rate": 3.782013048376736e-05,
+      "loss": 0.5423,
+      "step": 282
+    },
+    {
+      "epoch": 1.1791666666666667,
+      "grad_norm": 0.4802579423585243,
+      "learning_rate": 3.779364303106104e-05,
+      "loss": 0.5551,
+      "step": 283
+    },
+    {
+      "epoch": 1.1833333333333333,
+      "grad_norm": 0.34320293525448575,
+      "learning_rate": 3.776700501586009e-05,
+      "loss": 0.5371,
+      "step": 284
+    },
+    {
+      "epoch": 1.1875,
+      "grad_norm": 0.37243144250715815,
+      "learning_rate": 3.774021666356444e-05,
+      "loss": 0.5441,
+      "step": 285
+    },
+    {
+      "epoch": 1.1916666666666667,
+      "grad_norm": 0.47943818705729785,
+      "learning_rate": 3.7713278200846125e-05,
+      "loss": 0.553,
+      "step": 286
+    },
+    {
+      "epoch": 1.1958333333333333,
+      "grad_norm": 0.48019468557764794,
+      "learning_rate": 3.768618985564734e-05,
+      "loss": 0.5364,
+      "step": 287
+    },
+    {
+      "epoch": 1.2,
+      "grad_norm": 0.3737355351361219,
+      "learning_rate": 3.7658951857178544e-05,
+      "loss": 0.5381,
+      "step": 288
+    },
+    {
+      "epoch": 1.2041666666666666,
+      "grad_norm": 0.4316833796281385,
+      "learning_rate": 3.763156443591647e-05,
+      "loss": 0.5526,
+      "step": 289
+    },
+    {
+      "epoch": 1.2083333333333333,
+      "grad_norm": 0.5367694193809566,
+      "learning_rate": 3.760402782360222e-05,
+      "loss": 0.5402,
+      "step": 290
+    },
+    {
+      "epoch": 1.2125,
+      "grad_norm": 0.5054159315871245,
+      "learning_rate": 3.757634225323931e-05,
+      "loss": 0.5447,
+      "step": 291
+    },
+    {
+      "epoch": 1.2166666666666668,
+      "grad_norm": 0.37465922664626905,
+      "learning_rate": 3.754850795909164e-05,
+      "loss": 0.5464,
+      "step": 292
+    },
+    {
+      "epoch": 1.2208333333333332,
+      "grad_norm": 0.4667280578857415,
+      "learning_rate": 3.7520525176681575e-05,
+      "loss": 0.5443,
+      "step": 293
+    },
+    {
+      "epoch": 1.225,
+      "grad_norm": 0.41038515137599035,
+      "learning_rate": 3.749239414278792e-05,
+      "loss": 0.5391,
+      "step": 294
+    },
+    {
+      "epoch": 1.2291666666666667,
+      "grad_norm": 0.4872872931948412,
+      "learning_rate": 3.7464115095443924e-05,
+      "loss": 0.5498,
+      "step": 295
+    },
+    {
+      "epoch": 1.2333333333333334,
+      "grad_norm": 0.3714350455253727,
+      "learning_rate": 3.743568827393525e-05,
+      "loss": 0.5438,
+      "step": 296
+    },
+    {
+      "epoch": 1.2375,
+      "grad_norm": 0.5352847539446225,
+      "learning_rate": 3.7407113918797995e-05,
+      "loss": 0.5554,
+      "step": 297
+    },
+    {
+      "epoch": 1.2416666666666667,
+      "grad_norm": 0.37054802860531405,
+      "learning_rate": 3.7378392271816606e-05,
+      "loss": 0.5335,
+      "step": 298
+    },
+    {
+      "epoch": 1.2458333333333333,
+      "grad_norm": 0.48597193778007786,
+      "learning_rate": 3.734952357602185e-05,
+      "loss": 0.5437,
+      "step": 299
+    },
+    {
+      "epoch": 1.25,
+      "grad_norm": 0.38678763041126857,
+      "learning_rate": 3.732050807568878e-05,
+      "loss": 0.5462,
+      "step": 300
+    },
+    {
+      "epoch": 1.2541666666666667,
+      "grad_norm": 0.3876114600715386,
+      "learning_rate": 3.7291346016334616e-05,
+      "loss": 0.5418,
+      "step": 301
+    },
+    {
+      "epoch": 1.2583333333333333,
+      "grad_norm": 0.40139068236775927,
+      "learning_rate": 3.726203764471673e-05,
+      "loss": 0.5476,
+      "step": 302
+    },
+    {
+      "epoch": 1.2625,
+      "grad_norm": 0.39993072044779654,
+      "learning_rate": 3.723258320883052e-05,
+      "loss": 0.5476,
+      "step": 303
+    },
+    {
+      "epoch": 1.2666666666666666,
+      "grad_norm": 0.4777404763468545,
+      "learning_rate": 3.720298295790732e-05,
+      "loss": 0.5369,
+      "step": 304
+    },
+    {
+      "epoch": 1.2708333333333333,
+      "grad_norm": 0.3836987377047922,
+      "learning_rate": 3.7173237142412266e-05,
+      "loss": 0.5294,
+      "step": 305
+    },
+    {
+      "epoch": 1.275,
+      "grad_norm": 0.3874760875383913,
+      "learning_rate": 3.714334601404225e-05,
+      "loss": 0.5475,
+      "step": 306
+    },
+    {
+      "epoch": 1.2791666666666668,
+      "grad_norm": 0.4939800332038625,
+      "learning_rate": 3.7113309825723706e-05,
+      "loss": 0.5477,
+      "step": 307
+    },
+    {
+      "epoch": 1.2833333333333332,
+      "grad_norm": 0.5384604306792786,
+      "learning_rate": 3.708312883161052e-05,
+      "loss": 0.5476,
+      "step": 308
+    },
+    {
+      "epoch": 1.2875,
+      "grad_norm": 0.38400202597605726,
+      "learning_rate": 3.705280328708185e-05,
+      "loss": 0.5388,
+      "step": 309
+    },
+    {
+      "epoch": 1.2916666666666667,
+      "grad_norm": 0.7635101023152292,
+      "learning_rate": 3.702233344873999e-05,
+      "loss": 0.5441,
+      "step": 310
+    },
+    {
+      "epoch": 1.2958333333333334,
+      "grad_norm": 0.4749517009016558,
+      "learning_rate": 3.6991719574408216e-05,
+      "loss": 0.5457,
+      "step": 311
+    },
+    {
+      "epoch": 1.3,
+      "grad_norm": 0.6186036408886622,
+      "learning_rate": 3.696096192312852e-05,
+      "loss": 0.5336,
+      "step": 312
+    },
+    {
+      "epoch": 1.3041666666666667,
+      "grad_norm": 0.6039600691439416,
+      "learning_rate": 3.693006075515952e-05,
+      "loss": 0.5457,
+      "step": 313
+    },
+    {
+      "epoch": 1.3083333333333333,
+      "grad_norm": 0.44510838255318347,
+      "learning_rate": 3.689901633197421e-05,
+      "loss": 0.5425,
+      "step": 314
+    },
+    {
+      "epoch": 1.3125,
+      "grad_norm": 0.5281284436574588,
+      "learning_rate": 3.686782891625772e-05,
+      "loss": 0.5225,
+      "step": 315
+    },
+    {
+      "epoch": 1.3166666666666667,
+      "grad_norm": 0.4383316355693497,
+      "learning_rate": 3.683649877190515e-05,
+      "loss": 0.5501,
+      "step": 316
+    },
+    {
+      "epoch": 1.3208333333333333,
+      "grad_norm": 0.49956813129428346,
+      "learning_rate": 3.680502616401932e-05,
+      "loss": 0.5359,
+      "step": 317
+    },
+    {
+      "epoch": 1.325,
+      "grad_norm": 0.5515987870342378,
+      "learning_rate": 3.6773411358908486e-05,
+      "loss": 0.5339,
+      "step": 318
+    },
+    {
+      "epoch": 1.3291666666666666,
+      "grad_norm": 0.4345037680070084,
+      "learning_rate": 3.674165462408415e-05,
+      "loss": 0.5336,
+      "step": 319
+    },
+    {
+      "epoch": 1.3333333333333333,
+      "grad_norm": 0.4400948719090633,
+      "learning_rate": 3.6709756228258735e-05,
+      "loss": 0.5455,
+      "step": 320
+    },
+    {
+      "epoch": 1.3375,
+      "grad_norm": 0.5395972581738513,
+      "learning_rate": 3.6677716441343366e-05,
+      "loss": 0.5524,
+      "step": 321
+    },
+    {
+      "epoch": 1.3416666666666668,
+      "grad_norm": 0.5392777298500487,
+      "learning_rate": 3.664553553444556e-05,
+      "loss": 0.5413,
+      "step": 322
+    },
+    {
+      "epoch": 1.3458333333333332,
+      "grad_norm": 0.4462815897326446,
+      "learning_rate": 3.661321377986691e-05,
+      "loss": 0.5455,
+      "step": 323
+    },
+    {
+      "epoch": 1.35,
+      "grad_norm": 0.408044981134378,
+      "learning_rate": 3.658075145110083e-05,
+      "loss": 0.5359,
+      "step": 324
+    },
+    {
+      "epoch": 1.3541666666666667,
+      "grad_norm": 2.6517110892639804,
+      "learning_rate": 3.654814882283021e-05,
+      "loss": 0.5599,
+      "step": 325
+    },
+    {
+      "epoch": 1.3583333333333334,
+      "grad_norm": 0.6426062801390939,
+      "learning_rate": 3.6515406170925085e-05,
+      "loss": 0.5451,
+      "step": 326
+    },
+    {
+      "epoch": 1.3625,
+      "grad_norm": 0.7569615680173203,
+      "learning_rate": 3.648252377244031e-05,
+      "loss": 0.5511,
+      "step": 327
+    },
+    {
+      "epoch": 1.3666666666666667,
+      "grad_norm": 0.5615222121177936,
+      "learning_rate": 3.644950190561325e-05,
+      "loss": 0.5353,
+      "step": 328
+    },
+    {
+      "epoch": 1.3708333333333333,
+      "grad_norm": 3.908446658444029,
+      "learning_rate": 3.641634084986135e-05,
+      "loss": 0.5363,
+      "step": 329
+    },
+    {
+      "epoch": 1.375,
+      "grad_norm": 0.86056567015776,
+      "learning_rate": 3.638304088577984e-05,
+      "loss": 0.5337,
+      "step": 330
+    },
+    {
+      "epoch": 1.3791666666666667,
+      "grad_norm": 0.968674440323784,
+      "learning_rate": 3.6349602295139334e-05,
+      "loss": 0.5349,
+      "step": 331
+    },
+    {
+      "epoch": 1.3833333333333333,
+      "grad_norm": 0.7662941534325669,
+      "learning_rate": 3.631602536088345e-05,
+      "loss": 0.5493,
+      "step": 332
+    },
+    {
+      "epoch": 1.3875,
+      "grad_norm": 0.6489821024054829,
+      "learning_rate": 3.628231036712639e-05,
+      "loss": 0.551,
+      "step": 333
+    },
+    {
+      "epoch": 1.3916666666666666,
+      "grad_norm": 0.6768400112848093,
+      "learning_rate": 3.624845759915059e-05,
+      "loss": 0.5506,
+      "step": 334
+    },
+    {
+      "epoch": 1.3958333333333333,
+      "grad_norm": 0.6300666456353369,
+      "learning_rate": 3.6214467343404247e-05,
+      "loss": 0.5492,
+      "step": 335
+    },
+    {
+      "epoch": 1.4,
+      "grad_norm": 0.5258555208327108,
+      "learning_rate": 3.6180339887498953e-05,
+      "loss": 0.5508,
+      "step": 336
+    },
+    {
+      "epoch": 1.4041666666666668,
+      "grad_norm": 0.5524501054068902,
+      "learning_rate": 3.61460755202072e-05,
+      "loss": 0.5435,
+      "step": 337
+    },
+    {
+      "epoch": 1.4083333333333332,
+      "grad_norm": 0.5625403333344081,
+      "learning_rate": 3.611167453145999e-05,
+      "loss": 0.5515,
+      "step": 338
+    },
+    {
+      "epoch": 1.4125,
+      "grad_norm": 0.5913598318371671,
+      "learning_rate": 3.6077137212344345e-05,
+      "loss": 0.5534,
+      "step": 339
+    },
+    {
+      "epoch": 1.4166666666666667,
+      "grad_norm": 0.5062091818940291,
+      "learning_rate": 3.604246385510088e-05,
+      "loss": 0.5454,
+      "step": 340
+    },
+    {
+      "epoch": 1.4208333333333334,
+      "grad_norm": 0.7149264594412322,
+      "learning_rate": 3.600765475312128e-05,
+      "loss": 0.526,
+      "step": 341
+    },
+    {
+      "epoch": 1.425,
+      "grad_norm": 0.48134148469588334,
+      "learning_rate": 3.597271020094586e-05,
+      "loss": 0.5324,
+      "step": 342
+    },
+    {
+      "epoch": 1.4291666666666667,
+      "grad_norm": 0.5417590266608151,
+      "learning_rate": 3.593763049426107e-05,
+      "loss": 0.5575,
+      "step": 343
+    },
+    {
+      "epoch": 1.4333333333333333,
+      "grad_norm": 0.5591822618770105,
+      "learning_rate": 3.590241592989696e-05,
+      "loss": 0.5503,
+      "step": 344
+    },
+    {
+      "epoch": 1.4375,
+      "grad_norm": 0.5257518162521898,
+      "learning_rate": 3.586706680582471e-05,
+      "loss": 0.5445,
+      "step": 345
+    },
+    {
+      "epoch": 1.4416666666666667,
+      "grad_norm": 0.4634408909849689,
+      "learning_rate": 3.583158342115407e-05,
+      "loss": 0.5406,
+      "step": 346
+    },
+    {
+      "epoch": 1.4458333333333333,
+      "grad_norm": 0.49613445514198684,
+      "learning_rate": 3.579596607613087e-05,
+      "loss": 0.5465,
+      "step": 347
+    },
+    {
+      "epoch": 1.45,
+      "grad_norm": 0.5672027866995051,
+      "learning_rate": 3.576021507213444e-05,
+      "loss": 0.553,
+      "step": 348
+    },
+    {
+      "epoch": 1.4541666666666666,
+      "grad_norm": 0.4941824109882221,
+      "learning_rate": 3.5724330711675085e-05,
+      "loss": 0.5349,
+      "step": 349
+    },
+    {
+      "epoch": 1.4583333333333333,
+      "grad_norm": 0.5669200741703913,
+      "learning_rate": 3.568831329839152e-05,
+      "loss": 0.558,
+      "step": 350
+    },
+    {
+      "epoch": 1.4625,
+      "grad_norm": 0.6336248661527731,
+      "learning_rate": 3.565216313704828e-05,
+      "loss": 0.5214,
+      "step": 351
+    },
+    {
+      "epoch": 1.4666666666666668,
+      "grad_norm": 0.4862325834076314,
+      "learning_rate": 3.561588053353319e-05,
+      "loss": 0.5326,
+      "step": 352
+    },
+    {
+      "epoch": 1.4708333333333332,
+      "grad_norm": 50.599831096867604,
+      "learning_rate": 3.557946579485472e-05,
+      "loss": 0.5274,
+      "step": 353
+    },
+    {
+      "epoch": 1.475,
+      "grad_norm": 10.910060517204235,
+      "learning_rate": 3.554291922913942e-05,
+      "loss": 0.6153,
+      "step": 354
+    },
+    {
+      "epoch": 1.4791666666666667,
+      "grad_norm": 1.074406038442234,
+      "learning_rate": 3.550624114562932e-05,
+      "loss": 0.5439,
+      "step": 355
+    },
+    {
+      "epoch": 1.4833333333333334,
+      "grad_norm": 1.0370534681055068,
+      "learning_rate": 3.5469431854679284e-05,
+      "loss": 0.557,
+      "step": 356
+    },
+    {
+      "epoch": 1.4875,
+      "grad_norm": 0.8216011964637442,
+      "learning_rate": 3.5432491667754404e-05,
+      "loss": 0.5478,
+      "step": 357
+    },
+    {
+      "epoch": 1.4916666666666667,
+      "grad_norm": 0.8134009163833327,
+      "learning_rate": 3.539542089742736e-05,
+      "loss": 0.542,
+      "step": 358
+    },
+    {
+      "epoch": 1.4958333333333333,
+      "grad_norm": 0.8750034828796878,
+      "learning_rate": 3.535821985737578e-05,
+      "loss": 0.5527,
+      "step": 359
+    },
+    {
+      "epoch": 1.5,
+      "grad_norm": 0.6744505015229905,
+      "learning_rate": 3.532088886237956e-05,
+      "loss": 0.5531,
+      "step": 360
+    },
+    {
+      "epoch": 1.5041666666666667,
+      "grad_norm": 0.544924446215458,
+      "learning_rate": 3.5283428228318265e-05,
+      "loss": 0.5491,
+      "step": 361
+    },
+    {
+      "epoch": 1.5083333333333333,
+      "grad_norm": 0.6751247516552488,
+      "learning_rate": 3.524583827216837e-05,
+      "loss": 0.5466,
+      "step": 362
+    },
+    {
+      "epoch": 1.5125,
+      "grad_norm": 0.3674962335666127,
+      "learning_rate": 3.520811931200063e-05,
+      "loss": 0.5438,
+      "step": 363
+    },
+    {
+      "epoch": 1.5166666666666666,
+      "grad_norm": 0.6309369607091287,
+      "learning_rate": 3.5170271666977383e-05,
+      "loss": 0.5433,
+      "step": 364
+    },
+    {
+      "epoch": 1.5208333333333335,
+      "grad_norm": 0.499517179632754,
+      "learning_rate": 3.513229565734986e-05,
+      "loss": 0.5398,
+      "step": 365
+    },
+    {
+      "epoch": 1.525,
+      "grad_norm": 0.515334408837096,
+      "learning_rate": 3.5094191604455446e-05,
+      "loss": 0.5361,
+      "step": 366
+    },
+    {
+      "epoch": 1.5291666666666668,
+      "grad_norm": 0.4723797383914561,
+      "learning_rate": 3.505595983071497e-05,
+      "loss": 0.5394,
+      "step": 367
+    },
+    {
+      "epoch": 1.5333333333333332,
+      "grad_norm": 0.5793396713598776,
+      "learning_rate": 3.5017600659629986e-05,
+      "loss": 0.5438,
+      "step": 368
+    },
+    {
+      "epoch": 1.5375,
+      "grad_norm": 2.5464060896803797,
+      "learning_rate": 3.497911441578005e-05,
+      "loss": 0.5528,
+      "step": 369
+    },
+    {
+      "epoch": 1.5416666666666665,
+      "grad_norm": 0.8887207215422138,
+      "learning_rate": 3.4940501424819927e-05,
+      "loss": 0.5388,
+      "step": 370
+    },
+    {
+      "epoch": 1.5458333333333334,
+      "grad_norm": 0.6433041354795661,
+      "learning_rate": 3.490176201347688e-05,
+      "loss": 0.5455,
+      "step": 371
+    },
+    {
+      "epoch": 1.55,
+      "grad_norm": 2.263023677021183,
+      "learning_rate": 3.4862896509547886e-05,
+      "loss": 0.5386,
+      "step": 372
+    },
+    {
+      "epoch": 1.5541666666666667,
+      "grad_norm": 0.6011992934825787,
+      "learning_rate": 3.482390524189687e-05,
+      "loss": 0.5453,
+      "step": 373
+    },
+    {
+      "epoch": 1.5583333333333333,
+      "grad_norm": 0.7611855558373163,
+      "learning_rate": 3.478478854045192e-05,
+      "loss": 0.5397,
+      "step": 374
+    },
+    {
+      "epoch": 1.5625,
+      "grad_norm": 0.4847408846399714,
+      "learning_rate": 3.474554673620248e-05,
+      "loss": 0.5374,
+      "step": 375
+    },
+    {
+      "epoch": 1.5666666666666667,
+      "grad_norm": 0.6917296997816444,
+      "learning_rate": 3.470618016119658e-05,
+      "loss": 0.5317,
+      "step": 376
+    },
+    {
+      "epoch": 1.5708333333333333,
+      "grad_norm": 0.4894917757184793,
+      "learning_rate": 3.4666689148537976e-05,
+      "loss": 0.5447,
+      "step": 377
+    },
+    {
+      "epoch": 1.575,
+      "grad_norm": 0.5536289373283173,
+      "learning_rate": 3.462707403238341e-05,
+      "loss": 0.5486,
+      "step": 378
+    },
+    {
+      "epoch": 1.5791666666666666,
+      "grad_norm": 0.5209679404299189,
+      "learning_rate": 3.458733514793971e-05,
+      "loss": 0.5387,
+      "step": 379
+    },
+    {
+      "epoch": 1.5833333333333335,
+      "grad_norm": 0.41294624066206936,
+      "learning_rate": 3.4547472831460976e-05,
+      "loss": 0.536,
+      "step": 380
+    },
+    {
+      "epoch": 1.5875,
+      "grad_norm": 0.4776106205291494,
+      "learning_rate": 3.450748742024575e-05,
+      "loss": 0.5299,
+      "step": 381
+    },
+    {
+      "epoch": 1.5916666666666668,
+      "grad_norm": 0.4408073207618328,
+      "learning_rate": 3.446737925263416e-05,
+      "loss": 0.5513,
+      "step": 382
+    },
+    {
+      "epoch": 1.5958333333333332,
+      "grad_norm": 1.011039352548808,
+      "learning_rate": 3.442714866800503e-05,
+      "loss": 0.5373,
+      "step": 383
+    },
+    {
+      "epoch": 1.6,
+      "grad_norm": 0.4728935369610765,
+      "learning_rate": 3.438679600677303e-05,
+      "loss": 0.5573,
+      "step": 384
+    },
+    {
+      "epoch": 1.6041666666666665,
+      "grad_norm": 0.44203385402051665,
+      "learning_rate": 3.434632161038579e-05,
+      "loss": 0.5476,
+      "step": 385
+    },
+    {
+      "epoch": 1.6083333333333334,
+      "grad_norm": 0.44675782958431953,
+      "learning_rate": 3.430572582132103e-05,
+      "loss": 0.5318,
+      "step": 386
+    },
+    {
+      "epoch": 1.6125,
+      "grad_norm": 0.40337499189073334,
+      "learning_rate": 3.426500898308364e-05,
+      "loss": 0.546,
+      "step": 387
+    },
+    {
+      "epoch": 1.6166666666666667,
+      "grad_norm": 3.887202940437168,
+      "learning_rate": 3.422417144020274e-05,
+      "loss": 0.5556,
+      "step": 388
+    },
+    {
+      "epoch": 1.6208333333333333,
+      "grad_norm": 0.722313529945089,
+      "learning_rate": 3.4183213538228876e-05,
+      "loss": 0.5369,
+      "step": 389
+    },
+    {
+      "epoch": 1.625,
+      "grad_norm": 0.6188201178714671,
+      "learning_rate": 3.4142135623730954e-05,
+      "loss": 0.5333,
+      "step": 390
+    },
+    {
+      "epoch": 1.6291666666666667,
+      "grad_norm": 8.0133358740126,
+      "learning_rate": 3.410093804429341e-05,
+      "loss": 0.6215,
+      "step": 391
+    },
+    {
+      "epoch": 1.6333333333333333,
+      "grad_norm": 0.7859856462540775,
+      "learning_rate": 3.405962114851324e-05,
+      "loss": 0.5418,
+      "step": 392
+    },
+    {
+      "epoch": 1.6375,
+      "grad_norm": 0.5405499807694932,
+      "learning_rate": 3.401818528599702e-05,
+      "loss": 0.5347,
+      "step": 393
+    },
+    {
+      "epoch": 1.6416666666666666,
+      "grad_norm": 0.5714313002014001,
+      "learning_rate": 3.3976630807358e-05,
+      "loss": 0.5541,
+      "step": 394
+    },
+    {
+      "epoch": 1.6458333333333335,
+      "grad_norm": 0.5882264280306395,
+      "learning_rate": 3.3934958064213105e-05,
+      "loss": 0.5365,
+      "step": 395
+    },
+    {
+      "epoch": 1.65,
+      "grad_norm": 0.6292291165942625,
+      "learning_rate": 3.3893167409179945e-05,
+      "loss": 0.5332,
+      "step": 396
+    },
+    {
+      "epoch": 1.6541666666666668,
+      "grad_norm": 0.5061325980182686,
+      "learning_rate": 3.385125919587389e-05,
+      "loss": 0.5256,
+      "step": 397
+    },
+    {
+      "epoch": 1.6583333333333332,
+      "grad_norm": 0.5896622141204226,
+      "learning_rate": 3.3809233778904995e-05,
+      "loss": 0.5365,
+      "step": 398
+    },
+    {
+      "epoch": 1.6625,
+      "grad_norm": 0.42991753010476663,
+      "learning_rate": 3.376709151387508e-05,
+      "loss": 0.5419,
+      "step": 399
+    },
+    {
+      "epoch": 1.6666666666666665,
+      "grad_norm": 0.5320307698753223,
+      "learning_rate": 3.372483275737468e-05,
+      "loss": 0.5355,
+      "step": 400
+    },
+    {
+      "epoch": 1.6708333333333334,
+      "grad_norm": 0.4362313241457944,
+      "learning_rate": 3.368245786698e-05,
+      "loss": 0.5359,
+      "step": 401
+    },
+    {
+      "epoch": 1.675,
+      "grad_norm": 0.5090533209283697,
+      "learning_rate": 3.363996720124997e-05,
+      "loss": 0.5468,
+      "step": 402
+    },
+    {
+      "epoch": 1.6791666666666667,
+      "grad_norm": 0.41335826704940476,
+      "learning_rate": 3.3597361119723145e-05,
+      "loss": 0.5351,
+      "step": 403
+    },
+    {
+      "epoch": 1.6833333333333333,
+      "grad_norm": 0.5078274330938815,
+      "learning_rate": 3.355463998291465e-05,
+      "loss": 0.5348,
+      "step": 404
+    },
+    {
+      "epoch": 1.6875,
+      "grad_norm": 0.3804915040214098,
+      "learning_rate": 3.351180415231321e-05,
+      "loss": 0.5279,
+      "step": 405
+    },
+    {
+      "epoch": 1.6916666666666667,
+      "grad_norm": 0.47013384517847556,
+      "learning_rate": 3.3468853990378005e-05,
+      "loss": 0.5285,
+      "step": 406
+    },
+    {
+      "epoch": 1.6958333333333333,
+      "grad_norm": 0.40689934674421463,
+      "learning_rate": 3.342578986053567e-05,
+      "loss": 0.5277,
+      "step": 407
+    },
+    {
+      "epoch": 1.7,
+      "grad_norm": 0.4448533400141461,
+      "learning_rate": 3.3382612127177166e-05,
+      "loss": 0.5334,
+      "step": 408
+    },
+    {
+      "epoch": 1.7041666666666666,
+      "grad_norm": 0.47219175452122747,
+      "learning_rate": 3.3339321155654723e-05,
+      "loss": 0.5315,
+      "step": 409
+    },
+    {
+      "epoch": 1.7083333333333335,
+      "grad_norm": 1.1226303581586898,
+      "learning_rate": 3.3295917312278754e-05,
+      "loss": 0.5582,
+      "step": 410
+    },
+    {
+      "epoch": 1.7125,
+      "grad_norm": 1.1384407299842498,
+      "learning_rate": 3.3252400964314756e-05,
+      "loss": 0.5497,
+      "step": 411
+    },
+    {
+      "epoch": 1.7166666666666668,
+      "grad_norm": 1.0300242288581747,
+      "learning_rate": 3.3208772479980154e-05,
+      "loss": 0.6032,
+      "step": 412
+    },
+    {
+      "epoch": 1.7208333333333332,
+      "grad_norm": 0.30687240316764763,
+      "learning_rate": 3.316503222844128e-05,
+      "loss": 0.5289,
+      "step": 413
+    },
+    {
+      "epoch": 1.725,
+      "grad_norm": 0.3582513272424745,
+      "learning_rate": 3.312118057981015e-05,
+      "loss": 0.5379,
+      "step": 414
+    },
+    {
+      "epoch": 1.7291666666666665,
+      "grad_norm": 0.3291272208159582,
+      "learning_rate": 3.3077217905141395e-05,
+      "loss": 0.532,
+      "step": 415
+    },
+    {
+      "epoch": 1.7333333333333334,
+      "grad_norm": 0.30850616340598214,
+      "learning_rate": 3.303314457642911e-05,
+      "loss": 0.546,
+      "step": 416
+    },
+    {
+      "epoch": 1.7375,
+      "grad_norm": 0.386781836944319,
+      "learning_rate": 3.298896096660367e-05,
+      "loss": 0.5269,
+      "step": 417
+    },
+    {
+      "epoch": 1.7416666666666667,
+      "grad_norm": 0.33791320712541995,
+      "learning_rate": 3.294466744952865e-05,
+      "loss": 0.5487,
+      "step": 418
+    },
+    {
+      "epoch": 1.7458333333333333,
+      "grad_norm": 0.3836471909857469,
+      "learning_rate": 3.290026439999757e-05,
+      "loss": 0.5364,
+      "step": 419
+    },
+    {
+      "epoch": 1.75,
+      "grad_norm": 0.3409114081935661,
+      "learning_rate": 3.285575219373079e-05,
+      "loss": 0.5351,
+      "step": 420
+    },
+    {
+      "epoch": 1.7541666666666667,
+      "grad_norm": 0.4038423945266767,
+      "learning_rate": 3.281113120737231e-05,
+      "loss": 0.5316,
+      "step": 421
+    },
+    {
+      "epoch": 1.7583333333333333,
+      "grad_norm": 0.447896853158445,
+      "learning_rate": 3.276640181848657e-05,
+      "loss": 0.5347,
+      "step": 422
+    },
+    {
+      "epoch": 1.7625,
+      "grad_norm": 0.39772425809590717,
+      "learning_rate": 3.272156440555528e-05,
+      "loss": 0.533,
+      "step": 423
+    },
+    {
+      "epoch": 1.7666666666666666,
+      "grad_norm": 0.49904113747582496,
+      "learning_rate": 3.26766193479742e-05,
+      "loss": 0.5384,
+      "step": 424
+    },
+    {
+      "epoch": 1.7708333333333335,
+      "grad_norm": 0.4127689853333455,
+      "learning_rate": 3.2631567026049954e-05,
+      "loss": 0.538,
+      "step": 425
+    },
+    {
+      "epoch": 1.775,
+      "grad_norm": 0.46507484347333206,
+      "learning_rate": 3.258640782099675e-05,
+      "loss": 0.5377,
+      "step": 426
+    },
+    {
+      "epoch": 1.7791666666666668,
+      "grad_norm": 0.40509094921794664,
+      "learning_rate": 3.254114211493324e-05,
+      "loss": 0.5312,
+      "step": 427
+    },
+    {
+      "epoch": 1.7833333333333332,
+      "grad_norm": 4.0203588633843825,
+      "learning_rate": 3.2495770290879204e-05,
+      "loss": 0.5602,
+      "step": 428
+    },
+    {
+      "epoch": 1.7875,
+      "grad_norm": 0.6620483623851753,
+      "learning_rate": 3.2450292732752395e-05,
+      "loss": 0.5388,
+      "step": 429
+    },
+    {
+      "epoch": 1.7916666666666665,
+      "grad_norm": 0.6221145466142196,
+      "learning_rate": 3.2404709825365204e-05,
+      "loss": 0.5411,
+      "step": 430
+    },
+    {
+      "epoch": 1.7958333333333334,
+      "grad_norm": 0.4939363274260579,
+      "learning_rate": 3.235902195442147e-05,
+      "loss": 0.5474,
+      "step": 431
+    },
+    {
+      "epoch": 1.8,
+      "grad_norm": 0.6538538086125941,
+      "learning_rate": 3.2313229506513167e-05,
+      "loss": 0.5382,
+      "step": 432
+    },
+    {
+      "epoch": 1.8041666666666667,
+      "grad_norm": 0.46231434195977417,
+      "learning_rate": 3.2267332869117186e-05,
+      "loss": 0.5378,
+      "step": 433
+    },
+    {
+      "epoch": 1.8083333333333333,
+      "grad_norm": 0.48393570230931093,
+      "learning_rate": 3.2221332430592e-05,
+      "loss": 0.5339,
+      "step": 434
+    },
+    {
+      "epoch": 1.8125,
+      "grad_norm": 0.4731624643118013,
+      "learning_rate": 3.217522858017442e-05,
+      "loss": 0.5321,
+      "step": 435
+    },
+    {
+      "epoch": 1.8166666666666667,
+      "grad_norm": 0.3951340592928766,
+      "learning_rate": 3.2129021707976274e-05,
+      "loss": 0.5269,
+      "step": 436
+    },
+    {
+      "epoch": 1.8208333333333333,
+      "grad_norm": 0.4241328181614359,
+      "learning_rate": 3.208271220498113e-05,
+      "loss": 0.5452,
+      "step": 437
+    },
+    {
+      "epoch": 1.825,
+      "grad_norm": 0.385964971839393,
+      "learning_rate": 3.203630046304097e-05,
+      "loss": 0.5413,
+      "step": 438
+    },
+    {
+      "epoch": 1.8291666666666666,
+      "grad_norm": 0.32637856355400724,
+      "learning_rate": 3.198978687487288e-05,
+      "loss": 0.5401,
+      "step": 439
+    },
+    {
+      "epoch": 1.8333333333333335,
+      "grad_norm": 0.626582631847551,
+      "learning_rate": 3.194317183405573e-05,
+      "loss": 0.5377,
+      "step": 440
+    },
+    {
+      "epoch": 1.8375,
+      "grad_norm": 0.3603921671355549,
+      "learning_rate": 3.189645573502683e-05,
+      "loss": 0.523,
+      "step": 441
+    },
+    {
+      "epoch": 1.8416666666666668,
+      "grad_norm": 0.42659135886403154,
+      "learning_rate": 3.184963897307862e-05,
+      "loss": 0.5312,
+      "step": 442
+    },
+    {
+      "epoch": 1.8458333333333332,
+      "grad_norm": 0.32166388456083606,
+      "learning_rate": 3.1802721944355295e-05,
+      "loss": 0.545,
+      "step": 443
+    },
+    {
+      "epoch": 1.85,
+      "grad_norm": 0.36067229289591707,
+      "learning_rate": 3.1755705045849465e-05,
+      "loss": 0.5286,
+      "step": 444
+    },
+    {
+      "epoch": 1.8541666666666665,
+      "grad_norm": 0.2956763484410633,
+      "learning_rate": 3.1708588675398814e-05,
+      "loss": 0.5209,
+      "step": 445
+    },
+    {
+      "epoch": 1.8583333333333334,
+      "grad_norm": 1.1731313817904956,
+      "learning_rate": 3.1661373231682696e-05,
+      "loss": 0.548,
+      "step": 446
+    },
+    {
+      "epoch": 1.8625,
+      "grad_norm": 0.3227064853360421,
+      "learning_rate": 3.1614059114218795e-05,
+      "loss": 0.5357,
+      "step": 447
+    },
+    {
+      "epoch": 1.8666666666666667,
+      "grad_norm": 0.36709296331463204,
+      "learning_rate": 3.156664672335973e-05,
+      "loss": 0.5434,
+      "step": 448
+    },
+    {
+      "epoch": 1.8708333333333333,
+      "grad_norm": 0.3363593683628134,
+      "learning_rate": 3.151913646028967e-05,
+      "loss": 0.5379,
+      "step": 449
+    },
+    {
+      "epoch": 1.875,
+      "grad_norm": 0.40281837434158557,
+      "learning_rate": 3.147152872702092e-05,
+      "loss": 0.538,
+      "step": 450
+    },
+    {
+      "epoch": 1.8791666666666667,
+      "grad_norm": 0.31351522785056457,
+      "learning_rate": 3.1423823926390575e-05,
+      "loss": 0.5353,
+      "step": 451
+    },
+    {
+      "epoch": 1.8833333333333333,
+      "grad_norm": 0.39324055047755585,
+      "learning_rate": 3.137602246205704e-05,
+      "loss": 0.5266,
+      "step": 452
+    },
+    {
+      "epoch": 1.8875,
+      "grad_norm": 0.3664580431628436,
+      "learning_rate": 3.132812473849666e-05,
+      "loss": 0.5366,
+      "step": 453
+    },
+    {
+      "epoch": 1.8916666666666666,
+      "grad_norm": 0.41704352937571465,
+      "learning_rate": 3.128013116100029e-05,
+      "loss": 0.5285,
+      "step": 454
+    },
+    {
+      "epoch": 1.8958333333333335,
+      "grad_norm": 0.39282335707785704,
+      "learning_rate": 3.123204213566986e-05,
+      "loss": 0.5426,
+      "step": 455
+    },
+    {
+      "epoch": 1.9,
+      "grad_norm": 0.36218214273512056,
+      "learning_rate": 3.1183858069414936e-05,
+      "loss": 0.5482,
+      "step": 456
+    },
+    {
+      "epoch": 1.9041666666666668,
+      "grad_norm": 0.39771815020451934,
+      "learning_rate": 3.113557936994929e-05,
+      "loss": 0.5349,
+      "step": 457
+    },
+    {
+      "epoch": 1.9083333333333332,
+      "grad_norm": 0.37776725153082563,
+      "learning_rate": 3.1087206445787436e-05,
+      "loss": 0.5321,
+      "step": 458
+    },
+    {
+      "epoch": 1.9125,
+      "grad_norm": 0.3413941460478657,
+      "learning_rate": 3.103873970624117e-05,
+      "loss": 0.5452,
+      "step": 459
+    },
+    {
+      "epoch": 1.9166666666666665,
+      "grad_norm": 0.36909470454931836,
+      "learning_rate": 3.0990179561416124e-05,
+      "loss": 0.5328,
+      "step": 460
+    },
+    {
+      "epoch": 1.9208333333333334,
+      "grad_norm": 0.26521618628019933,
+      "learning_rate": 3.094152642220829e-05,
+      "loss": 0.5389,
+      "step": 461
+    },
+    {
+      "epoch": 1.925,
+      "grad_norm": 0.34325211349261603,
+      "learning_rate": 3.0892780700300544e-05,
+      "loss": 0.541,
+      "step": 462
+    },
+    {
+      "epoch": 1.9291666666666667,
+      "grad_norm": 4.811603499350673,
+      "learning_rate": 3.084394280815914e-05,
+      "loss": 0.5755,
+      "step": 463
+    },
+    {
+      "epoch": 1.9333333333333333,
+      "grad_norm": 0.4786137584045623,
+      "learning_rate": 3.079501315903026e-05,
+      "loss": 0.53,
+      "step": 464
+    },
+    {
+      "epoch": 1.9375,
+      "grad_norm": 0.41344035214790137,
+      "learning_rate": 3.0745992166936484e-05,
+      "loss": 0.5321,
+      "step": 465
+    },
+    {
+      "epoch": 1.9416666666666667,
+      "grad_norm": 0.3320667262805005,
+      "learning_rate": 3.0696880246673293e-05,
+      "loss": 0.5313,
+      "step": 466
+    },
+    {
+      "epoch": 1.9458333333333333,
+      "grad_norm": 0.5393309931610712,
+      "learning_rate": 3.064767781380558e-05,
+      "loss": 0.5345,
+      "step": 467
+    },
+    {
+      "epoch": 1.95,
+      "grad_norm": 0.36344810477596545,
+      "learning_rate": 3.05983852846641e-05,
+      "loss": 0.5341,
+      "step": 468
+    },
+    {
+      "epoch": 1.9541666666666666,
+      "grad_norm": 0.37782531754913795,
+      "learning_rate": 3.0549003076342e-05,
+      "loss": 0.526,
+      "step": 469
+    },
+    {
+      "epoch": 1.9583333333333335,
+      "grad_norm": 0.37027854117681785,
+      "learning_rate": 3.0499531606691204e-05,
+      "loss": 0.5382,
+      "step": 470
+    },
+    {
+      "epoch": 1.9625,
+      "grad_norm": 0.3759462692918367,
+      "learning_rate": 3.0449971294318977e-05,
+      "loss": 0.5321,
+      "step": 471
+    },
+    {
+      "epoch": 1.9666666666666668,
+      "grad_norm": 0.843520724044957,
+      "learning_rate": 3.0400322558584308e-05,
+      "loss": 0.5437,
+      "step": 472
+    },
+    {
+      "epoch": 1.9708333333333332,
+      "grad_norm": 0.3915495912006152,
+      "learning_rate": 3.0350585819594402e-05,
+      "loss": 0.526,
+      "step": 473
+    },
+    {
+      "epoch": 1.975,
+      "grad_norm": 0.34332380102586857,
+      "learning_rate": 3.030076149820109e-05,
+      "loss": 0.5261,
+      "step": 474
+    },
+    {
+      "epoch": 1.9791666666666665,
+      "grad_norm": 0.38262503583227475,
+      "learning_rate": 3.0250850015997307e-05,
+      "loss": 0.5229,
+      "step": 475
+    },
+    {
+      "epoch": 1.9833333333333334,
+      "grad_norm": 0.3460892043692767,
+      "learning_rate": 3.020085179531351e-05,
+      "loss": 0.5239,
+      "step": 476
+    },
+    {
+      "epoch": 1.9875,
+      "grad_norm": 0.3156293867995891,
+      "learning_rate": 3.0150767259214087e-05,
+      "loss": 0.5388,
+      "step": 477
+    },
+    {
+      "epoch": 1.9916666666666667,
+      "grad_norm": 0.33013269777276694,
+      "learning_rate": 3.0100596831493806e-05,
+      "loss": 0.5253,
+      "step": 478
+    },
+    {
+      "epoch": 1.9958333333333333,
+      "grad_norm": 0.33797798159952824,
+      "learning_rate": 3.0050340936674202e-05,
+      "loss": 0.5383,
+      "step": 479
+    },
+    {
+      "epoch": 2.0,
+      "grad_norm": 0.386842030161799,
+      "learning_rate": 3.0000000000000004e-05,
+      "loss": 0.5302,
+      "step": 480
+    },
+    {
+      "epoch": 2.004166666666667,
+      "grad_norm": 0.4886159342930222,
+      "learning_rate": 2.9949574447435533e-05,
+      "loss": 0.4922,
+      "step": 481
+    },
+    {
+      "epoch": 2.0083333333333333,
+      "grad_norm": 0.36231983910258553,
+      "learning_rate": 2.9899064705661086e-05,
+      "loss": 0.4804,
+      "step": 482
+    },
+    {
+      "epoch": 2.0125,
+      "grad_norm": 0.642614800738087,
+      "learning_rate": 2.9848471202069347e-05,
+      "loss": 0.4851,
+      "step": 483
+    },
+    {
+      "epoch": 2.0166666666666666,
+      "grad_norm": 0.42808250895072036,
+      "learning_rate": 2.9797794364761743e-05,
+      "loss": 0.4761,
+      "step": 484
+    },
+    {
+      "epoch": 2.0208333333333335,
+      "grad_norm": 0.48344163286053543,
+      "learning_rate": 2.974703462254485e-05,
+      "loss": 0.4931,
+      "step": 485
+    },
+    {
+      "epoch": 2.025,
+      "grad_norm": 0.43795264872636147,
+      "learning_rate": 2.9696192404926747e-05,
+      "loss": 0.484,
+      "step": 486
+    },
+    {
+      "epoch": 2.029166666666667,
+      "grad_norm": 0.41290565168811605,
+      "learning_rate": 2.964526814211338e-05,
+      "loss": 0.485,
+      "step": 487
+    },
+    {
+      "epoch": 2.033333333333333,
+      "grad_norm": 0.4356828882854518,
+      "learning_rate": 2.959426226500493e-05,
+      "loss": 0.4809,
+      "step": 488
+    },
+    {
+      "epoch": 2.0375,
+      "grad_norm": 0.47840529952039423,
+      "learning_rate": 2.954317520519217e-05,
+      "loss": 0.4661,
+      "step": 489
+    },
+    {
+      "epoch": 2.0416666666666665,
+      "grad_norm": 0.39630661023736297,
+      "learning_rate": 2.9492007394952812e-05,
+      "loss": 0.483,
+      "step": 490
+    },
+    {
+      "epoch": 2.0458333333333334,
+      "grad_norm": 0.4498881048188075,
+      "learning_rate": 2.9440759267247828e-05,
+      "loss": 0.4672,
+      "step": 491
+    },
+    {
+      "epoch": 2.05,
+      "grad_norm": 0.38435953428018615,
+      "learning_rate": 2.938943125571782e-05,
+      "loss": 0.4781,
+      "step": 492
+    },
+    {
+      "epoch": 2.0541666666666667,
+      "grad_norm": 0.3805953549515372,
+      "learning_rate": 2.933802379467932e-05,
+      "loss": 0.4736,
+      "step": 493
+    },
+    {
+      "epoch": 2.058333333333333,
+      "grad_norm": 0.3971953776801394,
+      "learning_rate": 2.9286537319121143e-05,
+      "loss": 0.4795,
+      "step": 494
+    },
+    {
+      "epoch": 2.0625,
+      "grad_norm": 1.3716827159292087,
+      "learning_rate": 2.9234972264700687e-05,
+      "loss": 0.5018,
+      "step": 495
+    },
+    {
+      "epoch": 2.066666666666667,
+      "grad_norm": 0.3993347299586712,
+      "learning_rate": 2.9183329067740235e-05,
+      "loss": 0.4698,
+      "step": 496
+    },
+    {
+      "epoch": 2.0708333333333333,
+      "grad_norm": 0.9163296799211197,
+      "learning_rate": 2.9131608165223313e-05,
+      "loss": 0.4755,
+      "step": 497
+    },
+    {
+      "epoch": 2.075,
+      "grad_norm": 2.135437266520834,
+      "learning_rate": 2.9079809994790937e-05,
+      "loss": 0.5212,
+      "step": 498
+    },
+    {
+      "epoch": 2.0791666666666666,
+      "grad_norm": 0.48648387390989906,
+      "learning_rate": 2.902793499473794e-05,
+      "loss": 0.4897,
+      "step": 499
+    },
+    {
+      "epoch": 2.0833333333333335,
+      "grad_norm": 0.4170170937467103,
+      "learning_rate": 2.897598360400925e-05,
+      "loss": 0.4785,
+      "step": 500
+    },
+    {
+      "epoch": 2.0875,
+      "grad_norm": 0.4091898520641542,
+      "learning_rate": 2.8923956262196178e-05,
+      "loss": 0.4776,
+      "step": 501
+    },
+    {
+      "epoch": 2.091666666666667,
+      "grad_norm": 1.9001726189022239,
+      "learning_rate": 2.8871853409532727e-05,
+      "loss": 0.5005,
+      "step": 502
+    },
+    {
+      "epoch": 2.095833333333333,
+      "grad_norm": 0.40030925906512504,
+      "learning_rate": 2.88196754868918e-05,
+      "loss": 0.4657,
+      "step": 503
+    },
+    {
+      "epoch": 2.1,
+      "grad_norm": 0.5070798940030533,
+      "learning_rate": 2.876742293578155e-05,
+      "loss": 0.4723,
+      "step": 504
+    },
+    {
+      "epoch": 2.1041666666666665,
+      "grad_norm": 0.3373194429400813,
+      "learning_rate": 2.871509619834159e-05,
+      "loss": 0.4727,
+      "step": 505
+    },
+    {
+      "epoch": 2.1083333333333334,
+      "grad_norm": 0.5029763550394912,
+      "learning_rate": 2.8662695717339263e-05,
+      "loss": 0.4715,
+      "step": 506
+    },
+    {
+      "epoch": 2.1125,
+      "grad_norm": 0.3160338581031689,
+      "learning_rate": 2.8610221936165906e-05,
+      "loss": 0.482,
+      "step": 507
+    },
+    {
+      "epoch": 2.1166666666666667,
+      "grad_norm": 0.4239598480395657,
+      "learning_rate": 2.8557675298833086e-05,
+      "loss": 0.485,
+      "step": 508
+    },
+    {
+      "epoch": 2.120833333333333,
+      "grad_norm": 0.4505317331014363,
+      "learning_rate": 2.8505056249968864e-05,
+      "loss": 0.4873,
+      "step": 509
+    },
+    {
+      "epoch": 2.125,
+      "grad_norm": 0.35674874414132907,
+      "learning_rate": 2.8452365234813992e-05,
+      "loss": 0.4823,
+      "step": 510
+    },
+    {
+      "epoch": 2.129166666666667,
+      "grad_norm": 0.3584842873122445,
+      "learning_rate": 2.8399602699218194e-05,
+      "loss": 0.4914,
+      "step": 511
+    },
+    {
+      "epoch": 2.1333333333333333,
+      "grad_norm": 0.45393019871536366,
+      "learning_rate": 2.834676908963636e-05,
+      "loss": 0.4818,
+      "step": 512
+    },
+    {
+      "epoch": 2.1375,
+      "grad_norm": 0.3280287194393449,
+      "learning_rate": 2.8293864853124783e-05,
+      "loss": 0.4661,
+      "step": 513
+    },
+    {
+      "epoch": 2.1416666666666666,
+      "grad_norm": 0.8727083767597136,
+      "learning_rate": 2.8240890437337373e-05,
+      "loss": 0.4712,
+      "step": 514
+    },
+    {
+      "epoch": 2.1458333333333335,
+      "grad_norm": 0.3355338663269697,
+      "learning_rate": 2.8187846290521852e-05,
+      "loss": 0.4785,
+      "step": 515
+    },
+    {
+      "epoch": 2.15,
+      "grad_norm": 0.35543276922208744,
+      "learning_rate": 2.813473286151601e-05,
+      "loss": 0.4756,
+      "step": 516
+    },
+    {
+      "epoch": 2.154166666666667,
+      "grad_norm": 0.379520013404558,
+      "learning_rate": 2.8081550599743835e-05,
+      "loss": 0.475,
+      "step": 517
+    },
+    {
+      "epoch": 2.158333333333333,
+      "grad_norm": 0.36729339199772665,
+      "learning_rate": 2.8028299955211785e-05,
+      "loss": 0.4827,
+      "step": 518
+    },
+    {
+      "epoch": 2.1625,
+      "grad_norm": 0.33712245862059337,
+      "learning_rate": 2.7974981378504926e-05,
+      "loss": 0.4774,
+      "step": 519
+    },
+    {
+      "epoch": 2.1666666666666665,
+      "grad_norm": 0.3538163894156368,
+      "learning_rate": 2.792159532078314e-05,
+      "loss": 0.4865,
+      "step": 520
+    },
+    {
+      "epoch": 2.1708333333333334,
+      "grad_norm": 0.349953200583264,
+      "learning_rate": 2.7868142233777305e-05,
+      "loss": 0.4804,
+      "step": 521
+    },
+    {
+      "epoch": 2.175,
+      "grad_norm": 0.4504984747532693,
+      "learning_rate": 2.7814622569785474e-05,
+      "loss": 0.473,
+      "step": 522
+    },
+    {
+      "epoch": 2.1791666666666667,
+      "grad_norm": 0.36475798074586124,
+      "learning_rate": 2.776103678166906e-05,
+      "loss": 0.4804,
+      "step": 523
+    },
+    {
+      "epoch": 2.183333333333333,
+      "grad_norm": 0.35154700117924165,
+      "learning_rate": 2.770738532284897e-05,
+      "loss": 0.481,
+      "step": 524
+    },
+    {
+      "epoch": 2.1875,
+      "grad_norm": 0.31920708112097607,
+      "learning_rate": 2.7653668647301797e-05,
+      "loss": 0.486,
+      "step": 525
+    },
+    {
+      "epoch": 2.191666666666667,
+      "grad_norm": 0.33469857140235026,
+      "learning_rate": 2.7599887209555986e-05,
+      "loss": 0.4704,
+      "step": 526
+    },
+    {
+      "epoch": 2.1958333333333333,
+      "grad_norm": 0.3123705103605502,
+      "learning_rate": 2.7546041464687942e-05,
+      "loss": 0.4735,
+      "step": 527
+    },
+    {
+      "epoch": 2.2,
+      "grad_norm": 0.31620822768657053,
+      "learning_rate": 2.7492131868318247e-05,
+      "loss": 0.4906,
+      "step": 528
+    },
+    {
+      "epoch": 2.2041666666666666,
+      "grad_norm": 0.3237998625926402,
+      "learning_rate": 2.7438158876607732e-05,
+      "loss": 0.478,
+      "step": 529
+    },
+    {
+      "epoch": 2.2083333333333335,
+      "grad_norm": 0.35055598074469685,
+      "learning_rate": 2.738412294625369e-05,
+      "loss": 0.4926,
+      "step": 530
+    },
+    {
+      "epoch": 2.2125,
+      "grad_norm": 0.306146932881888,
+      "learning_rate": 2.7330024534485948e-05,
+      "loss": 0.4726,
+      "step": 531
+    },
+    {
+      "epoch": 2.216666666666667,
+      "grad_norm": 0.3562224476164066,
+      "learning_rate": 2.7275864099063033e-05,
+      "loss": 0.4732,
+      "step": 532
+    },
+    {
+      "epoch": 2.220833333333333,
+      "grad_norm": 0.3566436235010374,
+      "learning_rate": 2.7221642098268292e-05,
+      "loss": 0.4946,
+      "step": 533
+    },
+    {
+      "epoch": 2.225,
+      "grad_norm": 0.31114253338918896,
+      "learning_rate": 2.7167358990906e-05,
+      "loss": 0.4831,
+      "step": 534
+    },
+    {
+      "epoch": 2.2291666666666665,
+      "grad_norm": 0.3436461920189891,
+      "learning_rate": 2.7113015236297537e-05,
+      "loss": 0.477,
+      "step": 535
+    },
+    {
+      "epoch": 2.2333333333333334,
+      "grad_norm": 0.30580165869202075,
+      "learning_rate": 2.7058611294277378e-05,
+      "loss": 0.4698,
+      "step": 536
+    },
+    {
+      "epoch": 2.2375,
+      "grad_norm": 0.3102715492300113,
+      "learning_rate": 2.7004147625189353e-05,
+      "loss": 0.4719,
+      "step": 537
+    },
+    {
+      "epoch": 2.2416666666666667,
+      "grad_norm": 0.3080035358302375,
+      "learning_rate": 2.694962468988263e-05,
+      "loss": 0.4898,
+      "step": 538
+    },
+    {
+      "epoch": 2.245833333333333,
+      "grad_norm": 0.2848422958925151,
+      "learning_rate": 2.6895042949707886e-05,
+      "loss": 0.4922,
+      "step": 539
+    },
+    {
+      "epoch": 2.25,
+      "grad_norm": 0.30926455577430995,
+      "learning_rate": 2.684040286651338e-05,
+      "loss": 0.4862,
+      "step": 540
+    },
+    {
+      "epoch": 2.2541666666666664,
+      "grad_norm": 0.3111976209215279,
+      "learning_rate": 2.6785704902641024e-05,
+      "loss": 0.4751,
+      "step": 541
+    },
+    {
+      "epoch": 2.2583333333333333,
+      "grad_norm": 0.873839818408244,
+      "learning_rate": 2.673094952092253e-05,
+      "loss": 0.4719,
+      "step": 542
+    },
+    {
+      "epoch": 2.2625,
+      "grad_norm": 0.33204149695565766,
+      "learning_rate": 2.667613718467542e-05,
+      "loss": 0.4807,
+      "step": 543
+    },
+    {
+      "epoch": 2.2666666666666666,
+      "grad_norm": 0.30632882956124574,
+      "learning_rate": 2.6621268357699165e-05,
+      "loss": 0.4706,
+      "step": 544
+    },
+    {
+      "epoch": 2.2708333333333335,
+      "grad_norm": 0.2961072711355155,
+      "learning_rate": 2.6566343504271227e-05,
+      "loss": 0.4708,
+      "step": 545
+    },
+    {
+      "epoch": 2.275,
+      "grad_norm": 0.30704392710398426,
+      "learning_rate": 2.6511363089143137e-05,
+      "loss": 0.4791,
+      "step": 546
+    },
+    {
+      "epoch": 2.279166666666667,
+      "grad_norm": 0.2712205518719514,
+      "learning_rate": 2.645632757753658e-05,
+      "loss": 0.4773,
+      "step": 547
+    },
+    {
+      "epoch": 2.283333333333333,
+      "grad_norm": 0.3315405168045059,
+      "learning_rate": 2.640123743513943e-05,
+      "loss": 0.4782,
+      "step": 548
+    },
+    {
+      "epoch": 2.2875,
+      "grad_norm": 0.292396395388033,
+      "learning_rate": 2.6346093128101847e-05,
+      "loss": 0.4904,
+      "step": 549
+    },
+    {
+      "epoch": 2.2916666666666665,
+      "grad_norm": 0.3188557649620602,
+      "learning_rate": 2.6290895123032277e-05,
+      "loss": 0.4737,
+      "step": 550
+    },
+    {
+      "epoch": 2.2958333333333334,
+      "grad_norm": 0.30424659204927196,
+      "learning_rate": 2.623564388699356e-05,
+      "loss": 0.4717,
+      "step": 551
+    },
+    {
+      "epoch": 2.3,
+      "grad_norm": 0.31138223815754884,
+      "learning_rate": 2.618033988749895e-05,
+      "loss": 0.4958,
+      "step": 552
+    },
+    {
+      "epoch": 2.3041666666666667,
+      "grad_norm": 0.30916556586063254,
+      "learning_rate": 2.6124983592508164e-05,
+      "loss": 0.4863,
+      "step": 553
+    },
+    {
+      "epoch": 2.3083333333333336,
+      "grad_norm": 0.2814754830068476,
+      "learning_rate": 2.6069575470423417e-05,
+      "loss": 0.4751,
+      "step": 554
+    },
+    {
+      "epoch": 2.3125,
+      "grad_norm": 0.3050857927796688,
+      "learning_rate": 2.601411599008546e-05,
+      "loss": 0.4857,
+      "step": 555
+    },
+    {
+      "epoch": 2.3166666666666664,
+      "grad_norm": 0.6697455437225489,
+      "learning_rate": 2.595860562076964e-05,
+      "loss": 0.4971,
+      "step": 556
+    },
+    {
+      "epoch": 2.3208333333333333,
+      "grad_norm": 0.2961077434019537,
+      "learning_rate": 2.590304483218188e-05,
+      "loss": 0.4771,
+      "step": 557
+    },
+    {
+      "epoch": 2.325,
+      "grad_norm": 0.30687641453285824,
+      "learning_rate": 2.5847434094454737e-05,
+      "loss": 0.4678,
+      "step": 558
+    },
+    {
+      "epoch": 2.3291666666666666,
+      "grad_norm": 0.3265943888762366,
+      "learning_rate": 2.5791773878143423e-05,
+      "loss": 0.4874,
+      "step": 559
+    },
+    {
+      "epoch": 2.3333333333333335,
+      "grad_norm": 0.27371615641543545,
+      "learning_rate": 2.5736064654221808e-05,
+      "loss": 0.4846,
+      "step": 560
+    },
+    {
+      "epoch": 2.3375,
+      "grad_norm": 0.2850078562359186,
+      "learning_rate": 2.568030689407846e-05,
+      "loss": 0.4717,
+      "step": 561
+    },
+    {
+      "epoch": 2.341666666666667,
+      "grad_norm": 0.33065075323146403,
+      "learning_rate": 2.5624501069512614e-05,
+      "loss": 0.4896,
+      "step": 562
+    },
+    {
+      "epoch": 2.345833333333333,
+      "grad_norm": 0.29663809900661076,
+      "learning_rate": 2.556864765273024e-05,
+      "loss": 0.4793,
+      "step": 563
+    },
+    {
+      "epoch": 2.35,
+      "grad_norm": 0.33466439648780866,
+      "learning_rate": 2.5512747116339985e-05,
+      "loss": 0.4728,
+      "step": 564
+    },
+    {
+      "epoch": 2.3541666666666665,
+      "grad_norm": 0.3069432487995425,
+      "learning_rate": 2.5456799933349224e-05,
+      "loss": 0.4858,
+      "step": 565
+    },
+    {
+      "epoch": 2.3583333333333334,
+      "grad_norm": 0.29228368662647797,
+      "learning_rate": 2.540080657716002e-05,
+      "loss": 0.4756,
+      "step": 566
+    },
+    {
+      "epoch": 2.3625,
+      "grad_norm": 0.31414622680486587,
+      "learning_rate": 2.534476752156514e-05,
+      "loss": 0.4834,
+      "step": 567
+    },
+    {
+      "epoch": 2.3666666666666667,
+      "grad_norm": 0.2817331987878316,
+      "learning_rate": 2.528868324074405e-05,
+      "loss": 0.4726,
+      "step": 568
+    },
+    {
+      "epoch": 2.3708333333333336,
+      "grad_norm": 0.3380976895995865,
+      "learning_rate": 2.523255420925887e-05,
+      "loss": 0.4878,
+      "step": 569
+    },
+    {
+      "epoch": 2.375,
+      "grad_norm": 0.3105825248790639,
+      "learning_rate": 2.5176380902050418e-05,
+      "loss": 0.4842,
+      "step": 570
+    },
+    {
+      "epoch": 2.3791666666666664,
+      "grad_norm": 0.3446065634556075,
+      "learning_rate": 2.512016379443412e-05,
+      "loss": 0.4676,
+      "step": 571
+    },
+    {
+      "epoch": 2.3833333333333333,
+      "grad_norm": 0.3031685646264204,
+      "learning_rate": 2.506390336209604e-05,
+      "loss": 0.4777,
+      "step": 572
+    },
+    {
+      "epoch": 2.3875,
+      "grad_norm": 0.3190633563175478,
+      "learning_rate": 2.5007600081088833e-05,
+      "loss": 0.472,
+      "step": 573
+    },
+    {
+      "epoch": 2.3916666666666666,
+      "grad_norm": 0.30317278906178724,
+      "learning_rate": 2.4951254427827723e-05,
+      "loss": 0.4939,
+      "step": 574
+    },
+    {
+      "epoch": 2.3958333333333335,
+      "grad_norm": 0.33341565510429794,
+      "learning_rate": 2.4894866879086478e-05,
+      "loss": 0.4677,
+      "step": 575
+    },
+    {
+      "epoch": 2.4,
+      "grad_norm": 0.2866935477908003,
+      "learning_rate": 2.4838437911993355e-05,
+      "loss": 0.4809,
+      "step": 576
+    },
+    {
+      "epoch": 2.404166666666667,
+      "grad_norm": 0.35012731057688545,
+      "learning_rate": 2.478196800402709e-05,
+      "loss": 0.4875,
+      "step": 577
+    },
+    {
+      "epoch": 2.408333333333333,
+      "grad_norm": 0.2857732158533012,
+      "learning_rate": 2.4725457633012836e-05,
+      "loss": 0.4786,
+      "step": 578
+    },
+    {
+      "epoch": 2.4125,
+      "grad_norm": 0.2922696264209706,
+      "learning_rate": 2.4668907277118114e-05,
+      "loss": 0.4742,
+      "step": 579
+    },
+    {
+      "epoch": 2.4166666666666665,
+      "grad_norm": 0.2727927566881546,
+      "learning_rate": 2.4612317414848804e-05,
+      "loss": 0.494,
+      "step": 580
+    },
+    {
+      "epoch": 2.4208333333333334,
+      "grad_norm": 0.29570114731198865,
+      "learning_rate": 2.455568852504507e-05,
+      "loss": 0.4741,
+      "step": 581
+    },
+    {
+      "epoch": 2.425,
+      "grad_norm": 0.3708837715005484,
+      "learning_rate": 2.4499021086877304e-05,
+      "loss": 0.4887,
+      "step": 582
+    },
+    {
+      "epoch": 2.4291666666666667,
+      "grad_norm": 0.2914145818910581,
+      "learning_rate": 2.4442315579842068e-05,
+      "loss": 0.4777,
+      "step": 583
+    },
+    {
+      "epoch": 2.4333333333333336,
+      "grad_norm": 0.27994366238168417,
+      "learning_rate": 2.4385572483758066e-05,
+      "loss": 0.4984,
+      "step": 584
+    },
+    {
+      "epoch": 2.4375,
+      "grad_norm": 0.3139348955681916,
+      "learning_rate": 2.4328792278762058e-05,
+      "loss": 0.4779,
+      "step": 585
+    },
+    {
+      "epoch": 2.4416666666666664,
+      "grad_norm": 0.27424589280548484,
+      "learning_rate": 2.4271975445304806e-05,
+      "loss": 0.4771,
+      "step": 586
+    },
+    {
+      "epoch": 2.4458333333333333,
+      "grad_norm": 0.32738262546874447,
+      "learning_rate": 2.4215122464146996e-05,
+      "loss": 0.4708,
+      "step": 587
+    },
+    {
+      "epoch": 2.45,
+      "grad_norm": 0.2843471029941453,
+      "learning_rate": 2.4158233816355185e-05,
+      "loss": 0.4797,
+      "step": 588
+    },
+    {
+      "epoch": 2.4541666666666666,
+      "grad_norm": 0.3486283991456439,
+      "learning_rate": 2.4101309983297757e-05,
+      "loss": 0.4921,
+      "step": 589
+    },
+    {
+      "epoch": 2.4583333333333335,
+      "grad_norm": 0.2931710908645017,
+      "learning_rate": 2.4044351446640763e-05,
+      "loss": 0.4783,
+      "step": 590
+    },
+    {
+      "epoch": 2.4625,
+      "grad_norm": 0.3772039960998048,
+      "learning_rate": 2.3987358688343946e-05,
+      "loss": 0.4876,
+      "step": 591
+    },
+    {
+      "epoch": 2.466666666666667,
+      "grad_norm": 0.34693662887064003,
+      "learning_rate": 2.3930332190656604e-05,
+      "loss": 0.4796,
+      "step": 592
+    },
+    {
+      "epoch": 2.470833333333333,
+      "grad_norm": 0.32582379868897454,
+      "learning_rate": 2.3873272436113525e-05,
+      "loss": 0.4913,
+      "step": 593
+    },
+    {
+      "epoch": 2.475,
+      "grad_norm": 0.34143930489491536,
+      "learning_rate": 2.38161799075309e-05,
+      "loss": 0.473,
+      "step": 594
+    },
+    {
+      "epoch": 2.4791666666666665,
+      "grad_norm": 0.3015093958025492,
+      "learning_rate": 2.375905508800224e-05,
+      "loss": 0.4784,
+      "step": 595
+    },
+    {
+      "epoch": 2.4833333333333334,
+      "grad_norm": 0.32483312747413107,
+      "learning_rate": 2.370189846089429e-05,
+      "loss": 0.4756,
+      "step": 596
+    },
+    {
+      "epoch": 2.4875,
+      "grad_norm": 0.30399694525041737,
+      "learning_rate": 2.3644710509842956e-05,
+      "loss": 0.4809,
+      "step": 597
+    },
+    {
+      "epoch": 2.4916666666666667,
+      "grad_norm": 0.29199630583002084,
+      "learning_rate": 2.358749171874915e-05,
+      "loss": 0.4953,
+      "step": 598
+    },
+    {
+      "epoch": 2.4958333333333336,
+      "grad_norm": 0.28833627252516764,
+      "learning_rate": 2.3530242571774787e-05,
+      "loss": 0.4902,
+      "step": 599
+    },
+    {
+      "epoch": 2.5,
+      "grad_norm": 0.2731371512874426,
+      "learning_rate": 2.3472963553338614e-05,
+      "loss": 0.4934,
+      "step": 600
+    },
+    {
+      "epoch": 2.5041666666666664,
+      "grad_norm": 0.2812643292598403,
+      "learning_rate": 2.341565514811214e-05,
+      "loss": 0.4834,
+      "step": 601
+    },
+    {
+      "epoch": 2.5083333333333333,
+      "grad_norm": 0.2728818767616976,
+      "learning_rate": 2.3358317841015547e-05,
+      "loss": 0.4942,
+      "step": 602
+    },
+    {
+      "epoch": 2.5125,
+      "grad_norm": 0.2835734026581958,
+      "learning_rate": 2.3300952117213552e-05,
+      "loss": 0.4884,
+      "step": 603
+    },
+    {
+      "epoch": 2.5166666666666666,
+      "grad_norm": 0.27950979825189903,
+      "learning_rate": 2.3243558462111354e-05,
+      "loss": 0.4823,
+      "step": 604
+    },
+    {
+      "epoch": 2.5208333333333335,
+      "grad_norm": 0.32855079628815703,
+      "learning_rate": 2.3186137361350455e-05,
+      "loss": 0.4809,
+      "step": 605
+    },
+    {
+      "epoch": 2.525,
+      "grad_norm": 0.2865668790848711,
+      "learning_rate": 2.312868930080462e-05,
+      "loss": 0.4833,
+      "step": 606
+    },
+    {
+      "epoch": 2.529166666666667,
+      "grad_norm": 0.362397932363514,
+      "learning_rate": 2.3071214766575722e-05,
+      "loss": 0.4882,
+      "step": 607
+    },
+    {
+      "epoch": 2.533333333333333,
+      "grad_norm": 0.27359911997882985,
+      "learning_rate": 2.3013714244989665e-05,
+      "loss": 0.4704,
+      "step": 608
+    },
+    {
+      "epoch": 2.5375,
+      "grad_norm": 0.411023294567305,
+      "learning_rate": 2.2956188222592218e-05,
+      "loss": 0.474,
+      "step": 609
+    },
+    {
+      "epoch": 2.5416666666666665,
+      "grad_norm": 0.30896571731498135,
+      "learning_rate": 2.2898637186144935e-05,
+      "loss": 0.4877,
+      "step": 610
+    },
+    {
+      "epoch": 2.5458333333333334,
+      "grad_norm": 0.37291302446089014,
+      "learning_rate": 2.2841061622621052e-05,
+      "loss": 0.4804,
+      "step": 611
+    },
+    {
+      "epoch": 2.55,
+      "grad_norm": 0.30780547512469386,
+      "learning_rate": 2.278346201920131e-05,
+      "loss": 0.4834,
+      "step": 612
+    },
+    {
+      "epoch": 2.5541666666666667,
+      "grad_norm": 0.38234307930546974,
+      "learning_rate": 2.2725838863269894e-05,
+      "loss": 0.4658,
+      "step": 613
+    },
+    {
+      "epoch": 2.5583333333333336,
+      "grad_norm": 0.29580812288782055,
+      "learning_rate": 2.2668192642410257e-05,
+      "loss": 0.4819,
+      "step": 614
+    },
+    {
+      "epoch": 2.5625,
+      "grad_norm": 0.2954304255659645,
+      "learning_rate": 2.261052384440104e-05,
+      "loss": 0.4885,
+      "step": 615
+    },
+    {
+      "epoch": 2.5666666666666664,
+      "grad_norm": 0.2864840321894157,
+      "learning_rate": 2.25528329572119e-05,
+      "loss": 0.4803,
+      "step": 616
+    },
+    {
+      "epoch": 2.5708333333333333,
+      "grad_norm": 0.3038019951115472,
+      "learning_rate": 2.249512046899941e-05,
+      "loss": 0.4904,
+      "step": 617
+    },
+    {
+      "epoch": 2.575,
+      "grad_norm": 0.3018523128168798,
+      "learning_rate": 2.243738686810295e-05,
+      "loss": 0.481,
+      "step": 618
+    },
+    {
+      "epoch": 2.5791666666666666,
+      "grad_norm": 0.3064640894185579,
+      "learning_rate": 2.237963264304051e-05,
+      "loss": 0.4826,
+      "step": 619
+    },
+    {
+      "epoch": 2.5833333333333335,
+      "grad_norm": 0.33390959627026834,
+      "learning_rate": 2.2321858282504606e-05,
+      "loss": 0.4962,
+      "step": 620
+    },
+    {
+      "epoch": 2.5875,
+      "grad_norm": 0.33593338556580077,
+      "learning_rate": 2.226406427535814e-05,
+      "loss": 0.4878,
+      "step": 621
+    },
+    {
+      "epoch": 2.591666666666667,
+      "grad_norm": 0.36493331594003126,
+      "learning_rate": 2.220625111063024e-05,
+      "loss": 0.4862,
+      "step": 622
+    },
+    {
+      "epoch": 2.595833333333333,
+      "grad_norm": 0.3421217275923928,
+      "learning_rate": 2.214841927751215e-05,
+      "loss": 0.4743,
+      "step": 623
+    },
+    {
+      "epoch": 2.6,
+      "grad_norm": 0.3645361104855795,
+      "learning_rate": 2.209056926535307e-05,
+      "loss": 0.4823,
+      "step": 624
+    },
+    {
+      "epoch": 2.6041666666666665,
+      "grad_norm": 0.31849245941437065,
+      "learning_rate": 2.203270156365604e-05,
+      "loss": 0.4932,
+      "step": 625
+    },
+    {
+      "epoch": 2.6083333333333334,
+      "grad_norm": 0.30986398369115403,
+      "learning_rate": 2.1974816662073758e-05,
+      "loss": 0.4956,
+      "step": 626
+    },
+    {
+      "epoch": 2.6125,
+      "grad_norm": 0.2985332744172327,
+      "learning_rate": 2.1916915050404482e-05,
+      "loss": 0.4814,
+      "step": 627
+    },
+    {
+      "epoch": 2.6166666666666667,
+      "grad_norm": 0.28107318743495113,
+      "learning_rate": 2.185899721858785e-05,
+      "loss": 0.4851,
+      "step": 628
+    },
+    {
+      "epoch": 2.6208333333333336,
+      "grad_norm": 0.28571519193262973,
+      "learning_rate": 2.1801063656700747e-05,
+      "loss": 0.4821,
+      "step": 629
+    },
+    {
+      "epoch": 2.625,
+      "grad_norm": 0.2711978932752102,
+      "learning_rate": 2.174311485495317e-05,
+      "loss": 0.4954,
+      "step": 630
+    },
+    {
+      "epoch": 2.6291666666666664,
+      "grad_norm": 0.29656648394449375,
+      "learning_rate": 2.168515130368406e-05,
+      "loss": 0.4781,
+      "step": 631
+    },
+    {
+      "epoch": 2.6333333333333333,
+      "grad_norm": 0.3104422675510097,
+      "learning_rate": 2.1627173493357167e-05,
+      "loss": 0.4803,
+      "step": 632
+    },
+    {
+      "epoch": 2.6375,
+      "grad_norm": 0.36965495278596316,
+      "learning_rate": 2.1569181914556904e-05,
+      "loss": 0.4826,
+      "step": 633
+    },
+    {
+      "epoch": 2.6416666666666666,
+      "grad_norm": 0.3223492852763015,
+      "learning_rate": 2.1511177057984164e-05,
+      "loss": 0.4779,
+      "step": 634
+    },
+    {
+      "epoch": 2.6458333333333335,
+      "grad_norm": 0.34318985783201117,
+      "learning_rate": 2.1453159414452216e-05,
+      "loss": 0.4884,
+      "step": 635
+    },
+    {
+      "epoch": 2.65,
+      "grad_norm": 0.362660355217092,
+      "learning_rate": 2.1395129474882507e-05,
+      "loss": 0.4851,
+      "step": 636
+    },
+    {
+      "epoch": 2.654166666666667,
+      "grad_norm": 0.3849296701995083,
+      "learning_rate": 2.133708773030055e-05,
+      "loss": 0.4781,
+      "step": 637
+    },
+    {
+      "epoch": 2.658333333333333,
+      "grad_norm": 0.345196788673683,
+      "learning_rate": 2.1279034671831714e-05,
+      "loss": 0.4784,
+      "step": 638
+    },
+    {
+      "epoch": 2.6625,
+      "grad_norm": 0.32279802778936617,
+      "learning_rate": 2.1220970790697142e-05,
+      "loss": 0.4917,
+      "step": 639
+    },
+    {
+      "epoch": 2.6666666666666665,
+      "grad_norm": 0.3409858710595207,
+      "learning_rate": 2.1162896578209517e-05,
+      "loss": 0.4719,
+      "step": 640
+    },
+    {
+      "epoch": 2.6708333333333334,
+      "grad_norm": 0.28185884498274283,
+      "learning_rate": 2.1104812525768974e-05,
+      "loss": 0.4868,
+      "step": 641
+    },
+    {
+      "epoch": 2.675,
+      "grad_norm": 0.3499626677709927,
+      "learning_rate": 2.1046719124858882e-05,
+      "loss": 0.4861,
+      "step": 642
+    },
+    {
+      "epoch": 2.6791666666666667,
+      "grad_norm": 0.32050661825638865,
+      "learning_rate": 2.0988616867041724e-05,
+      "loss": 0.4894,
+      "step": 643
+    },
+    {
+      "epoch": 2.6833333333333336,
+      "grad_norm": 0.31129138266135237,
+      "learning_rate": 2.093050624395494e-05,
+      "loss": 0.4804,
+      "step": 644
+    },
+    {
+      "epoch": 2.6875,
+      "grad_norm": 0.30995162670378557,
+      "learning_rate": 2.0872387747306725e-05,
+      "loss": 0.4846,
+      "step": 645
+    },
+    {
+      "epoch": 2.6916666666666664,
+      "grad_norm": 0.30657951578221276,
+      "learning_rate": 2.081426186887192e-05,
+      "loss": 0.4799,
+      "step": 646
+    },
+    {
+      "epoch": 2.6958333333333333,
+      "grad_norm": 0.28010159120030614,
+      "learning_rate": 2.0756129100487824e-05,
+      "loss": 0.48,
+      "step": 647
+    },
+    {
+      "epoch": 2.7,
+      "grad_norm": 0.3218333829986327,
+      "learning_rate": 2.0697989934050025e-05,
+      "loss": 0.4907,
+      "step": 648
+    },
+    {
+      "epoch": 2.7041666666666666,
+      "grad_norm": 0.306173405304901,
+      "learning_rate": 2.063984486150826e-05,
+      "loss": 0.4734,
+      "step": 649
+    },
+    {
+      "epoch": 2.7083333333333335,
+      "grad_norm": 0.3130124259185629,
+      "learning_rate": 2.058169437486223e-05,
+      "loss": 0.4947,
+      "step": 650
+    },
+    {
+      "epoch": 2.7125,
+      "grad_norm": 0.3322990379420207,
+      "learning_rate": 2.0523538966157467e-05,
+      "loss": 0.4835,
+      "step": 651
+    },
+    {
+      "epoch": 2.716666666666667,
+      "grad_norm": 0.29992494239908996,
+      "learning_rate": 2.0465379127481127e-05,
+      "loss": 0.4772,
+      "step": 652
+    },
+    {
+      "epoch": 2.720833333333333,
+      "grad_norm": 0.3178162321643254,
+      "learning_rate": 2.0407215350957874e-05,
+      "loss": 0.4683,
+      "step": 653
+    },
+    {
+      "epoch": 2.725,
+      "grad_norm": 0.2867051833726081,
+      "learning_rate": 2.0349048128745673e-05,
+      "loss": 0.4803,
+      "step": 654
+    },
+    {
+      "epoch": 2.7291666666666665,
+      "grad_norm": 0.35847920749443224,
+      "learning_rate": 2.029087795303166e-05,
+      "loss": 0.478,
+      "step": 655
+    },
+    {
+      "epoch": 2.7333333333333334,
+      "grad_norm": 0.33294952908394987,
+      "learning_rate": 2.0232705316027946e-05,
+      "loss": 0.4652,
+      "step": 656
+    },
+    {
+      "epoch": 2.7375,
+      "grad_norm": 0.38266650139915515,
+      "learning_rate": 2.017453070996748e-05,
+      "loss": 0.4826,
+      "step": 657
+    },
+    {
+      "epoch": 2.7416666666666667,
+      "grad_norm": 0.30795152276985793,
+      "learning_rate": 2.011635462709988e-05,
+      "loss": 0.477,
+      "step": 658
+    },
+    {
+      "epoch": 2.7458333333333336,
+      "grad_norm": 0.38585790311584595,
+      "learning_rate": 2.0058177559687243e-05,
+      "loss": 0.478,
+      "step": 659
+    },
+    {
+      "epoch": 2.75,
+      "grad_norm": 0.27355684507598177,
+      "learning_rate": 2e-05,
+      "loss": 0.4815,
+      "step": 660
+    },
+    {
+      "epoch": 2.7541666666666664,
+      "grad_norm": 0.36938965074944063,
+      "learning_rate": 1.9941822440312767e-05,
+      "loss": 0.481,
+      "step": 661
+    },
+    {
+      "epoch": 2.7583333333333333,
+      "grad_norm": 0.30838872545055446,
+      "learning_rate": 1.9883645372900123e-05,
+      "loss": 0.4768,
+      "step": 662
+    },
+    {
+      "epoch": 2.7625,
+      "grad_norm": 0.32239571777232606,
+      "learning_rate": 1.9825469290032525e-05,
+      "loss": 0.4805,
+      "step": 663
+    },
+    {
+      "epoch": 2.7666666666666666,
+      "grad_norm": 0.31003015928588906,
+      "learning_rate": 1.9767294683972064e-05,
+      "loss": 0.4722,
+      "step": 664
+    },
+    {
+      "epoch": 2.7708333333333335,
+      "grad_norm": 0.2864026736524577,
+      "learning_rate": 1.9709122046968347e-05,
+      "loss": 0.4831,
+      "step": 665
+    },
+    {
+      "epoch": 2.775,
+      "grad_norm": 0.31752753580075455,
+      "learning_rate": 1.965095187125433e-05,
+      "loss": 0.4719,
+      "step": 666
+    },
+    {
+      "epoch": 2.779166666666667,
+      "grad_norm": 0.24935376161786096,
+      "learning_rate": 1.9592784649042126e-05,
+      "loss": 0.4816,
+      "step": 667
+    },
+    {
+      "epoch": 2.783333333333333,
+      "grad_norm": 0.30819566169829543,
+      "learning_rate": 1.9534620872518877e-05,
+      "loss": 0.4698,
+      "step": 668
+    },
+    {
+      "epoch": 2.7875,
+      "grad_norm": 0.2717547936152192,
+      "learning_rate": 1.9476461033842543e-05,
+      "loss": 0.4726,
+      "step": 669
+    },
+    {
+      "epoch": 2.7916666666666665,
+      "grad_norm": 0.2779824399041734,
+      "learning_rate": 1.9418305625137773e-05,
+      "loss": 0.4741,
+      "step": 670
+    },
+    {
+      "epoch": 2.7958333333333334,
+      "grad_norm": 0.2607959193113493,
+      "learning_rate": 1.936015513849175e-05,
+      "loss": 0.4943,
+      "step": 671
+    },
+    {
+      "epoch": 2.8,
+      "grad_norm": 0.26176751100628287,
+      "learning_rate": 1.930201006594999e-05,
+      "loss": 0.473,
+      "step": 672
+    },
+    {
+      "epoch": 2.8041666666666667,
+      "grad_norm": 0.3139692117589432,
+      "learning_rate": 1.9243870899512183e-05,
+      "loss": 0.4751,
+      "step": 673
+    },
+    {
+      "epoch": 2.8083333333333336,
+      "grad_norm": 0.24642201352931178,
+      "learning_rate": 1.9185738131128085e-05,
+      "loss": 0.4835,
+      "step": 674
+    },
+    {
+      "epoch": 2.8125,
+      "grad_norm": 0.2942248041458852,
+      "learning_rate": 1.9127612252693285e-05,
+      "loss": 0.4795,
+      "step": 675
+    },
+    {
+      "epoch": 2.8166666666666664,
+      "grad_norm": 0.31530719934076834,
+      "learning_rate": 1.9069493756045066e-05,
+      "loss": 0.4897,
+      "step": 676
+    },
+    {
+      "epoch": 2.8208333333333333,
+      "grad_norm": 0.2856546329064761,
+      "learning_rate": 1.9011383132958283e-05,
+      "loss": 0.4822,
+      "step": 677
+    },
+    {
+      "epoch": 2.825,
+      "grad_norm": 0.3142632497311166,
+      "learning_rate": 1.8953280875141125e-05,
+      "loss": 0.4808,
+      "step": 678
+    },
+    {
+      "epoch": 2.8291666666666666,
+      "grad_norm": 0.2683101120621211,
+      "learning_rate": 1.8895187474231033e-05,
+      "loss": 0.4628,
+      "step": 679
+    },
+    {
+      "epoch": 2.8333333333333335,
+      "grad_norm": 0.2985836933034999,
+      "learning_rate": 1.8837103421790486e-05,
+      "loss": 0.4849,
+      "step": 680
+    },
+    {
+      "epoch": 2.8375,
+      "grad_norm": 0.289427551706044,
+      "learning_rate": 1.877902920930286e-05,
+      "loss": 0.482,
+      "step": 681
+    },
+    {
+      "epoch": 2.841666666666667,
+      "grad_norm": 0.3177527556022089,
+      "learning_rate": 1.872096532816829e-05,
+      "loss": 0.4791,
+      "step": 682
+    },
+    {
+      "epoch": 2.845833333333333,
+      "grad_norm": 0.29906446929376074,
+      "learning_rate": 1.866291226969946e-05,
+      "loss": 0.4795,
+      "step": 683
+    },
+    {
+      "epoch": 2.85,
+      "grad_norm": 0.48825763612085826,
+      "learning_rate": 1.8604870525117496e-05,
+      "loss": 0.4725,
+      "step": 684
+    },
+    {
+      "epoch": 2.8541666666666665,
+      "grad_norm": 0.2604887835947638,
+      "learning_rate": 1.854684058554779e-05,
+      "loss": 0.4892,
+      "step": 685
+    },
+    {
+      "epoch": 2.8583333333333334,
+      "grad_norm": 0.2891297457749367,
+      "learning_rate": 1.8488822942015846e-05,
+      "loss": 0.4796,
+      "step": 686
+    },
+    {
+      "epoch": 2.8625,
+      "grad_norm": 0.29497307175926024,
+      "learning_rate": 1.8430818085443106e-05,
+      "loss": 0.4825,
+      "step": 687
+    },
+    {
+      "epoch": 2.8666666666666667,
+      "grad_norm": 0.27568988832284147,
+      "learning_rate": 1.837282650664284e-05,
+      "loss": 0.4716,
+      "step": 688
+    },
+    {
+      "epoch": 2.8708333333333336,
+      "grad_norm": 0.28164760335757116,
+      "learning_rate": 1.8314848696315944e-05,
+      "loss": 0.4727,
+      "step": 689
+    },
+    {
+      "epoch": 2.875,
+      "grad_norm": 0.32781527439873553,
+      "learning_rate": 1.8256885145046837e-05,
+      "loss": 0.4749,
+      "step": 690
+    },
+    {
+      "epoch": 2.8791666666666664,
+      "grad_norm": 0.26859929264606247,
+      "learning_rate": 1.8198936343299263e-05,
+      "loss": 0.4904,
+      "step": 691
+    },
+    {
+      "epoch": 2.8833333333333333,
+      "grad_norm": 0.31235195321834397,
+      "learning_rate": 1.814100278141216e-05,
+      "loss": 0.4783,
+      "step": 692
+    },
+    {
+      "epoch": 2.8875,
+      "grad_norm": 0.28349927090727645,
+      "learning_rate": 1.808308494959552e-05,
+      "loss": 0.4787,
+      "step": 693
+    },
+    {
+      "epoch": 2.8916666666666666,
+      "grad_norm": 0.3421647684660964,
+      "learning_rate": 1.8025183337926246e-05,
+      "loss": 0.4798,
+      "step": 694
+    },
+    {
+      "epoch": 2.8958333333333335,
+      "grad_norm": 0.2796701862031352,
+      "learning_rate": 1.7967298436343962e-05,
+      "loss": 0.476,
+      "step": 695
+    },
+    {
+      "epoch": 2.9,
+      "grad_norm": 0.3220797111739836,
+      "learning_rate": 1.7909430734646936e-05,
+      "loss": 0.4811,
+      "step": 696
+    },
+    {
+      "epoch": 2.904166666666667,
+      "grad_norm": 0.31274151995402216,
+      "learning_rate": 1.785158072248786e-05,
+      "loss": 0.4785,
+      "step": 697
+    },
+    {
+      "epoch": 2.908333333333333,
+      "grad_norm": 0.29229999279295854,
+      "learning_rate": 1.7793748889369765e-05,
+      "loss": 0.48,
+      "step": 698
+    },
+    {
+      "epoch": 2.9125,
+      "grad_norm": 0.26620249138371865,
+      "learning_rate": 1.773593572464187e-05,
+      "loss": 0.4748,
+      "step": 699
+    },
+    {
+      "epoch": 2.9166666666666665,
+      "grad_norm": 0.30555341782514805,
+      "learning_rate": 1.7678141717495394e-05,
+      "loss": 0.4818,
+      "step": 700
+    },
+    {
+      "epoch": 2.9208333333333334,
+      "grad_norm": 0.27904991140839297,
+      "learning_rate": 1.7620367356959496e-05,
+      "loss": 0.4799,
+      "step": 701
+    },
+    {
+      "epoch": 2.925,
+      "grad_norm": 0.2589424115631256,
+      "learning_rate": 1.7562613131897056e-05,
+      "loss": 0.4911,
+      "step": 702
+    },
+    {
+      "epoch": 2.9291666666666667,
+      "grad_norm": 0.28711426353147407,
+      "learning_rate": 1.7504879531000586e-05,
+      "loss": 0.4773,
+      "step": 703
+    },
+    {
+      "epoch": 2.9333333333333336,
+      "grad_norm": 0.2797634301160334,
+      "learning_rate": 1.7447167042788108e-05,
+      "loss": 0.4742,
+      "step": 704
+    },
+    {
+      "epoch": 2.9375,
+      "grad_norm": 0.2789026208242064,
+      "learning_rate": 1.7389476155598974e-05,
+      "loss": 0.4785,
+      "step": 705
+    },
+    {
+      "epoch": 2.9416666666666664,
+      "grad_norm": 0.27941490608839914,
+      "learning_rate": 1.7331807357589746e-05,
+      "loss": 0.484,
+      "step": 706
+    },
+    {
+      "epoch": 2.9458333333333333,
+      "grad_norm": 0.24980148239002167,
+      "learning_rate": 1.7274161136730113e-05,
+      "loss": 0.4859,
+      "step": 707
+    },
+    {
+      "epoch": 2.95,
+      "grad_norm": 0.29075679978363583,
+      "learning_rate": 1.72165379807987e-05,
+      "loss": 0.4841,
+      "step": 708
+    },
+    {
+      "epoch": 2.9541666666666666,
+      "grad_norm": 0.254138267404262,
+      "learning_rate": 1.715893837737895e-05,
+      "loss": 0.4693,
+      "step": 709
+    },
+    {
+      "epoch": 2.9583333333333335,
+      "grad_norm": 0.2644078856477545,
+      "learning_rate": 1.7101362813855068e-05,
+      "loss": 0.4841,
+      "step": 710
+    },
+    {
+      "epoch": 2.9625,
+      "grad_norm": 0.2707508309415384,
+      "learning_rate": 1.704381177740779e-05,
+      "loss": 0.4746,
+      "step": 711
+    },
+    {
+      "epoch": 2.966666666666667,
+      "grad_norm": 0.302779665861668,
+      "learning_rate": 1.698628575501034e-05,
+      "loss": 0.4927,
+      "step": 712
+    },
+    {
+      "epoch": 2.970833333333333,
+      "grad_norm": 0.2818587997112645,
+      "learning_rate": 1.692878523342428e-05,
+      "loss": 0.49,
+      "step": 713
+    },
+    {
+      "epoch": 2.975,
+      "grad_norm": 0.25255173004270365,
+      "learning_rate": 1.687131069919538e-05,
+      "loss": 0.4819,
+      "step": 714
+    },
+    {
+      "epoch": 2.9791666666666665,
+      "grad_norm": 0.24769380833714336,
+      "learning_rate": 1.6813862638649552e-05,
+      "loss": 0.4665,
+      "step": 715
+    },
+    {
+      "epoch": 2.9833333333333334,
+      "grad_norm": 0.8186960857739186,
+      "learning_rate": 1.6756441537888656e-05,
+      "loss": 0.4891,
+      "step": 716
+    },
+    {
+      "epoch": 2.9875,
+      "grad_norm": 0.23989546466267106,
+      "learning_rate": 1.6699047882786448e-05,
+      "loss": 0.4724,
+      "step": 717
+    },
+    {
+      "epoch": 2.9916666666666667,
+      "grad_norm": 0.26822524599446873,
+      "learning_rate": 1.664168215898446e-05,
+      "loss": 0.4761,
+      "step": 718
+    },
+    {
+      "epoch": 2.9958333333333336,
+      "grad_norm": 0.25864883818718637,
+      "learning_rate": 1.658434485188787e-05,
+      "loss": 0.4938,
+      "step": 719
+    },
+    {
+      "epoch": 3.0,
+      "grad_norm": 0.9863608439121576,
+      "learning_rate": 1.6527036446661396e-05,
+      "loss": 0.4882,
+      "step": 720
+    },
+    {
+      "epoch": 3.004166666666667,
+      "grad_norm": 0.4553215419190219,
+      "learning_rate": 1.6469757428225223e-05,
+      "loss": 0.442,
+      "step": 721
+    },
+    {
+      "epoch": 3.0083333333333333,
+      "grad_norm": 0.3346547609393649,
+      "learning_rate": 1.641250828125085e-05,
+      "loss": 0.4253,
+      "step": 722
+    },
+    {
+      "epoch": 3.0125,
+      "grad_norm": 0.7617402105553378,
+      "learning_rate": 1.635528949015705e-05,
+      "loss": 0.4277,
+      "step": 723
+    },
+    {
+      "epoch": 3.0166666666666666,
+      "grad_norm": 0.44764472631015995,
+      "learning_rate": 1.6298101539105712e-05,
+      "loss": 0.43,
+      "step": 724
+    },
+    {
+      "epoch": 3.0208333333333335,
+      "grad_norm": 0.39211024119181387,
+      "learning_rate": 1.6240944911997765e-05,
+      "loss": 0.4256,
+      "step": 725
+    },
+    {
+      "epoch": 3.025,
+      "grad_norm": 0.5406087803487221,
+      "learning_rate": 1.6183820092469103e-05,
+      "loss": 0.4304,
+      "step": 726
+    },
+    {
+      "epoch": 3.029166666666667,
+      "grad_norm": 0.334633304360574,
+      "learning_rate": 1.6126727563886485e-05,
+      "loss": 0.437,
+      "step": 727
+    },
+    {
+      "epoch": 3.033333333333333,
+      "grad_norm": 0.41880295084448826,
+      "learning_rate": 1.6069667809343396e-05,
+      "loss": 0.4282,
+      "step": 728
+    },
+    {
+      "epoch": 3.0375,
+      "grad_norm": 0.34875255135420846,
+      "learning_rate": 1.601264131165606e-05,
+      "loss": 0.44,
+      "step": 729
+    },
+    {
+      "epoch": 3.0416666666666665,
+      "grad_norm": 0.4073496235886376,
+      "learning_rate": 1.5955648553359247e-05,
+      "loss": 0.4316,
+      "step": 730
+    },
+    {
+      "epoch": 3.0458333333333334,
+      "grad_norm": 0.34421342187075615,
+      "learning_rate": 1.5898690016702253e-05,
+      "loss": 0.4341,
+      "step": 731
+    },
+    {
+      "epoch": 3.05,
+      "grad_norm": 0.38375536775928965,
+      "learning_rate": 1.584176618364482e-05,
+      "loss": 0.4333,
+      "step": 732
+    },
+    {
+      "epoch": 3.0541666666666667,
+      "grad_norm": 0.3366285058229145,
+      "learning_rate": 1.5784877535853014e-05,
+      "loss": 0.4268,
+      "step": 733
+    },
+    {
+      "epoch": 3.058333333333333,
+      "grad_norm": 0.3362729482038323,
+      "learning_rate": 1.5728024554695204e-05,
+      "loss": 0.4389,
+      "step": 734
+    },
+    {
+      "epoch": 3.0625,
+      "grad_norm": 0.2998832004248903,
+      "learning_rate": 1.5671207721237945e-05,
+      "loss": 0.4442,
+      "step": 735
+    },
+    {
+      "epoch": 3.066666666666667,
+      "grad_norm": 0.34966088213714075,
+      "learning_rate": 1.561442751624193e-05,
+      "loss": 0.4384,
+      "step": 736
+    },
+    {
+      "epoch": 3.0708333333333333,
+      "grad_norm": 0.27872667923184025,
+      "learning_rate": 1.555768442015794e-05,
+      "loss": 0.4284,
+      "step": 737
+    },
+    {
+      "epoch": 3.075,
+      "grad_norm": 0.3236550012052647,
+      "learning_rate": 1.5500978913122702e-05,
+      "loss": 0.422,
+      "step": 738
+    },
+    {
+      "epoch": 3.0791666666666666,
+      "grad_norm": 0.3117885050543731,
+      "learning_rate": 1.5444311474954932e-05,
+      "loss": 0.4191,
+      "step": 739
+    },
+    {
+      "epoch": 3.0833333333333335,
+      "grad_norm": 0.33789730280824243,
+      "learning_rate": 1.53876825851512e-05,
+      "loss": 0.4337,
+      "step": 740
+    },
+    {
+      "epoch": 3.0875,
+      "grad_norm": 0.285944847478769,
+      "learning_rate": 1.53310927228819e-05,
+      "loss": 0.4263,
+      "step": 741
+    },
+    {
+      "epoch": 3.091666666666667,
+      "grad_norm": 0.3510496778017806,
+      "learning_rate": 1.5274542366987174e-05,
+      "loss": 0.417,
+      "step": 742
+    },
+    {
+      "epoch": 3.095833333333333,
+      "grad_norm": 0.27600185930574017,
+      "learning_rate": 1.5218031995972917e-05,
+      "loss": 0.4251,
+      "step": 743
+    },
+    {
+      "epoch": 3.1,
+      "grad_norm": 0.309855102830333,
+      "learning_rate": 1.5161562088006649e-05,
+      "loss": 0.4315,
+      "step": 744
+    },
+    {
+      "epoch": 3.1041666666666665,
+      "grad_norm": 0.2835345622257406,
+      "learning_rate": 1.5105133120913524e-05,
+      "loss": 0.415,
+      "step": 745
+    },
+    {
+      "epoch": 3.1083333333333334,
+      "grad_norm": 0.2904891286285475,
+      "learning_rate": 1.5048745572172286e-05,
+      "loss": 0.4263,
+      "step": 746
+    },
+    {
+      "epoch": 3.1125,
+      "grad_norm": 0.3020768138294881,
+      "learning_rate": 1.4992399918911168e-05,
+      "loss": 0.4254,
+      "step": 747
+    },
+    {
+      "epoch": 3.1166666666666667,
+      "grad_norm": 0.2567339425896942,
+      "learning_rate": 1.4936096637903967e-05,
+      "loss": 0.4177,
+      "step": 748
+    },
+    {
+      "epoch": 3.120833333333333,
+      "grad_norm": 0.31943536839494713,
+      "learning_rate": 1.4879836205565887e-05,
+      "loss": 0.4216,
+      "step": 749
+    },
+    {
+      "epoch": 3.125,
+      "grad_norm": 0.28340540020844907,
+      "learning_rate": 1.4823619097949584e-05,
+      "loss": 0.4281,
+      "step": 750
+    },
+    {
+      "epoch": 3.129166666666667,
+      "grad_norm": 0.3233306102663907,
+      "learning_rate": 1.4767445790741133e-05,
+      "loss": 0.4169,
+      "step": 751
+    },
+    {
+      "epoch": 3.1333333333333333,
+      "grad_norm": 0.26943204536316995,
+      "learning_rate": 1.4711316759255963e-05,
+      "loss": 0.4394,
+      "step": 752
+    },
+    {
+      "epoch": 3.1375,
+      "grad_norm": 0.30734781387088517,
+      "learning_rate": 1.4655232478434864e-05,
+      "loss": 0.4275,
+      "step": 753
+    },
+    {
+      "epoch": 3.1416666666666666,
+      "grad_norm": 0.26633436967378,
+      "learning_rate": 1.4599193422839987e-05,
+      "loss": 0.4347,
+      "step": 754
+    },
+    {
+      "epoch": 3.1458333333333335,
+      "grad_norm": 0.2795592273551353,
+      "learning_rate": 1.4543200066650786e-05,
+      "loss": 0.4293,
+      "step": 755
+    },
+    {
+      "epoch": 3.15,
+      "grad_norm": 0.27470260185672285,
+      "learning_rate": 1.4487252883660019e-05,
+      "loss": 0.4202,
+      "step": 756
+    },
+    {
+      "epoch": 3.154166666666667,
+      "grad_norm": 0.2685587568717203,
+      "learning_rate": 1.4431352347269769e-05,
+      "loss": 0.4327,
+      "step": 757
+    },
+    {
+      "epoch": 3.158333333333333,
+      "grad_norm": 0.2681429889390549,
+      "learning_rate": 1.4375498930487388e-05,
+      "loss": 0.4311,
+      "step": 758
+    },
+    {
+      "epoch": 3.1625,
+      "grad_norm": 0.2520461067626849,
+      "learning_rate": 1.4319693105921548e-05,
+      "loss": 0.4422,
+      "step": 759
+    },
+    {
+      "epoch": 3.1666666666666665,
+      "grad_norm": 0.2863268941620605,
+      "learning_rate": 1.4263935345778202e-05,
+      "loss": 0.4241,
+      "step": 760
+    },
+    {
+      "epoch": 3.1708333333333334,
+      "grad_norm": 0.26592210134274163,
+      "learning_rate": 1.4208226121856586e-05,
+      "loss": 0.4322,
+      "step": 761
+    },
+    {
+      "epoch": 3.175,
+      "grad_norm": 0.2553802812490062,
+      "learning_rate": 1.4152565905545268e-05,
+      "loss": 0.4213,
+      "step": 762
+    },
+    {
+      "epoch": 3.1791666666666667,
+      "grad_norm": 0.29370502446501184,
+      "learning_rate": 1.4096955167818128e-05,
+      "loss": 0.431,
+      "step": 763
+    },
+    {
+      "epoch": 3.183333333333333,
+      "grad_norm": 0.23575752597155059,
+      "learning_rate": 1.404139437923036e-05,
+      "loss": 0.422,
+      "step": 764
+    },
+    {
+      "epoch": 3.1875,
+      "grad_norm": 0.2759050484039525,
+      "learning_rate": 1.3985884009914542e-05,
+      "loss": 0.4131,
+      "step": 765
+    },
+    {
+      "epoch": 3.191666666666667,
+      "grad_norm": 0.23810740961350238,
+      "learning_rate": 1.3930424529576593e-05,
+      "loss": 0.4289,
+      "step": 766
+    },
+    {
+      "epoch": 3.1958333333333333,
+      "grad_norm": 0.26673988400154236,
+      "learning_rate": 1.387501640749184e-05,
+      "loss": 0.4241,
+      "step": 767
+    },
+    {
+      "epoch": 3.2,
+      "grad_norm": 0.2536148256121875,
+      "learning_rate": 1.3819660112501054e-05,
+      "loss": 0.4338,
+      "step": 768
+    },
+    {
+      "epoch": 3.2041666666666666,
+      "grad_norm": 0.2632214245807616,
+      "learning_rate": 1.3764356113006441e-05,
+      "loss": 0.4337,
+      "step": 769
+    },
+    {
+      "epoch": 3.2083333333333335,
+      "grad_norm": 0.26270674933237137,
+      "learning_rate": 1.3709104876967732e-05,
+      "loss": 0.4209,
+      "step": 770
+    },
+    {
+      "epoch": 3.2125,
+      "grad_norm": 0.2831481416442291,
+      "learning_rate": 1.3653906871898161e-05,
+      "loss": 0.444,
+      "step": 771
+    },
+    {
+      "epoch": 3.216666666666667,
+      "grad_norm": 0.24154882652104262,
+      "learning_rate": 1.3598762564860569e-05,
+      "loss": 0.4355,
+      "step": 772
+    },
+    {
+      "epoch": 3.220833333333333,
+      "grad_norm": 0.2833447223640067,
+      "learning_rate": 1.3543672422463426e-05,
+      "loss": 0.4168,
+      "step": 773
+    },
+    {
+      "epoch": 3.225,
+      "grad_norm": 0.2628323532399339,
+      "learning_rate": 1.3488636910856871e-05,
+      "loss": 0.4406,
+      "step": 774
+    },
+    {
+      "epoch": 3.2291666666666665,
+      "grad_norm": 0.25655483692387615,
+      "learning_rate": 1.3433656495728781e-05,
+      "loss": 0.4341,
+      "step": 775
+    },
+    {
+      "epoch": 3.2333333333333334,
+      "grad_norm": 2.2837855068570425,
+      "learning_rate": 1.3378731642300841e-05,
+      "loss": 0.4186,
+      "step": 776
+    },
+    {
+      "epoch": 3.2375,
+      "grad_norm": 0.2920682106864273,
+      "learning_rate": 1.3323862815324585e-05,
+      "loss": 0.4331,
+      "step": 777
+    },
+    {
+      "epoch": 3.2416666666666667,
+      "grad_norm": 0.23551369094510202,
+      "learning_rate": 1.3269050479077472e-05,
+      "loss": 0.4301,
+      "step": 778
+    },
+    {
+      "epoch": 3.245833333333333,
+      "grad_norm": 0.2656958070325992,
+      "learning_rate": 1.321429509735898e-05,
+      "loss": 0.4279,
+      "step": 779
+    },
+    {
+      "epoch": 3.25,
+      "grad_norm": 0.2991749649137243,
+      "learning_rate": 1.3159597133486628e-05,
+      "loss": 0.4294,
+      "step": 780
+    },
+    {
+      "epoch": 3.2541666666666664,
+      "grad_norm": 0.2434578439510396,
+      "learning_rate": 1.3104957050292117e-05,
+      "loss": 0.4412,
+      "step": 781
+    },
+    {
+      "epoch": 3.2583333333333333,
+      "grad_norm": 0.2535855586410148,
+      "learning_rate": 1.3050375310117374e-05,
+      "loss": 0.4332,
+      "step": 782
+    },
+    {
+      "epoch": 3.2625,
+      "grad_norm": 0.23582886808116976,
+      "learning_rate": 1.2995852374810652e-05,
+      "loss": 0.4411,
+      "step": 783
+    },
+    {
+      "epoch": 3.2666666666666666,
+      "grad_norm": 0.24057762054402668,
+      "learning_rate": 1.2941388705722627e-05,
+      "loss": 0.4269,
+      "step": 784
+    },
+    {
+      "epoch": 3.2708333333333335,
+      "grad_norm": 0.2770818398433449,
+      "learning_rate": 1.2886984763702474e-05,
+      "loss": 0.4364,
+      "step": 785
+    },
+    {
+      "epoch": 3.275,
+      "grad_norm": 0.24059727378628445,
+      "learning_rate": 1.2832641009093995e-05,
+      "loss": 0.427,
+      "step": 786
+    },
+    {
+      "epoch": 3.279166666666667,
+      "grad_norm": 0.24592557304712342,
+      "learning_rate": 1.2778357901731714e-05,
+      "loss": 0.436,
+      "step": 787
+    },
+    {
+      "epoch": 3.283333333333333,
+      "grad_norm": 0.28077647477255835,
+      "learning_rate": 1.2724135900936979e-05,
+      "loss": 0.4284,
+      "step": 788
+    },
+    {
+      "epoch": 3.2875,
+      "grad_norm": 0.2729231049928039,
+      "learning_rate": 1.2669975465514057e-05,
+      "loss": 0.4289,
+      "step": 789
+    },
+    {
+      "epoch": 3.2916666666666665,
+      "grad_norm": 0.25905198604864066,
+      "learning_rate": 1.2615877053746315e-05,
+      "loss": 0.432,
+      "step": 790
+    },
+    {
+      "epoch": 3.2958333333333334,
+      "grad_norm": 0.29199121007908796,
+      "learning_rate": 1.2561841123392266e-05,
+      "loss": 0.4295,
+      "step": 791
+    },
+    {
+      "epoch": 3.3,
+      "grad_norm": 0.28210773206628265,
+      "learning_rate": 1.250786813168176e-05,
+      "loss": 0.4289,
+      "step": 792
+    },
+    {
+      "epoch": 3.3041666666666667,
+      "grad_norm": 0.2850450125076269,
+      "learning_rate": 1.2453958535312064e-05,
+      "loss": 0.418,
+      "step": 793
+    },
+    {
+      "epoch": 3.3083333333333336,
+      "grad_norm": 0.27146762199853464,
+      "learning_rate": 1.2400112790444024e-05,
+      "loss": 0.423,
+      "step": 794
+    },
+    {
+      "epoch": 3.3125,
+      "grad_norm": 0.29140255218967065,
+      "learning_rate": 1.2346331352698206e-05,
+      "loss": 0.4415,
+      "step": 795
+    },
+    {
+      "epoch": 3.3166666666666664,
+      "grad_norm": 0.2577245277320008,
+      "learning_rate": 1.2292614677151038e-05,
+      "loss": 0.44,
+      "step": 796
+    },
+    {
+      "epoch": 3.3208333333333333,
+      "grad_norm": 0.2596945100873493,
+      "learning_rate": 1.2238963218330944e-05,
+      "loss": 0.4293,
+      "step": 797
+    },
+    {
+      "epoch": 3.325,
+      "grad_norm": 0.27660509793874966,
+      "learning_rate": 1.218537743021453e-05,
+      "loss": 0.424,
+      "step": 798
+    },
+    {
+      "epoch": 3.3291666666666666,
+      "grad_norm": 0.24668112612335116,
+      "learning_rate": 1.2131857766222703e-05,
+      "loss": 0.4257,
+      "step": 799
+    },
+    {
+      "epoch": 3.3333333333333335,
+      "grad_norm": 0.2460564650786363,
+      "learning_rate": 1.2078404679216864e-05,
+      "loss": 0.4325,
+      "step": 800
+    },
+    {
+      "epoch": 3.3375,
+      "grad_norm": 0.2669782203339851,
+      "learning_rate": 1.2025018621495077e-05,
+      "loss": 0.4223,
+      "step": 801
+    },
+    {
+      "epoch": 3.341666666666667,
+      "grad_norm": 0.2720653092416133,
+      "learning_rate": 1.1971700044788213e-05,
+      "loss": 0.4262,
+      "step": 802
+    },
+    {
+      "epoch": 3.345833333333333,
+      "grad_norm": 0.23667898731846967,
+      "learning_rate": 1.191844940025617e-05,
+      "loss": 0.434,
+      "step": 803
+    },
+    {
+      "epoch": 3.35,
+      "grad_norm": 0.26350049401274,
+      "learning_rate": 1.1865267138484e-05,
+      "loss": 0.4309,
+      "step": 804
+    },
+    {
+      "epoch": 3.3541666666666665,
+      "grad_norm": 0.28265933764713735,
+      "learning_rate": 1.1812153709478149e-05,
+      "loss": 0.4369,
+      "step": 805
+    },
+    {
+      "epoch": 3.3583333333333334,
+      "grad_norm": 0.2624729901644893,
+      "learning_rate": 1.1759109562662633e-05,
+      "loss": 0.4325,
+      "step": 806
+    },
+    {
+      "epoch": 3.3625,
+      "grad_norm": 0.25993858855087854,
+      "learning_rate": 1.1706135146875224e-05,
+      "loss": 0.4351,
+      "step": 807
+    },
+    {
+      "epoch": 3.3666666666666667,
+      "grad_norm": 0.2508735416582612,
+      "learning_rate": 1.1653230910363645e-05,
+      "loss": 0.4115,
+      "step": 808
+    },
+    {
+      "epoch": 3.3708333333333336,
+      "grad_norm": 0.2791637047434572,
+      "learning_rate": 1.1600397300781811e-05,
+      "loss": 0.4041,
+      "step": 809
+    },
+    {
+      "epoch": 3.375,
+      "grad_norm": 0.24766768453306345,
+      "learning_rate": 1.1547634765186016e-05,
+      "loss": 0.4322,
+      "step": 810
+    },
+    {
+      "epoch": 3.3791666666666664,
+      "grad_norm": 0.2648317054434943,
+      "learning_rate": 1.1494943750031144e-05,
+      "loss": 0.4313,
+      "step": 811
+    },
+    {
+      "epoch": 3.3833333333333333,
+      "grad_norm": 0.2794648606575172,
+      "learning_rate": 1.144232470116692e-05,
+      "loss": 0.4216,
+      "step": 812
+    },
+    {
+      "epoch": 3.3875,
+      "grad_norm": 0.2587543354259146,
+      "learning_rate": 1.1389778063834094e-05,
+      "loss": 0.431,
+      "step": 813
+    },
+    {
+      "epoch": 3.3916666666666666,
+      "grad_norm": 0.26279148603900554,
+      "learning_rate": 1.1337304282660746e-05,
+      "loss": 0.4521,
+      "step": 814
+    },
+    {
+      "epoch": 3.3958333333333335,
+      "grad_norm": 0.2758234109789757,
+      "learning_rate": 1.1284903801658418e-05,
+      "loss": 0.437,
+      "step": 815
+    },
+    {
+      "epoch": 3.4,
+      "grad_norm": 0.4967781086358191,
+      "learning_rate": 1.123257706421845e-05,
+      "loss": 0.4372,
+      "step": 816
+    },
+    {
+      "epoch": 3.404166666666667,
+      "grad_norm": 0.278277793413537,
+      "learning_rate": 1.1180324513108203e-05,
+      "loss": 0.448,
+      "step": 817
+    },
+    {
+      "epoch": 3.408333333333333,
+      "grad_norm": 0.2730409852860853,
+      "learning_rate": 1.112814659046729e-05,
+      "loss": 0.4445,
+      "step": 818
+    },
+    {
+      "epoch": 3.4125,
+      "grad_norm": 0.24090889416159056,
+      "learning_rate": 1.1076043737803825e-05,
+      "loss": 0.429,
+      "step": 819
+    },
+    {
+      "epoch": 3.4166666666666665,
+      "grad_norm": 0.2613977673243055,
+      "learning_rate": 1.1024016395990758e-05,
+      "loss": 0.4517,
+      "step": 820
+    },
+    {
+      "epoch": 3.4208333333333334,
+      "grad_norm": 0.2723830432750871,
+      "learning_rate": 1.0972065005262067e-05,
+      "loss": 0.4271,
+      "step": 821
+    },
+    {
+      "epoch": 3.425,
+      "grad_norm": 0.23431381796229808,
+      "learning_rate": 1.0920190005209066e-05,
+      "loss": 0.4173,
+      "step": 822
+    },
+    {
+      "epoch": 3.4291666666666667,
+      "grad_norm": 0.25130503185627423,
+      "learning_rate": 1.086839183477669e-05,
+      "loss": 0.4364,
+      "step": 823
+    },
+    {
+      "epoch": 3.4333333333333336,
+      "grad_norm": 0.24352887204404178,
+      "learning_rate": 1.0816670932259763e-05,
+      "loss": 0.432,
+      "step": 824
+    },
+    {
+      "epoch": 3.4375,
+      "grad_norm": 0.24499362422587945,
+      "learning_rate": 1.0765027735299327e-05,
+      "loss": 0.4209,
+      "step": 825
+    },
+    {
+      "epoch": 3.4416666666666664,
+      "grad_norm": 0.2597047330102018,
+      "learning_rate": 1.0713462680878864e-05,
+      "loss": 0.4218,
+      "step": 826
+    },
+    {
+      "epoch": 3.4458333333333333,
+      "grad_norm": 0.2543222339251796,
+      "learning_rate": 1.066197620532068e-05,
+      "loss": 0.4343,
+      "step": 827
+    },
+    {
+      "epoch": 3.45,
+      "grad_norm": 0.27914449181031836,
+      "learning_rate": 1.061056874428219e-05,
+      "loss": 0.4268,
+      "step": 828
+    },
+    {
+      "epoch": 3.4541666666666666,
+      "grad_norm": 0.24727420683509194,
+      "learning_rate": 1.055924073275218e-05,
+      "loss": 0.4262,
+      "step": 829
+    },
+    {
+      "epoch": 3.4583333333333335,
+      "grad_norm": 0.23817092527660053,
+      "learning_rate": 1.0507992605047193e-05,
+      "loss": 0.4351,
+      "step": 830
+    },
+    {
+      "epoch": 3.4625,
+      "grad_norm": 0.269226319761995,
+      "learning_rate": 1.0456824794807832e-05,
+      "loss": 0.4159,
+      "step": 831
+    },
+    {
+      "epoch": 3.466666666666667,
+      "grad_norm": 0.22706118135597111,
+      "learning_rate": 1.0405737734995083e-05,
+      "loss": 0.417,
+      "step": 832
+    },
+    {
+      "epoch": 3.470833333333333,
+      "grad_norm": 0.248229884622277,
+      "learning_rate": 1.0354731857886628e-05,
+      "loss": 0.4268,
+      "step": 833
+    },
+    {
+      "epoch": 3.475,
+      "grad_norm": 0.2579919126995357,
+      "learning_rate": 1.0303807595073262e-05,
+      "loss": 0.4295,
+      "step": 834
+    },
+    {
+      "epoch": 3.4791666666666665,
+      "grad_norm": 0.24699636117410342,
+      "learning_rate": 1.0252965377455155e-05,
+      "loss": 0.4367,
+      "step": 835
+    },
+    {
+      "epoch": 3.4833333333333334,
+      "grad_norm": 0.28296160575255175,
+      "learning_rate": 1.0202205635238263e-05,
+      "loss": 0.4212,
+      "step": 836
+    },
+    {
+      "epoch": 3.4875,
+      "grad_norm": 0.253903070062746,
+      "learning_rate": 1.0151528797930662e-05,
+      "loss": 0.428,
+      "step": 837
+    },
+    {
+      "epoch": 3.4916666666666667,
+      "grad_norm": 0.2678111364930371,
+      "learning_rate": 1.010093529433892e-05,
+      "loss": 0.4333,
+      "step": 838
+    },
+    {
+      "epoch": 3.4958333333333336,
+      "grad_norm": 0.28569613441522584,
+      "learning_rate": 1.0050425552564475e-05,
+      "loss": 0.444,
+      "step": 839
+    },
+    {
+      "epoch": 3.5,
+      "grad_norm": 0.2616699443490625,
+      "learning_rate": 1.0000000000000006e-05,
+      "loss": 0.4275,
+      "step": 840
+    },
+    {
+      "epoch": 3.5041666666666664,
+      "grad_norm": 0.23991683310829567,
+      "learning_rate": 9.949659063325801e-06,
+      "loss": 0.4354,
+      "step": 841
+    },
+    {
+      "epoch": 3.5083333333333333,
+      "grad_norm": 0.25333441281428676,
+      "learning_rate": 9.899403168506206e-06,
+      "loss": 0.425,
+      "step": 842
+    },
+    {
+      "epoch": 3.5125,
+      "grad_norm": 0.2583901795256148,
+      "learning_rate": 9.849232740785923e-06,
+      "loss": 0.4165,
+      "step": 843
+    },
+    {
+      "epoch": 3.5166666666666666,
+      "grad_norm": 0.258766827716537,
+      "learning_rate": 9.799148204686495e-06,
+      "loss": 0.4222,
+      "step": 844
+    },
+    {
+      "epoch": 3.5208333333333335,
+      "grad_norm": 0.23361767765149088,
+      "learning_rate": 9.749149984002697e-06,
+      "loss": 0.4313,
+      "step": 845
+    },
+    {
+      "epoch": 3.525,
+      "grad_norm": 0.24494316775289982,
+      "learning_rate": 9.699238501798916e-06,
+      "loss": 0.4349,
+      "step": 846
+    },
+    {
+      "epoch": 3.529166666666667,
+      "grad_norm": 0.2277772919248126,
+      "learning_rate": 9.649414180405605e-06,
+      "loss": 0.4308,
+      "step": 847
+    },
+    {
+      "epoch": 3.533333333333333,
+      "grad_norm": 0.23059503527650352,
+      "learning_rate": 9.599677441415694e-06,
+      "loss": 0.4305,
+      "step": 848
+    },
+    {
+      "epoch": 3.5375,
+      "grad_norm": 0.2437852407069819,
+      "learning_rate": 9.550028705681024e-06,
+      "loss": 0.4181,
+      "step": 849
+    },
+    {
+      "epoch": 3.5416666666666665,
+      "grad_norm": 0.21980744804832897,
+      "learning_rate": 9.5004683933088e-06,
+      "loss": 0.4336,
+      "step": 850
+    },
+    {
+      "epoch": 3.5458333333333334,
+      "grad_norm": 0.23586799114244095,
+      "learning_rate": 9.450996923658011e-06,
+      "loss": 0.424,
+      "step": 851
+    },
+    {
+      "epoch": 3.55,
+      "grad_norm": 0.23101549640713356,
+      "learning_rate": 9.401614715335905e-06,
+      "loss": 0.4414,
+      "step": 852
+    },
+    {
+      "epoch": 3.5541666666666667,
+      "grad_norm": 0.2543015217067435,
+      "learning_rate": 9.352322186194434e-06,
+      "loss": 0.4207,
+      "step": 853
+    },
+    {
+      "epoch": 3.5583333333333336,
+      "grad_norm": 0.2474455410573432,
+      "learning_rate": 9.30311975332672e-06,
+      "loss": 0.4302,
+      "step": 854
+    },
+    {
+      "epoch": 3.5625,
+      "grad_norm": 0.2467040597988035,
+      "learning_rate": 9.254007833063521e-06,
+      "loss": 0.4169,
+      "step": 855
+    },
+    {
+      "epoch": 3.5666666666666664,
+      "grad_norm": 0.22445148715022797,
+      "learning_rate": 9.204986840969749e-06,
+      "loss": 0.4377,
+      "step": 856
+    },
+    {
+      "epoch": 3.5708333333333333,
+      "grad_norm": 0.22532670015641615,
+      "learning_rate": 9.15605719184086e-06,
+      "loss": 0.4379,
+      "step": 857
+    },
+    {
+      "epoch": 3.575,
+      "grad_norm": 0.22679892582526776,
+      "learning_rate": 9.107219299699459e-06,
+      "loss": 0.4266,
+      "step": 858
+    },
+    {
+      "epoch": 3.5791666666666666,
+      "grad_norm": 0.23628320554221474,
+      "learning_rate": 9.058473577791708e-06,
+      "loss": 0.4213,
+      "step": 859
+    },
+    {
+      "epoch": 3.5833333333333335,
+      "grad_norm": 0.2469267203793668,
+      "learning_rate": 9.009820438583881e-06,
+      "loss": 0.4235,
+      "step": 860
+    },
+    {
+      "epoch": 3.5875,
+      "grad_norm": 0.23285142636796569,
+      "learning_rate": 8.961260293758838e-06,
+      "loss": 0.4254,
+      "step": 861
+    },
+    {
+      "epoch": 3.591666666666667,
+      "grad_norm": 0.2596335466780474,
+      "learning_rate": 8.912793554212571e-06,
+      "loss": 0.4277,
+      "step": 862
+    },
+    {
+      "epoch": 3.595833333333333,
+      "grad_norm": 0.23540907434240832,
+      "learning_rate": 8.864420630050713e-06,
+      "loss": 0.4254,
+      "step": 863
+    },
+    {
+      "epoch": 3.6,
+      "grad_norm": 0.24066382679579734,
+      "learning_rate": 8.816141930585067e-06,
+      "loss": 0.4348,
+      "step": 864
+    },
+    {
+      "epoch": 3.6041666666666665,
+      "grad_norm": 0.24659185351071644,
+      "learning_rate": 8.767957864330145e-06,
+      "loss": 0.423,
+      "step": 865
+    },
+    {
+      "epoch": 3.6083333333333334,
+      "grad_norm": 0.26254276874801447,
+      "learning_rate": 8.719868838999717e-06,
+      "loss": 0.4223,
+      "step": 866
+    },
+    {
+      "epoch": 3.6125,
+      "grad_norm": 0.24175527998522886,
+      "learning_rate": 8.67187526150335e-06,
+      "loss": 0.4177,
+      "step": 867
+    },
+    {
+      "epoch": 3.6166666666666667,
+      "grad_norm": 0.26234486140683905,
+      "learning_rate": 8.623977537942969e-06,
+      "loss": 0.432,
+      "step": 868
+    },
+    {
+      "epoch": 3.6208333333333336,
+      "grad_norm": 0.25245766823427906,
+      "learning_rate": 8.576176073609425e-06,
+      "loss": 0.4222,
+      "step": 869
+    },
+    {
+      "epoch": 3.625,
+      "grad_norm": 0.2452184009190872,
+      "learning_rate": 8.528471272979083e-06,
+      "loss": 0.4249,
+      "step": 870
+    },
+    {
+      "epoch": 3.6291666666666664,
+      "grad_norm": 0.239440094128956,
+      "learning_rate": 8.480863539710333e-06,
+      "loss": 0.4339,
+      "step": 871
+    },
+    {
+      "epoch": 3.6333333333333333,
+      "grad_norm": 0.24943013686847895,
+      "learning_rate": 8.43335327664027e-06,
+      "loss": 0.4245,
+      "step": 872
+    },
+    {
+      "epoch": 3.6375,
+      "grad_norm": 0.39400852388150026,
+      "learning_rate": 8.385940885781205e-06,
+      "loss": 0.4611,
+      "step": 873
+    },
+    {
+      "epoch": 3.6416666666666666,
+      "grad_norm": 0.29124766926499246,
+      "learning_rate": 8.338626768317306e-06,
+      "loss": 0.4273,
+      "step": 874
+    },
+    {
+      "epoch": 3.6458333333333335,
+      "grad_norm": 0.24491084112074304,
+      "learning_rate": 8.291411324601191e-06,
+      "loss": 0.4035,
+      "step": 875
+    },
+    {
+      "epoch": 3.65,
+      "grad_norm": 0.2513834105330395,
+      "learning_rate": 8.24429495415054e-06,
+      "loss": 0.4294,
+      "step": 876
+    },
+    {
+      "epoch": 3.654166666666667,
+      "grad_norm": 0.26844357127395707,
+      "learning_rate": 8.197278055644715e-06,
+      "loss": 0.4251,
+      "step": 877
+    },
+    {
+      "epoch": 3.658333333333333,
+      "grad_norm": 0.2508877367249821,
+      "learning_rate": 8.15036102692139e-06,
+      "loss": 0.4321,
+      "step": 878
+    },
+    {
+      "epoch": 3.6625,
+      "grad_norm": 0.24094131399966962,
+      "learning_rate": 8.103544264973178e-06,
+      "loss": 0.4295,
+      "step": 879
+    },
+    {
+      "epoch": 3.6666666666666665,
+      "grad_norm": 0.2614406740434721,
+      "learning_rate": 8.056828165944282e-06,
+      "loss": 0.4304,
+      "step": 880
+    },
+    {
+      "epoch": 3.6708333333333334,
+      "grad_norm": 0.23834900075133839,
+      "learning_rate": 8.010213125127128e-06,
+      "loss": 0.4192,
+      "step": 881
+    },
+    {
+      "epoch": 3.675,
+      "grad_norm": 0.22299294306987325,
+      "learning_rate": 7.963699536959032e-06,
+      "loss": 0.4334,
+      "step": 882
+    },
+    {
+      "epoch": 3.6791666666666667,
+      "grad_norm": 0.2256000897526422,
+      "learning_rate": 7.917287795018874e-06,
+      "loss": 0.4464,
+      "step": 883
+    },
+    {
+      "epoch": 3.6833333333333336,
+      "grad_norm": 0.22392205740979662,
+      "learning_rate": 7.870978292023739e-06,
+      "loss": 0.4391,
+      "step": 884
+    },
+    {
+      "epoch": 3.6875,
+      "grad_norm": 0.23834812496767688,
+      "learning_rate": 7.824771419825588e-06,
+      "loss": 0.4327,
+      "step": 885
+    },
+    {
+      "epoch": 3.6916666666666664,
+      "grad_norm": 0.2463708325287563,
+      "learning_rate": 7.778667569408006e-06,
+      "loss": 0.4364,
+      "step": 886
+    },
+    {
+      "epoch": 3.6958333333333333,
+      "grad_norm": 0.21688651846886733,
+      "learning_rate": 7.732667130882819e-06,
+      "loss": 0.4414,
+      "step": 887
+    },
+    {
+      "epoch": 3.7,
+      "grad_norm": 0.23064416958505793,
+      "learning_rate": 7.686770493486835e-06,
+      "loss": 0.4397,
+      "step": 888
+    },
+    {
+      "epoch": 3.7041666666666666,
+      "grad_norm": 0.25497031875444703,
+      "learning_rate": 7.640978045578538e-06,
+      "loss": 0.4185,
+      "step": 889
+    },
+    {
+      "epoch": 3.7083333333333335,
+      "grad_norm": 0.22100035998281425,
+      "learning_rate": 7.595290174634802e-06,
+      "loss": 0.4196,
+      "step": 890
+    },
+    {
+      "epoch": 3.7125,
+      "grad_norm": 0.22105067844828485,
+      "learning_rate": 7.549707267247612e-06,
+      "loss": 0.4223,
+      "step": 891
+    },
+    {
+      "epoch": 3.716666666666667,
+      "grad_norm": 0.24503314108692023,
+      "learning_rate": 7.504229709120801e-06,
+      "loss": 0.4331,
+      "step": 892
+    },
+    {
+      "epoch": 3.720833333333333,
+      "grad_norm": 0.22209625191416615,
+      "learning_rate": 7.4588578850667634e-06,
+      "loss": 0.4293,
+      "step": 893
+    },
+    {
+      "epoch": 3.725,
+      "grad_norm": 0.24234070134789545,
+      "learning_rate": 7.413592179003255e-06,
+      "loss": 0.4328,
+      "step": 894
+    },
+    {
+      "epoch": 3.7291666666666665,
+      "grad_norm": 0.2140413352351075,
+      "learning_rate": 7.368432973950053e-06,
+      "loss": 0.4374,
+      "step": 895
+    },
+    {
+      "epoch": 3.7333333333333334,
+      "grad_norm": 0.23879336084801975,
+      "learning_rate": 7.323380652025794e-06,
+      "loss": 0.4214,
+      "step": 896
+    },
+    {
+      "epoch": 3.7375,
+      "grad_norm": 0.23592626929402383,
+      "learning_rate": 7.278435594444719e-06,
+      "loss": 0.43,
+      "step": 897
+    },
+    {
+      "epoch": 3.7416666666666667,
+      "grad_norm": 0.2345359756660939,
+      "learning_rate": 7.2335981815134415e-06,
+      "loss": 0.4115,
+      "step": 898
+    },
+    {
+      "epoch": 3.7458333333333336,
+      "grad_norm": 0.24922576785520345,
+      "learning_rate": 7.1888687926276965e-06,
+      "loss": 0.4338,
+      "step": 899
+    },
+    {
+      "epoch": 3.75,
+      "grad_norm": 0.23563712437289872,
+      "learning_rate": 7.1442478062692135e-06,
+      "loss": 0.4365,
+      "step": 900
+    },
+    {
+      "epoch": 3.7541666666666664,
+      "grad_norm": 0.23204116311133044,
+      "learning_rate": 7.09973560000244e-06,
+      "loss": 0.4277,
+      "step": 901
+    },
+    {
+      "epoch": 3.7583333333333333,
+      "grad_norm": 0.2500533119033598,
+      "learning_rate": 7.055332550471354e-06,
+      "loss": 0.4257,
+      "step": 902
+    },
+    {
+      "epoch": 3.7625,
+      "grad_norm": 0.23811588657787597,
+      "learning_rate": 7.01103903339633e-06,
+      "loss": 0.4346,
+      "step": 903
+    },
+    {
+      "epoch": 3.7666666666666666,
+      "grad_norm": 0.23319149311553752,
+      "learning_rate": 6.966855423570898e-06,
+      "loss": 0.4261,
+      "step": 904
+    },
+    {
+      "epoch": 3.7708333333333335,
+      "grad_norm": 0.243303595800742,
+      "learning_rate": 6.922782094858609e-06,
+      "loss": 0.4227,
+      "step": 905
+    },
+    {
+      "epoch": 3.775,
+      "grad_norm": 0.2293147079077228,
+      "learning_rate": 6.878819420189857e-06,
+      "loss": 0.4283,
+      "step": 906
+    },
+    {
+      "epoch": 3.779166666666667,
+      "grad_norm": 0.24610219555593746,
+      "learning_rate": 6.834967771558722e-06,
+      "loss": 0.4268,
+      "step": 907
+    },
+    {
+      "epoch": 3.783333333333333,
+      "grad_norm": 0.25544617866033675,
+      "learning_rate": 6.7912275200198496e-06,
+      "loss": 0.4179,
+      "step": 908
+    },
+    {
+      "epoch": 3.7875,
+      "grad_norm": 0.21822949545272996,
+      "learning_rate": 6.747599035685255e-06,
+      "loss": 0.4276,
+      "step": 909
+    },
+    {
+      "epoch": 3.7916666666666665,
+      "grad_norm": 0.2258871101267118,
+      "learning_rate": 6.704082687721243e-06,
+      "loss": 0.4103,
+      "step": 910
+    },
+    {
+      "epoch": 3.7958333333333334,
+      "grad_norm": 0.2298634023122789,
+      "learning_rate": 6.660678844345276e-06,
+      "loss": 0.4278,
+      "step": 911
+    },
+    {
+      "epoch": 3.8,
+      "grad_norm": 0.22583037467377118,
+      "learning_rate": 6.617387872822842e-06,
+      "loss": 0.4394,
+      "step": 912
+    },
+    {
+      "epoch": 3.8041666666666667,
+      "grad_norm": 0.231504314682934,
+      "learning_rate": 6.57421013946433e-06,
+      "loss": 0.4272,
+      "step": 913
+    },
+    {
+      "epoch": 3.8083333333333336,
+      "grad_norm": 0.217721449055829,
+      "learning_rate": 6.531146009621994e-06,
+      "loss": 0.4245,
+      "step": 914
+    },
+    {
+      "epoch": 3.8125,
+      "grad_norm": 0.24686896945491654,
+      "learning_rate": 6.488195847686795e-06,
+      "loss": 0.4293,
+      "step": 915
+    },
+    {
+      "epoch": 3.8166666666666664,
+      "grad_norm": 0.24394910830023703,
+      "learning_rate": 6.445360017085356e-06,
+      "loss": 0.4271,
+      "step": 916
+    },
+    {
+      "epoch": 3.8208333333333333,
+      "grad_norm": 0.22546110556129695,
+      "learning_rate": 6.402638880276868e-06,
+      "loss": 0.4181,
+      "step": 917
+    },
+    {
+      "epoch": 3.825,
+      "grad_norm": 0.21360331942939714,
+      "learning_rate": 6.360032798750033e-06,
+      "loss": 0.4288,
+      "step": 918
+    },
+    {
+      "epoch": 3.8291666666666666,
+      "grad_norm": 0.23044679859994988,
+      "learning_rate": 6.317542133020005e-06,
+      "loss": 0.4369,
+      "step": 919
+    },
+    {
+      "epoch": 3.8333333333333335,
+      "grad_norm": 0.2142549292405246,
+      "learning_rate": 6.275167242625331e-06,
+      "loss": 0.4305,
+      "step": 920
+    },
+    {
+      "epoch": 3.8375,
+      "grad_norm": 0.23085656291488818,
+      "learning_rate": 6.232908486124918e-06,
+      "loss": 0.4298,
+      "step": 921
+    },
+    {
+      "epoch": 3.841666666666667,
+      "grad_norm": 0.21895688860005502,
+      "learning_rate": 6.190766221095013e-06,
+      "loss": 0.4209,
+      "step": 922
+    },
+    {
+      "epoch": 3.845833333333333,
+      "grad_norm": 0.21366531215478982,
+      "learning_rate": 6.148740804126121e-06,
+      "loss": 0.4318,
+      "step": 923
+    },
+    {
+      "epoch": 3.85,
+      "grad_norm": 0.22258877815977224,
+      "learning_rate": 6.106832590820053e-06,
+      "loss": 0.4278,
+      "step": 924
+    },
+    {
+      "epoch": 3.8541666666666665,
+      "grad_norm": 0.22089277710807653,
+      "learning_rate": 6.065041935786906e-06,
+      "loss": 0.4278,
+      "step": 925
+    },
+    {
+      "epoch": 3.8583333333333334,
+      "grad_norm": 0.22319456528557838,
+      "learning_rate": 6.023369192641999e-06,
+      "loss": 0.4248,
+      "step": 926
+    },
+    {
+      "epoch": 3.8625,
+      "grad_norm": 0.21897558941519973,
+      "learning_rate": 5.981814714002982e-06,
+      "loss": 0.43,
+      "step": 927
+    },
+    {
+      "epoch": 3.8666666666666667,
+      "grad_norm": 0.21422416122397145,
+      "learning_rate": 5.940378851486766e-06,
+      "loss": 0.4237,
+      "step": 928
+    },
+    {
+      "epoch": 3.8708333333333336,
+      "grad_norm": 0.21900360541063163,
+      "learning_rate": 5.899061955706593e-06,
+      "loss": 0.4277,
+      "step": 929
+    },
+    {
+      "epoch": 3.875,
+      "grad_norm": 0.210003067591564,
+      "learning_rate": 5.857864376269051e-06,
+      "loss": 0.4254,
+      "step": 930
+    },
+    {
+      "epoch": 3.8791666666666664,
+      "grad_norm": 0.22066947148305144,
+      "learning_rate": 5.816786461771129e-06,
+      "loss": 0.4413,
+      "step": 931
+    },
+    {
+      "epoch": 3.8833333333333333,
+      "grad_norm": 0.21685958637696298,
+      "learning_rate": 5.7758285597972585e-06,
+      "loss": 0.419,
+      "step": 932
+    },
+    {
+      "epoch": 3.8875,
+      "grad_norm": 0.2060613916060785,
+      "learning_rate": 5.734991016916372e-06,
+      "loss": 0.4263,
+      "step": 933
+    },
+    {
+      "epoch": 3.8916666666666666,
+      "grad_norm": 0.2162918716912764,
+      "learning_rate": 5.694274178678973e-06,
+      "loss": 0.428,
+      "step": 934
+    },
+    {
+      "epoch": 3.8958333333333335,
+      "grad_norm": 0.21558418484475533,
+      "learning_rate": 5.65367838961421e-06,
+      "loss": 0.4297,
+      "step": 935
+    },
+    {
+      "epoch": 3.9,
+      "grad_norm": 0.21814958677433785,
+      "learning_rate": 5.613203993226981e-06,
+      "loss": 0.4234,
+      "step": 936
+    },
+    {
+      "epoch": 3.904166666666667,
+      "grad_norm": 0.21859762848857897,
+      "learning_rate": 5.5728513319949725e-06,
+      "loss": 0.427,
+      "step": 937
+    },
+    {
+      "epoch": 3.908333333333333,
+      "grad_norm": 0.22930949993022515,
+      "learning_rate": 5.53262074736584e-06,
+      "loss": 0.4224,
+      "step": 938
+    },
+    {
+      "epoch": 3.9125,
+      "grad_norm": 0.22615742593623198,
+      "learning_rate": 5.492512579754252e-06,
+      "loss": 0.4247,
+      "step": 939
+    },
+    {
+      "epoch": 3.9166666666666665,
+      "grad_norm": 0.22731711264029844,
+      "learning_rate": 5.452527168539026e-06,
+      "loss": 0.4276,
+      "step": 940
+    },
+    {
+      "epoch": 3.9208333333333334,
+      "grad_norm": 0.22227411839471797,
+      "learning_rate": 5.412664852060294e-06,
+      "loss": 0.4276,
+      "step": 941
+    },
+    {
+      "epoch": 3.925,
+      "grad_norm": 0.220050201248189,
+      "learning_rate": 5.372925967616591e-06,
+      "loss": 0.4306,
+      "step": 942
+    },
+    {
+      "epoch": 3.9291666666666667,
+      "grad_norm": 0.23910550940898795,
+      "learning_rate": 5.333310851462026e-06,
+      "loss": 0.4333,
+      "step": 943
+    },
+    {
+      "epoch": 3.9333333333333336,
+      "grad_norm": 0.22964992393684255,
+      "learning_rate": 5.293819838803429e-06,
+      "loss": 0.435,
+      "step": 944
+    },
+    {
+      "epoch": 3.9375,
+      "grad_norm": 0.2175795175465382,
+      "learning_rate": 5.254453263797521e-06,
+      "loss": 0.4233,
+      "step": 945
+    },
+    {
+      "epoch": 3.9416666666666664,
+      "grad_norm": 0.22660951988566233,
+      "learning_rate": 5.215211459548082e-06,
+      "loss": 0.4266,
+      "step": 946
+    },
+    {
+      "epoch": 3.9458333333333333,
+      "grad_norm": 0.21564446999892425,
+      "learning_rate": 5.17609475810313e-06,
+      "loss": 0.4168,
+      "step": 947
+    },
+    {
+      "epoch": 3.95,
+      "grad_norm": 0.21169356207180387,
+      "learning_rate": 5.137103490452113e-06,
+      "loss": 0.4417,
+      "step": 948
+    },
+    {
+      "epoch": 3.9541666666666666,
+      "grad_norm": 0.21719735857467676,
+      "learning_rate": 5.098237986523129e-06,
+      "loss": 0.4159,
+      "step": 949
+    },
+    {
+      "epoch": 3.9583333333333335,
+      "grad_norm": 0.21160534846897155,
+      "learning_rate": 5.059498575180084e-06,
+      "loss": 0.4222,
+      "step": 950
+    },
+    {
+      "epoch": 3.9625,
+      "grad_norm": 0.2197272683782191,
+      "learning_rate": 5.0208855842199565e-06,
+      "loss": 0.4249,
+      "step": 951
+    },
+    {
+      "epoch": 3.966666666666667,
+      "grad_norm": 0.223363088864906,
+      "learning_rate": 4.982399340370017e-06,
+      "loss": 0.402,
+      "step": 952
+    },
+    {
+      "epoch": 3.970833333333333,
+      "grad_norm": 0.21486379212960513,
+      "learning_rate": 4.944040169285043e-06,
+      "loss": 0.4386,
+      "step": 953
+    },
+    {
+      "epoch": 3.975,
+      "grad_norm": 0.2272666417317846,
+      "learning_rate": 4.90580839554456e-06,
+      "loss": 0.4287,
+      "step": 954
+    },
+    {
+      "epoch": 3.9791666666666665,
+      "grad_norm": 0.22903404440686784,
+      "learning_rate": 4.867704342650143e-06,
+      "loss": 0.4003,
+      "step": 955
+    },
+    {
+      "epoch": 3.9833333333333334,
+      "grad_norm": 0.23496766221544205,
+      "learning_rate": 4.829728333022623e-06,
+      "loss": 0.4319,
+      "step": 956
+    },
+    {
+      "epoch": 3.9875,
+      "grad_norm": 0.21677980128239738,
+      "learning_rate": 4.791880687999382e-06,
+      "loss": 0.4149,
+      "step": 957
+    },
+    {
+      "epoch": 3.9916666666666667,
+      "grad_norm": 0.21845329270600405,
+      "learning_rate": 4.754161727831643e-06,
+      "loss": 0.4033,
+      "step": 958
+    },
+    {
+      "epoch": 3.9958333333333336,
+      "grad_norm": 0.23104346223691857,
+      "learning_rate": 4.716571771681737e-06,
+      "loss": 0.4175,
+      "step": 959
+    },
+    {
+      "epoch": 4.0,
+      "grad_norm": 0.22342631089160764,
+      "learning_rate": 4.679111137620442e-06,
+      "loss": 0.4229,
+      "step": 960
+    },
+    {
+      "epoch": 4.004166666666666,
+      "grad_norm": 0.32099563972920414,
+      "learning_rate": 4.641780142624231e-06,
+      "loss": 0.3881,
+      "step": 961
+    },
+    {
+      "epoch": 4.008333333333334,
+      "grad_norm": 0.25218535881654675,
+      "learning_rate": 4.604579102572641e-06,
+      "loss": 0.4078,
+      "step": 962
+    },
+    {
+      "epoch": 4.0125,
+      "grad_norm": 0.2382490612282618,
+      "learning_rate": 4.567508332245605e-06,
+      "loss": 0.4066,
+      "step": 963
+    },
+    {
+      "epoch": 4.016666666666667,
+      "grad_norm": 0.28796604902334555,
+      "learning_rate": 4.530568145320724e-06,
+      "loss": 0.3988,
+      "step": 964
+    },
+    {
+      "epoch": 4.020833333333333,
+      "grad_norm": 0.3224951699224033,
+      "learning_rate": 4.493758854370682e-06,
+      "loss": 0.3932,
+      "step": 965
+    },
+    {
+      "epoch": 4.025,
+      "grad_norm": 0.2627925858138936,
+      "learning_rate": 4.4570807708605825e-06,
+      "loss": 0.3679,
+      "step": 966
+    },
+    {
+      "epoch": 4.029166666666667,
+      "grad_norm": 0.28483312358473356,
+      "learning_rate": 4.420534205145293e-06,
+      "loss": 0.3851,
+      "step": 967
+    },
+    {
+      "epoch": 4.033333333333333,
+      "grad_norm": 0.2806262720150311,
+      "learning_rate": 4.384119466466816e-06,
+      "loss": 0.3817,
+      "step": 968
+    },
+    {
+      "epoch": 4.0375,
+      "grad_norm": 0.24015412530818528,
+      "learning_rate": 4.347836862951722e-06,
+      "loss": 0.3786,
+      "step": 969
+    },
+    {
+      "epoch": 4.041666666666667,
+      "grad_norm": 0.23997908525085326,
+      "learning_rate": 4.311686701608486e-06,
+      "loss": 0.4043,
+      "step": 970
+    },
+    {
+      "epoch": 4.045833333333333,
+      "grad_norm": 0.2621190604739965,
+      "learning_rate": 4.2756692883249176e-06,
+      "loss": 0.3808,
+      "step": 971
+    },
+    {
+      "epoch": 4.05,
+      "grad_norm": 0.27077743658389225,
+      "learning_rate": 4.239784927865562e-06,
+      "loss": 0.3893,
+      "step": 972
+    },
+    {
+      "epoch": 4.054166666666666,
+      "grad_norm": 0.226478557440062,
+      "learning_rate": 4.204033923869135e-06,
+      "loss": 0.3974,
+      "step": 973
+    },
+    {
+      "epoch": 4.058333333333334,
+      "grad_norm": 0.23644580918175637,
+      "learning_rate": 4.168416578845936e-06,
+      "loss": 0.3689,
+      "step": 974
+    },
+    {
+      "epoch": 4.0625,
+      "grad_norm": 0.2517699959074949,
+      "learning_rate": 4.132933194175299e-06,
+      "loss": 0.3874,
+      "step": 975
+    },
+    {
+      "epoch": 4.066666666666666,
+      "grad_norm": 0.22938905026855594,
+      "learning_rate": 4.097584070103042e-06,
+      "loss": 0.4063,
+      "step": 976
+    },
+    {
+      "epoch": 4.070833333333334,
+      "grad_norm": 0.23204661332089185,
+      "learning_rate": 4.0623695057389415e-06,
+      "loss": 0.3971,
+      "step": 977
+    },
+    {
+      "epoch": 4.075,
+      "grad_norm": 0.23415795910429496,
+      "learning_rate": 4.027289799054148e-06,
+      "loss": 0.3813,
+      "step": 978
+    },
+    {
+      "epoch": 4.079166666666667,
+      "grad_norm": 0.23826924959135237,
+      "learning_rate": 3.992345246878726e-06,
+      "loss": 0.39,
+      "step": 979
+    },
+    {
+      "epoch": 4.083333333333333,
+      "grad_norm": 0.24314389100797407,
+      "learning_rate": 3.957536144899123e-06,
+      "loss": 0.4023,
+      "step": 980
+    },
+    {
+      "epoch": 4.0875,
+      "grad_norm": 0.2358395776669894,
+      "learning_rate": 3.922862787655654e-06,
+      "loss": 0.3952,
+      "step": 981
+    },
+    {
+      "epoch": 4.091666666666667,
+      "grad_norm": 0.23699744528215083,
+      "learning_rate": 3.888325468540013e-06,
+      "loss": 0.3868,
+      "step": 982
+    },
+    {
+      "epoch": 4.095833333333333,
+      "grad_norm": 0.22707008440356913,
+      "learning_rate": 3.853924479792803e-06,
+      "loss": 0.393,
+      "step": 983
+    },
+    {
+      "epoch": 4.1,
+      "grad_norm": 0.23544858725647322,
+      "learning_rate": 3.819660112501053e-06,
+      "loss": 0.3889,
+      "step": 984
+    },
+    {
+      "epoch": 4.104166666666667,
+      "grad_norm": 0.22519226316896881,
+      "learning_rate": 3.7855326565957563e-06,
+      "loss": 0.3945,
+      "step": 985
+    },
+    {
+      "epoch": 4.108333333333333,
+      "grad_norm": 0.2331815938886045,
+      "learning_rate": 3.7515424008494195e-06,
+      "loss": 0.3921,
+      "step": 986
+    },
+    {
+      "epoch": 4.1125,
+      "grad_norm": 0.2343405014370539,
+      "learning_rate": 3.717689632873618e-06,
+      "loss": 0.383,
+      "step": 987
+    },
+    {
+      "epoch": 4.116666666666666,
+      "grad_norm": 0.22236066121031534,
+      "learning_rate": 3.683974639116563e-06,
+      "loss": 0.4101,
+      "step": 988
+    },
+    {
+      "epoch": 4.120833333333334,
+      "grad_norm": 0.21787732312760535,
+      "learning_rate": 3.650397704860673e-06,
+      "loss": 0.4102,
+      "step": 989
+    },
+    {
+      "epoch": 4.125,
+      "grad_norm": 0.22034450231640743,
+      "learning_rate": 3.616959114220162e-06,
+      "loss": 0.385,
+      "step": 990
+    },
+    {
+      "epoch": 4.129166666666666,
+      "grad_norm": 0.21643950582225363,
+      "learning_rate": 3.583659150138661e-06,
+      "loss": 0.381,
+      "step": 991
+    },
+    {
+      "epoch": 4.133333333333334,
+      "grad_norm": 0.21379399368418622,
+      "learning_rate": 3.5504980943867538e-06,
+      "loss": 0.3873,
+      "step": 992
+    },
+    {
+      "epoch": 4.1375,
+      "grad_norm": 0.2257712470531673,
+      "learning_rate": 3.5174762275596864e-06,
+      "loss": 0.3894,
+      "step": 993
+    },
+    {
+      "epoch": 4.141666666666667,
+      "grad_norm": 0.22737390834729226,
+      "learning_rate": 3.484593829074918e-06,
+      "loss": 0.3906,
+      "step": 994
+    },
+    {
+      "epoch": 4.145833333333333,
+      "grad_norm": 0.22149731221362098,
+      "learning_rate": 3.451851177169789e-06,
+      "loss": 0.4021,
+      "step": 995
+    },
+    {
+      "epoch": 4.15,
+      "grad_norm": 0.22723836033248954,
+      "learning_rate": 3.419248548899168e-06,
+      "loss": 0.3866,
+      "step": 996
+    },
+    {
+      "epoch": 4.154166666666667,
+      "grad_norm": 0.23247761417468857,
+      "learning_rate": 3.3867862201330916e-06,
+      "loss": 0.3692,
+      "step": 997
+    },
+    {
+      "epoch": 4.158333333333333,
+      "grad_norm": 0.20971614067207828,
+      "learning_rate": 3.354464465554448e-06,
+      "loss": 0.3906,
+      "step": 998
+    },
+    {
+      "epoch": 4.1625,
+      "grad_norm": 0.22235442240009948,
+      "learning_rate": 3.3222835586566384e-06,
+      "loss": 0.3938,
+      "step": 999
+    },
+    {
+      "epoch": 4.166666666666667,
+      "grad_norm": 0.21787528828369473,
+      "learning_rate": 3.290243771741275e-06,
+      "loss": 0.3988,
+      "step": 1000
+    },
+    {
+      "epoch": 4.170833333333333,
+      "grad_norm": 0.2267628934757855,
+      "learning_rate": 3.2583453759158634e-06,
+      "loss": 0.3951,
+      "step": 1001
+    },
+    {
+      "epoch": 4.175,
+      "grad_norm": 0.20988780404069562,
+      "learning_rate": 3.2265886410915214e-06,
+      "loss": 0.3935,
+      "step": 1002
+    },
+    {
+      "epoch": 4.179166666666666,
+      "grad_norm": 0.2272042353627666,
+      "learning_rate": 3.1949738359806905e-06,
+      "loss": 0.3829,
+      "step": 1003
+    },
+    {
+      "epoch": 4.183333333333334,
+      "grad_norm": 0.21976659742361207,
+      "learning_rate": 3.1635012280948496e-06,
+      "loss": 0.3947,
+      "step": 1004
+    },
+    {
+      "epoch": 4.1875,
+      "grad_norm": 0.21095624430703588,
+      "learning_rate": 3.13217108374229e-06,
+      "loss": 0.4171,
+      "step": 1005
+    },
+    {
+      "epoch": 4.191666666666666,
+      "grad_norm": 0.21399379180371467,
+      "learning_rate": 3.1009836680257965e-06,
+      "loss": 0.3934,
+      "step": 1006
+    },
+    {
+      "epoch": 4.195833333333334,
+      "grad_norm": 0.21481261956534103,
+      "learning_rate": 3.0699392448404787e-06,
+      "loss": 0.3857,
+      "step": 1007
+    },
+    {
+      "epoch": 4.2,
+      "grad_norm": 0.22887690984784917,
+      "learning_rate": 3.039038076871481e-06,
+      "loss": 0.3959,
+      "step": 1008
+    },
+    {
+      "epoch": 4.204166666666667,
+      "grad_norm": 0.21527551915593382,
+      "learning_rate": 3.00828042559179e-06,
+      "loss": 0.3966,
+      "step": 1009
+    },
+    {
+      "epoch": 4.208333333333333,
+      "grad_norm": 0.2154608675883479,
+      "learning_rate": 2.9776665512600054e-06,
+      "loss": 0.397,
+      "step": 1010
+    },
+    {
+      "epoch": 4.2125,
+      "grad_norm": 0.21165402376707582,
+      "learning_rate": 2.947196712918157e-06,
+      "loss": 0.397,
+      "step": 1011
+    },
+    {
+      "epoch": 4.216666666666667,
+      "grad_norm": 0.22067807108484216,
+      "learning_rate": 2.9168711683894903e-06,
+      "loss": 0.3964,
+      "step": 1012
+    },
+    {
+      "epoch": 4.220833333333333,
+      "grad_norm": 0.2358786614780987,
+      "learning_rate": 2.886690174276301e-06,
+      "loss": 0.3973,
+      "step": 1013
+    },
+    {
+      "epoch": 4.225,
+      "grad_norm": 0.2173598996607937,
+      "learning_rate": 2.8566539859577558e-06,
+      "loss": 0.3999,
+      "step": 1014
+    },
+    {
+      "epoch": 4.229166666666667,
+      "grad_norm": 0.21150679969144226,
+      "learning_rate": 2.8267628575877414e-06,
+      "loss": 0.3836,
+      "step": 1015
+    },
+    {
+      "epoch": 4.233333333333333,
+      "grad_norm": 0.22343466713449373,
+      "learning_rate": 2.7970170420926957e-06,
+      "loss": 0.3838,
+      "step": 1016
+    },
+    {
+      "epoch": 4.2375,
+      "grad_norm": 0.22243030164068567,
+      "learning_rate": 2.7674167911694837e-06,
+      "loss": 0.3882,
+      "step": 1017
+    },
+    {
+      "epoch": 4.241666666666666,
+      "grad_norm": 0.2312325216447369,
+      "learning_rate": 2.737962355283272e-06,
+      "loss": 0.3927,
+      "step": 1018
+    },
+    {
+      "epoch": 4.245833333333334,
+      "grad_norm": 0.21670440623185597,
+      "learning_rate": 2.7086539836653923e-06,
+      "loss": 0.398,
+      "step": 1019
+    },
+    {
+      "epoch": 4.25,
+      "grad_norm": 0.21710913582363692,
+      "learning_rate": 2.679491924311226e-06,
+      "loss": 0.3984,
+      "step": 1020
+    },
+    {
+      "epoch": 4.254166666666666,
+      "grad_norm": 0.22568166353478622,
+      "learning_rate": 2.65047642397815e-06,
+      "loss": 0.3887,
+      "step": 1021
+    },
+    {
+      "epoch": 4.258333333333334,
+      "grad_norm": 0.2139020280225805,
+      "learning_rate": 2.6216077281833976e-06,
+      "loss": 0.3893,
+      "step": 1022
+    },
+    {
+      "epoch": 4.2625,
+      "grad_norm": 0.21261695437241654,
+      "learning_rate": 2.5928860812020063e-06,
+      "loss": 0.3929,
+      "step": 1023
+    },
+    {
+      "epoch": 4.266666666666667,
+      "grad_norm": 0.2052973230937153,
+      "learning_rate": 2.564311726064754e-06,
+      "loss": 0.3846,
+      "step": 1024
+    },
+    {
+      "epoch": 4.270833333333333,
+      "grad_norm": 0.21592919820852863,
+      "learning_rate": 2.535884904556085e-06,
+      "loss": 0.3758,
+      "step": 1025
+    },
+    {
+      "epoch": 4.275,
+      "grad_norm": 0.22277092529351133,
+      "learning_rate": 2.5076058572120855e-06,
+      "loss": 0.3927,
+      "step": 1026
+    },
+    {
+      "epoch": 4.279166666666667,
+      "grad_norm": 0.21609789902866755,
+      "learning_rate": 2.4794748233184285e-06,
+      "loss": 0.3877,
+      "step": 1027
+    },
+    {
+      "epoch": 4.283333333333333,
+      "grad_norm": 0.2241692121126774,
+      "learning_rate": 2.4514920409083586e-06,
+      "loss": 0.3892,
+      "step": 1028
+    },
+    {
+      "epoch": 4.2875,
+      "grad_norm": 0.21983550359330953,
+      "learning_rate": 2.423657746760695e-06,
+      "loss": 0.3848,
+      "step": 1029
+    },
+    {
+      "epoch": 4.291666666666667,
+      "grad_norm": 0.2084715463094627,
+      "learning_rate": 2.3959721763977805e-06,
+      "loss": 0.4155,
+      "step": 1030
+    },
+    {
+      "epoch": 4.295833333333333,
+      "grad_norm": 0.21810353545912545,
+      "learning_rate": 2.3684355640835334e-06,
+      "loss": 0.3843,
+      "step": 1031
+    },
+    {
+      "epoch": 4.3,
+      "grad_norm": 0.21909939505718,
+      "learning_rate": 2.3410481428214602e-06,
+      "loss": 0.3884,
+      "step": 1032
+    },
+    {
+      "epoch": 4.304166666666666,
+      "grad_norm": 0.22305255373823385,
+      "learning_rate": 2.313810144352664e-06,
+      "loss": 0.3806,
+      "step": 1033
+    },
+    {
+      "epoch": 4.308333333333334,
+      "grad_norm": 0.21399493848562365,
+      "learning_rate": 2.2867217991538793e-06,
+      "loss": 0.3886,
+      "step": 1034
+    },
+    {
+      "epoch": 4.3125,
+      "grad_norm": 0.22139692881508155,
+      "learning_rate": 2.259783336435566e-06,
+      "loss": 0.3943,
+      "step": 1035
+    },
+    {
+      "epoch": 4.316666666666666,
+      "grad_norm": 0.22110568056896807,
+      "learning_rate": 2.2329949841399223e-06,
+      "loss": 0.3876,
+      "step": 1036
+    },
+    {
+      "epoch": 4.320833333333334,
+      "grad_norm": 0.2192791391563689,
+      "learning_rate": 2.206356968938965e-06,
+      "loss": 0.3901,
+      "step": 1037
+    },
+    {
+      "epoch": 4.325,
+      "grad_norm": 0.22086408115831563,
+      "learning_rate": 2.1798695162326444e-06,
+      "loss": 0.3963,
+      "step": 1038
+    },
+    {
+      "epoch": 4.329166666666667,
+      "grad_norm": 0.21376558371836413,
+      "learning_rate": 2.1535328501468935e-06,
+      "loss": 0.3935,
+      "step": 1039
+    },
+    {
+      "epoch": 4.333333333333333,
+      "grad_norm": 0.20388552790911735,
+      "learning_rate": 2.127347193531757e-06,
+      "loss": 0.4077,
+      "step": 1040
+    },
+    {
+      "epoch": 4.3375,
+      "grad_norm": 0.21740059155182548,
+      "learning_rate": 2.1013127679595002e-06,
+      "loss": 0.395,
+      "step": 1041
+    },
+    {
+      "epoch": 4.341666666666667,
+      "grad_norm": 0.212638977373075,
+      "learning_rate": 2.0754297937227317e-06,
+      "loss": 0.3948,
+      "step": 1042
+    },
+    {
+      "epoch": 4.345833333333333,
+      "grad_norm": 0.20432801583148202,
+      "learning_rate": 2.04969848983255e-06,
+      "loss": 0.4002,
+      "step": 1043
+    },
+    {
+      "epoch": 4.35,
+      "grad_norm": 0.20105838367708312,
+      "learning_rate": 2.024119074016664e-06,
+      "loss": 0.3981,
+      "step": 1044
+    },
+    {
+      "epoch": 4.354166666666667,
+      "grad_norm": 0.20591122191976494,
+      "learning_rate": 1.998691762717577e-06,
+      "loss": 0.3999,
+      "step": 1045
+    },
+    {
+      "epoch": 4.358333333333333,
+      "grad_norm": 0.21007702037482343,
+      "learning_rate": 1.973416771090755e-06,
+      "loss": 0.3878,
+      "step": 1046
+    },
+    {
+      "epoch": 4.3625,
+      "grad_norm": 0.21965241039293862,
+      "learning_rate": 1.948294313002792e-06,
+      "loss": 0.3888,
+      "step": 1047
+    },
+    {
+      "epoch": 4.366666666666666,
+      "grad_norm": 0.20871328585848617,
+      "learning_rate": 1.9233246010295903e-06,
+      "loss": 0.3849,
+      "step": 1048
+    },
+    {
+      "epoch": 4.370833333333334,
+      "grad_norm": 0.22344246010872826,
+      "learning_rate": 1.8985078464546002e-06,
+      "loss": 0.3745,
+      "step": 1049
+    },
+    {
+      "epoch": 4.375,
+      "grad_norm": 0.21888618878255753,
+      "learning_rate": 1.8738442592670014e-06,
+      "loss": 0.3843,
+      "step": 1050
+    },
+    {
+      "epoch": 4.379166666666666,
+      "grad_norm": 0.20645694980867452,
+      "learning_rate": 1.8493340481599275e-06,
+      "loss": 0.3816,
+      "step": 1051
+    },
+    {
+      "epoch": 4.383333333333334,
+      "grad_norm": 0.20886523332501278,
+      "learning_rate": 1.8249774205287151e-06,
+      "loss": 0.3805,
+      "step": 1052
+    },
+    {
+      "epoch": 4.3875,
+      "grad_norm": 0.21299747624517915,
+      "learning_rate": 1.800774582469138e-06,
+      "loss": 0.3851,
+      "step": 1053
+    },
+    {
+      "epoch": 4.391666666666667,
+      "grad_norm": 0.2101030130754341,
+      "learning_rate": 1.7767257387756599e-06,
+      "loss": 0.4012,
+      "step": 1054
+    },
+    {
+      "epoch": 4.395833333333333,
+      "grad_norm": 0.2084000285475629,
+      "learning_rate": 1.7528310929397196e-06,
+      "loss": 0.3834,
+      "step": 1055
+    },
+    {
+      "epoch": 4.4,
+      "grad_norm": 0.20310838723566754,
+      "learning_rate": 1.7290908471479805e-06,
+      "loss": 0.3883,
+      "step": 1056
+    },
+    {
+      "epoch": 4.404166666666667,
+      "grad_norm": 0.20641426226550538,
+      "learning_rate": 1.7055052022806595e-06,
+      "loss": 0.3889,
+      "step": 1057
+    },
+    {
+      "epoch": 4.408333333333333,
+      "grad_norm": 0.20716143550372132,
+      "learning_rate": 1.682074357909782e-06,
+      "loss": 0.3762,
+      "step": 1058
+    },
+    {
+      "epoch": 4.4125,
+      "grad_norm": 0.20650503280054486,
+      "learning_rate": 1.6587985122975193e-06,
+      "loss": 0.3817,
+      "step": 1059
+    },
+    {
+      "epoch": 4.416666666666667,
+      "grad_norm": 0.2061135382309316,
+      "learning_rate": 1.6356778623945223e-06,
+      "loss": 0.384,
+      "step": 1060
+    },
+    {
+      "epoch": 4.420833333333333,
+      "grad_norm": 0.19625695351801264,
+      "learning_rate": 1.612712603838218e-06,
+      "loss": 0.3908,
+      "step": 1061
+    },
+    {
+      "epoch": 4.425,
+      "grad_norm": 0.22603414259689372,
+      "learning_rate": 1.5899029309511926e-06,
+      "loss": 0.3861,
+      "step": 1062
+    },
+    {
+      "epoch": 4.429166666666666,
+      "grad_norm": 0.20502145009105738,
+      "learning_rate": 1.5672490367395244e-06,
+      "loss": 0.3828,
+      "step": 1063
+    },
+    {
+      "epoch": 4.433333333333334,
+      "grad_norm": 0.20667781053884668,
+      "learning_rate": 1.5447511128911542e-06,
+      "loss": 0.4043,
+      "step": 1064
+    },
+    {
+      "epoch": 4.4375,
+      "grad_norm": 0.21931277278673314,
+      "learning_rate": 1.5224093497742654e-06,
+      "loss": 0.3782,
+      "step": 1065
+    },
+    {
+      "epoch": 4.441666666666666,
+      "grad_norm": 0.20661232798322296,
+      "learning_rate": 1.5002239364356784e-06,
+      "loss": 0.3973,
+      "step": 1066
+    },
+    {
+      "epoch": 4.445833333333334,
+      "grad_norm": 0.20561646814251938,
+      "learning_rate": 1.4781950605992434e-06,
+      "loss": 0.3862,
+      "step": 1067
+    },
+    {
+      "epoch": 4.45,
+      "grad_norm": 0.20709387122468778,
+      "learning_rate": 1.4563229086642538e-06,
+      "loss": 0.3909,
+      "step": 1068
+    },
+    {
+      "epoch": 4.454166666666667,
+      "grad_norm": 0.20894230163276878,
+      "learning_rate": 1.4346076657038689e-06,
+      "loss": 0.3883,
+      "step": 1069
+    },
+    {
+      "epoch": 4.458333333333333,
+      "grad_norm": 0.2138093730895906,
+      "learning_rate": 1.4130495154635494e-06,
+      "loss": 0.3832,
+      "step": 1070
+    },
+    {
+      "epoch": 4.4625,
+      "grad_norm": 0.21495693996906673,
+      "learning_rate": 1.3916486403595108e-06,
+      "loss": 0.3681,
+      "step": 1071
+    },
+    {
+      "epoch": 4.466666666666667,
+      "grad_norm": 0.20257256679051186,
+      "learning_rate": 1.3704052214771513e-06,
+      "loss": 0.3782,
+      "step": 1072
+    },
+    {
+      "epoch": 4.470833333333333,
+      "grad_norm": 0.20124849268912157,
+      "learning_rate": 1.3493194385695608e-06,
+      "loss": 0.3876,
+      "step": 1073
+    },
+    {
+      "epoch": 4.475,
+      "grad_norm": 0.212851429442179,
+      "learning_rate": 1.3283914700559675e-06,
+      "loss": 0.3909,
+      "step": 1074
+    },
+    {
+      "epoch": 4.479166666666667,
+      "grad_norm": 0.21873572396661103,
+      "learning_rate": 1.3076214930202324e-06,
+      "loss": 0.3777,
+      "step": 1075
+    },
+    {
+      "epoch": 4.483333333333333,
+      "grad_norm": 0.2041131837033637,
+      "learning_rate": 1.2870096832093726e-06,
+      "loss": 0.3833,
+      "step": 1076
+    },
+    {
+      "epoch": 4.4875,
+      "grad_norm": 0.2088455027749406,
+      "learning_rate": 1.2665562150320487e-06,
+      "loss": 0.3909,
+      "step": 1077
+    },
+    {
+      "epoch": 4.491666666666666,
+      "grad_norm": 0.20515071811952848,
+      "learning_rate": 1.2462612615571046e-06,
+      "loss": 0.4034,
+      "step": 1078
+    },
+    {
+      "epoch": 4.495833333333334,
+      "grad_norm": 0.20549966734220215,
+      "learning_rate": 1.2261249945120922e-06,
+      "loss": 0.3979,
+      "step": 1079
+    },
+    {
+      "epoch": 4.5,
+      "grad_norm": 0.25504437848899186,
+      "learning_rate": 1.2061475842818337e-06,
+      "loss": 0.4179,
+      "step": 1080
+    },
+    {
+      "epoch": 4.504166666666666,
+      "grad_norm": 0.21497318054578451,
+      "learning_rate": 1.1863291999069592e-06,
+      "loss": 0.3716,
+      "step": 1081
+    },
+    {
+      "epoch": 4.508333333333333,
+      "grad_norm": 0.20380853760441292,
+      "learning_rate": 1.1666700090824956e-06,
+      "loss": 0.388,
+      "step": 1082
+    },
+    {
+      "epoch": 4.5125,
+      "grad_norm": 0.19834027441431143,
+      "learning_rate": 1.1471701781564316e-06,
+      "loss": 0.3931,
+      "step": 1083
+    },
+    {
+      "epoch": 4.516666666666667,
+      "grad_norm": 0.20911548672338867,
+      "learning_rate": 1.12782987212833e-06,
+      "loss": 0.3958,
+      "step": 1084
+    },
+    {
+      "epoch": 4.520833333333333,
+      "grad_norm": 0.2012388741839505,
+      "learning_rate": 1.1086492546479065e-06,
+      "loss": 0.3921,
+      "step": 1085
+    },
+    {
+      "epoch": 4.525,
+      "grad_norm": 0.2079229548369675,
+      "learning_rate": 1.0896284880136632e-06,
+      "loss": 0.3716,
+      "step": 1086
+    },
+    {
+      "epoch": 4.529166666666667,
+      "grad_norm": 0.20424381766082045,
+      "learning_rate": 1.070767733171514e-06,
+      "loss": 0.3964,
+      "step": 1087
+    },
+    {
+      "epoch": 4.533333333333333,
+      "grad_norm": 0.21255632877710418,
+      "learning_rate": 1.052067149713416e-06,
+      "loss": 0.3982,
+      "step": 1088
+    },
+    {
+      "epoch": 4.5375,
+      "grad_norm": 0.20434569177173742,
+      "learning_rate": 1.0335268958760135e-06,
+      "loss": 0.3895,
+      "step": 1089
+    },
+    {
+      "epoch": 4.541666666666667,
+      "grad_norm": 0.18798901633494672,
+      "learning_rate": 1.0151471285393223e-06,
+      "loss": 0.3962,
+      "step": 1090
+    },
+    {
+      "epoch": 4.545833333333333,
+      "grad_norm": 0.1936049963564169,
+      "learning_rate": 9.96928003225377e-07,
+      "loss": 0.4045,
+      "step": 1091
+    },
+    {
+      "epoch": 4.55,
+      "grad_norm": 0.20203295728983378,
+      "learning_rate": 9.788696740969295e-07,
+      "loss": 0.3936,
+      "step": 1092
+    },
+    {
+      "epoch": 4.554166666666667,
+      "grad_norm": 0.21075047963997542,
+      "learning_rate": 9.609722939561373e-07,
+      "loss": 0.4077,
+      "step": 1093
+    },
+    {
+      "epoch": 4.558333333333334,
+      "grad_norm": 0.20025213485931265,
+      "learning_rate": 9.432360142432761e-07,
+      "loss": 0.3984,
+      "step": 1094
+    },
+    {
+      "epoch": 4.5625,
+      "grad_norm": 0.20861624138450827,
+      "learning_rate": 9.256609850354636e-07,
+      "loss": 0.385,
+      "step": 1095
+    },
+    {
+      "epoch": 4.566666666666666,
+      "grad_norm": 0.1986348913181751,
+      "learning_rate": 9.082473550453619e-07,
+      "loss": 0.3945,
+      "step": 1096
+    },
+    {
+      "epoch": 4.570833333333333,
+      "grad_norm": 0.2040299883665947,
+      "learning_rate": 8.909952716199566e-07,
+      "loss": 0.3908,
+      "step": 1097
+    },
+    {
+      "epoch": 4.575,
+      "grad_norm": 0.20925989787685903,
+      "learning_rate": 8.739048807392913e-07,
+      "loss": 0.3889,
+      "step": 1098
+    },
+    {
+      "epoch": 4.579166666666667,
+      "grad_norm": 0.21260259806578902,
+      "learning_rate": 8.569763270152265e-07,
+      "loss": 0.3844,
+      "step": 1099
+    },
+    {
+      "epoch": 4.583333333333333,
+      "grad_norm": 0.1999448636556535,
+      "learning_rate": 8.402097536902221e-07,
+      "loss": 0.3863,
+      "step": 1100
+    },
+    {
+      "epoch": 4.5875,
+      "grad_norm": 0.21406689943428772,
+      "learning_rate": 8.23605302636139e-07,
+      "loss": 0.382,
+      "step": 1101
+    },
+    {
+      "epoch": 4.591666666666667,
+      "grad_norm": 0.20643842033200374,
+      "learning_rate": 8.071631143530178e-07,
+      "loss": 0.3861,
+      "step": 1102
+    },
+    {
+      "epoch": 4.595833333333333,
+      "grad_norm": 0.21371253059525183,
+      "learning_rate": 7.908833279678885e-07,
+      "loss": 0.3838,
+      "step": 1103
+    },
+    {
+      "epoch": 4.6,
+      "grad_norm": 0.19898835007608578,
+      "learning_rate": 7.747660812336221e-07,
+      "loss": 0.4004,
+      "step": 1104
+    },
+    {
+      "epoch": 4.604166666666667,
+      "grad_norm": 0.2178163266712195,
+      "learning_rate": 7.588115105277372e-07,
+      "loss": 0.3785,
+      "step": 1105
+    },
+    {
+      "epoch": 4.608333333333333,
+      "grad_norm": 0.2071669502158122,
+      "learning_rate": 7.430197508512482e-07,
+      "loss": 0.384,
+      "step": 1106
+    },
+    {
+      "epoch": 4.6125,
+      "grad_norm": 0.21176605958557895,
+      "learning_rate": 7.273909358275411e-07,
+      "loss": 0.381,
+      "step": 1107
+    },
+    {
+      "epoch": 4.616666666666667,
+      "grad_norm": 0.2095391326166993,
+      "learning_rate": 7.11925197701222e-07,
+      "loss": 0.3796,
+      "step": 1108
+    },
+    {
+      "epoch": 4.620833333333334,
+      "grad_norm": 0.20430319127354743,
+      "learning_rate": 6.966226673370125e-07,
+      "loss": 0.3811,
+      "step": 1109
+    },
+    {
+      "epoch": 4.625,
+      "grad_norm": 0.1993122226870442,
+      "learning_rate": 6.814834742186361e-07,
+      "loss": 0.3971,
+      "step": 1110
+    },
+    {
+      "epoch": 4.629166666666666,
+      "grad_norm": 0.21274137971906087,
+      "learning_rate": 6.665077464477198e-07,
+      "loss": 0.381,
+      "step": 1111
+    },
+    {
+      "epoch": 4.633333333333333,
+      "grad_norm": 0.2045319580112074,
+      "learning_rate": 6.516956107427241e-07,
+      "loss": 0.4016,
+      "step": 1112
+    },
+    {
+      "epoch": 4.6375,
+      "grad_norm": 0.209883369872557,
+      "learning_rate": 6.370471924378474e-07,
+      "loss": 0.3776,
+      "step": 1113
+    },
+    {
+      "epoch": 4.641666666666667,
+      "grad_norm": 0.1974962395249034,
+      "learning_rate": 6.225626154819852e-07,
+      "loss": 0.3808,
+      "step": 1114
+    },
+    {
+      "epoch": 4.645833333333333,
+      "grad_norm": 0.1953773456186481,
+      "learning_rate": 6.082420024376801e-07,
+      "loss": 0.397,
+      "step": 1115
+    },
+    {
+      "epoch": 4.65,
+      "grad_norm": 0.1989701101330788,
+      "learning_rate": 5.940854744800706e-07,
+      "loss": 0.3919,
+      "step": 1116
+    },
+    {
+      "epoch": 4.654166666666667,
+      "grad_norm": 0.1847503976930448,
+      "learning_rate": 5.800931513958796e-07,
+      "loss": 0.4142,
+      "step": 1117
+    },
+    {
+      "epoch": 4.658333333333333,
+      "grad_norm": 0.22025459641944659,
+      "learning_rate": 5.66265151582397e-07,
+      "loss": 0.3872,
+      "step": 1118
+    },
+    {
+      "epoch": 4.6625,
+      "grad_norm": 0.19558599631116597,
+      "learning_rate": 5.526015920464689e-07,
+      "loss": 0.4013,
+      "step": 1119
+    },
+    {
+      "epoch": 4.666666666666667,
+      "grad_norm": 0.2117082081755805,
+      "learning_rate": 5.391025884035239e-07,
+      "loss": 0.3826,
+      "step": 1120
+    },
+    {
+      "epoch": 4.670833333333333,
+      "grad_norm": 0.19995363575332048,
+      "learning_rate": 5.257682548765841e-07,
+      "loss": 0.3813,
+      "step": 1121
+    },
+    {
+      "epoch": 4.675,
+      "grad_norm": 0.20626949875404163,
+      "learning_rate": 5.125987042952973e-07,
+      "loss": 0.3879,
+      "step": 1122
+    },
+    {
+      "epoch": 4.679166666666667,
+      "grad_norm": 0.2119702885500929,
+      "learning_rate": 4.99594048094989e-07,
+      "loss": 0.3768,
+      "step": 1123
+    },
+    {
+      "epoch": 4.683333333333334,
+      "grad_norm": 0.1917072830112516,
+      "learning_rate": 4.867543963157162e-07,
+      "loss": 0.4001,
+      "step": 1124
+    },
+    {
+      "epoch": 4.6875,
+      "grad_norm": 0.26874753769966464,
+      "learning_rate": 4.740798576013328e-07,
+      "loss": 0.398,
+      "step": 1125
+    },
+    {
+      "epoch": 4.691666666666666,
+      "grad_norm": 0.20128968969089236,
+      "learning_rate": 4.615705391985814e-07,
+      "loss": 0.3934,
+      "step": 1126
+    },
+    {
+      "epoch": 4.695833333333333,
+      "grad_norm": 0.19269748187606345,
+      "learning_rate": 4.492265469561696e-07,
+      "loss": 0.3996,
+      "step": 1127
+    },
+    {
+      "epoch": 4.7,
+      "grad_norm": 0.2064375540922556,
+      "learning_rate": 4.3704798532388624e-07,
+      "loss": 0.3907,
+      "step": 1128
+    },
+    {
+      "epoch": 4.704166666666667,
+      "grad_norm": 0.20691554687976574,
+      "learning_rate": 4.2503495735171987e-07,
+      "loss": 0.4026,
+      "step": 1129
+    },
+    {
+      "epoch": 4.708333333333333,
+      "grad_norm": 0.20822981358466697,
+      "learning_rate": 4.1318756468897047e-07,
+      "loss": 0.3891,
+      "step": 1130
+    },
+    {
+      "epoch": 4.7125,
+      "grad_norm": 0.20897013043342189,
+      "learning_rate": 4.0150590758340826e-07,
+      "loss": 0.3795,
+      "step": 1131
+    },
+    {
+      "epoch": 4.716666666666667,
+      "grad_norm": 0.1968064393363428,
+      "learning_rate": 3.899900848804139e-07,
+      "loss": 0.383,
+      "step": 1132
+    },
+    {
+      "epoch": 4.720833333333333,
+      "grad_norm": 0.20907077481732236,
+      "learning_rate": 3.7864019402214845e-07,
+      "loss": 0.3852,
+      "step": 1133
+    },
+    {
+      "epoch": 4.725,
+      "grad_norm": 0.20181098073312845,
+      "learning_rate": 3.674563310467205e-07,
+      "loss": 0.3958,
+      "step": 1134
+    },
+    {
+      "epoch": 4.729166666666667,
+      "grad_norm": 0.19666844511533138,
+      "learning_rate": 3.5643859058738686e-07,
+      "loss": 0.4072,
+      "step": 1135
+    },
+    {
+      "epoch": 4.733333333333333,
+      "grad_norm": 0.21497564996763077,
+      "learning_rate": 3.455870658717353e-07,
+      "loss": 0.3698,
+      "step": 1136
+    },
+    {
+      "epoch": 4.7375,
+      "grad_norm": 0.20684729753862982,
+      "learning_rate": 3.349018487209099e-07,
+      "loss": 0.3898,
+      "step": 1137
+    },
+    {
+      "epoch": 4.741666666666667,
+      "grad_norm": 0.20865385580669296,
+      "learning_rate": 3.2438302954882486e-07,
+      "loss": 0.3901,
+      "step": 1138
+    },
+    {
+      "epoch": 4.745833333333334,
+      "grad_norm": 0.19782644507072714,
+      "learning_rate": 3.1403069736140715e-07,
+      "loss": 0.3812,
+      "step": 1139
+    },
+    {
+      "epoch": 4.75,
+      "grad_norm": 0.19833433006240347,
+      "learning_rate": 3.038449397558396e-07,
+      "loss": 0.3938,
+      "step": 1140
+    },
+    {
+      "epoch": 4.754166666666666,
+      "grad_norm": 0.20925531033059472,
+      "learning_rate": 2.9382584291981265e-07,
+      "loss": 0.4035,
+      "step": 1141
+    },
+    {
+      "epoch": 4.758333333333333,
+      "grad_norm": 0.19412494052968784,
+      "learning_rate": 2.839734916308068e-07,
+      "loss": 0.3984,
+      "step": 1142
+    },
+    {
+      "epoch": 4.7625,
+      "grad_norm": 0.20482762766790866,
+      "learning_rate": 2.7428796925537127e-07,
+      "loss": 0.3836,
+      "step": 1143
+    },
+    {
+      "epoch": 4.766666666666667,
+      "grad_norm": 0.21061627000621963,
+      "learning_rate": 2.647693577484156e-07,
+      "loss": 0.3972,
+      "step": 1144
+    },
+    {
+      "epoch": 4.770833333333333,
+      "grad_norm": 0.19599019840579426,
+      "learning_rate": 2.554177376525191e-07,
+      "loss": 0.3904,
+      "step": 1145
+    },
+    {
+      "epoch": 4.775,
+      "grad_norm": 0.19316239172992322,
+      "learning_rate": 2.462331880972468e-07,
+      "loss": 0.3911,
+      "step": 1146
+    },
+    {
+      "epoch": 4.779166666666667,
+      "grad_norm": 0.19835247649994242,
+      "learning_rate": 2.3721578679848146e-07,
+      "loss": 0.3998,
+      "step": 1147
+    },
+    {
+      "epoch": 4.783333333333333,
+      "grad_norm": 0.20298068455378282,
+      "learning_rate": 2.2836561005776803e-07,
+      "loss": 0.3965,
+      "step": 1148
+    },
+    {
+      "epoch": 4.7875,
+      "grad_norm": 0.20252255197368563,
+      "learning_rate": 2.1968273276166352e-07,
+      "loss": 0.3813,
+      "step": 1149
+    },
+    {
+      "epoch": 4.791666666666667,
+      "grad_norm": 0.19602812185693308,
+      "learning_rate": 2.111672283811106e-07,
+      "loss": 0.4015,
+      "step": 1150
+    },
+    {
+      "epoch": 4.795833333333333,
+      "grad_norm": 0.19757644835561847,
+      "learning_rate": 2.0281916897080477e-07,
+      "loss": 0.3849,
+      "step": 1151
+    },
+    {
+      "epoch": 4.8,
+      "grad_norm": 0.20288132300797618,
+      "learning_rate": 1.9463862516859277e-07,
+      "loss": 0.399,
+      "step": 1152
+    },
+    {
+      "epoch": 4.804166666666667,
+      "grad_norm": 0.19453468645995778,
+      "learning_rate": 1.8662566619487954e-07,
+      "loss": 0.4107,
+      "step": 1153
+    },
+    {
+      "epoch": 4.808333333333334,
+      "grad_norm": 0.21201523746540965,
+      "learning_rate": 1.7878035985202657e-07,
+      "loss": 0.39,
+      "step": 1154
+    },
+    {
+      "epoch": 4.8125,
+      "grad_norm": 0.19081726845878005,
+      "learning_rate": 1.7110277252379238e-07,
+      "loss": 0.4039,
+      "step": 1155
+    },
+    {
+      "epoch": 4.816666666666666,
+      "grad_norm": 0.20237658844604547,
+      "learning_rate": 1.6359296917476619e-07,
+      "loss": 0.3935,
+      "step": 1156
+    },
+    {
+      "epoch": 4.820833333333333,
+      "grad_norm": 0.2184959014302634,
+      "learning_rate": 1.5625101334981742e-07,
+      "loss": 0.3855,
+      "step": 1157
+    },
+    {
+      "epoch": 4.825,
+      "grad_norm": 0.20778549428603435,
+      "learning_rate": 1.4907696717356035e-07,
+      "loss": 0.3853,
+      "step": 1158
+    },
+    {
+      "epoch": 4.829166666666667,
+      "grad_norm": 0.19149205793816979,
+      "learning_rate": 1.4207089134982143e-07,
+      "loss": 0.3882,
+      "step": 1159
+    },
+    {
+      "epoch": 4.833333333333333,
+      "grad_norm": 0.20518165977415728,
+      "learning_rate": 1.3523284516113955e-07,
+      "loss": 0.384,
+      "step": 1160
+    },
+    {
+      "epoch": 4.8375,
+      "grad_norm": 0.19504892497211884,
+      "learning_rate": 1.2856288646825087e-07,
+      "loss": 0.3811,
+      "step": 1161
+    },
+    {
+      "epoch": 4.841666666666667,
+      "grad_norm": 0.203712165452829,
+      "learning_rate": 1.2206107170960046e-07,
+      "loss": 0.3898,
+      "step": 1162
+    },
+    {
+      "epoch": 4.845833333333333,
+      "grad_norm": 0.1959107836796987,
+      "learning_rate": 1.1572745590087586e-07,
+      "loss": 0.3892,
+      "step": 1163
+    },
+    {
+      "epoch": 4.85,
+      "grad_norm": 0.1932746680712934,
+      "learning_rate": 1.0956209263453421e-07,
+      "loss": 0.3982,
+      "step": 1164
+    },
+    {
+      "epoch": 4.854166666666667,
+      "grad_norm": 0.1942598007482467,
+      "learning_rate": 1.0356503407934038e-07,
+      "loss": 0.3941,
+      "step": 1165
+    },
+    {
+      "epoch": 4.858333333333333,
+      "grad_norm": 0.19547774310726718,
+      "learning_rate": 9.77363309799384e-08,
+      "loss": 0.3991,
+      "step": 1166
+    },
+    {
+      "epoch": 4.8625,
+      "grad_norm": 0.2069145818345087,
+      "learning_rate": 9.207603265642296e-08,
+      "loss": 0.3826,
+      "step": 1167
+    },
+    {
+      "epoch": 4.866666666666667,
+      "grad_norm": 0.19859952239582304,
+      "learning_rate": 8.658418700391302e-08,
+      "loss": 0.3966,
+      "step": 1168
+    },
+    {
+      "epoch": 4.870833333333334,
+      "grad_norm": 0.2002877890108048,
+      "learning_rate": 8.126084049214334e-08,
+      "loss": 0.3961,
+      "step": 1169
+    },
+    {
+      "epoch": 4.875,
+      "grad_norm": 0.1994720798464499,
+      "learning_rate": 7.61060381650891e-08,
+      "loss": 0.3845,
+      "step": 1170
+    },
+    {
+      "epoch": 4.879166666666666,
+      "grad_norm": 0.2021687724899969,
+      "learning_rate": 7.111982364056857e-08,
+      "loss": 0.3805,
+      "step": 1171
+    },
+    {
+      "epoch": 4.883333333333333,
+      "grad_norm": 0.19145575266553533,
+      "learning_rate": 6.630223910987887e-08,
+      "loss": 0.3994,
+      "step": 1172
+    },
+    {
+      "epoch": 4.8875,
+      "grad_norm": 0.2062532325132557,
+      "learning_rate": 6.165332533744072e-08,
+      "loss": 0.3735,
+      "step": 1173
+    },
+    {
+      "epoch": 4.891666666666667,
+      "grad_norm": 0.19814071565964073,
+      "learning_rate": 5.717312166045208e-08,
+      "loss": 0.4078,
+      "step": 1174
+    },
+    {
+      "epoch": 4.895833333333333,
+      "grad_norm": 0.19071689046769358,
+      "learning_rate": 5.286166598855502e-08,
+      "loss": 0.4021,
+      "step": 1175
+    },
+    {
+      "epoch": 4.9,
+      "grad_norm": 0.19930971556082247,
+      "learning_rate": 4.871899480351605e-08,
+      "loss": 0.3907,
+      "step": 1176
+    },
+    {
+      "epoch": 4.904166666666667,
+      "grad_norm": 0.19832556680555688,
+      "learning_rate": 4.474514315891299e-08,
+      "loss": 0.4049,
+      "step": 1177
+    },
+    {
+      "epoch": 4.908333333333333,
+      "grad_norm": 0.1901957292417606,
+      "learning_rate": 4.0940144679852963e-08,
+      "loss": 0.3998,
+      "step": 1178
+    },
+    {
+      "epoch": 4.9125,
+      "grad_norm": 0.2064164716597623,
+      "learning_rate": 3.73040315626616e-08,
+      "loss": 0.3884,
+      "step": 1179
+    },
+    {
+      "epoch": 4.916666666666667,
+      "grad_norm": 0.1931001665012475,
+      "learning_rate": 3.383683457463649e-08,
+      "loss": 0.4044,
+      "step": 1180
+    },
+    {
+      "epoch": 4.920833333333333,
+      "grad_norm": 0.1903418187956716,
+      "learning_rate": 3.053858305377411e-08,
+      "loss": 0.3987,
+      "step": 1181
+    },
+    {
+      "epoch": 4.925,
+      "grad_norm": 0.1939799623343075,
+      "learning_rate": 2.740930490852334e-08,
+      "loss": 0.3925,
+      "step": 1182
+    },
+    {
+      "epoch": 4.929166666666667,
+      "grad_norm": 0.19189458642729995,
+      "learning_rate": 2.4449026617547887e-08,
+      "loss": 0.4001,
+      "step": 1183
+    },
+    {
+      "epoch": 4.933333333333334,
+      "grad_norm": 0.20218100414574042,
+      "learning_rate": 2.1657773229508684e-08,
+      "loss": 0.3888,
+      "step": 1184
+    },
+    {
+      "epoch": 4.9375,
+      "grad_norm": 0.20461781766636453,
+      "learning_rate": 1.9035568362844037e-08,
+      "loss": 0.3909,
+      "step": 1185
+    },
+    {
+      "epoch": 4.941666666666666,
+      "grad_norm": 0.18999406466543975,
+      "learning_rate": 1.658243420557426e-08,
+      "loss": 0.4057,
+      "step": 1186
+    },
+    {
+      "epoch": 4.945833333333333,
+      "grad_norm": 0.20130098863174897,
+      "learning_rate": 1.42983915151107e-08,
+      "loss": 0.3865,
+      "step": 1187
+    },
+    {
+      "epoch": 4.95,
+      "grad_norm": 0.198222739286373,
+      "learning_rate": 1.2183459618084759e-08,
+      "loss": 0.3896,
+      "step": 1188
+    },
+    {
+      "epoch": 4.954166666666667,
+      "grad_norm": 0.20258128719704255,
+      "learning_rate": 1.0237656410181374e-08,
+      "loss": 0.3893,
+      "step": 1189
+    },
+    {
+      "epoch": 4.958333333333333,
+      "grad_norm": 0.18787114374679498,
+      "learning_rate": 8.460998355988014e-09,
+      "loss": 0.4016,
+      "step": 1190
+    },
+    {
+      "epoch": 4.9625,
+      "grad_norm": 0.19551146693242125,
+      "learning_rate": 6.853500488854803e-09,
+      "loss": 0.3937,
+      "step": 1191
+    },
+    {
+      "epoch": 4.966666666666667,
+      "grad_norm": 0.19986871599429382,
+      "learning_rate": 5.415176410765721e-09,
+      "loss": 0.3893,
+      "step": 1192
+    },
+    {
+      "epoch": 4.970833333333333,
+      "grad_norm": 0.1938529642818471,
+      "learning_rate": 4.1460382922320355e-09,
+      "loss": 0.3935,
+      "step": 1193
+    },
+    {
+      "epoch": 4.975,
+      "grad_norm": 0.1968794371510558,
+      "learning_rate": 3.0460968721746086e-09,
+      "loss": 0.386,
+      "step": 1194
+    },
+    {
+      "epoch": 4.979166666666667,
+      "grad_norm": 0.19892683279876672,
+      "learning_rate": 2.1153614578506286e-09,
+      "loss": 0.3837,
+      "step": 1195
+    },
+    {
+      "epoch": 4.983333333333333,
+      "grad_norm": 0.19296848309206177,
+      "learning_rate": 1.3538399247559064e-09,
+      "loss": 0.4026,
+      "step": 1196
+    },
+    {
+      "epoch": 4.9875,
+      "grad_norm": 0.20733749638655838,
+      "learning_rate": 7.615387165738065e-10,
+      "loss": 0.3893,
+      "step": 1197
+    },
+    {
+      "epoch": 4.991666666666667,
+      "grad_norm": 0.20107927929139305,
+      "learning_rate": 3.384628451152949e-10,
+      "loss": 0.3933,
+      "step": 1198
+    },
+    {
+      "epoch": 4.995833333333334,
+      "grad_norm": 0.19991479070961304,
+      "learning_rate": 8.461589027453087e-11,
+      "loss": 0.3833,
+      "step": 1199
+    },
+    {
+      "epoch": 5.0,
+      "grad_norm": 0.2048210414699777,
+      "learning_rate": 0.0,
+      "loss": 0.3754,
+      "step": 1200
+    },
+    {
+      "epoch": 5.0,
+      "step": 1200,
+      "total_flos": 4.616590531240133e+18,
+      "train_loss": 0.5000174347062906,
+      "train_runtime": 28765.5268,
+      "train_samples_per_second": 5.337,
+      "train_steps_per_second": 0.042
+    }
+  ],
+  "logging_steps": 1,
+  "max_steps": 1200,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 5,
+  "save_steps": 500,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": true
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 4.616590531240133e+18,
+  "train_batch_size": 1,
+  "trial_name": null,
+  "trial_params": null
+}