add gpt-oss qwen3

README.md

@@ -22,7 +22,7 @@ Please visit our GitHub repo for more information: https://github.com/xu-song/to
 
 ## Run gradio demo
 
-```
+```sh
 python app.py
 ```
 
@@ -34,5 +34,8 @@ python app.py
 python compression_util.py  # cache compression
 python character_util.py  # cache character
 python stats/sample.py # ss
+git add stats/compression_rate/*
+git add -u .
+
 ```
 

chat_template_app.py

@@ -8,4 +8,6 @@
 - tool_call
 
 
+- think (deepseek)
+
 """

css/venn_d3.css

@@ -0,0 +1,79 @@
+
+.mid-vs {
+    margin-bottom: -10px;
+}
+.mid-venn {
+    margin-top: -20px;
+    margin-bottom: -15px;
+    overflow: hidden !important;
+}
+
+
+#tooltell {
+  display: block;
+  width: 50%;
+  height: 100%;
+  font-size: 16px;
+  color: #111111;
+}
+.venntooltip {
+  position: absolute;
+  text-align: center;
+  width: 60px;
+  height: 60px;
+  background: #ddd;
+  color: #000;
+  padding: 2px;
+  border: 0px;
+  border-radius: 8px;
+  opacity: 0;
+  top: 0;
+  left: 0;
+  
+}
+svg path {
+/*     stroke: rgba(33,33,33,0.6); */
+/*     stroke-width: 3px; */
+}
+svg text {
+    fill: white;
+    font-family: "Helvetica Neue",Helvetica,Arial,sans-serif;
+    font-size: 9px;
+}
+[data-venn-sets="0_1"] text {
+  fill: black;
+}
+[data-venn-sets="0_1"]:hover { }
+/* [data-venn-sets="0"]   { fill: #125FE3; }
+[data-venn-sets="1"]   { fill: #FD4DB0; }
+[data-venn-sets="2"]   { fill: #C94402; }
+[data-venn-sets="0_1"] { fill: #FCE917; }
+[data-venn-sets="0_2"] { fill: #2C4A68; }
+[data-venn-sets="1_2"] { fill: #9244A6; }
+[data-venn-sets="0_1_2"] { fill: #44A691; } */
+
+[data-venn-sets="2"]   { fill: #c94402; }
+[data-venn-sets="1"]   { fill: #fd4db0; }
+[data-venn-sets="0"]   { fill: #125fe3; }
+[data-venn-sets="0_1"] { fill: #fce917; }
+[data-venn-sets="0_2"] { fill: #9244a6; }
+[data-venn-sets="1_2"] { fill: #2c4a68; }
+[data-venn-sets="0_1_2"] { fill: #44a691; }
+svg {	mix-blend-mode: difference; }
+
+/* svg:hover g:not(:hover) path
+ { opacity: .5;
+    -webkit-filter: grayscale(0%); 
+    filter: grayscale(0%);
+    filter: blur(50);
+}
+svg:hover g:not(:hover) text
+ { opacity: .3; } */
+
+
+g#venngroup:hover g:not(:hover) path { 
+  opacity: .5;
+  z-index: 9999;
+}
+g#venngroup:hover g:not(:hover) text
+ { opacity: .5; }

js/load_json.js

@@ -0,0 +1,2 @@
+import data from './test.json';
+console.log(data);

js/onchange_d3.js

@@ -0,0 +1,118 @@
+
+function() {
+    import data from './test.json';
+    console.log(data);
+    
+}
+
+
+$.getJSON("test.json", function(json) {
+    console.log(json); // this will show the info it in firebug console
+})
+
+
+// function render_venn() {
+
+//     var tokenizer1 = document.querySelector("#tokenizer1 input").value
+//     var tokenizer2 = document.querySelector("#tokenizer2 input").value
+//     var sets = [
+//         {"sets": [0], "label": "Llama", "size": 100, "data":"7854"},
+//         {"sets": [1], "label": "GPT4o", "size": 100, "data":"8641"},
+//         {"sets": [0, 1], "label": "", "size": 20, "data":"45"},
+//     ];
+
+//     var svgContainer = d3.select("#venn").append("svg")
+//                                         .attr("width",100)
+//                                         .attr("height",100)
+//                                         .attr("style", "margin:auto");
+
+//     var venngroup = svgContainer.append("g")    
+//                 .attr("id", "venngroup");
+
+
+//     var chart = venn.VennDiagram()
+//                     .width(100)
+//                     .height(100 )
+//                     .styled(false);
+
+//     var div = d3.select("#venngroup")
+//     div.datum(sets).call(chart);
+//     var tooltip = d3.select("#tooltell").append("div")
+//     .attr("class", "venntooltip");
+//     div.selectAll("path")
+//     .style("stroke-opacity", 0)
+//     .style("stroke", "rgba(22,22,22,1)")
+//     .style("stroke-width", 2)
+//     .style("transform-origin", "50% 50%");
+
+    
+//     div.selectAll("g.venn-area")
+//     .on("mouseover", function(d, i) {
+//         // sort all the areas relative to the current item
+//         venn.sortAreas(div, d);
+//         // Display a tooltip with the current size
+//         tooltip.transition().duration(300).style("opacity", 1);
+//         tooltip.text(d.data);
+
+//     // d3.select("#venn").selectAll("path").transition("filter").duration(250).style("filter", "grayscale(20%)").style("filter", ("filter", "url(#desaturate)");
+    
+//     //   var circleUnderMouse = this;
+//     //  d3.select("#venn").selectAll("path").transition("opacity").duration(250).style("opacity",  function () {return (this === circleUnderMouse) ? 1.0 : 0.5;});
+    
+    
+//     // d3.select(this).selectAll("path").transition("opacity").duration(250).style("fill-opacity", 1);
+//         // d3.select(this).raise();
+        
+//         // highlight the current path
+//         var selection = d3.select(this).transition("tooltip").duration(300);
+//         selection.select("path")
+//             .style("fill-opacity", 1)
+//             .style("stroke-opacity", 1)
+//             .style("transform", "scale(1.01,1.01)")
+//             .style("transform-origin", "50% 50%");
+//     })
+//     // .on("mousemove", function() {
+//     //     tooltip.style("left", (d3.event.pageX) + "px")
+//     //            .style("top", (d3.event.pageY - 28) + "px");
+//     // })
+//     .on("mouseout", function(d, i) {
+//         tooltip.transition().duration(500).style("opacity", 0);
+//         var selection = d3.select(this).transition("tooltip").duration(400);
+//         selection.select("path")
+//             .style("fill-opacity", d.sets.length == 1 ? 1 : 1)
+//             .style("stroke-opacity", 0)
+//             .style("transform", "scale(1,1)")
+//             .style("transform-origin", "50% 50%");
+//         // d3.select("#venn").selectAll("path").transition("opacity").duration(250).style("opacity", 1);
+//         // d3.select(this).lower();
+
+//     });
+
+//     // 
+
+//     // var myLabel = svg.append('foreignObject')
+//     // .attr({
+//     //     height: 150,
+//     //     width: 100, // dimensions determined based on need
+//     //     transform: 'translate(0,0)' // put it where you want it...
+//     //     })
+//     //     .html('<div class"style-me"><p>My label or other text</p></div>');
+
+//     // svg.append('filter')
+//     //   .attr('id','desaturate')
+//     //   .append('feColorMatrix')
+//     //   .attr('type','matrix')
+//     //   .attr('values',"0.3333 0.3333 0.3333 0 0 0.3333 0.3333 0.3333 0 0 0.3333 0.3333 0.3333 0 0 0 0 0 1 0");
+
+//     var stuffToBeWrapped = d3.selectAll("svg");
+
+//     stuffToBeWrapped.each(function() {
+
+//     d3.select( this.childNode ).insert("g", function(){return this;} ) 
+//                 //insert a new <g> element immediately before this element
+//         .attr("class", "wrapper") //set anything you want to on the <g>
+//         .append( function(){return this;} );
+//                 //move the content element into the group
+
+//     });    
+// }

js/onload.js

@@ -1,18 +1,19 @@
-function() {
-    // feedback
-    //$("footer a")["href"] = "https://github.com/xu-song/tokenizer-arena/issues"
-    //$("footer a").childNodes[0].textContent ="Send Feedback"
-
-
-//    <a href="https://gradio.app" class="built-with svelte-16bt5n8" target="_blank" rel="noreferrer">
-//          Built with Gradio <img src="http://127.0.0.1:7860/assets/logo-3707f936.svg" alt="logo" class="svelte-16bt5n8">
-//    </a>
-    console.log("nice")
-    document.querySelectorAll("footer a")[0].childNodes[0].textContent ="Send Feedback";  //  🤔Reporting Issues, 💬Leave comments
-    document.querySelectorAll("footer a")[0].href = "https://github.com/xu-song/tokenizer-arena/issues";
-
-    // download button
-
-    // API
-    return 'Animation created';
-}
+function() {
+    // feedback
+    //$("footer a")["href"] = "https://github.com/xu-song/tokenizer-arena/issues"
+    //$("footer a").childNodes[0].textContent ="Send Feedback"
+
+
+//    <a href="https://gradio.app" class="built-with svelte-16bt5n8" target="_blank" rel="noreferrer">
+//          Built with Gradio <img src="http://127.0.0.1:7860/assets/logo-3707f936.svg" alt="logo" class="svelte-16bt5n8">
+//    </a>
+    console.log("nice")
+    document.querySelectorAll("footer a")[0].childNodes[0].textContent ="Send Feedback";  //  🤔Reporting Issues, 💬Leave comments
+    document.querySelectorAll("footer a")[0].href = "https://github.com/xu-song/tokenizer-arena/issues";
+
+    // download button
+
+    // API
+    return 'Animation created';
+}
+

js/onload_d3.js

@@ -0,0 +1,111 @@
+function(param) {
+    console.log("calling venn");
+    console.log(param);
+
+    var tokenizer1 = document.querySelector("#tokenizer1 input").value;
+    var tokenizer2 = document.querySelector("#tokenizer2 input").value;
+    console.log(tokenizer1);
+    console.log(tokenizer2);
+
+    console.log("calling onload_d3");
+    var sets = [
+        {"sets": [0], "label": "Llama", "size": 100, "data":"7854"},
+        {"sets": [1], "label": "GPT4o", "size": 100, "data":"8641"},
+        {"sets": [0, 1], "label": "", "size": 20, "data":"45"},
+    ];
+
+    var svgContainer = d3.select("#venn").append("svg")
+                                        .attr("width",100)
+                                        .attr("height",100)
+                                        .attr("style", "margin:auto");
+
+    var venngroup = svgContainer.append("g")    
+                .attr("id", "venngroup");
+
+
+    var chart = venn.VennDiagram()
+                    .width(100)
+                    .height(100 )
+                    .styled(false);
+
+    var div = d3.select("#venngroup")
+    div.datum(sets).call(chart);
+    var tooltip = d3.select("#tooltell").append("div")
+    .attr("class", "venntooltip");
+    div.selectAll("path")
+    .style("stroke-opacity", 0)
+    .style("stroke", "rgba(22,22,22,1)")
+    .style("stroke-width", 2)
+    .style("transform-origin", "50% 50%");
+
+    
+    div.selectAll("g.venn-area")
+    .on("mouseover", function(d, i) {
+        // sort all the areas relative to the current item
+        venn.sortAreas(div, d);
+        // Display a tooltip with the current size
+        tooltip.transition().duration(300).style("opacity", 1);
+        tooltip.text(d.data);
+
+    // d3.select("#venn").selectAll("path").transition("filter").duration(250).style("filter", "grayscale(20%)").style("filter", ("filter", "url(#desaturate)");
+    
+    //   var circleUnderMouse = this;
+    //  d3.select("#venn").selectAll("path").transition("opacity").duration(250).style("opacity",  function () {return (this === circleUnderMouse) ? 1.0 : 0.5;});
+    
+    
+    // d3.select(this).selectAll("path").transition("opacity").duration(250).style("fill-opacity", 1);
+        // d3.select(this).raise();
+        
+        // highlight the current path
+        var selection = d3.select(this).transition("tooltip").duration(300);
+        selection.select("path")
+            .style("fill-opacity", 1)
+            .style("stroke-opacity", 1)
+            .style("transform", "scale(1.01,1.01)")
+            .style("transform-origin", "50% 50%");
+    })
+    // .on("mousemove", function() {
+    //     tooltip.style("left", (d3.event.pageX) + "px")
+    //            .style("top", (d3.event.pageY - 28) + "px");
+    // })
+    .on("mouseout", function(d, i) {
+        tooltip.transition().duration(500).style("opacity", 0);
+        var selection = d3.select(this).transition("tooltip").duration(400);
+        selection.select("path")
+            .style("fill-opacity", d.sets.length == 1 ? 1 : 1)
+            .style("stroke-opacity", 0)
+            .style("transform", "scale(1,1)")
+            .style("transform-origin", "50% 50%");
+        // d3.select("#venn").selectAll("path").transition("opacity").duration(250).style("opacity", 1);
+        // d3.select(this).lower();
+
+    });
+
+    // 
+
+    // var myLabel = svg.append('foreignObject')
+    // .attr({
+    //     height: 150,
+    //     width: 100, // dimensions determined based on need
+    //     transform: 'translate(0,0)' // put it where you want it...
+    //     })
+    //     .html('<div class"style-me"><p>My label or other text</p></div>');
+
+    // svg.append('filter')
+    //   .attr('id','desaturate')
+    //   .append('feColorMatrix')
+    //   .attr('type','matrix')
+    //   .attr('values',"0.3333 0.3333 0.3333 0 0 0.3333 0.3333 0.3333 0 0 0.3333 0.3333 0.3333 0 0 0 0 0 1 0");
+
+    var stuffToBeWrapped = d3.selectAll("svg");
+
+    stuffToBeWrapped.each(function() {
+
+    d3.select( this.childNode ).insert("g", function(){return this;} ) 
+                //insert a new <g> element immediately before this element
+        .attr("class", "wrapper") //set anything you want to on the <g>
+        .append( function(){return this;} );
+                //move the content element into the group
+
+    });    
+}

js/venn.html

@@ -0,0 +1,1943 @@
+  
+  <script src="https://d3js.org/d3.v4.min.js"></script>
+  <script src="http://benfred.github.io/venn.js/venn.js"></script>
+  <!-- <script type="module" src="/gradio_api/file/js/load_json.js"></script> -->
+  <script>
+    (function(global, factory) {
+      typeof exports === 'object' && typeof module !== 'undefined' ? factory(exports, require('d3-selection'), require('d3-transition')) :
+        typeof define === 'function' && define.amd ? define(['exports', 'd3-selection', 'd3-transition'], factory) :
+        (factory((global.venn = {}), global.d3, global.d3));
+    }(this, (function(exports, d3Selection, d3Transition) {
+      'use strict';
+      var SMALL = 1e-10;
+      /** Returns the intersection area of a bunch of circles (where each circle
+       is an object having an x,y and radius property) */
+      function intersectionArea(circles, stats) {
+        // get all the intersection points of the circles
+        var intersectionPoints = getIntersectionPoints(circles);
+        // filter out points that aren't included in all the circles
+        var innerPoints = intersectionPoints.filter(function(p) {
+          return containedInCircles(p, circles);
+        });
+        var arcArea = 0,
+          polygonArea = 0,
+          arcs = [],
+          i;
+        // if we have intersection points that are within all the circles,
+        // then figure out the area contained by them
+        if (innerPoints.length > 1) {
+          // sort the points by angle from the center of the polygon, which lets
+          // us just iterate over points to get the edges
+          var center = getCenter(innerPoints);
+          for (i = 0; i < innerPoints.length; ++i) {
+            var p = innerPoints[i];
+            p.angle = Math.atan2(p.x - center.x, p.y - center.y);
+          }
+          innerPoints.sort(function(a, b) {
+            return b.angle - a.angle;
+          });
+          // iterate over all points, get arc between the points
+          // and update the areas
+          var p2 = innerPoints[innerPoints.length - 1];
+          for (i = 0; i < innerPoints.length; ++i) {
+            var p1 = innerPoints[i];
+            // polygon area updates easily ...
+            polygonArea += (p2.x + p1.x) * (p1.y - p2.y);
+            // updating the arc area is a little more involved
+            var midPoint = {
+                x: (p1.x + p2.x) / 2,
+                y: (p1.y + p2.y) / 2
+              },
+              arc = null;
+            for (var j = 0; j < p1.parentIndex.length; ++j) {
+              if (p2.parentIndex.indexOf(p1.parentIndex[j]) > -1) {
+                // figure out the angle halfway between the two points
+                // on the current circle
+                var circle = circles[p1.parentIndex[j]],
+                  a1 = Math.atan2(p1.x - circle.x, p1.y - circle.y),
+                  a2 = Math.atan2(p2.x - circle.x, p2.y - circle.y);
+                var angleDiff = (a2 - a1);
+                if (angleDiff < 0) {
+                  angleDiff += 2 * Math.PI;
+                }
+                // and use that angle to figure out the width of the
+                // arc
+                var a = a2 - angleDiff / 2,
+                  width = distance(midPoint, {
+                    x: circle.x + circle.radius * Math.sin(a),
+                    y: circle.y + circle.radius * Math.cos(a)
+                  });
+                // clamp the width to the largest is can actually be
+                // (sometimes slightly overflows because of FP errors)
+                if (width > circle.radius * 2) {
+                  width = circle.radius * 2;
+                }
+                // pick the circle whose arc has the smallest width
+                if ((arc === null) || (arc.width > width)) {
+                  arc = {
+                    circle: circle,
+                    width: width,
+                    p1: p1,
+                    p2: p2
+                  };
+                }
+              }
+            }
+            if (arc !== null) {
+              arcs.push(arc);
+              arcArea += circleArea(arc.circle.radius, arc.width);
+              p2 = p1;
+            }
+          }
+        } else {
+          // no intersection points, is either disjoint - or is completely
+          // overlapped. figure out which by examining the smallest circle
+          var smallest = circles[0];
+          for (i = 1; i < circles.length; ++i) {
+            if (circles[i].radius < smallest.radius) {
+              smallest = circles[i];
+            }
+          }
+          // make sure the smallest circle is completely contained in all
+          // the other circles
+          var disjoint = false;
+          for (i = 0; i < circles.length; ++i) {
+            if (distance(circles[i], smallest) > Math.abs(smallest.radius - circles[i].radius)) {
+              disjoint = true;
+              break;
+            }
+          }
+          if (disjoint) {
+            arcArea = polygonArea = 0;
+          } else {
+            arcArea = smallest.radius * smallest.radius * Math.PI;
+            arcs.push({
+              circle: smallest,
+              p1: {
+                x: smallest.x,
+                y: smallest.y + smallest.radius
+              },
+              p2: {
+                x: smallest.x - SMALL,
+                y: smallest.y + smallest.radius
+              },
+              width: smallest.radius * 2
+            });
+          }
+        }
+        polygonArea /= 2;
+        if (stats) {
+          stats.area = arcArea + polygonArea;
+          stats.arcArea = arcArea;
+          stats.polygonArea = polygonArea;
+          stats.arcs = arcs;
+          stats.innerPoints = innerPoints;
+          stats.intersectionPoints = intersectionPoints;
+        }
+        return arcArea + polygonArea;
+      }
+      /** returns whether a point is contained by all of a list of circles */
+      function containedInCircles(point, circles) {
+        for (var i = 0; i < circles.length; ++i) {
+          if (distance(point, circles[i]) > circles[i].radius + SMALL) {
+            return false;
+          }
+        }
+        return true;
+      }
+      /** Gets all intersection points between a bunch of circles */
+      function getIntersectionPoints(circles) {
+        var ret = [];
+        for (var i = 0; i < circles.length; ++i) {
+          for (var j = i + 1; j < circles.length; ++j) {
+            var intersect = circleCircleIntersection(circles[i],
+              circles[j]);
+            for (var k = 0; k < intersect.length; ++k) {
+              var p = intersect[k];
+              p.parentIndex = [i, j];
+              ret.push(p);
+            }
+          }
+        }
+        return ret;
+      }
+      /** Circular segment area calculation. See http://mathworld.wolfram.com/CircularSegment.html */
+      function circleArea(r, width) {
+        return r * r * Math.acos(1 - width / r) - (r - width) * Math.sqrt(width * (2 * r - width));
+      }
+      /** euclidean distance between two points */
+      function distance(p1, p2) {
+        return Math.sqrt((p1.x - p2.x) * (p1.x - p2.x) +
+          (p1.y - p2.y) * (p1.y - p2.y));
+      }
+      /** Returns the overlap area of two circles of radius r1 and r2 - that
+      have their centers separated by distance d. Simpler faster
+      circle intersection for only two circles */
+      function circleOverlap(r1, r2, d) {
+        // no overlap
+        if (d >= r1 + r2) {
+          return 0;
+        }
+        // completely overlapped
+        if (d <= Math.abs(r1 - r2)) {
+          return Math.PI * Math.min(r1, r2) * Math.min(r1, r2);
+        }
+        var w1 = r1 - (d * d - r2 * r2 + r1 * r1) / (2 * d),
+          w2 = r2 - (d * d - r1 * r1 + r2 * r2) / (2 * d);
+        return circleArea(r1, w1) + circleArea(r2, w2);
+      }
+      /** Given two circles (containing a x/y/radius attributes),
+      returns the intersecting points if possible.
+      note: doesn't handle cases where there are infinitely many
+      intersection points (circles are equivalent):, or only one intersection point*/
+      function circleCircleIntersection(p1, p2) {
+        var d = distance(p1, p2),
+          r1 = p1.radius,
+          r2 = p2.radius;
+        // if to far away, or self contained - can't be done
+        if ((d >= (r1 + r2)) || (d <= Math.abs(r1 - r2))) {
+          return [];
+        }
+        var a = (r1 * r1 - r2 * r2 + d * d) / (2 * d),
+          h = Math.sqrt(r1 * r1 - a * a),
+          x0 = p1.x + a * (p2.x - p1.x) / d,
+          y0 = p1.y + a * (p2.y - p1.y) / d,
+          rx = -(p2.y - p1.y) * (h / d),
+          ry = -(p2.x - p1.x) * (h / d);
+        return [{
+            x: x0 + rx,
+            y: y0 - ry
+          },
+          {
+            x: x0 - rx,
+            y: y0 + ry
+          }
+        ];
+      }
+      /** Returns the center of a bunch of points */
+      function getCenter(points) {
+        var center = {
+          x: 0,
+          y: 0
+        };
+        for (var i = 0; i < points.length; ++i) {
+          center.x += points[i].x;
+          center.y += points[i].y;
+        }
+        center.x /= points.length;
+        center.y /= points.length;
+        return center;
+      }
+      /** finds the zeros of a function, given two starting points (which must
+       * have opposite signs */
+      function bisect(f, a, b, parameters) {
+        parameters = parameters || {};
+        var maxIterations = parameters.maxIterations || 100,
+          tolerance = parameters.tolerance || 1e-10,
+          fA = f(a),
+          fB = f(b),
+          delta = b - a;
+        if (fA * fB > 0) {
+          throw "Initial bisect points must have opposite signs";
+        }
+        if (fA === 0) return a;
+        if (fB === 0) return b;
+        for (var i = 0; i < maxIterations; ++i) {
+          delta /= 2;
+          var mid = a + delta,
+            fMid = f(mid);
+          if (fMid * fA >= 0) {
+            a = mid;
+          }
+          if ((Math.abs(delta) < tolerance) || (fMid === 0)) {
+            return mid;
+          }
+        }
+        return a + delta;
+      }
+      // need some basic operations on vectors, rather than adding a dependency,
+      // just define here
+      function zeros(x) {
+        var r = new Array(x);
+        for (var i = 0; i < x; ++i) {
+          r[i] = 0;
+        }
+        return r;
+      }
+  
+      function zerosM(x, y) {
+        return zeros(x).map(function() {
+          return zeros(y);
+        });
+      }
+  
+      function dot(a, b) {
+        var ret = 0;
+        for (var i = 0; i < a.length; ++i) {
+          ret += a[i] * b[i];
+        }
+        return ret;
+      }
+  
+      function norm2(a) {
+        return Math.sqrt(dot(a, a));
+      }
+  
+      function scale(ret, value, c) {
+        for (var i = 0; i < value.length; ++i) {
+          ret[i] = value[i] * c;
+        }
+      }
+  
+      function weightedSum(ret, w1, v1, w2, v2) {
+        for (var j = 0; j < ret.length; ++j) {
+          ret[j] = w1 * v1[j] + w2 * v2[j];
+        }
+      }
+      /** minimizes a function using the downhill simplex method */
+      function nelderMead(f, x0, parameters) {
+        parameters = parameters || {};
+        var maxIterations = parameters.maxIterations || x0.length * 200,
+          nonZeroDelta = parameters.nonZeroDelta || 1.05,
+          zeroDelta = parameters.zeroDelta || 0.001,
+          minErrorDelta = parameters.minErrorDelta || 1e-6,
+          minTolerance = parameters.minErrorDelta || 1e-5,
+          rho = (parameters.rho !== undefined) ? parameters.rho : 1,
+          chi = (parameters.chi !== undefined) ? parameters.chi : 2,
+          psi = (parameters.psi !== undefined) ? parameters.psi : -0.5,
+          sigma = (parameters.sigma !== undefined) ? parameters.sigma : 0.5,
+          maxDiff;
+        // initialize simplex.
+        var N = x0.length,
+          simplex = new Array(N + 1);
+        simplex[0] = x0;
+        simplex[0].fx = f(x0);
+        simplex[0].id = 0;
+        for (var i = 0; i < N; ++i) {
+          var point = x0.slice();
+          point[i] = point[i] ? point[i] * nonZeroDelta : zeroDelta;
+          simplex[i + 1] = point;
+          simplex[i + 1].fx = f(point);
+          simplex[i + 1].id = i + 1;
+        }
+  
+        function updateSimplex(value) {
+          for (var i = 0; i < value.length; i++) {
+            simplex[N][i] = value[i];
+          }
+          simplex[N].fx = value.fx;
+        }
+        var sortOrder = function(a, b) {
+          return a.fx - b.fx;
+        };
+        var centroid = x0.slice(),
+          reflected = x0.slice(),
+          contracted = x0.slice(),
+          expanded = x0.slice();
+        for (var iteration = 0; iteration < maxIterations; ++iteration) {
+          simplex.sort(sortOrder);
+          if (parameters.history) {
+            // copy the simplex (since later iterations will mutate) and
+            // sort it to have a consistent order between iterations
+            var sortedSimplex = simplex.map(function(x) {
+              var state = x.slice();
+              state.fx = x.fx;
+              state.id = x.id;
+              return state;
+            });
+            sortedSimplex.sort(function(a, b) {
+              return a.id - b.id;
+            });
+            parameters.history.push({
+              x: simplex[0].slice(),
+              fx: simplex[0].fx,
+              simplex: sortedSimplex
+            });
+          }
+          maxDiff = 0;
+          for (i = 0; i < N; ++i) {
+            maxDiff = Math.max(maxDiff, Math.abs(simplex[0][i] - simplex[1][i]));
+          }
+          if ((Math.abs(simplex[0].fx - simplex[N].fx) < minErrorDelta) &&
+            (maxDiff < minTolerance)) {
+            break;
+          }
+          // compute the centroid of all but the worst point in the simplex
+          for (i = 0; i < N; ++i) {
+            centroid[i] = 0;
+            for (var j = 0; j < N; ++j) {
+              centroid[i] += simplex[j][i];
+            }
+            centroid[i] /= N;
+          }
+          // reflect the worst point past the centroid  and compute loss at reflected
+          // point
+          var worst = simplex[N];
+          weightedSum(reflected, 1 + rho, centroid, -rho, worst);
+          reflected.fx = f(reflected);
+          // if the reflected point is the best seen, then possibly expand
+          if (reflected.fx < simplex[0].fx) {
+            weightedSum(expanded, 1 + chi, centroid, -chi, worst);
+            expanded.fx = f(expanded);
+            if (expanded.fx < reflected.fx) {
+              updateSimplex(expanded);
+            } else {
+              updateSimplex(reflected);
+            }
+          }
+          // if the reflected point is worse than the second worst, we need to
+          // contract
+          else if (reflected.fx >= simplex[N - 1].fx) {
+            var shouldReduce = false;
+            if (reflected.fx > worst.fx) {
+              // do an inside contraction
+              weightedSum(contracted, 1 + psi, centroid, -psi, worst);
+              contracted.fx = f(contracted);
+              if (contracted.fx < worst.fx) {
+                updateSimplex(contracted);
+              } else {
+                shouldReduce = true;
+              }
+            } else {
+              // do an outside contraction
+              weightedSum(contracted, 1 - psi * rho, centroid, psi * rho, worst);
+              contracted.fx = f(contracted);
+              if (contracted.fx < reflected.fx) {
+                updateSimplex(contracted);
+              } else {
+                shouldReduce = true;
+              }
+            }
+            if (shouldReduce) {
+              // if we don't contract here, we're done
+              if (sigma >= 1) break;
+              // do a reduction
+              for (i = 1; i < simplex.length; ++i) {
+                weightedSum(simplex[i], 1 - sigma, simplex[0], sigma, simplex[i]);
+                simplex[i].fx = f(simplex[i]);
+              }
+            }
+          } else {
+            updateSimplex(reflected);
+          }
+        }
+        simplex.sort(sortOrder);
+        return {
+          fx: simplex[0].fx,
+          x: simplex[0]
+        };
+      }
+      /// searches along line 'pk' for a point that satifies the wolfe conditions
+      /// See 'Numerical Optimization' by Nocedal and Wright p59-60
+      /// f : objective function
+      /// pk : search direction
+      /// current: object containing current gradient/loss
+      /// next: output: contains next gradient/loss
+      /// returns a: step size taken
+      function wolfeLineSearch(f, pk, current, next, a, c1, c2) {
+        var phi0 = current.fx,
+          phiPrime0 = dot(current.fxprime, pk),
+          phi = phi0,
+          phi_old = phi0,
+          phiPrime = phiPrime0,
+          a0 = 0;
+        a = a || 1;
+        c1 = c1 || 1e-6;
+        c2 = c2 || 0.1;
+  
+        function zoom(a_lo, a_high, phi_lo) {
+          for (var iteration = 0; iteration < 16; ++iteration) {
+            a = (a_lo + a_high) / 2;
+            weightedSum(next.x, 1.0, current.x, a, pk);
+            phi = next.fx = f(next.x, next.fxprime);
+            phiPrime = dot(next.fxprime, pk);
+            if ((phi > (phi0 + c1 * a * phiPrime0)) ||
+              (phi >= phi_lo)) {
+              a_high = a;
+            } else {
+              if (Math.abs(phiPrime) <= -c2 * phiPrime0) {
+                return a;
+              }
+              if (phiPrime * (a_high - a_lo) >= 0) {
+                a_high = a_lo;
+              }
+              a_lo = a;
+              phi_lo = phi;
+            }
+          }
+          return 0;
+        }
+        for (var iteration = 0; iteration < 10; ++iteration) {
+          weightedSum(next.x, 1.0, current.x, a, pk);
+          phi = next.fx = f(next.x, next.fxprime);
+          phiPrime = dot(next.fxprime, pk);
+          if ((phi > (phi0 + c1 * a * phiPrime0)) ||
+            (iteration && (phi >= phi_old))) {
+            return zoom(a0, a, phi_old);
+          }
+          if (Math.abs(phiPrime) <= -c2 * phiPrime0) {
+            return a;
+          }
+          if (phiPrime >= 0) {
+            return zoom(a, a0, phi);
+          }
+          phi_old = phi;
+          a0 = a;
+          a *= 2;
+        }
+        return a;
+      }
+  
+      function conjugateGradient(f, initial, params) {
+        // allocate all memory up front here, keep out of the loop for perfomance
+        // reasons
+        var current = {
+            x: initial.slice(),
+            fx: 0,
+            fxprime: initial.slice()
+          },
+          next = {
+            x: initial.slice(),
+            fx: 0,
+            fxprime: initial.slice()
+          },
+          yk = initial.slice(),
+          pk, temp,
+          a = 1,
+          maxIterations;
+        params = params || {};
+        maxIterations = params.maxIterations || initial.length * 20;
+        current.fx = f(current.x, current.fxprime);
+        pk = current.fxprime.slice();
+        scale(pk, current.fxprime, -1);
+        for (var i = 0; i < maxIterations; ++i) {
+          a = wolfeLineSearch(f, pk, current, next, a);
+          // todo: history in wrong spot?
+          if (params.history) {
+            params.history.push({
+              x: current.x.slice(),
+              fx: current.fx,
+              fxprime: current.fxprime.slice(),
+              alpha: a
+            });
+          }
+          if (!a) {
+            // faiiled to find point that satifies wolfe conditions.
+            // reset direction for next iteration
+            scale(pk, current.fxprime, -1);
+          } else {
+            // update direction using Polak–Ribiere CG method
+            weightedSum(yk, 1, next.fxprime, -1, current.fxprime);
+            var delta_k = dot(current.fxprime, current.fxprime),
+              beta_k = Math.max(0, dot(yk, next.fxprime) / delta_k);
+            weightedSum(pk, beta_k, pk, -1, next.fxprime);
+            temp = current;
+            current = next;
+            next = temp;
+          }
+          if (norm2(current.fxprime) <= 1e-5) {
+            break;
+          }
+        }
+        if (params.history) {
+          params.history.push({
+            x: current.x.slice(),
+            fx: current.fx,
+            fxprime: current.fxprime.slice(),
+            alpha: a
+          });
+        }
+        return current;
+      }
+      /** given a list of set objects, and their corresponding overlaps.
+      updates the (x, y, radius) attribute on each set such that their positions
+      roughly correspond to the desired overlaps */
+      function venn(areas, parameters) {
+        parameters = parameters || {};
+        parameters.maxIterations = parameters.maxIterations || 500;
+        var initialLayout = parameters.initialLayout || bestInitialLayout;
+        var loss = parameters.lossFunction || lossFunction;
+        // add in missing pairwise areas as having 0 size
+        areas = addMissingAreas(areas);
+        // initial layout is done greedily
+        var circles = initialLayout(areas, parameters);
+        // transform x/y coordinates to a vector to optimize
+        var initial = [],
+          setids = [],
+          setid;
+        for (setid in circles) {
+          if (circles.hasOwnProperty(setid)) {
+            initial.push(circles[setid].x);
+            initial.push(circles[setid].y);
+            setids.push(setid);
+          }
+        }
+        // optimize initial layout from our loss function
+        var solution = nelderMead(
+          function(values) {
+            var current = {};
+            for (var i = 0; i < setids.length; ++i) {
+              var setid = setids[i];
+              current[setid] = {
+                x: values[2 * i],
+                y: values[2 * i + 1],
+                radius: circles[setid].radius,
+                // size : circles[setid].size
+              };
+            }
+            return loss(current, areas);
+          },
+          initial,
+          parameters);
+        // transform solution vector back to x/y points
+        var positions = solution.x;
+        for (var i = 0; i < setids.length; ++i) {
+          setid = setids[i];
+          circles[setid].x = positions[2 * i];
+          circles[setid].y = positions[2 * i + 1];
+        }
+        return circles;
+      }
+      var SMALL$1 = 1e-10;
+      /** Returns the distance necessary for two circles of radius r1 + r2 to
+      have the overlap area 'overlap' */
+      function distanceFromIntersectArea(r1, r2, overlap) {
+        // handle complete overlapped circles
+        if (Math.min(r1, r2) * Math.min(r1, r2) * Math.PI <= overlap + SMALL$1) {
+          return Math.abs(r1 - r2);
+        }
+        return bisect(function(distance$$1) {
+          return circleOverlap(r1, r2, distance$$1) - overlap;
+        }, 0, r1 + r2);
+      }
+      /** Missing pair-wise intersection area data can cause problems:
+       treating as an unknown means that sets will be laid out overlapping,
+       which isn't what people expect. To reflect that we want disjoint sets
+       here, set the overlap to 0 for all missing pairwise set intersections */
+      function addMissingAreas(areas) {
+        areas = areas.slice();
+        // two circle intersections that aren't defined
+        var ids = [],
+          pairs = {},
+          i, j, a, b;
+        for (i = 0; i < areas.length; ++i) {
+          var area = areas[i];
+          if (area.sets.length == 1) {
+            ids.push(area.sets[0]);
+          } else if (area.sets.length == 2) {
+            a = area.sets[0];
+            b = area.sets[1];
+            pairs[[a, b]] = true;
+            pairs[[b, a]] = true;
+          }
+        }
+        ids.sort(function(a, b) {
+          return a > b;
+        });
+        for (i = 0; i < ids.length; ++i) {
+          a = ids[i];
+          for (j = i + 1; j < ids.length; ++j) {
+            b = ids[j];
+            if (!([a, b] in pairs)) {
+              areas.push({
+                'sets': [a, b],
+                'size': 0
+              });
+            }
+          }
+        }
+        return areas;
+      }
+      /// Returns two matrices, one of the euclidean distances between the sets
+      /// and the other indicating if there are subset or disjoint set relationships
+      function getDistanceMatrices(areas, sets, setids) {
+        // initialize an empty distance matrix between all the points
+        var distances = zerosM(sets.length, sets.length),
+          constraints = zerosM(sets.length, sets.length);
+        // compute required distances between all the sets such that
+        // the areas match
+        areas.filter(function(x) {
+            return x.sets.length == 2;
+          })
+          .map(function(current) {
+            var left = setids[current.sets[0]],
+              right = setids[current.sets[1]],
+              r1 = Math.sqrt(sets[left].size / Math.PI),
+              r2 = Math.sqrt(sets[right].size / Math.PI),
+              distance$$1 = distanceFromIntersectArea(r1, r2, current.size);
+            distances[left][right] = distances[right][left] = distance$$1;
+            // also update constraints to indicate if its a subset or disjoint
+            // relationship
+            var c = 0;
+            if (current.size + 1e-10 >= Math.min(sets[left].size,
+                sets[right].size)) {
+              c = 1;
+            } else if (current.size <= 1e-10) {
+              c = -1;
+            }
+            constraints[left][right] = constraints[right][left] = c;
+          });
+        return {
+          distances: distances,
+          constraints: constraints
+        };
+      }
+      /// computes the gradient and loss simulatenously for our constrained MDS optimizer
+      function constrainedMDSGradient(x, fxprime, distances, constraints) {
+        var loss = 0,
+          i;
+        for (i = 0; i < fxprime.length; ++i) {
+          fxprime[i] = 0;
+        }
+        for (i = 0; i < distances.length; ++i) {
+          var xi = x[2 * i],
+            yi = x[2 * i + 1];
+          for (var j = i + 1; j < distances.length; ++j) {
+            var xj = x[2 * j],
+              yj = x[2 * j + 1],
+              dij = distances[i][j],
+              constraint = constraints[i][j];
+            var squaredDistance = (xj - xi) * (xj - xi) + (yj - yi) * (yj - yi),
+              distance$$1 = Math.sqrt(squaredDistance),
+              delta = squaredDistance - dij * dij;
+            if (((constraint > 0) && (distance$$1 <= dij)) ||
+              ((constraint < 0) && (distance$$1 >= dij))) {
+              continue;
+            }
+            loss += 2 * delta * delta;
+            fxprime[2 * i] += 4 * delta * (xi - xj);
+            fxprime[2 * i + 1] += 4 * delta * (yi - yj);
+            fxprime[2 * j] += 4 * delta * (xj - xi);
+            fxprime[2 * j + 1] += 4 * delta * (yj - yi);
+          }
+        }
+        return loss;
+      }
+      /// takes the best working variant of either constrained MDS or greedy
+      function bestInitialLayout(areas, params) {
+        var initial = greedyLayout(areas, params);
+        var loss = params.lossFunction || lossFunction;
+        // greedylayout is sufficient for all 2/3 circle cases. try out
+        // constrained MDS for higher order problems, take its output
+        // if it outperforms. (greedy is aesthetically better on 2/3 circles
+        // since it axis aligns)
+        if (areas.length >= 8) {
+          var constrained = constrainedMDSLayout(areas, params),
+            constrainedLoss = loss(constrained, areas),
+            greedyLoss = loss(initial, areas);
+          if (constrainedLoss + 1e-8 < greedyLoss) {
+            initial = constrained;
+          }
+        }
+        return initial;
+      }
+      /// use the constrained MDS variant to generate an initial layout
+      function constrainedMDSLayout(areas, params) {
+        params = params || {};
+        var restarts = params.restarts || 10;
+        // bidirectionally map sets to a rowid  (so we can create a matrix)
+        var sets = [],
+          setids = {},
+          i;
+        for (i = 0; i < areas.length; ++i) {
+          var area = areas[i];
+          if (area.sets.length == 1) {
+            setids[area.sets[0]] = sets.length;
+            sets.push(area);
+          }
+        }
+        var matrices = getDistanceMatrices(areas, sets, setids),
+          distances = matrices.distances,
+          constraints = matrices.constraints;
+        // keep distances bounded, things get messed up otherwise.
+        // TODO: proper preconditioner?
+        var norm = norm2(distances.map(norm2)) / (distances.length);
+        distances = distances.map(function(row) {
+          return row.map(function(value) {
+            return value / norm;
+          });
+        });
+        var obj = function(x, fxprime) {
+          return constrainedMDSGradient(x, fxprime, distances, constraints);
+        };
+        var best, current;
+        for (i = 0; i < restarts; ++i) {
+          var initial = zeros(distances.length * 2).map(Math.random);
+          current = conjugateGradient(obj, initial, params);
+          if (!best || (current.fx < best.fx)) {
+            best = current;
+          }
+        }
+        var positions = best.x;
+        // translate rows back to (x,y,radius) coordinates
+        var circles = {};
+        for (i = 0; i < sets.length; ++i) {
+          var set = sets[i];
+          circles[set.sets[0]] = {
+            x: positions[2 * i] * norm,
+            y: positions[2 * i + 1] * norm,
+            radius: Math.sqrt(set.size / Math.PI)
+          };
+        }
+        if (params.history) {
+          for (i = 0; i < params.history.length; ++i) {
+            scale(params.history[i].x, norm);
+          }
+        }
+        return circles;
+      }
+      /** Lays out a Venn diagram greedily, going from most overlapped sets to
+      least overlapped, attempting to position each new set such that the
+      overlapping areas to already positioned sets are basically right */
+      function greedyLayout(areas, params) {
+        var loss = params && params.lossFunction ? params.lossFunction : lossFunction;
+        // define a circle for each set
+        var circles = {},
+          setOverlaps = {},
+          set;
+        for (var i = 0; i < areas.length; ++i) {
+          var area = areas[i];
+          if (area.sets.length == 1) {
+            set = area.sets[0];
+            circles[set] = {
+              x: 1e10,
+              y: 1e10,
+              rowid: circles.length,
+              size: area.size,
+              radius: Math.sqrt(area.size / Math.PI)
+            };
+            setOverlaps[set] = [];
+          }
+        }
+        areas = areas.filter(function(a) {
+          return a.sets.length == 2;
+        });
+        // map each set to a list of all the other sets that overlap it
+        for (i = 0; i < areas.length; ++i) {
+          var current = areas[i];
+          var weight = current.hasOwnProperty('weight') ? current.weight : 1.0;
+          var left = current.sets[0],
+            right = current.sets[1];
+          // completely overlapped circles shouldn't be positioned early here
+          if (current.size + SMALL$1 >= Math.min(circles[left].size,
+              circles[right].size)) {
+            weight = 0;
+          }
+          setOverlaps[left].push({
+            set: right,
+            size: current.size,
+            weight: weight
+          });
+          setOverlaps[right].push({
+            set: left,
+            size: current.size,
+            weight: weight
+          });
+        }
+        // get list of most overlapped sets
+        var mostOverlapped = [];
+        for (set in setOverlaps) {
+          if (setOverlaps.hasOwnProperty(set)) {
+            var size = 0;
+            for (i = 0; i < setOverlaps[set].length; ++i) {
+              size += setOverlaps[set][i].size * setOverlaps[set][i].weight;
+            }
+            mostOverlapped.push({
+              set: set,
+              size: size
+            });
+          }
+        }
+        // sort by size desc
+        function sortOrder(a, b) {
+          return b.size - a.size;
+        }
+        mostOverlapped.sort(sortOrder);
+        // keep track of what sets have been laid out
+        var positioned = {};
+  
+        function isPositioned(element) {
+          return element.set in positioned;
+        }
+        // adds a point to the output
+        function positionSet(point, index) {
+          circles[index].x = point.x;
+          circles[index].y = point.y;
+          positioned[index] = true;
+        }
+        // add most overlapped set at (0,0)
+        positionSet({
+          x: 0,
+          y: 0
+        }, mostOverlapped[0].set);
+        // get distances between all points. TODO, necessary?
+        // answer: probably not
+        // var distances = venn.getDistanceMatrices(circles, areas).distances;
+        for (i = 1; i < mostOverlapped.length; ++i) {
+          var setIndex = mostOverlapped[i].set,
+            overlap = setOverlaps[setIndex].filter(isPositioned);
+          set = circles[setIndex];
+          overlap.sort(sortOrder);
+          if (overlap.length === 0) {
+            // this shouldn't happen anymore with addMissingAreas
+            throw "ERROR: missing pairwise overlap information";
+          }
+          var points = [];
+          for (var j = 0; j < overlap.length; ++j) {
+            // get appropriate distance from most overlapped already added set
+            var p1 = circles[overlap[j].set],
+              d1 = distanceFromIntersectArea(set.radius, p1.radius,
+                overlap[j].size);
+            // sample positions at 90 degrees for maximum aesthetics
+            points.push({
+              x: p1.x + d1,
+              y: p1.y
+            });
+            points.push({
+              x: p1.x - d1,
+              y: p1.y
+            });
+            points.push({
+              y: p1.y + d1,
+              x: p1.x
+            });
+            points.push({
+              y: p1.y - d1,
+              x: p1.x
+            });
+            // if we have at least 2 overlaps, then figure out where the
+            // set should be positioned analytically and try those too
+            for (var k = j + 1; k < overlap.length; ++k) {
+              var p2 = circles[overlap[k].set],
+                d2 = distanceFromIntersectArea(set.radius, p2.radius,
+                  overlap[k].size);
+              var extraPoints = circleCircleIntersection({
+                x: p1.x,
+                y: p1.y,
+                radius: d1
+              }, {
+                x: p2.x,
+                y: p2.y,
+                radius: d2
+              });
+              for (var l = 0; l < extraPoints.length; ++l) {
+                points.push(extraPoints[l]);
+              }
+            }
+          }
+          // we have some candidate positions for the set, examine loss
+          // at each position to figure out where to put it at
+          var bestLoss = 1e50,
+            bestPoint = points[0];
+          for (j = 0; j < points.length; ++j) {
+            circles[setIndex].x = points[j].x;
+            circles[setIndex].y = points[j].y;
+            var localLoss = loss(circles, areas);
+            if (localLoss < bestLoss) {
+              bestLoss = localLoss;
+              bestPoint = points[j];
+            }
+          }
+          positionSet(bestPoint, setIndex);
+        }
+        return circles;
+      }
+      /** Given a bunch of sets, and the desired overlaps between these sets - computes
+      the distance from the actual overlaps to the desired overlaps. Note that
+      this method ignores overlaps of more than 2 circles */
+      function lossFunction(sets, overlaps) {
+        var output = 0;
+  
+        function getCircles(indices) {
+          return indices.map(function(i) {
+            return sets[i];
+          });
+        }
+        for (var i = 0; i < overlaps.length; ++i) {
+          var area = overlaps[i],
+            overlap;
+          if (area.sets.length == 1) {
+            continue;
+          } else if (area.sets.length == 2) {
+            var left = sets[area.sets[0]],
+              right = sets[area.sets[1]];
+            overlap = circleOverlap(left.radius, right.radius,
+              distance(left, right));
+          } else {
+            overlap = intersectionArea(getCircles(area.sets));
+          }
+          var weight = area.hasOwnProperty('weight') ? area.weight : 1.0;
+          output += weight * (overlap - area.size) * (overlap - area.size);
+        }
+        return output;
+      }
+      // orientates a bunch of circles to point in orientation
+      function orientateCircles(circles, orientation, orientationOrder) {
+        if (orientationOrder === null) {
+          circles.sort(function(a, b) {
+            return b.radius - a.radius;
+          });
+        } else {
+          circles.sort(orientationOrder);
+        }
+        var i;
+        // shift circles so largest circle is at (0, 0)
+        if (circles.length > 0) {
+          var largestX = circles[0].x,
+            largestY = circles[0].y;
+          for (i = 0; i < circles.length; ++i) {
+            circles[i].x -= largestX;
+            circles[i].y -= largestY;
+          }
+        }
+        if (circles.length == 2) {
+          // if the second circle is a subset of the first, arrange so that
+          // it is off to one side. hack for https://github.com/benfred/venn.js/issues/120
+          var dist = distance(circles[0], circles[1]);
+          if (dist < Math.abs(circles[1].radius - circles[0].radius)) {
+            circles[1].x = circles[0].x + circles[0].radius - circles[1].radius - 1e-10;
+            circles[1].y = circles[0].y;
+          }
+        }
+        // rotate circles so that second largest is at an angle of 'orientation'
+        // from largest
+        if (circles.length > 1) {
+          var rotation = Math.atan2(circles[1].x, circles[1].y) - orientation,
+            c = Math.cos(rotation),
+            s = Math.sin(rotation),
+            x, y;
+          for (i = 0; i < circles.length; ++i) {
+            x = circles[i].x;
+            y = circles[i].y;
+            circles[i].x = c * x - s * y;
+            circles[i].y = s * x + c * y;
+          }
+        }
+        // mirror solution if third solution is above plane specified by
+        // first two circles
+        if (circles.length > 2) {
+          var angle = Math.atan2(circles[2].x, circles[2].y) - orientation;
+          while (angle < 0) {
+            angle += 2 * Math.PI;
+          }
+          while (angle > 2 * Math.PI) {
+            angle -= 2 * Math.PI;
+          }
+          if (angle > Math.PI) {
+            var slope = circles[1].y / (1e-10 + circles[1].x);
+            for (i = 0; i < circles.length; ++i) {
+              var d = (circles[i].x + slope * circles[i].y) / (1 + slope * slope);
+              circles[i].x = 2 * d - circles[i].x;
+              circles[i].y = 2 * d * slope - circles[i].y;
+            }
+          }
+        }
+      }
+  
+      function disjointCluster(circles) {
+        // union-find clustering to get disjoint sets
+        circles.map(function(circle) {
+          circle.parent = circle;
+        });
+        // path compression step in union find
+        function find(circle) {
+          if (circle.parent !== circle) {
+            circle.parent = find(circle.parent);
+          }
+          return circle.parent;
+        }
+  
+        function union(x, y) {
+          var xRoot = find(x),
+            yRoot = find(y);
+          xRoot.parent = yRoot;
+        }
+        // get the union of all overlapping sets
+        for (var i = 0; i < circles.length; ++i) {
+          for (var j = i + 1; j < circles.length; ++j) {
+            var maxDistance = circles[i].radius + circles[j].radius;
+            if (distance(circles[i], circles[j]) + 1e-10 < maxDistance) {
+              union(circles[j], circles[i]);
+            }
+          }
+        }
+        // find all the disjoint clusters and group them together
+        var disjointClusters = {},
+          setid;
+        for (i = 0; i < circles.length; ++i) {
+          setid = find(circles[i]).parent.setid;
+          if (!(setid in disjointClusters)) {
+            disjointClusters[setid] = [];
+          }
+          disjointClusters[setid].push(circles[i]);
+        }
+        // cleanup bookkeeping
+        circles.map(function(circle) {
+          delete circle.parent;
+        });
+        // return in more usable form
+        var ret = [];
+        for (setid in disjointClusters) {
+          if (disjointClusters.hasOwnProperty(setid)) {
+            ret.push(disjointClusters[setid]);
+          }
+        }
+        return ret;
+      }
+  
+      function getBoundingBox(circles) {
+        var minMax = function(d) {
+          var hi = Math.max.apply(null, circles.map(
+              function(c) {
+                return c[d] + c.radius;
+              })),
+            lo = Math.min.apply(null, circles.map(
+              function(c) {
+                return c[d] - c.radius;
+              }));
+          return {
+            max: hi,
+            min: lo
+          };
+        };
+        return {
+          xRange: minMax('x'),
+          yRange: minMax('y')
+        };
+      }
+  
+      function normalizeSolution(solution, orientation, orientationOrder) {
+        if (orientation === null) {
+          orientation = Math.PI / 2;
+        }
+        // work with a list instead of a dictionary, and take a copy so we
+        // don't mutate input
+        var circles = [],
+          i, setid;
+        for (setid in solution) {
+          if (solution.hasOwnProperty(setid)) {
+            var previous = solution[setid];
+            circles.push({
+              x: previous.x,
+              y: previous.y,
+              radius: previous.radius,
+              setid: setid
+            });
+          }
+        }
+        // get all the disjoint clusters
+        var clusters = disjointCluster(circles);
+        // orientate all disjoint sets, get sizes
+        for (i = 0; i < clusters.length; ++i) {
+          orientateCircles(clusters[i], orientation, orientationOrder);
+          var bounds = getBoundingBox(clusters[i]);
+          clusters[i].size = (bounds.xRange.max - bounds.xRange.min) * (bounds.yRange.max - bounds.yRange.min);
+          clusters[i].bounds = bounds;
+        }
+        clusters.sort(function(a, b) {
+          return b.size - a.size;
+        });
+        // orientate the largest at 0,0, and get the bounds
+        circles = clusters[0];
+        var returnBounds = circles.bounds;
+        var spacing = (returnBounds.xRange.max - returnBounds.xRange.min) / 50;
+  
+        function addCluster(cluster, right, bottom) {
+          if (!cluster) return;
+          var bounds = cluster.bounds,
+            xOffset, yOffset, centreing;
+          if (right) {
+            xOffset = returnBounds.xRange.max - bounds.xRange.min + spacing;
+          } else {
+            xOffset = returnBounds.xRange.max - bounds.xRange.max;
+            centreing = (bounds.xRange.max - bounds.xRange.min) / 2 -
+              (returnBounds.xRange.max - returnBounds.xRange.min) / 2;
+            if (centreing < 0) xOffset += centreing;
+          }
+          if (bottom) {
+            yOffset = returnBounds.yRange.max - bounds.yRange.min + spacing;
+          } else {
+            yOffset = returnBounds.yRange.max - bounds.yRange.max;
+            centreing = (bounds.yRange.max - bounds.yRange.min) / 2 -
+              (returnBounds.yRange.max - returnBounds.yRange.min) / 2;
+            if (centreing < 0) yOffset += centreing;
+          }
+          for (var j = 0; j < cluster.length; ++j) {
+            cluster[j].x += xOffset;
+            cluster[j].y += yOffset;
+            circles.push(cluster[j]);
+          }
+        }
+        var index = 1;
+        while (index < clusters.length) {
+          addCluster(clusters[index], true, false);
+          addCluster(clusters[index + 1], false, true);
+          addCluster(clusters[index + 2], true, true);
+          index += 3;
+          // have one cluster (in top left). lay out next three relative
+          // to it in a grid
+          returnBounds = getBoundingBox(circles);
+        }
+        // convert back to solution form
+        var ret = {};
+        for (i = 0; i < circles.length; ++i) {
+          ret[circles[i].setid] = circles[i];
+        }
+        return ret;
+      }
+      /** Scales a solution from venn.venn or venn.greedyLayout such that it fits in
+      a rectangle of width/height - with padding around the borders. also
+      centers the diagram in the available space at the same time */
+      function scaleSolution(solution, width, height, padding) {
+        var circles = [],
+          setids = [];
+        for (var setid in solution) {
+          if (solution.hasOwnProperty(setid)) {
+            setids.push(setid);
+            circles.push(solution[setid]);
+          }
+        }
+        width -= 2 * padding;
+        height -= 2 * padding;
+        var bounds = getBoundingBox(circles),
+          xRange = bounds.xRange,
+          yRange = bounds.yRange;
+        if ((xRange.max == xRange.min) ||
+          (yRange.max == yRange.min)) {
+          console.log("not scaling solution: zero size detected");
+          return solution;
+        }
+        var xScaling = width / (xRange.max - xRange.min),
+          yScaling = height / (yRange.max - yRange.min),
+          scaling = Math.min(yScaling, xScaling),
+          // while we're at it, center the diagram too
+          xOffset = (width - (xRange.max - xRange.min) * scaling) / 2,
+          yOffset = (height - (yRange.max - yRange.min) * scaling) / 2;
+        var scaled = {};
+        for (var i = 0; i < circles.length; ++i) {
+          var circle = circles[i];
+          scaled[setids[i]] = {
+            radius: scaling * circle.radius,
+            x: padding + xOffset + (circle.x - xRange.min) * scaling,
+            y: padding + yOffset + (circle.y - yRange.min) * scaling,
+          };
+        }
+        return scaled;
+      }
+      /*global console:true*/
+      function VennDiagram() {
+        var width = 600,
+          height = 350,
+          padding = 15,
+          duration = 1000,
+          orientation = Math.PI / 2,
+          normalize = true,
+          wrap = true,
+          styled = true,
+          fontSize = null,
+          orientationOrder = null,
+          // mimic the behaviour of d3.scale.category10 from the previous
+          // version of d3
+          colourMap = {},
+          // so this is the same as d3.schemeCategory10, which is only defined in d3 4.0
+          // since we can support older versions of d3 as long as we don't force this,
+          // I'm hackily redefining below. TODO: remove this and change to d3.schemeCategory10
+          colourScheme = ["#ffffff", "#ff7f0e", "#2ca02c", "#d62728", "#9467bd", "#8c564b", "#e377c2", "#7f7f7f", "#000000", "#17becf"],
+          colourIndex = 0,
+          colours = function(key) {
+            if (key in colourMap) {
+              return colourMap[key];
+            }
+            var ret = colourMap[key] = colourScheme[colourIndex];
+            colourIndex += 1;
+            if (colourIndex >= colourScheme.length) {
+              colourIndex = 0;
+            }
+            return ret;
+          },
+          layoutFunction = venn,
+          loss = lossFunction;
+  
+        function chart(selection) {
+          var data = selection.datum();
+          // handle 0-sized sets by removing from input
+          var toremove = {};
+          data.forEach(function(datum) {
+            if ((datum.size == 0) && datum.sets.length == 1) {
+              toremove[datum.sets[0]] = 1;
+            }
+          });
+          data = data.filter(function(datum) {
+            return !datum.sets.some(function(set) {
+              return set in toremove;
+            });
+          });
+          var circles = {};
+          var textCentres = {};
+          if (data.length > 0) {
+            var solution = layoutFunction(data, {
+              lossFunction: loss
+            });
+            if (normalize) {
+              solution = normalizeSolution(solution,
+                orientation,
+                orientationOrder);
+            }
+            circles = scaleSolution(solution, width, height, padding);
+            textCentres = computeTextCentres(circles, data);
+          }
+          // Figure out the current label for each set. These can change
+          // and D3 won't necessarily update (fixes https://github.com/benfred/venn.js/issues/103)
+          var labels = {};
+          data.forEach(function(datum) {
+            if (datum.label) {
+              labels[datum.sets] = datum.label;
+            }
+          });
+  
+          function label(d) {
+            if (d.sets in labels) {
+              return labels[d.sets];
+            }
+            if (d.sets.length == 1) {
+              return '' + d.sets[0];
+            }
+          }
+          // create svg if not already existing
+          selection.selectAll("svg").data([circles]).enter().append("svg");
+          var svg = selection.select("svg")
+            .attr("width", width)
+            .attr("height", height);
+          // to properly transition intersection areas, we need the
+          // previous circles locations. load from elements
+          var previous = {},
+            hasPrevious = false;
+          svg.selectAll(".venn-area path").each(function(d) {
+            var path = d3Selection.select(this).attr("d");
+            if ((d.sets.length == 1) && path) {
+              hasPrevious = true;
+              previous[d.sets[0]] = circleFromPath(path);
+            }
+          });
+          // interpolate intersection area paths between previous and
+          // current paths
+          var pathTween = function(d) {
+            return function(t) {
+              var c = d.sets.map(function(set) {
+                var start = previous[set],
+                  end = circles[set];
+                if (!start) {
+                  start = {
+                    x: width / 2,
+                    y: height / 2,
+                    radius: 1
+                  };
+                }
+                if (!end) {
+                  end = {
+                    x: width / 2,
+                    y: height / 2,
+                    radius: 1
+                  };
+                }
+                return {
+                  'x': start.x * (1 - t) + end.x * t,
+                  'y': start.y * (1 - t) + end.y * t,
+                  'radius': start.radius * (1 - t) + end.radius * t
+                };
+              });
+              return intersectionAreaPath(c);
+            };
+          };
+          // update data, joining on the set ids
+          var nodes = svg.selectAll(".venn-area")
+            .data(data, function(d) {
+              return d.sets;
+            });
+          // create new nodes
+          var enter = nodes.enter()
+            .append('g')
+            .attr("class", function(d) {
+              return "venn-area venn-" +
+                (d.sets.length == 1 ? "circle" : "intersection");
+            })
+            .attr("data-venn-sets", function(d) {
+              return d.sets.join("_");
+            });
+          var enterPath = enter.append("path"),
+            enterText = enter.append("text")
+            .attr("class", "label")
+            .text(function(d) {
+              return label(d);
+            })
+            .attr("text-anchor", "middle")
+            .attr("dy", ".35em")
+            .attr("x", width / 2)
+            .attr("y", height / 2);
+          // apply minimal style if wanted
+          if (styled) {
+            enterPath.style("fill-opacity", "0")
+              .filter(function(d) {
+                return d.sets.length == 1;
+              })
+              .style("fill", function(d) {
+                return colours(d.sets);
+              })
+              .style("fill-opacity", ".25");
+            enterText
+              .style("fill", function(d) {
+                return d.sets.length == 1 ? colours(d.sets) : "#444";
+              });
+          }
+          // update existing, using pathTween if necessary
+          var update = selection;
+          if (hasPrevious) {
+            update = selection.transition("venn").duration(duration);
+            update.selectAll("path")
+              .attrTween("d", pathTween);
+          } else {
+            update.selectAll("path")
+              .attr("d", function(d) {
+                return intersectionAreaPath(d.sets.map(function(set) {
+                  return circles[set];
+                }));
+              });
+          }
+          var updateText = update.selectAll("text")
+            .filter(function(d) {
+              return d.sets in textCentres;
+            })
+            .text(function(d) {
+              return label(d);
+            })
+            .attr("x", function(d) {
+              return Math.floor(textCentres[d.sets].x);
+            })
+            .attr("y", function(d) {
+              return Math.floor(textCentres[d.sets].y);
+            });
+          if (wrap) {
+            if (hasPrevious) {
+              // d3 4.0 uses 'on' for events on transitions,
+              // but d3 3.0 used 'each' instead. switch appropiately
+              if ('on' in updateText) {
+                updateText.on("end", wrapText(circles, label));
+              } else {
+                updateText.each("end", wrapText(circles, label));
+              }
+            } else {
+              updateText.each(wrapText(circles, label));
+            }
+          }
+          // remove old
+          var exit = nodes.exit().transition('venn').duration(duration).remove();
+          exit.selectAll("path")
+            .attrTween("d", pathTween);
+          var exitText = exit.selectAll("text")
+            .attr("x", width / 2)
+            .attr("y", height / 2);
+          // if we've been passed a fontSize explicitly, use it to
+          // transition
+          if (fontSize !== null) {
+            enterText.style("font-size", "0px");
+            updateText.style("font-size", fontSize);
+            exitText.style("font-size", "0px");
+          }
+          return {
+            'circles': circles,
+            'textCentres': textCentres,
+            'nodes': nodes,
+            'enter': enter,
+            'update': update,
+            'exit': exit
+          };
+        }
+        chart.wrap = function(_) {
+          if (!arguments.length) return wrap;
+          wrap = _;
+          return chart;
+        };
+        chart.width = function(_) {
+          if (!arguments.length) return width;
+          width = _;
+          return chart;
+        };
+        chart.height = function(_) {
+          if (!arguments.length) return height;
+          height = _;
+          return chart;
+        };
+        chart.padding = function(_) {
+          if (!arguments.length) return padding;
+          padding = _;
+          return chart;
+        };
+        chart.colours = function(_) {
+          if (!arguments.length) return colours;
+          colours = _;
+          return chart;
+        };
+        chart.fontSize = function(_) {
+          if (!arguments.length) return fontSize;
+          fontSize = _;
+          return chart;
+        };
+        chart.duration = function(_) {
+          if (!arguments.length) return duration;
+          duration = _;
+          return chart;
+        };
+        chart.layoutFunction = function(_) {
+          if (!arguments.length) return layoutFunction;
+          layoutFunction = _;
+          return chart;
+        };
+        chart.normalize = function(_) {
+          if (!arguments.length) return normalize;
+          normalize = _;
+          return chart;
+        };
+        chart.styled = function(_) {
+          if (!arguments.length) return styled;
+          styled = _;
+          return chart;
+        };
+        chart.orientation = function(_) {
+          if (!arguments.length) return orientation;
+          orientation = _;
+          return chart;
+        };
+        chart.orientationOrder = function(_) {
+          if (!arguments.length) return orientationOrder;
+          orientationOrder = _;
+          return chart;
+        };
+        chart.lossFunction = function(_) {
+          if (!arguments.length) return loss;
+          loss = _;
+          return chart;
+        };
+        return chart;
+      }
+      // sometimes text doesn't fit inside the circle, if thats the case lets wrap
+      // the text here such that it fits
+      // todo: looks like this might be merged into d3 (
+      // https://github.com/mbostock/d3/issues/1642),
+      // also worth checking out is
+      // http://engineering.findthebest.com/wrapping-axis-labels-in-d3-js/
+      // this seems to be one of those things that should be easy but isn't
+      function wrapText(circles, labeller) {
+        return function() {
+          var text = d3Selection.select(this),
+            data = text.datum(),
+            width = circles[data.sets[0]].radius / 2 || 50,
+            label = labeller(data) || '';
+          var words = label.split(/\s+/).reverse(),
+            maxLines = 4,
+            minChars = (label.length + words.length) / maxLines,
+            word = words.pop(),
+            line = [word],
+            joined,
+            lineNumber = 0,
+            lineHeight = 1.3, // ems
+            tspan = text.text(null).append("tspan").text(word);
+          while (true) {
+            word = words.pop();
+            if (!word) break;
+            line.push(word);
+            joined = line.join(" ");
+            tspan.text(joined);
+            if (joined.length > minChars && tspan.node().getComputedTextLength() > width) {
+              line.pop();
+              tspan.text(line.join(" "));
+              line = [word];
+              tspan = text.append("tspan").text(word);
+              lineNumber++;
+            }
+          }
+          var initial = 0.35 - lineNumber * lineHeight / 2,
+            x = text.attr("x"),
+            y = text.attr("y");
+          text.selectAll("tspan")
+            .attr("x", x)
+            .attr("y", y)
+            .attr("dy", function(d, i) {
+              return (initial + i * lineHeight) + "em";
+            });
+        };
+      }
+  
+      function circleMargin(current, interior, exterior) {
+        var margin = interior[0].radius - distance(interior[0], current),
+          i, m;
+        for (i = 1; i < interior.length; ++i) {
+          m = interior[i].radius - distance(interior[i], current);
+          if (m <= margin) {
+            margin = m;
+          }
+        }
+        for (i = 0; i < exterior.length; ++i) {
+          m = distance(exterior[i], current) - exterior[i].radius;
+          if (m <= margin) {
+            margin = m;
+          }
+        }
+        return margin;
+      }
+      // compute the center of some circles by maximizing the margin of
+      // the center point relative to the circles (interior) after subtracting
+      // nearby circles (exterior)
+      function computeTextCentre(interior, exterior) {
+        // get an initial estimate by sampling around the interior circles
+        // and taking the point with the biggest margin
+        var points = [],
+          i;
+        for (i = 0; i < interior.length; ++i) {
+          var c = interior[i];
+          points.push({
+            x: c.x,
+            y: c.y
+          });
+          points.push({
+            x: c.x + c.radius / 2,
+            y: c.y
+          });
+          points.push({
+            x: c.x - c.radius / 2,
+            y: c.y
+          });
+          points.push({
+            x: c.x,
+            y: c.y + c.radius / 2
+          });
+          points.push({
+            x: c.x,
+            y: c.y - c.radius / 2
+          });
+        }
+        var initial = points[0],
+          margin = circleMargin(points[0], interior, exterior);
+        for (i = 1; i < points.length; ++i) {
+          var m = circleMargin(points[i], interior, exterior);
+          if (m >= margin) {
+            initial = points[i];
+            margin = m;
+          }
+        }
+        // maximize the margin numerically
+        var solution = nelderMead(
+          function(p) {
+            return -1 * circleMargin({
+              x: p[0],
+              y: p[1]
+            }, interior, exterior);
+          },
+          [initial.x, initial.y], {
+            maxIterations: 500,
+            minErrorDelta: 1e-10
+          }).x;
+        var ret = {
+          x: solution[0],
+          y: solution[1]
+        };
+        // check solution, fallback as needed (happens if fully overlapped
+        // etc)
+        var valid = true;
+        for (i = 0; i < interior.length; ++i) {
+          if (distance(ret, interior[i]) > interior[i].radius) {
+            valid = false;
+            break;
+          }
+        }
+        for (i = 0; i < exterior.length; ++i) {
+          if (distance(ret, exterior[i]) < exterior[i].radius) {
+            valid = false;
+            break;
+          }
+        }
+        if (!valid) {
+          if (interior.length == 1) {
+            ret = {
+              x: interior[0].x,
+              y: interior[0].y
+            };
+          } else {
+            var areaStats = {};
+            intersectionArea(interior, areaStats);
+            if (areaStats.arcs.length === 0) {
+              ret = {
+                'x': 0,
+                'y': -1000,
+                disjoint: true
+              };
+            } else if (areaStats.arcs.length == 1) {
+              ret = {
+                'x': areaStats.arcs[0].circle.x,
+                'y': areaStats.arcs[0].circle.y
+              };
+            } else if (exterior.length) {
+              // try again without other circles
+              ret = computeTextCentre(interior, []);
+            } else {
+              // take average of all the points in the intersection
+              // polygon. this should basically never happen
+              // and has some issues:
+              // https://github.com/benfred/venn.js/issues/48#issuecomment-146069777
+              ret = getCenter(areaStats.arcs.map(function(a) {
+                return a.p1;
+              }));
+            }
+          }
+        }
+        return ret;
+      }
+      // given a dictionary of {setid : circle}, returns
+      // a dictionary of setid to list of circles that completely overlap it
+      function getOverlappingCircles(circles) {
+        var ret = {},
+          circleids = [];
+        for (var circleid in circles) {
+          circleids.push(circleid);
+          ret[circleid] = [];
+        }
+        for (var i = 0; i < circleids.length; i++) {
+          var a = circles[circleids[i]];
+          for (var j = i + 1; j < circleids.length; ++j) {
+            var b = circles[circleids[j]],
+              d = distance(a, b);
+            if (d + b.radius <= a.radius + 1e-10) {
+              ret[circleids[j]].push(circleids[i]);
+            } else if (d + a.radius <= b.radius + 1e-10) {
+              ret[circleids[i]].push(circleids[j]);
+            }
+          }
+        }
+        return ret;
+      }
+  
+      function computeTextCentres(circles, areas) {
+        var ret = {},
+          overlapped = getOverlappingCircles(circles);
+        for (var i = 0; i < areas.length; ++i) {
+          var area = areas[i].sets,
+            areaids = {},
+            exclude = {};
+          for (var j = 0; j < area.length; ++j) {
+            areaids[area[j]] = true;
+            var overlaps = overlapped[area[j]];
+            // keep track of any circles that overlap this area,
+            // and don't consider for purposes of computing the text
+            // centre
+            for (var k = 0; k < overlaps.length; ++k) {
+              exclude[overlaps[k]] = true;
+            }
+          }
+          var interior = [],
+            exterior = [];
+          for (var setid in circles) {
+            if (setid in areaids) {
+              interior.push(circles[setid]);
+            } else if (!(setid in exclude)) {
+              exterior.push(circles[setid]);
+            }
+          }
+          var centre = computeTextCentre(interior, exterior);
+          ret[area] = centre;
+          if (centre.disjoint && (areas[i].size > 0)) {
+            console.log("WARNING: area " + area + " not represented on screen");
+          }
+        }
+        return ret;
+      }
+      // sorts all areas in the venn diagram, so that
+      // a particular area is on top (relativeTo) - and
+      // all other areas are so that the smallest areas are on top
+      function sortAreas(div, relativeTo) {
+        // figure out sets that are completly overlapped by relativeTo
+        var overlaps = getOverlappingCircles(div.selectAll("svg").datum());
+        var exclude = {};
+        for (var i = 0; i < relativeTo.sets.length; ++i) {
+          var check = relativeTo.sets[i];
+          for (var setid in overlaps) {
+            var overlap = overlaps[setid];
+            for (var j = 0; j < overlap.length; ++j) {
+              if (overlap[j] == check) {
+                exclude[setid] = true;
+                break;
+              }
+            }
+          }
+        }
+        // checks that all sets are in exclude;
+        function shouldExclude(sets) {
+          for (var i = 0; i < sets.length; ++i) {
+            if (!(sets[i] in exclude)) {
+              return false;
+            }
+          }
+          return true;
+        }
+        // need to sort div's so that Z order is correct
+        div.selectAll("g").sort(function(a, b) {
+          // highest order set intersections first
+          if (a.sets.length != b.sets.length) {
+            return a.sets.length - b.sets.length;
+          }
+          if (a == relativeTo) {
+            return shouldExclude(b.sets) ? -1 : 1;
+          }
+          if (b == relativeTo) {
+            return shouldExclude(a.sets) ? 1 : -1;
+          }
+          // finally by size
+          return b.size - a.size;
+        });
+      }
+  
+      function circlePath(x, y, r) {
+        var ret = [];
+        ret.push("\nM", x, y);
+        ret.push("\nm", -r, 0);
+        ret.push("\na", r, r, 0, 1, 0, r * 2, 0);
+        ret.push("\na", r, r, 0, 1, 0, -r * 2, 0);
+        return ret.join(" ");
+      }
+      // inverse of the circlePath function, returns a circle object from an svg path
+      function circleFromPath(path) {
+        var tokens = path.split(' ');
+        return {
+          'x': parseFloat(tokens[1]),
+          'y': parseFloat(tokens[2]),
+          'radius': -parseFloat(tokens[4])
+        };
+      }
+      /** returns a svg path of the intersection area of a bunch of circles */
+      function intersectionAreaPath(circles) {
+        var stats = {};
+        intersectionArea(circles, stats);
+        var arcs = stats.arcs;
+        if (arcs.length === 0) {
+          return "M 0 0";
+        } else if (arcs.length == 1) {
+          var circle = arcs[0].circle;
+          return circlePath(circle.x, circle.y, circle.radius);
+        } else {
+          // draw path around arcs
+          var ret = ["\nM", arcs[0].p2.x, arcs[0].p2.y];
+          for (var i = 0; i < arcs.length; ++i) {
+            var arc = arcs[i],
+              r = arc.circle.radius,
+              wide = arc.width > r;
+            ret.push("\nA", r, r, 0, wide ? 1 : 0, 1,
+              arc.p1.x, arc.p1.y);
+          }
+          return ret.join(" ");
+        }
+      }
+      exports.intersectionArea = intersectionArea;
+      exports.circleCircleIntersection = circleCircleIntersection;
+      exports.circleOverlap = circleOverlap;
+      exports.circleArea = circleArea;
+      exports.distance = distance;
+      exports.venn = venn;
+      exports.greedyLayout = greedyLayout;
+      exports.scaleSolution = scaleSolution;
+      exports.normalizeSolution = normalizeSolution;
+      exports.bestInitialLayout = bestInitialLayout;
+      exports.lossFunction = lossFunction;
+      exports.disjointCluster = disjointCluster;
+      exports.distanceFromIntersectArea = distanceFromIntersectArea;
+      exports.VennDiagram = VennDiagram;
+      exports.wrapText = wrapText;
+      exports.computeTextCentres = computeTextCentres;
+      exports.computeTextCentre = computeTextCentre;
+      exports.sortAreas = sortAreas;
+      exports.circlePath = circlePath;
+      exports.circleFromPath = circleFromPath;
+      exports.intersectionAreaPath = intersectionAreaPath;
+      Object.defineProperty(exports, '__esModule', {
+        value: true
+      });
+    })));
+
+  console.log("nice");
+  // $.getJSON("test.json", function(json) {
+  //   console.log(json); // this will show the info it in firebug console
+  // });    
+
+  function render_venn() {
+    var tokenizer1 = document.querySelector("#tokenizer1 input").value;
+    var tokenizer2 = document.querySelector("#tokenizer2 input").value; 
+    console.log(tokenizer1);
+  }
+
+  // render_venn();
+
+  var lab_dict = {};   // lab_dict[lab]
+
+  // 可以将异步改为同步
+  $.ajaxSettings.async = false; 
+  $.getJSON("./data/vocabsize.json", function(researchers_raw){
+    // id_dict & lab_dict
+    for(var r in researchers_raw) {
+      id_dict[researchers_raw[r][id_field]] = researchers_raw[r];
+      
+      var lab = researchers_raw[r]["lab"];
+      if (lab in lab_dict) {
+        lab_dict[lab].push(researchers_raw[r][id_field]);
+      } else {
+        lab_dict[lab] = [];
+        lab_dict[lab].push(researchers_raw[r][id_field]);
+      }
+    }
+    
+    // keyword_dict
+    for(var r in researchers_raw) {
+      // researcher info
+      var lab = researchers_raw[r]['lab'];
+      var email = researchers_raw[r][id_field];
+      var keywords = researchers_raw[r]["keywords"];
+      
+      for(var k in keywords){
+        var keyword = trim(k).toLowerCase();
+        var weight = researchers_raw[r]['keywords'][k];
+        if(isNaN(weight)) {alert(keyword);}
+        if(keyword == 'watch')
+          continue; // remove javascript keyword
+        
+        // new
+        if (!(keyword in keyword_dict)){
+          keyword_dict[keyword] = {};
+        } 
+        if (!(lab in keyword_dict[keyword])) {
+          keyword_dict[keyword][lab] = {};
+        }
+
+        
+        // 用于处理keyword中的 speech Speech 
+        // 以及其他edit distance
+        if (!(email in keyword_dict[keyword][lab])) {
+          keyword_dict[keyword][lab][email] = weight;
+        } else {
+          keyword_dict[keyword][lab][email] = keyword_dict[keyword][lab][email] + weight;
+          if(isNaN(keyword_dict[keyword][lab][email])) {alert(keyword);}
+        }
+      }
+    }
+    
+    // remove empty element from keyword_dict 
+    for(var keyword in keyword_dict){
+      for(var lab in keyword_dict[keyword]) {
+        for(var email in keyword_dict[keyword][lab]) {
+          if(isNaN(keyword_dict[keyword][lab][email])) {
+            alert(keyword);
+          }
+        }
+
+      }
+    }
+    
+  });
+  $.ajaxSettings.async = true;  
+
+  </script>

playground_app2.py

@@ -0,0 +1,272 @@
+# coding=utf-8
+# author: xusong
+# time: 2022/8/23 16:06
+
+import gradio as gr
+from vocab import tokenizer_factory
+from playground_examples import example_types, example_fn
+from playground_util import (tokenize,
+                             tokenize_pair, basic_count,
+                             get_overlap_token_size, on_load)
+
+get_window_url_params = """
+    function(url_params) {
+        console.log("calling get_window_url_params");
+        const params = new URLSearchParams(window.location.search);
+        url_params = JSON.stringify(Object.fromEntries(params));
+        return url_params;
+        }
+    """
+
+# get_venn_vocab_size = """
+#     function(url_params) {
+#         console.log("calling get_venn_vocab_size");
+#         const params = new URLSearchParams(window.location.search);
+#         url_params = JSON.stringify(Object.fromEntries(params));
+#         return url_params;
+#         }
+#     """
+get_venn_vocab_size = open("js/onload_d3.js").read()
+
+
+all_tokenizer_name = [(config.name_display, config.name_or_path) for config in tokenizer_factory.all_tokenizer_configs]
+
+
+head = open("js/venn.html").read()
+
+# js = open("js/onload_d3.js").read()
+# js = open("js/onchange_d3.js").read()
+css = open("css/venn_d3.css").read()
+
+with gr.Blocks(head=head, css=css) as demo:
+    # links: https://www.coderstool.com/utf8-encoding-decoding
+    # 功能：输入文本，进行分词
+    # 分词器：常见的分词器有集中，
+    # 背景：方便分词、看词粒度、对比
+
+    with gr.Row():
+        gr.Markdown("## Input Text")
+        dropdown_examples = gr.Dropdown(
+            example_types,
+            value="Examples",
+            type="index",
+            allow_custom_value=True,
+            show_label=False,
+            container=False,
+            scale=0,
+            elem_classes="example-style"
+        )
+    user_input = gr.Textbox(
+        # value=default_user_input,
+        label="Input Text",
+        lines=5,
+        show_label=False,
+    )
+    gr.Markdown("## Tokenization")
+
+    # compress rate setting TODO: 将 这个模块调整到下面
+    # with gr.Accordion("Compress Rate Setting", open=True):
+    #     gr.Markdown(
+    #         "Please select corpus and unit of compress rate, get more details at [github](https://github.com/xu-song/tokenizer-arena/). ")
+    #     with gr.Row():
+    #         compress_rate_corpus = gr.CheckboxGroup(
+    #             common_corpuses,  # , "code"
+    #             value=["cc100-en", "cc100-zh-Hans"],
+    #             label="corpus",
+    #             # info=""
+    #         )
+    #         compress_rate_unit = gr.Radio(
+    #             common_units,
+    #             value="b_tokens/g_bytes",
+    #             label="unit",
+    #         )
+    # TODO: Token Setting
+    # with gr.Accordion("Token Filter Setting", open=False):
+    #     gr.Markdown(
+    #         "Get total number of tokens which contain the following character)")
+    #     gr.Radio(
+    #         ["zh-Hans", "", "number", "space"],
+    #         value="zh",
+    #     )
+
+    with gr.Row():
+        with gr.Column(scale=6):
+            with gr.Group():
+                tokenizer_name_1 = gr.Dropdown(
+                    all_tokenizer_name,
+                    label="Tokenizer 1",
+                    elem_id="tokenizer1"
+                    # value=default_tokenizer_name_1,
+                )
+                with gr.Group():
+                    with gr.Row():
+                        organization_1 = gr.TextArea(
+                            label="Organization",
+                            lines=1,
+                            elem_classes="statistics",
+                        )
+                        stats_vocab_size_1 = gr.TextArea(
+                            label="Vocab Size",
+                            lines=1,
+                            elem_classes="statistics"
+                        )
+                        # stats_zh_token_size_1 = gr.TextArea(
+                        #     label="ZH char/word",
+                        #     lines=1,
+                        #     elem_classes="statistics",
+                        # )
+                        # stats_compress_rate_1 = gr.TextArea(
+                        #     label="Compress Rate",
+                        #     lines=1,
+                        #     elem_classes="statistics",
+                        # )
+                        stats_overlap_token_size_1 = gr.TextArea(
+                            # value=default_stats_overlap_token_size,
+                            label="Overlap Tokens",
+                            lines=1,
+                            elem_classes="statistics"
+                        )
+                        # stats_3 = gr.TextArea(
+                        #     label="Compress Rate",
+                        #     lines=1,
+                        #     elem_classes="statistics"
+                        # )
+        # https://www.onlinewebfonts.com/icon/418591
+        # gr.HTML('<div> <img src="/gradio_api/file/images/VS.svg" alt="Girl in a jacket">  <div id="venn"></div> </div>', elem_classes="vs", container=False,)
+        with gr.Column(scale=1, min_width=140):
+            gr.Image("images/VS.svg", show_label=False,
+                    show_download_button=False, container=False, elem_classes="mid-vs",
+                    show_share_button=False)
+            gr.HTML('<div id="venn"></div>', container=False, padding=False, elem_classes="mid-venn")
+            
+        with gr.Column(scale=6):
+            with gr.Group():
+                tokenizer_name_2 = gr.Dropdown(
+                    all_tokenizer_name,
+                    label="Tokenizer 2",
+                    elem_id="tokenizer2"
+                    # value=default_tokenizer_name_2
+                )
+                with gr.Group():
+                    with gr.Row():
+                        organization_2 = gr.TextArea(
+                            label="Organization",
+                            lines=1,
+                            elem_classes="statistics",
+                        )
+                        stats_vocab_size_2 = gr.TextArea(
+                            label="Vocab Size",
+                            lines=1,
+                            elem_classes="statistics"
+                        )
+                        # stats_zh_token_size_2 = gr.TextArea(
+                        #     label="ZH char/word",  # 中文字/词
+                        #     lines=1,
+                        #     elem_classes="statistics",
+                        # )
+                        # stats_compress_rate_2 = gr.TextArea(
+                        #     label="Compress Rate",
+                        #     lines=1,
+                        #     elem_classes="statistics"
+                        # )
+                        stats_filtered_token_2 = gr.TextArea(
+                            label="filtered tokens",
+                            lines=1,
+                            elem_classes="statistics",
+                            visible=False
+                        )
+                        stats_overlap_token_size_2 = gr.TextArea(
+                            label="Overlap Tokens",
+                            lines=1,
+                            elem_classes="statistics"
+                        )
+
+    # TODO: 图 表 压缩率
+    with gr.Row():
+        # dynamic change label
+        with gr.Column():
+            output_text_1 = gr.Highlightedtext(
+                show_legend=False,
+                show_inline_category=False,
+                elem_classes="space-show"
+            )
+        with gr.Column():
+            output_text_2 = gr.Highlightedtext(
+                show_legend=False,
+                show_inline_category=False,
+                elem_classes="space-show"
+            )
+
+    with gr.Row():
+        output_table_1 = gr.Dataframe()
+        output_table_2 = gr.Dataframe()
+
+    # setting
+    # compress_rate_unit.change(compress_rate_unit_change, [compress_rate_unit],
+    #                             [stats_compress_rate_1, stats_compress_rate_2])
+
+    tokenizer_name_1.change(tokenize, [user_input, tokenizer_name_1],
+                            [output_text_1, output_table_1])
+    tokenizer_name_1.change(basic_count, [tokenizer_name_1], [stats_vocab_size_1, organization_1])
+    tokenizer_name_1.change(get_overlap_token_size, [tokenizer_name_1, tokenizer_name_2],
+                            [stats_overlap_token_size_1, stats_overlap_token_size_2])
+    # tokenizer_type_1.change(get_compress_rate, [tokenizer_type_1, compress_rate_corpus, compress_rate_unit],
+    #                         [stats_compress_rate_1])
+
+    # TODO: every=3
+    user_input.change(tokenize_pair,
+                      [user_input, tokenizer_name_1, tokenizer_name_2],
+                      [output_text_1, output_table_1, output_text_2, output_table_2], show_api=False)  # , pass_request=1
+
+    tokenizer_name_2.change(tokenize, [user_input, tokenizer_name_2],
+                            [output_text_2, output_table_2], show_api=False)
+    tokenizer_name_2.change(basic_count, [tokenizer_name_2], [stats_vocab_size_2, organization_2], show_api=False)
+    tokenizer_name_2.change(get_overlap_token_size, [tokenizer_name_1, tokenizer_name_2],
+                            [stats_overlap_token_size_1, stats_overlap_token_size_2], show_api=False)
+    # tokenizer_type_2.change(get_compress_rate,
+    #                         [tokenizer_type_2, compress_rate_corpus, compress_rate_unit],
+    #                         [stats_compress_rate_2])
+    #
+    # compress_rate_unit.change(get_compress_rate,
+    #                           [tokenizer_type_1, compress_rate_corpus, compress_rate_unit],
+    #                           [stats_compress_rate_1])
+    # compress_rate_unit.change(get_compress_rate,
+    #                           [tokenizer_type_2, compress_rate_corpus, compress_rate_unit],
+    #                           [stats_compress_rate_2])
+    # compress_rate_corpus.change(get_compress_rate,
+    #                             [tokenizer_type_1, compress_rate_corpus, compress_rate_unit],
+    #                             [stats_compress_rate_1])
+    # compress_rate_corpus.change(get_compress_rate,
+    #                             [tokenizer_type_2, compress_rate_corpus, compress_rate_unit],
+    #                             [stats_compress_rate_2])
+
+    dropdown_examples.change(
+        example_fn,
+        dropdown_examples,
+        [user_input, tokenizer_name_1, tokenizer_name_2],
+        show_api=False
+    )
+
+    demo.load(
+        fn=on_load,
+        inputs=[user_input],  # 这里只需要传个空object即可。
+        outputs=[user_input, tokenizer_name_1, tokenizer_name_2],
+        js=get_window_url_params,
+        show_api=False
+    )
+
+    # https://github.com/gradio-app/gradio/issues/2981
+    demo.load(
+        fn=lambda: None,
+        inputs=[user_input],
+        outputs=[],
+        js=get_venn_vocab_size,
+        show_api=False
+    )
+
+if __name__ == "__main__":
+    # demo.queue(max_size=20).launch()
+    demo.launch()
+    # demo.launch(allowed_paths=['images/VS.svg'])
+    # demo.launch(allowed_paths=['js/load_json.js'])
+    # demo.launch(share=True)

playground_util.py

@@ -185,9 +185,18 @@ def on_load(url_params, request: gr.Request):
         tokenizer_type_2 = url_params.get("tokenizer2", default_tokenizer_name_2)
         text = url_params.get("text", default_user_input)
         logger.info(f"client_ip: {client_ip}; lang: {lang} params: {url_params}")
+        # lang: zh-CN,zh  , es-419,es;q=0.9,en;q=0.8, 
+        """
+        zh-CN,zh;q=0.9,en;q=0.8
+        zh,en;q=0.9,zh-CN;q=0.8 
+        ru,en;q=0.9,en-GB;q=0.8,en-US;q=0.7
+        de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7 
+        """
+        
     return text, tokenizer_type_1, tokenizer_type_2
 
 
+
 # def compress_rate_unit_change(unit):
 #     return gr.update(label=f"Compress Rate: {unit}"), gr.update(label=f"Compress Rate: {unit}"),
 

stats/character_stats.json

@@ -2166,5 +2166,119 @@
     "len(ja-kana)": "1,3,21",
     "num(ko)": 4559,
     "len(ko)": "1,2,7"
+  },
+  "Qwen/Qwen3-235B-A22B-Thinking-2507": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-235B-A22B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "num(digit)": 10,
+    "len(digit)": "1,1,1",
+    "num(space)": 55883,
+    "len(space)": "1,6,128",
+    "num(ar)": 4018,
+    "len(ar)": "1,3,12",
+    "num(zh)": 25557,
+    "len(zh)": "1,2,7",
+    "num(ja)": 27206,
+    "len(ja)": "1,2,11",
+    "num(ja-kana)": 2089,
+    "len(ja-kana)": "1,3,11",
+    "num(ko)": 3495,
+    "len(ko)": "1,1,5"
+  },
+  "Qwen/Qwen3-30B-A3B-Thinking-2507": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-30B-A3B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "num(digit)": 10,
+    "len(digit)": "1,1,1",
+    "num(space)": 55883,
+    "len(space)": "1,6,128",
+    "num(ar)": 4018,
+    "len(ar)": "1,3,12",
+    "num(zh)": 25557,
+    "len(zh)": "1,2,7",
+    "num(ja)": 27206,
+    "len(ja)": "1,2,11",
+    "num(ja-kana)": 2089,
+    "len(ja-kana)": "1,3,11",
+    "num(ko)": 3495,
+    "len(ko)": "1,1,5"
+  },
+  "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">DeepSeek-R1-Distill-Qwen-1.5B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 151665,
+    "num(digit)": 10,
+    "len(digit)": "1,1,1",
+    "num(space)": 55883,
+    "len(space)": "1,6,128",
+    "num(ar)": 4018,
+    "len(ar)": "1,3,12",
+    "num(zh)": 25557,
+    "len(zh)": "1,2,7",
+    "num(ja)": 27206,
+    "len(ja)": "1,2,11",
+    "num(ja-kana)": 2089,
+    "len(ja-kana)": "1,3,11",
+    "num(ko)": 3495,
+    "len(ko)": "1,1,5"
+  },
+  "deepseek-ai/Janus-Pro-1B": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/Janus-Pro-1B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Janus-Pro-1B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 100590,
+    "num(digit)": 10,
+    "len(digit)": "1,1,1",
+    "num(space)": 48073,
+    "len(space)": "1,7,128",
+    "num(ar)": 48,
+    "len(ar)": "1,1,4",
+    "num(zh)": 18052,
+    "len(zh)": "1,2,16",
+    "num(ja)": 18090,
+    "len(ja)": "1,2,16",
+    "num(ja-kana)": 38,
+    "len(ja-kana)": "1,1,2",
+    "num(ko)": 16,
+    "len(ko)": "1,1,2"
+  },
+  "openai/gpt-oss-120b": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-120b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-120b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "num(digit)": 1110,
+    "len(digit)": "1,3,3",
+    "num(space)": 109316,
+    "len(space)": "1,6,128",
+    "num(ar)": 8055,
+    "len(ar)": "1,4,12",
+    "num(zh)": 7563,
+    "len(zh)": "1,2,11",
+    "num(ja)": 8292,
+    "len(ja)": "1,2,11",
+    "num(ja-kana)": 809,
+    "len(ja-kana)": "1,2,11",
+    "num(ko)": 2365,
+    "len(ko)": "1,2,8"
+  },
+  "openai/gpt-oss-20b": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-20b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-20b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "num(digit)": 1110,
+    "len(digit)": "1,3,3",
+    "num(space)": 109316,
+    "len(space)": "1,6,128",
+    "num(ar)": 8055,
+    "len(ar)": "1,4,12",
+    "num(zh)": 7563,
+    "len(zh)": "1,2,11",
+    "num(ja)": 8292,
+    "len(ja)": "1,2,11",
+    "num(ja-kana)": 809,
+    "len(ja-kana)": "1,2,11",
+    "num(ko)": 2365,
+    "len(ko)": "1,2,8"
   }
 }

stats/compression_rate.json

@@ -11662,5 +11662,653 @@
     "oov_ratio": 0.0,
     "_oov_charset": "[]",
     "lossless": true
+  },
+  "Qwen/Qwen3-235B-A22B-Thinking-2507 @ cc100/ar": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-235B-A22B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 2813283,
+    "_n_tokens": 614959,
+    "_n_chars": 1560987,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "Qwen/Qwen3-235B-A22B-Thinking-2507 @ cc100/de": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-235B-A22B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 1814876,
+    "_n_tokens": 503561,
+    "_n_chars": 1784021,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "Qwen/Qwen3-235B-A22B-Thinking-2507 @ cc100/en": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-235B-A22B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 1124813,
+    "_n_tokens": 257983,
+    "_n_chars": 1121360,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "Qwen/Qwen3-235B-A22B-Thinking-2507 @ cc100/es": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-235B-A22B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 1664455,
+    "_n_tokens": 434264,
+    "_n_chars": 1630297,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "Qwen/Qwen3-235B-A22B-Thinking-2507 @ cc100/fa": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-235B-A22B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 2054052,
+    "_n_tokens": 643421,
+    "_n_chars": 1145876,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "Qwen/Qwen3-235B-A22B-Thinking-2507 @ cc100/fr": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-235B-A22B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 1540504,
+    "_n_tokens": 413637,
+    "_n_chars": 1484970,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "Qwen/Qwen3-235B-A22B-Thinking-2507 @ cc100/ja": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-235B-A22B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 1774770,
+    "_n_tokens": 377144,
+    "_n_chars": 603065,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "Qwen/Qwen3-235B-A22B-Thinking-2507 @ cc100/ko": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-235B-A22B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 1524839,
+    "_n_tokens": 457492,
+    "_n_chars": 655190,
+    "_n_oov_chars": 25,
+    "oov_ratio": 3.815687052610693e-05,
+    "_oov_charset": "[\"流\", \"梁\", \"靈\", \"識\", \"良\", \"立\", \"樂\", \"金\", \"不\", \"女\", \"樂\", \"累\", \"龍\", \"理\", \"陸\"]",
+    "lossless": false
+  },
+  "Qwen/Qwen3-235B-A22B-Thinking-2507 @ cc100/zh-Hans": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-235B-A22B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 2633047,
+    "_n_tokens": 589211,
+    "_n_chars": 927311,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "Qwen/Qwen3-30B-A3B-Thinking-2507 @ cc100/ar": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-30B-A3B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 2813283,
+    "_n_tokens": 614959,
+    "_n_chars": 1560987,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "Qwen/Qwen3-30B-A3B-Thinking-2507 @ cc100/de": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-30B-A3B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 1814876,
+    "_n_tokens": 503561,
+    "_n_chars": 1784021,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "Qwen/Qwen3-30B-A3B-Thinking-2507 @ cc100/en": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-30B-A3B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 1124813,
+    "_n_tokens": 257983,
+    "_n_chars": 1121360,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "Qwen/Qwen3-30B-A3B-Thinking-2507 @ cc100/es": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-30B-A3B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 1664455,
+    "_n_tokens": 434264,
+    "_n_chars": 1630297,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "Qwen/Qwen3-30B-A3B-Thinking-2507 @ cc100/fa": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-30B-A3B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 2054052,
+    "_n_tokens": 643421,
+    "_n_chars": 1145876,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "Qwen/Qwen3-30B-A3B-Thinking-2507 @ cc100/fr": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-30B-A3B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 1540504,
+    "_n_tokens": 413637,
+    "_n_chars": 1484970,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "Qwen/Qwen3-30B-A3B-Thinking-2507 @ cc100/ja": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-30B-A3B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 1774770,
+    "_n_tokens": 377144,
+    "_n_chars": 603065,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "Qwen/Qwen3-30B-A3B-Thinking-2507 @ cc100/ko": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-30B-A3B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 1524839,
+    "_n_tokens": 457492,
+    "_n_chars": 655190,
+    "_n_oov_chars": 25,
+    "oov_ratio": 3.815687052610693e-05,
+    "_oov_charset": "[\"流\", \"梁\", \"靈\", \"識\", \"良\", \"立\", \"樂\", \"金\", \"不\", \"女\", \"樂\", \"累\", \"龍\", \"理\", \"陸\"]",
+    "lossless": false
+  },
+  "Qwen/Qwen3-30B-A3B-Thinking-2507 @ cc100/zh-Hans": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen3-30B-A3B-Thinking-2507</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151669,
+    "_n_bytes": 2633047,
+    "_n_tokens": 589211,
+    "_n_chars": 927311,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B @ cc100/ar": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">DeepSeek-R1-Distill-Qwen-1.5B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 151665,
+    "_n_bytes": 2813283,
+    "_n_tokens": 614959,
+    "_n_chars": 1560987,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B @ cc100/de": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">DeepSeek-R1-Distill-Qwen-1.5B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 151665,
+    "_n_bytes": 1814876,
+    "_n_tokens": 503561,
+    "_n_chars": 1784021,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B @ cc100/en": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">DeepSeek-R1-Distill-Qwen-1.5B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 151665,
+    "_n_bytes": 1124813,
+    "_n_tokens": 257983,
+    "_n_chars": 1121360,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B @ cc100/es": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">DeepSeek-R1-Distill-Qwen-1.5B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 151665,
+    "_n_bytes": 1664455,
+    "_n_tokens": 434264,
+    "_n_chars": 1630297,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B @ cc100/fa": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">DeepSeek-R1-Distill-Qwen-1.5B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 151665,
+    "_n_bytes": 2054052,
+    "_n_tokens": 643421,
+    "_n_chars": 1145876,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B @ cc100/fr": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">DeepSeek-R1-Distill-Qwen-1.5B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 151665,
+    "_n_bytes": 1540504,
+    "_n_tokens": 413637,
+    "_n_chars": 1484970,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B @ cc100/ja": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">DeepSeek-R1-Distill-Qwen-1.5B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 151665,
+    "_n_bytes": 1774770,
+    "_n_tokens": 377144,
+    "_n_chars": 603065,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B @ cc100/ko": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">DeepSeek-R1-Distill-Qwen-1.5B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 151665,
+    "_n_bytes": 1524839,
+    "_n_tokens": 457492,
+    "_n_chars": 655190,
+    "_n_oov_chars": 25,
+    "oov_ratio": 3.815687052610693e-05,
+    "_oov_charset": "[\"流\", \"梁\", \"靈\", \"識\", \"良\", \"立\", \"樂\", \"金\", \"不\", \"女\", \"樂\", \"累\", \"龍\", \"理\", \"陸\"]",
+    "lossless": false
+  },
+  "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B @ cc100/zh-Hans": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">DeepSeek-R1-Distill-Qwen-1.5B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 151665,
+    "_n_bytes": 2633047,
+    "_n_tokens": 589211,
+    "_n_chars": 927311,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "deepseek-ai/Janus-Pro-1B @ cc100/ar": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/Janus-Pro-1B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Janus-Pro-1B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 100590,
+    "_n_bytes": 2813283,
+    "_n_tokens": 1416103,
+    "_n_chars": 1560987,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "deepseek-ai/Janus-Pro-1B @ cc100/de": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/Janus-Pro-1B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Janus-Pro-1B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 100590,
+    "_n_bytes": 1814876,
+    "_n_tokens": 631152,
+    "_n_chars": 1784021,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "deepseek-ai/Janus-Pro-1B @ cc100/en": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/Janus-Pro-1B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Janus-Pro-1B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 100590,
+    "_n_bytes": 1124813,
+    "_n_tokens": 262324,
+    "_n_chars": 1121360,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "deepseek-ai/Janus-Pro-1B @ cc100/es": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/Janus-Pro-1B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Janus-Pro-1B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 100590,
+    "_n_bytes": 1664455,
+    "_n_tokens": 470524,
+    "_n_chars": 1630297,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "deepseek-ai/Janus-Pro-1B @ cc100/fa": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/Janus-Pro-1B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Janus-Pro-1B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 100590,
+    "_n_bytes": 2054052,
+    "_n_tokens": 963451,
+    "_n_chars": 1145876,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "deepseek-ai/Janus-Pro-1B @ cc100/fr": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/Janus-Pro-1B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Janus-Pro-1B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 100590,
+    "_n_bytes": 1540504,
+    "_n_tokens": 497667,
+    "_n_chars": 1484970,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "deepseek-ai/Janus-Pro-1B @ cc100/ja": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/Janus-Pro-1B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Janus-Pro-1B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 100590,
+    "_n_bytes": 1774770,
+    "_n_tokens": 751467,
+    "_n_chars": 603065,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "deepseek-ai/Janus-Pro-1B @ cc100/ko": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/Janus-Pro-1B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Janus-Pro-1B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 100590,
+    "_n_bytes": 1524839,
+    "_n_tokens": 1071983,
+    "_n_chars": 655190,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "deepseek-ai/Janus-Pro-1B @ cc100/zh-Hans": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/deepseek-ai/Janus-Pro-1B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Janus-Pro-1B</a>",
+    "organization": "DeepSeek",
+    "vocab_size": 100590,
+    "_n_bytes": 2633047,
+    "_n_tokens": 595081,
+    "_n_chars": 927311,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-120b @ cc100/ar": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-120b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-120b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 2813283,
+    "_n_tokens": 514909,
+    "_n_chars": 1560987,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-120b @ cc100/de": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-120b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-120b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 1814876,
+    "_n_tokens": 412599,
+    "_n_chars": 1784021,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-120b @ cc100/en": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-120b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-120b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 1124813,
+    "_n_tokens": 251655,
+    "_n_chars": 1121360,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-120b @ cc100/es": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-120b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-120b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 1664455,
+    "_n_tokens": 367655,
+    "_n_chars": 1630297,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-120b @ cc100/fa": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-120b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-120b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 2054052,
+    "_n_tokens": 379156,
+    "_n_chars": 1145876,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-120b @ cc100/fr": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-120b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-120b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 1540504,
+    "_n_tokens": 353101,
+    "_n_chars": 1484970,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-120b @ cc100/ja": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-120b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-120b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 1774770,
+    "_n_tokens": 452794,
+    "_n_chars": 603065,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-120b @ cc100/ko": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-120b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-120b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 1524839,
+    "_n_tokens": 405624,
+    "_n_chars": 655190,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-120b @ cc100/zh-Hans": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-120b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-120b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 2633047,
+    "_n_tokens": 707171,
+    "_n_chars": 927311,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-20b @ cc100/ar": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-20b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-20b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 2813283,
+    "_n_tokens": 514909,
+    "_n_chars": 1560987,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-20b @ cc100/de": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-20b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-20b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 1814876,
+    "_n_tokens": 412599,
+    "_n_chars": 1784021,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-20b @ cc100/en": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-20b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-20b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 1124813,
+    "_n_tokens": 251655,
+    "_n_chars": 1121360,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-20b @ cc100/es": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-20b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-20b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 1664455,
+    "_n_tokens": 367655,
+    "_n_chars": 1630297,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-20b @ cc100/fa": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-20b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-20b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 2054052,
+    "_n_tokens": 379156,
+    "_n_chars": 1145876,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-20b @ cc100/fr": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-20b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-20b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 1540504,
+    "_n_tokens": 353101,
+    "_n_chars": 1484970,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-20b @ cc100/ja": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-20b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-20b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 1774770,
+    "_n_tokens": 452794,
+    "_n_chars": 603065,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-20b @ cc100/ko": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-20b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-20b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 1524839,
+    "_n_tokens": 405624,
+    "_n_chars": 655190,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "openai/gpt-oss-20b @ cc100/zh-Hans": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/openai/gpt-oss-20b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">gpt-oss-20b</a>",
+    "organization": "OpenAI",
+    "vocab_size": 200019,
+    "_n_bytes": 2633047,
+    "_n_tokens": 707171,
+    "_n_chars": 927311,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
   }
 }

stats/compression_rate/Qwen.Qwen3-235B-A22B-Thinking-2507 @ cc100.de.diff.json

@@ -0,0 +1,109 @@
+[
+  {
+    "text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "decoded_text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "diff": [
+      "replace   text[134:136] --> decoded_text[134:135]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "decoded_text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "diff": [
+      "replace   text[488:490] --> decoded_text[488:489]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "decoded_text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "diff": [
+      "replace   text[193:195] --> decoded_text[193:194]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Zum Glückwunsch haben Sie in den nächsten Wochen eine doppelte Gelegenheit:",
+    "decoded_text": "Zum Glückwunsch haben Sie in den nächsten Wochen eine doppelte Gelegenheit:",
+    "diff": [
+      "replace   text[6:8] --> decoded_text[6:7]     'ü' --> 'ü'",
+      "replace   text[35:37] --> decoded_text[34:35]     'ä' --> 'ä'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Zum einen haben wir im März einen neuen Kir­chenvorstand gewählt: Jüngere und Ältere, Erfahrene und Neue mischen sich zu einer Gruppe, die die Verantwortung für die Ge­meinde übernimmt. Ich bitte Sie und Euch alle, allen Kandidat*nnen zu danken, sie auf der Straße anzusprechen und zu beglück­wünschen: Denn es ist nicht selbstverständ­lich, für ein Amt von sechs Jahren Dauer zu kandidieren.",
+    "decoded_text": "Zum einen haben wir im März einen neuen Kir­chenvorstand gewählt: Jüngere und Ältere, Erfahrene und Neue mischen sich zu einer Gruppe, die die Verantwortung für die Ge­meinde übernimmt. Ich bitte Sie und Euch alle, allen Kandidat*nnen zu danken, sie auf der Straße anzusprechen und zu beglück­wünschen: Denn es ist nicht selbstverständ­lich, für ein Amt von sechs Jahren Dauer zu kandidieren.",
+    "diff": [
+      "replace   text[24:26] --> decoded_text[24:25]     'ä' --> 'ä'",
+      "replace   text[61:63] --> decoded_text[60:61]     'ä' --> 'ä'",
+      "replace   text[69:71] --> decoded_text[67:68]     'ü' --> 'ü'",
+      "replace   text[81:83] --> decoded_text[78:79]     'Ä' --> 'Ä'",
+      "replace   text[162:164] --> decoded_text[158:159]     'ü' --> 'ü'",
+      "replace   text[180:182] --> decoded_text[175:176]     'ü' --> 'ü'",
+      "replace   text[295:297] --> decoded_text[289:290]     'ü' --> 'ü'",
+      "replace   text[301:303] --> decoded_text[294:295]     'ü' --> 'ü'",
+      "replace   text[340:342] --> decoded_text[332:333]     'ä' --> 'ä'",
+      "replace   text[352:354] --> decoded_text[343:344]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Darüber freuen wir uns. Und wenn Sie je­ manden von denen kennen, freuen die sich, wenn Sie sie ansprechen und darin bestär­ken.",
+    "decoded_text": "Darüber freuen wir uns. Und wenn Sie je­ manden von denen kennen, freuen die sich, wenn Sie sie ansprechen und darin bestär­ken.",
+    "diff": [
+      "replace   text[3:5] --> decoded_text[3:4]     'ü' --> 'ü'",
+      "replace   text[122:124] --> decoded_text[121:122]     'ä' --> 'ä'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Unsere Kirchengemeinde lebt davon, dass manche eine Aufgabe haben oder eine be­sondere Zeit erleben – wie den Konfirman­denunterricht. Die anderen aber daran teil­haben und sie unterstützen und ihnen Glück wünschen. Und Sie werden merken, dass es Sie selbst beglücken kann, anderen Glück zu wünschen!",
+    "decoded_text": "Unsere Kirchengemeinde lebt davon, dass manche eine Aufgabe haben oder eine be­sondere Zeit erleben – wie den Konfirman­denunterricht. Die anderen aber daran teil­haben und sie unterstützen und ihnen Glück wünschen. Und Sie werden merken, dass es Sie selbst beglücken kann, anderen Glück zu wünschen!",
+    "diff": [
+      "replace   text[184:186] --> decoded_text[184:185]     'ü' --> 'ü'",
+      "replace   text[203:205] --> decoded_text[202:203]     'ü' --> 'ü'",
+      "replace   text[209:211] --> decoded_text[207:208]     'ü' --> 'ü'",
+      "replace   text[265:267] --> decoded_text[262:263]     'ü' --> 'ü'",
+      "replace   text[288:290] --> decoded_text[284:285]     'ü' --> 'ü'",
+      "replace   text[297:299] --> decoded_text[292:293]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "‹ Herzlichen Dank für all Ihre Spenden!",
+    "decoded_text": "‹ Herzlichen Dank für all Ihre Spenden!",
+    "diff": [
+      "replace   text[19:21] --> decoded_text[19:20]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Bitte beachte: Du kannst die an uns erteile Einwilligung auch jederzeit widerrufen. Nutze dazu einfach unsere Kontaktmöglichkeiten. Durch den Widerruf wird die Rechtmäßigkeit der bis dahin erfolgten Verarbeitung nicht berührt.",
+    "decoded_text": "Bitte beachte: Du kannst die an uns erteile Einwilligung auch jederzeit widerrufen. Nutze dazu einfach unsere Kontaktmöglichkeiten. Durch den Widerruf wird die Rechtmäßigkeit der bis dahin erfolgten Verarbeitung nicht berührt.",
+    "diff": [
+      "replace   text[166:168] --> decoded_text[166:167]     'ä' --> 'ä'",
+      "replace   text[222:224] --> decoded_text[221:222]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/Qwen.Qwen3-235B-A22B-Thinking-2507 @ cc100.fa.diff.json

@@ -0,0 +1,248 @@
+[
+  {
+    "text": "رئيس حوزه علميه اصفهان گفت: دليل نزول اکثر مصائب رفتار خودِ انسان هاست؛ فقر، بيماري هاي لاعلاج و ناامني هاي اجتماعي، همه و همه نتيجه گناهاني است که اکثر افراد جامعه مرتکب مي شوند. به گزارش رسا، حضرت آيت الله حسين مظاهري در جلسه تفسير قرآن صبح ديروز که در مسجد اميرالمؤمنين(ع) خيابان جي برگزار شد، گفت: هميشه خير و صلاح افراد در بهره برداري بيشتر از دنيا نيست. وي در ادامه تفسير آيه صد و پنجاه و پنجم سوره بقره که مي فرمايد«وَلَنَبْلُوَنَّکُمْ بِشَيْءٍ مِنَ الْخَوْفِ وَالْجُوعِ وَنَقْصٍ مِنَ الأمْوَالِ وَالأنْفُسِ وَالثَّمَرَاتِ وَبَشِّرِ الصَّابِرِينَ» افزود: بلاها و مصائب با اين دنيا عجين شده است و اين بلاها در همه زمينه هاي فردي و اجتماعي جريان دارد و رفتار مردم در برابر اين بلاها و مصائب به دو بخش تقسيم مي شود، عده اي در برابر مصائب جزع و فزع مي کنند و گاهي منکر همه اعتقادات و باورهايشان مي شوند و عده اي در برابر همين بلاها صبر پيشه مي کنند و همه مصائب را از سوي خداوند مي بينند و به فعل خداوند راضي هستند. حضرت آيت الله مظاهري برخي از مصائب را از الطاف خفيه الهي دانست و خاطرنشان کرد: خداوند بر افرادي که در برابر مصائب صبر پيشه",
+    "decoded_text": "رئيس حوزه علميه اصفهان گفت: دليل نزول اکثر مصائب رفتار خودِ انسان هاست؛ فقر، بيماري هاي لاعلاج و ناامني هاي اجتماعي، همه و همه نتيجه گناهاني است که اکثر افراد جامعه مرتکب مي شوند. به گزارش رسا، حضرت آيت الله حسين مظاهري در جلسه تفسير قرآن صبح ديروز که در مسجد اميرالمؤمنين(ع) خيابان جي برگزار شد، گفت: هميشه خير و صلاح افراد در بهره برداري بيشتر از دنيا نيست. وي در ادامه تفسير آيه صد و پنجاه و پنجم سوره بقره که مي فرمايد«وَلَنَبْلُوَنَّکُمْ بِشَيْءٍ مِنَ الْخَوْفِ وَالْجُوعِ وَنَقْصٍ مِنَ الأمْوَالِ وَالأنْفُسِ وَالثَّمَرَاتِ وَبَشِّرِ الصَّابِرِينَ» افزود: بلاها و مصائب با اين دنيا عجين شده است و اين بلاها در همه زمينه هاي فردي و اجتماعي جريان دارد و رفتار مردم در برابر اين بلاها و مصائب به دو بخش تقسيم مي شود، عده اي در برابر مصائب جزع و فزع مي کنند و گاهي منکر همه اعتقادات و باورهايشان مي شوند و عده اي در برابر همين بلاها صبر پيشه مي کنند و همه مصائب را از سوي خداوند مي بينند و به فعل خداوند راضي هستند. حضرت آيت الله مظاهري برخي از مصائب را از الطاف خفيه الهي دانست و خاطرنشان کرد: خداوند بر افرادي که در برابر مصائب صبر پيشه",
+    "diff": [
+      "insert    text[436:436] --> decoded_text[436:437]       '' --> 'َ'",
+      "delete    text[437:438] --> decoded_text[438:438]      'َ' --> ''",
+      "insert    text[520:520] --> decoded_text[520:521]       '' --> 'َ'",
+      "delete    text[521:522] --> decoded_text[522:522]      'َ' --> ''",
+      "insert    text[543:543] --> decoded_text[543:544]       '' --> 'َ'",
+      "delete    text[544:545] --> decoded_text[545:545]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "«رِجَالٌ لا تُلْهِیهِمْ تجَارَةٌ وَ لا بَیْعٌ عَن ذِکْرِ اللهِ وَ إِقَامِ الصَّلَوةِ وَ إِیتَاءِ الزَّکَوةِ ـ مردانی که نه تجارت و نه معامله‏ای آنان را از یاد خدا و برپاداشتن نماز و ادای زکات غافل نمی‏کند.»[1]",
+    "decoded_text": "«رِجَالٌ لا تُلْهِیهِمْ تجَارَةٌ وَ لا بَیْعٌ عَن ذِکْرِ اللهِ وَ إِقَامِ الصَّلَوةِ وَ إِیتَاءِ الزَّکَوةِ ـ مردانی که نه تجارت و نه معامله‏ای آنان را از یاد خدا و برپاداشتن نماز و ادای زکات غافل نمی‏کند.»[1]",
+    "diff": [
+      "insert    text[77:77] --> decoded_text[77:78]       '' --> 'َ'",
+      "delete    text[78:79] --> decoded_text[79:79]      'َ' --> ''",
+      "insert    text[100:100] --> decoded_text[100:101]       '' --> 'َ'",
+      "delete    text[101:102] --> decoded_text[102:102]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "«وَ إِمَّا یَنْزَغَنَّکَ مِنَ الشَّیْطانِ نَزْغٌ فَاسْتَعِذْ بِاللهِ إِنَّهُ سَمِیعٌ عَلِیمٌ ـ و هر گاه وسوسه‌ای از شیطان به تو رسد، به خدا پناه ببر که او شنوای داناست.»[19]",
+    "decoded_text": "«وَ إِمَّا یَنْزَغَنَّکَ مِنَ الشَّیْطانِ نَزْغٌ فَاسْتَعِذْ بِاللهِ إِنَّهُ سَمِیعٌ عَلِیمٌ ـ و هر گاه وسوسه‌ای از شیطان به تو رسد، به خدا پناه ببر که او شنوای داناست.»[19]",
+    "diff": [
+      "insert    text[7:7] --> decoded_text[7:8]       '' --> 'َ'",
+      "delete    text[8:9] --> decoded_text[9:9]      'َ' --> ''",
+      "insert    text[20:20] --> decoded_text[20:21]       '' --> 'َ'",
+      "delete    text[21:22] --> decoded_text[22:22]      'َ' --> ''",
+      "insert    text[33:33] --> decoded_text[33:34]       '' --> 'َ'",
+      "delete    text[34:35] --> decoded_text[35:35]      'َ' --> ''",
+      "insert    text[72:72] --> decoded_text[72:73]       '' --> 'َ'",
+      "delete    text[73:74] --> decoded_text[74:74]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "«وَ قُلْ رَبِّ أَعُوذُ بِکَ مِنْ هَمَزاتِ الشَّیَاطِینِ* وَ أَعُوذُ بِکَ رَبِّ أَنْ یَحْضُرُونِ ـ بگو ای پروردگار من؛ پناه می‌برم به تو از وسوسه‌های شیاطین* و پناه می‌برم به تو ای پروردگار من؛ از این‌که حاضر شوند.»([20]",
+    "decoded_text": "«وَ قُلْ رَبِّ أَعُوذُ بِکَ مِنْ هَمَزاتِ الشَّیَاطِینِ* وَ أَعُوذُ بِکَ رَبِّ أَنْ یَحْضُرُونِ ـ بگو ای پروردگار من؛ پناه می‌برم به تو از وسوسه‌های شیاطین* و پناه می‌برم به تو ای پروردگار من؛ از این‌که حاضر شوند.»([20]",
+    "diff": [
+      "insert    text[12:12] --> decoded_text[12:13]       '' --> 'ِ'",
+      "delete    text[13:14] --> decoded_text[14:14]      'ِ' --> ''",
+      "insert    text[45:45] --> decoded_text[45:46]       '' --> 'َ'",
+      "delete    text[46:47] --> decoded_text[47:47]      'َ' --> ''",
+      "insert    text[76:76] --> decoded_text[76:77]       '' --> 'ِ'",
+      "delete    text[77:78] --> decoded_text[78:78]      'ِ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "امیرالمؤمنین علیه‌السلام فرموده‏ا‏ند: «هنگامی که شیطان یکی از شما را وسوسه نمود، باید به خدا پناه ببرد و بگوید: آمَنْتُ بِاللهِ وَ بِرَسُولِهِ مُخْلِصاً لَهُ الدِّینَ»[23]",
+    "decoded_text": "امیرالمؤمنین علیه‌السلام فرموده‏ا‏ند: «هنگامی که شیطان یکی از شما را وسوسه نمود، باید به خدا پناه ببرد و بگوید: آمَنْتُ بِاللهِ وَ بِرَسُولِهِ مُخْلِصاً لَهُ الدِّینَ»[23]",
+    "diff": [
+      "insert    text[161:161] --> decoded_text[161:162]       '' --> 'ِ'",
+      "delete    text[162:163] --> decoded_text[163:163]      'ِ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "حضرت صادق علیه‌السلام فرمود: مردی خدمت رسول خدا آمد و گفت: یا رسول الله؛ از وسوسه‌ای که در نماز به من القا می‌شود شکایت دارم. حتی این‌که نمی‏دانم چه‌قدر نماز کردم از زیاده یا کم. حضرت فرمودند: «وقتی داخل نماز شدی، انگشت سبّابه‌ی دست راستت را به ران پای چپت بزن و سپس بگو: بِسْمِ اللهِ وَ بِاللهِ تَوَکَّلْتُ عَلَی اللهِ أَعُوذُ بِاللهِ السَّمِیعِ الْعَلِیمِ مِنَ الشَّیْطَانِ الرَّجِیمِ ـ پس همانا او را دور و از خود منع و طرد کنی.»[24]",
+    "decoded_text": "حضرت صادق علیه‌السلام فرمود: مردی خدمت رسول خدا آمد و گفت: یا رسول الله؛ از وسوسه‌ای که در نماز به من القا می‌شود شکایت دارم. حتی این‌که نمی‏دانم چه‌قدر نماز کردم از زیاده یا کم. حضرت فرمودند: «وقتی داخل نماز شدی، انگشت سبّابه‌ی دست راستت را به ران پای چپت بزن و سپس بگو: بِسْمِ اللهِ وَ بِاللهِ تَوَکَّلْتُ عَلَی اللهِ أَعُوذُ بِاللهِ السَّمِیعِ الْعَلِیمِ مِنَ الشَّیْطَانِ الرَّجِیمِ ـ پس همانا او را دور و از خود منع و طرد کنی.»[24]",
+    "diff": [
+      "insert    text[301:301] --> decoded_text[301:302]       '' --> 'َ'",
+      "delete    text[302:303] --> decoded_text[303:303]      'َ' --> ''",
+      "insert    text[339:339] --> decoded_text[339:340]       '' --> 'َ'",
+      "delete    text[340:341] --> decoded_text[341:341]      'َ' --> ''",
+      "insert    text[366:366] --> decoded_text[366:367]       '' --> 'َ'",
+      "delete    text[367:368] --> decoded_text[368:368]      'َ' --> ''",
+      "insert    text[379:379] --> decoded_text[379:380]       '' --> 'َ'",
+      "delete    text[380:381] --> decoded_text[381:381]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آموزگاران بهترین مردم اند . هرگاه یاد [خدا] کهنه مى شود، تجدیدش مى کنند . به آنان عطا کنید ولى آنها را به مزدورى نگیرید که بر آنان سخت مى آید. کد خبر: ۷۴۸۰۲. تاریخ: ۱۸ اردیبهشت ۱۳۹۴ - ۰۹:۲۱. رسول خدا صلى الله علیه و آله :. المُعَلِّمونَ خَیرُ النّاسِ کُلَّما أخلَقَ الذِّکرُ جَدَّدوهُ، أعطوهُم ولا تَستَأجِروهُم فَتُحرِجوهُم؛. آموزگاران بهترین مردم اند . هرگاه یاد [خدا] کهنه مى شود، تجدیدش. مى کنند . به آنان عطا کنید ولى آنها را به مزدورى نگیرید که بر آنان سخت. مى آید. الفردوس : ۴ / ۱۹۳ / ۶۵۹۷ . علم و حکمت ج 2، ص 626. امام هادی علیه السلام:.",
+    "decoded_text": "آموزگاران بهترین مردم اند . هرگاه یاد [خدا] کهنه مى شود، تجدیدش مى کنند . به آنان عطا کنید ولى آنها را به مزدورى نگیرید که بر آنان سخت مى آید. کد خبر: ۷۴۸۰۲. تاریخ: ۱۸ اردیبهشت ۱۳۹۴ - ۰۹:۲۱. رسول خدا صلى الله علیه و آله :. المُعَلِّمونَ خَیرُ النّاسِ کُلَّما أخلَقَ الذِّکرُ جَدَّدوهُ، أعطوهُم ولا تَستَأجِروهُم فَتُحرِجوهُم؛. آموزگاران بهترین مردم اند . هرگاه یاد [خدا] کهنه مى شود، تجدیدش. مى کنند . به آنان عطا کنید ولى آنها را به مزدورى نگیرید که بر آنان سخت. مى آید. الفردوس : ۴ / ۱۹۳ / ۶۵۹۷ . علم و حکمت ج 2، ص 626. امام هادی علیه السلام:.",
+    "diff": [
+      "insert    text[230:230] --> decoded_text[230:231]       '' --> 'ِ'",
+      "insert    text[231:231] --> decoded_text[232:249]       '' --> 'مونَ خَیرُ النّاس'",
+      "replace   text[232:246] --> decoded_text[250:255] 'مونَ خَیرُ الن' --> ' کُلَ'",
+      "replace   text[247:249] --> decoded_text[256:269]     'اس' --> 'ما أخلَقَ الذ'",
+      "delete    text[250:254] --> decoded_text[270:270]   ' کُل' --> ''",
+      "replace   text[255:269] --> decoded_text[271:279] 'َما أخلَقَ الذ' --> 'کرُ جَدَ'",
+      "delete    text[270:280] --> decoded_text[280:280] 'ِکرُ جَدَّ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آن گاه که در روز قیامت برانگیخته شوم، گناهکاران امّت پیامبر اسلام را شفاعت خواهم کرد. کد خبر: ۷۲۳۰۷. تاریخ: ۲۱ فروردین ۱۳۹۴ - ۰۶:۰۰. حضرت فاطمه ‏علیها السلام :. إذا حُشِرتُ یَومَ القِیامَةِ أشفَعُ عُصاةَ اُمَّةِ النَّبِیِّ صلی الله علیه و آله؛. آن گاه که در روز قیامت برانگیخته شوم، گناهکاران امّت پیامبر اسلام را شفاعت خواهم کرد. إحقاق الحقّ، ج 19، ص 129 ؛ آینه یادها ص 172. امام على علیه السلام:. ضادُّوا التَّوانِیَ بِالعَزمِ؛. از راه تصمیم راسخ گرفتن، با سستى نبرد کنید. عیون الحکم والمواعظ: ص ۳۱۰ ح ۵۴۵۴ / میزان الحکمه: ج10 ص134.",
+    "decoded_text": "آن گاه که در روز قیامت برانگیخته شوم، گن��هکاران امّت پیامبر اسلام را شفاعت خواهم کرد. کد خبر: ۷۲۳۰۷. تاریخ: ۲۱ فروردین ۱۳۹۴ - ۰۶:۰۰. حضرت فاطمه ‏علیها السلام :. إذا حُشِرتُ یَومَ القِیامَةِ أشفَعُ عُصاةَ اُمَّةِ النَّبِیِّ صلی الله علیه و آله؛. آن گاه که در روز قیامت برانگیخته شوم، گناهکاران امّت پیامبر اسلام را شفاعت خواهم کرد. إحقاق الحقّ، ج 19، ص 129 ؛ آینه یادها ص 172. امام على علیه السلام:. ضادُّوا التَّوانِیَ بِالعَزمِ؛. از راه تصمیم راسخ گرفتن، با سستى نبرد کنید. عیون الحکم والمواعظ: ص ۳۱۰ ح ۵۴۵۴ / میزان الحکمه: ج10 ص134.",
+    "diff": [
+      "replace   text[207:209] --> decoded_text[207:209]     'َّ' --> 'َّ'",
+      "replace   text[215:222] --> decoded_text[215:222] 'َّبِیِّ' --> 'َّبِیِّ'",
+      "delete    text[402:403] --> decoded_text[402:402]      'ّ' --> ''",
+      "replace   text[404:412] --> decoded_text[403:412] 'وا التَّ' --> 'ّوا التَّ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آن گاه که وقت خروج قائم مى‏‌شود، منادى‏‌اى از آسمان ندا مى‌‏دهد: «اى مردم ! مدّت حکومت جبّاران بر شما، به پایان رسید و بهترین فرد امّت محمّد، حکومت را به دست گرفته است، پس به مکّه بروید». کد خبر: ۷۱۵۹۷. تاریخ: ۱۲ فروردین ۱۳۹۴ - ۰۶:۰۰. پیامبر صلى‏ الله ‏علیه ‏و‏آله:. إذا. کانَ عِندَ خُروجِ القائِمِ یُنادی مُنادٍ مِنَ السَّماءِ: أیُّهَا. النّاسُ! قَطَعَ عَنکُم مُدَّةُ الجَبّارینَ ووَلِیَ الأَمرَ خَیرُ اُمَّةِ. مُحَمَّدٍ فَالحَقوا بِمَکَّةَ؛. آن گاه که وقت خروج قائم مى‏‌شود، منادى‏‌اى از آسمان ندا مى‌‏دهد:. «اى مردم ! مدّت حکومت جبّاران بر شما، به",
+    "decoded_text": "آن گاه که وقت خروج قائم مى‏‌شود، منادى‏‌اى از آسمان ندا مى‌‏دهد: «اى مردم ! مدّت حکومت جبّاران بر شما، به پایان رسید و بهترین فرد امّت محمّد، حکومت را به دست گرفته است، پس به مکّه بروید». کد خبر: ۷۱۵۹۷. تاریخ: ۱۲ فروردین ۱۳۹۴ - ۰۶:۰۰. پیامبر صلى‏ الله ‏علیه ‏و‏آله:. إذا. کانَ عِندَ خُروجِ القائِمِ یُنادی مُنادٍ مِنَ السَّماءِ: أیُّهَا. النّاسُ! قَطَعَ عَنکُم مُدَّةُ الجَبّارینَ ووَلِیَ الأَمرَ خَیرُ اُمَّةِ. مُحَمَّدٍ فَالحَقوا بِمَکَّةَ؛. آن گاه که وقت خروج قائم مى‏‌شود، منادى‏‌اى از آسمان ندا مى‌‏دهد:. «اى مردم ! مدّت حکومت جبّاران بر شما، به",
+    "diff": [
+      "replace   text[321:323] --> decoded_text[321:323]     'َّ' --> 'َّ'",
+      "replace   text[331:333] --> decoded_text[331:333]     'ُّ' --> 'ُّ'",
+      "replace   text[364:366] --> decoded_text[364:366]     'َّ' --> 'َّ'",
+      "replace   text[406:408] --> decoded_text[406:408]     'َّ' --> 'َّ'",
+      "replace   text[417:419] --> decoded_text[417:419]     'َّ' --> 'َّ'",
+      "replace   text[437:439] --> decoded_text[437:439]     'َّ' --> 'َّ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آن که سازش و مدارا را ترک کند، ناگوارى به او روى آورَد. کد خبر: ۷۳۵۳۸. تاریخ: ۰۲ اردیبهشت ۱۳۹۴ - ۰۶:۰۰. امام جواد(سلام الله علیه):. مَن هَجَرَ الْمُداراةَ قَاربَهُ المَکرُوهُ؛. آن که سازش و مدارا را ترک کند، ناگوارى به او روى آورَد. بحارالأنوار، ج 68، ص 341. پیامبر خدا(صلی الله علیه و آله):. لا تَخَفْ فِی اللَّهِ لَومَةَ لائمٍ؛. در راه خدا از ملامت و نکوهش ملامتگران نترس. معانى الأخبار، ص 335.",
+    "decoded_text": "آن که سازش و مدارا را ترک کند، ناگوارى به او روى آورَد. کد خبر: ۷۳۵۳۸. تاریخ: ۰۲ اردیبهشت ۱۳۹۴ - ۰۶:۰۰. امام جواد(سلام الله علیه):. مَن هَجَرَ الْمُداراةَ قَاربَهُ المَکرُوهُ؛. آن که سازش و مدارا را ترک کند، ناگوارى به او روى آورَد. بحارالأنوار، ج 68، ص 341. پیامبر خدا(صلی الله علیه و آله):. لا تَخَفْ فِی اللَّهِ لَومَةَ لائمٍ؛. در راه خدا از ملامت و نکوهش ملامتگران نترس. معانى الأخبار، ص 335.",
+    "diff": [
+      "insert    text[310:310] --> decoded_text[310:311]       '' --> 'َ'",
+      "delete    text[311:312] --> decoded_text[312:312]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آنچه را به تو ربطی ندارد، رها کن و به کارى که رستگارت کند، مشغول شو. کد خبر: ۶۸۸۵۸. تاریخ: ۲۶ بهمن ۱۳۹۳ - ۰۶:۰۰. امام علی علیه السلام:. دَع ما لا یَعنِیکَ، وَ اشتَغِل بِمُهِمِّکَ الَّذی یُنجِیکَ؛. آنچه را به تو ربطی ندارد، رها کن و به کارى که رستگارت کند، مشغول شو. غرر الحکم: ح ۵۱۳۳/ گزیده غررالحکم و دررالکلم، ص52. امام على علیه‏السلام :. عَظِّمُوا أقدارَکُم بِالتَّغافُلِ عَنِ الدَّنِیِّ مِنَ الاُْمُورِ ؛. با بى توجهى به امور پست، بر ارزش خود بیفزایید . تحف العقول ، ص 224.",
+    "decoded_text": "آنچه را به تو ربطی ندارد، رها کن و به کارى که رستگارت کند، مشغول شو. کد خبر: ۶۸۸۵۸. تاریخ: ۲۶ بهمن ۱۳۹۳ - ۰۶:۰۰. امام علی علیه السلام:. دَع ما لا یَعنِیکَ، وَ اشتَغِل بِمُهِمِّکَ الَّذی یُنجِیکَ؛. آنچه را به تو ربطی ندارد، رها کن و به کارى که رستگارت کند، مشغول شو. غرر الحکم: ح ۵۱۳۳/ گزیده غررالحکم و دررالکلم، ص52. امام على علیه‏السلام :. عَظِّمُوا أقدارَکُم بِالتَّغافُلِ عَنِ الدَّنِیِّ مِنَ الاُْمُورِ ؛. با بى توجهى به امور پست، بر ارزش خود بیفزایید . تحف العقول ، ص 224.",
+    "diff": [
+      "replace   text[174:183] --> decoded_text[174:183] 'ِّکَ الَّ' --> 'ِّکَ الَّ'",
+      "replace   text[344:346] --> decoded_text[344:346]     'ِّ' --> 'ِّ'",
+      "replace   text[366:368] --> decoded_text[366:368]     'َّ' --> 'َّ'",
+      "replace   text[383:399] --> decoded_text[383:400] 'َّنِیِّ مِنَ الا' --> 'َّنِیِّ مِنَ الاُ'",
+      "delete    text[400:401] --> decoded_text[401:401]      'ُ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "اگر به آنچه تو را به آن فرمان می‌‏دهیم عمل کنی و از آنچه برحذر می‏داریم دوری کنی ، از شیعیان مایی و الّا هرگز. کد خبر: ۷۱۵۲۴. تاریخ: ۰۳ فروردین ۱۳۹۴ - ۰۶:۰۰. حضرت فاطمه‏ علیها السلام :. إنْ کُنتَ تَعمَلُ بِما أمَرناکَ و تَنتَهی عَمّا زَجَرناکَ عَنهُ فَأنتَ مِن شیعَتِنا و إلّا فَلا؛. اگر به آنچه تو را به آن فرمان می‌‏دهیم عمل کنی و از آنچه برحذر می‏داریم دوری کنی ، از شیعیان مایی و الّا هرگز. بحار الأنوار ، ج ۶۸ ، ص ۱۵۵ . امام على سلام الله علیه:. تَبارَکَ. اللّهُ الَّذی . . . أنشَأَ السَّحابَ الثِّقالَ ، فَأَهطَلَ دِیَمَها. وعَدَّدَ قِسَمَها",
+    "decoded_text": "اگر به آنچه تو را به آن فرمان می‌‏دهیم عمل کنی و از آنچه برحذر می‏داریم دوری کنی ، از شیعیان مایی و الّا هرگز. کد خبر: ۷۱۵۲۴. تاریخ: ۰۳ فروردین ۱۳۹۴ - ۰۶:۰۰. حضرت فاطمه‏ علیها السلام :. إنْ کُنتَ تَعمَلُ بِما أمَرناکَ و تَنتَهی عَمّا زَجَرناکَ عَنهُ فَأنتَ مِن شیعَتِنا و إلّا فَلا؛. اگر به آنچه تو را به آن فرمان می‌‏دهیم عمل کنی و از آنچه برحذر می‏داریم دوری کنی ، از شیعیان مایی و الّا هرگز. بحار الأنوار ، ج ۶۸ ، ص ۱۵۵ . امام على سلام الله علیه:. تَبارَکَ. اللّهُ الَّذی . . . أنشَأَ السَّحابَ الثِّقالَ ، فَأَهطَلَ دِیَمَها. وعَدَّدَ قِسَمَها",
+    "diff": [
+      "replace   text[470:472] --> decoded_text[470:472]     'َّ' --> 'َّ'",
+      "replace   text[491:493] --> decoded_text[491:493]     'َّ' --> 'َّ'",
+      "delete    text[501:502] --> decoded_text[501:501]      'ّ' --> ''",
+      "insert    text[503:503] --> decoded_text[502:503]       '' --> 'ّ'",
+      "replace   text[534:536] --> decoded_text[534:536]     'َّ' --> 'َّ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "اگر مى‏‌توانى، همیشه با وضو باش. کد خبر: ۷۱۵۰۰. تاریخ: ۲۹ اسفند ۱۳۹۳ - ۱۲:۰۷. پیامبر اکرم (صلی الله علیه و آله):. إنِ استَطَعتَ أن تَکونَ أبَداً عَلى وُضوءٍ فَافعَل. اگر مى‏‌توانى، همیشه با وضو باش. حکمت نامه پیامبر اعظم(ص): ج9- ص306 - ح 7205. امام باقر (سلام الله علیه) :. الکَسَلُ یُضِرُّ بِالدِّینِ والدُّنیا. تنبلى به دین و دنیا ضرر مى‏‌زند. میزان الحکمة: ج10- ص131- ح 17769.",
+    "decoded_text": "اگر مى‏‌توانى، همیشه با وضو باش. کد خبر: ۷۱۵۰۰. تاریخ: ۲۹ اسفند ۱۳۹۳ - ۱۲:۰۷. پیامبر اکرم (صلی الله علیه و آله):. إنِ استَطَعتَ أن تَکونَ أبَداً عَلى وُضوءٍ فَافعَل. اگر مى‏‌توانى، همیشه با وضو باش. حکمت نامه پیامبر اعظم(ص): ج9- ص306 - ح 7205. امام باقر (سلام الله علیه) :. الکَسَلُ یُضِرُّ بِالدِّینِ والدُّنیا. تنبلى به دین و دنیا ضرر مى‏‌زند. میزان الحکمة: ج10- ص131- ح 17769.",
+    "diff": [
+      "insert    text[288:288] --> decoded_text[288:289]       '' --> 'ُ'",
+      "replace   text[289:296] --> decoded_text[290:297] 'ُ بِالد' --> ' بِالدِ'",
+      "replace   text[297:306] --> decoded_text[298:307] 'ِینِ والد' --> 'ینِ والدُ'",
+      "delete    text[307:308] --> decoded_text[308:308]      'ُ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "اگر مى‏توانید هر روز را نوروز کنید؛ یعنى در راه خدا به یکدیگر هدیه بدهید و با یکدیگر پیوند داشته باشید. کد خبر: ۷۱۵۰۱. تاریخ: ۰۱ فروردین ۱۳۹۴ - ۰۶:۰۰. پیامبر اکرم صلی الله علیه وآله. فَنَیرِزُوا إن قَدَرتُم کُلَّ یَومٍ یَعنی تَهادَوا و تَواصَلُوا فِی اللَّهِ؛. اگر مى‏توانید هر روز را نوروز کنید؛ یعنى در راه خدا به یکدیگر هدیه بدهید و با یکدیگر پیوند داشته باشید. دعائم الإسلام: ج 2، ص 326. امام صادق سلام الله علیه. إنَّ یَومَ النَّیروزِ هُوَ الیَومُ الّذى أخَذَ اللَّهُ فیهِ مَواثیقَ العِبادِ أن یَعبُدوهُ. روز نوروز همان روزى است که خداوند از بند",
+    "decoded_text": "اگر مى‏توانید هر روز را نوروز کنید؛ یعنى در راه خدا به یکدیگر هدیه بدهید و با یکدیگر پیوند داشته باشید. کد خبر: ۷۱۵۰۱. تاریخ: ۰۱ فروردین ۱۳۹۴ - ۰۶:۰۰. پیامبر اکرم صلی الله علیه وآله. فَنَیرِزُوا إن قَدَرتُم کُلَّ یَومٍ یَعنی تَهادَوا و تَواصَلُوا فِی اللَّهِ؛. اگر مى‏توانید هر روز را نوروز کنید؛ یعنى در راه خدا به یکدیگر هدیه بدهید و با یکدیگر پیوند داشته باشید. دعائم الإسلام: ج 2، ص 326. امام صادق سلام الله علیه. إنَّ یَومَ النَّیروزِ هُوَ الیَومُ الّذى أخَذَ اللَّهُ فیهِ مَواثیقَ العِبادِ أن یَعبُدوهُ. روز نوروز همان روزى است که خداوند از بند",
+    "diff": [
+      "insert    text[210:210] --> decoded_text[210:211]       '' --> 'َ'",
+      "delete    text[211:212] --> decoded_text[212:212]      'َ' --> ''",
+      "insert    text[254:254] --> decoded_text[254:255]       '' --> 'َ'",
+      "delete    text[255:256] --> decoded_text[256:256]      'َ' --> ''",
+      "insert    text[420:420] --> decoded_text[420:421]       '' --> 'َ'",
+      "replace   text[421:432] --> decoded_text[422:433] 'َ یَومَ الن' --> ' یَومَ النَ'",
+      "delete    text[433:434] --> decoded_text[434:434]      'َ' --> ''",
+      "insert    text[468:468] --> decoded_text[468:469]       '' --> 'َ'",
+      "delete    text[469:470] --> decoded_text[470:470]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "امام باقر علیه السلام‏:. أحسِن؛ فَإِنّى لَم أرَ شَیئاً قَطُّ أشَدَّ طَلَباً ولا أسرَعَ دَرکاً مِن حَسَنَةٍ مُحدَثَةٍ لِذَنبٍ قَدیمٍ؛. نیکى کن؛ که به‌راستى هرگز چیزى مانند کار نیکِ جدید را ندیده‏‌ام. که این‌چنین، به تعقیب یک گناه قدیم برآید و با سرعت، خود را به آن برساند. [و آن را محو سازد]. علل الشرائع: ص ۵۹۹ ح ۴۹ / حکمت‌نامه حضرت عبدالعظیم الحسنی علیه السلام، ص175. امام صادق سلام الله علیه :. کَثرَةُ النَّومِ مَذهَبَةٌ للدِّینِ والدُّنیا؛. پرخوابى، دین و دنیا را از بین مى‏برد. کافی : ج 5، ص 84، ح 1 / میزان الحکمة: ج 12 ، ص 493.",
+    "decoded_text": "امام باقر علیه السلام‏:. أحسِن؛ فَإِنّى لَم أرَ شَیئاً قَطُّ أشَدَّ طَلَباً ولا أسرَعَ دَرکاً مِن حَسَنَةٍ مُحدَثَةٍ لِذَنبٍ قَدیمٍ؛. نیکى کن؛ که به‌راستى هرگز چیزى مانند کار نیکِ جدید را ندیده‏‌ام. که این‌چنین، به تعقیب یک گناه قدیم برآید و با سرعت، خود را به آن برساند. [و آن را محو سازد]. علل الشرائع: ص ۵۹۹ ح ۴۹ / حکمت‌نامه حضرت عبدالعظیم الحسنی علیه السلام، ص175. امام صادق سلام الله علیه :. کَثرَةُ النَّومِ مَذهَبَةٌ للدِّینِ والدُّنیا؛. پرخوابى، دین و دنیا را از بین مى‏برد. کافی : ج 5، ص 84، ح 1 / میزان الحکمة: ج 12 ، ص 493.",
+    "diff": [
+      "insert    text[58:58] --> decoded_text[58:59]       '' --> 'ُ'",
+      "delete    text[59:60] --> decoded_text[60:60]      'ُ' --> ''",
+      "insert    text[65:65] --> decoded_text[65:66]       '' --> 'َ'",
+      "delete    text[66:67] --> decoded_text[67:67]      'َ' --> ''",
+      "insert    text[408:408] --> decoded_text[408:409]       '' --> 'َ'",
+      "delete    text[409:410] --> decoded_text[410:410]      'َ' --> ''",
+      "insert    text[427:427] --> decoded_text[427:428]       '' --> 'ِ'",
+      "replace   text[428:437] --> decoded_text[429:438] 'ِینِ والد' --> 'ینِ والدُ'",
+      "delete    text[438:439] --> decoded_text[439:439]      'ُ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "امام باقر علیه السلام:. أقرَبُ ما یَکونُ العَبدُ مِنَ اللَّهِ إذا کانَ فِی الصَّلاةِ؛. نزدیک‏ترین حالت بنده به خدا، هنگامى است که در نماز است. دعائم الإسلام: ج ۱ ص ۱۳۴/ شناخت‌نامه نماز: ج1 ص204. پیامبر اکرم صلی الله علیه و آله:. فإنَّ خِیارَکُم خِیارُکُم لِأهلِهِ. براستى بهترین شما کسى است که براى خانواده اش بهتر باشد . بحار الأنوار :ج 5 ، ص 268 ، ح79 / میزان الحکمة : ج 5 ، ص 101.",
+    "decoded_text": "امام باقر علیه السلام:. أقرَبُ ما یَکونُ العَبدُ مِنَ اللَّهِ إذا کانَ فِی الصَّلاةِ؛. نزدیک‏ترین حالت بنده به خدا، هنگامى است که در نماز است. دعائم الإسلام: ج ۱ ص ۱۳۴/ شناخت‌نامه نماز: ج1 ص204. پیامبر اکرم صلی الله علیه و آله:. فإنَّ خِیارَکُم خِیارُکُم لِأهلِهِ. براستى بهترین شما کسى است که براى خانواده اش بهتر باشد . بحار الأنوار :ج 5 ، ص 268 ، ح79 / میزان الحکمة : ج 5 ، ص 101.",
+    "diff": [
+      "insert    text[57:57] --> decoded_text[57:58]       '' --> 'َ'",
+      "delete    text[58:59] --> decoded_text[59:59]      'َ' --> ''",
+      "insert    text[78:78] --> decoded_text[78:79]       '' --> 'َ'",
+      "delete    text[79:80] --> decoded_text[80:80]      'َ' --> ''",
+      "insert    text[232:232] --> decoded_text[232:233]       '' --> 'َ'",
+      "delete    text[233:234] --> decoded_text[234:234]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "قالیباف افزود: یا حدیث معروفِ «مَن اَصبَحَ وَ لَم یَهتَمَّ بِاُمورِ المُسلِمینَ فَلَیسَ بِمُسلِم» و نمونه های مشابه آن، جزو بیّنات اسلام است؛ یعنى اسلام انسان را این‌جور خواسته است که مسئول باشد؛ هم نسبت به خود، هم نسبت به نزدیکان خود، هم نسبت به جامعه‌ى خود، هم نسبت به بشریّت.",
+    "decoded_text": "قالیباف افزود: یا حدیث معروفِ «مَن اَصبَحَ وَ لَم یَهتَمَّ بِاُمورِ المُسلِمینَ فَلَیسَ بِمُسلِم» و نمونه های مشابه آن، جزو بیّنات اسلام است؛ یعنى اسلام انسان را این‌جور خواسته است که مسئول باشد؛ هم نسبت به خود، هم نسبت به نزدیکان خود، هم نسبت به جامعه‌ى خود، هم نسبت به بشریّت.",
+    "diff": [
+      "insert    text[56:56] --> decoded_text[56:57]       '' --> 'َ'",
+      "delete    text[57:58] --> decoded_text[58:58]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/Qwen.Qwen3-235B-A22B-Thinking-2507 @ cc100.fr.diff.json

@@ -0,0 +1,105 @@
+[
+  {
+    "text": "Une Agence conseil en Communication et Coopération Décentralisée.",
+    "decoded_text": "Une Agence conseil en Communication et Coopération Décentralisée.",
+    "diff": [
+      "replace   text[43:45] --> decoded_text[43:44]     'é' --> 'é'",
+      "replace   text[53:55] --> decoded_text[52:53]     'é' --> 'é'",
+      "replace   text[64:66] --> decoded_text[62:63]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Une équipe de consultants expérimentés pour accompagner, conseiller tout type de coopération économique, sociale, culturelle et durable, en lien avec l’Afrique.",
+    "decoded_text": "Une équipe de consultants expérimentés pour accompagner, conseiller tout type de coopération économique, sociale, culturelle et durable, en lien avec l’Afrique.",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'é' --> 'é'",
+      "replace   text[30:32] --> decoded_text[29:30]     'é' --> 'é'",
+      "replace   text[38:40] --> decoded_text[36:37]     'é' --> 'é'",
+      "replace   text[88:90] --> decoded_text[85:86]     'é' --> 'é'",
+      "replace   text[97:99] --> decoded_text[93:94]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Des compétences confirmées dans les domaines des médias et de la communication publique.",
+    "decoded_text": "Des compétences confirmées dans les domaines des médias et de la communication publique.",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'é' --> 'é'",
+      "replace   text[24:26] --> decoded_text[23:24]     'é' --> 'é'",
+      "replace   text[52:54] --> decoded_text[50:51]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Une bonne connaissance du réseau des décideurs publics et privés, en France et ailleurs dans le monde, principalement pour l’Afrique.",
+    "decoded_text": "Une bonne connaissance du réseau des décideurs publics et privés, en France et ailleurs dans le monde, principalement pour l’Afrique.",
+    "diff": [
+      "replace   text[27:29] --> decoded_text[27:28]     'é' --> 'é'",
+      "replace   text[39:41] --> decoded_text[38:39]     'é' --> 'é'",
+      "replace   text[64:66] --> decoded_text[62:63]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "La tribune internationale pour parler des atouts de la Côte d’Ivoire et lui offrir les meilleures conditions des approches nouvelles des politiques de coopération française et européenne.",
+    "decoded_text": "La tribune internationale pour parler des atouts de la Côte d’Ivoire et lui offrir les meilleures conditions des approches nouvelles des politiques de coopération française et européenne.",
+    "diff": [
+      "replace   text[56:58] --> decoded_text[56:57]     'ô' --> 'ô'",
+      "replace   text[156:158] --> decoded_text[155:156]     'é' --> 'é'",
+      "replace   text[169:171] --> decoded_text[167:168]     'ç' --> 'ç'",
+      "replace   text[184:186] --> decoded_text[181:182]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "La rencontre entre les pouvoirs publics et décideurs français, les autorités ivoiriennes, les hommes d'affaires, entrepreneurs et investisseurs, venant de tous horizons.",
+    "decoded_text": "La rencontre entre les pouvoirs publics et décideurs français, les autorités ivoiriennes, les hommes d'affaires, entrepreneurs et investisseurs, venant de tous horizons.",
+    "diff": [
+      "replace   text[44:46] --> decoded_text[44:45]     'é' --> 'é'",
+      "replace   text[58:60] --> decoded_text[57:58]     'ç' --> 'ç'",
+      "replace   text[76:78] --> decoded_text[74:75]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Parler des opportunités de la relation privilégiée de la coopération française et européenne avec la Côte d’Ivoire.",
+    "decoded_text": "Parler des opportunités de la relation privilégiée de la coopération française et européenne avec la Côte d’Ivoire.",
+    "diff": [
+      "replace   text[21:23] --> decoded_text[21:22]     'é' --> 'é'",
+      "replace   text[46:48] --> decoded_text[45:46]     'é' --> 'é'",
+      "replace   text[50:52] --> decoded_text[48:49]     'é' --> 'é'",
+      "replace   text[64:66] --> decoded_text[61:62]     'é' --> 'é'",
+      "replace   text[77:79] --> decoded_text[73:74]     'ç' --> 'ç'",
+      "replace   text[92:94] --> decoded_text[87:88]     'é' --> 'é'",
+      "replace   text[108:110] --> decoded_text[102:103]     'ô' --> 'ô'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Faciliter les discussions entre les acteurs de la coopération décentralisée.",
+    "decoded_text": "Faciliter les discussions entre les acteurs de la coopération décentralisée.",
+    "diff": [
+      "replace   text[54:56] --> decoded_text[54:55]     'é' --> 'é'",
+      "replace   text[64:66] --> decoded_text[63:64]     'é' --> 'é'",
+      "replace   text[75:77] --> decoded_text[73:74]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/Qwen.Qwen3-235B-A22B-Thinking-2507 @ cc100.ja.diff.json

@@ -0,0 +1,1046 @@
+[
+  {
+    "text": "点を取れる部分をメインに勉強を行いました。とても勉強になったので、チャレンジして良かったです。仕事で活かせるように今後も勉強を続けて行きたいです。",
+    "decoded_text": "点を取れる部分をメインに勉強を行いました。とても勉強になったので、チャレンジして良かったです。仕事で活かせるように今後も勉強を続けて行きたいです。",
+    "diff": [
+      "replace   text[31:33] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[37:38]     'ジ' --> 'ジ'",
+      "replace   text[46:48] --> decoded_text[44:45]     'で' --> 'で'",
+      "replace   text[52:54] --> decoded_text[49:50]     'で' --> 'で'",
+      "replace   text[74:76] --> decoded_text[70:71]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "ドローンは今後、土木・農業など様々な分野での利用が見込まれるので、ぜひチャレンジしてみてください。",
+    "decoded_text": "ドローンは今後、土木・農業など様々な分野での利用が見込まれるので、ぜひチャレンジしてみてください。",
+    "diff": [
+      "replace   text[0:2] --> decoded_text[0:1]     'ド' --> 'ド'",
+      "replace   text[15:17] --> decoded_text[14:15]     'ど' --> 'ど'",
+      "replace   text[22:24] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[27:29] --> decoded_text[24:25]     'が' --> 'が'",
+      "replace   text[35:37] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[33:34]     'ぜ' --> 'ぜ'",
+      "replace   text[45:47] --> decoded_text[39:40]     'ジ' --> 'ジ'",
+      "replace   text[52:54] --> decoded_text[45:46]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "覚える範囲が多かったので、要点を絞って取り組みました。合格して良かったです。内定先で今後使う話が出てきたら率先して取り組んで行きたいです。",
+    "decoded_text": "覚える範囲が多かったので、要点を絞って取り組みました。合格して良かったです。内定先で今後使う話が出てきたら率先して取り組んで行きたいです。",
+    "diff": [
+      "replace   text[5:7] --> decoded_text[5:6]     'が' --> 'が'",
+      "replace   text[12:14] --> decoded_text[11:12]     'で' --> 'で'",
+      "replace   text[37:39] --> decoded_text[35:36]     'で' --> 'で'",
+      "replace   text[44:46] --> decoded_text[41:42]     'で' --> 'で'",
+      "replace   text[51:53] --> decoded_text[47:48]     'が' --> 'が'",
+      "replace   text[66:68] --> decoded_text[61:62]     'で' --> 'で'",
+      "replace   text[72:74] --> decoded_text[66:67]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "先生が全面的にサポートして下さるので安心して勉強できます。分からない時は先生になんでも質問してください。",
+    "decoded_text": "先生が全面的にサポートして下さるので安心して勉強できます。分からない時は先生になんでも質問してください。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'が' --> 'が'",
+      "replace   text[9:11] --> decoded_text[8:9]     'ポ' --> 'ポ'",
+      "replace   text[19:21] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[27:29] --> decoded_text[24:25]     'で' --> 'で'",
+      "replace   text[45:47] --> decoded_text[41:42]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[48:49]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問題をたくさん解くことで問題の傾向を分析しました。しっかり勉強して臨んだので、合格する自信がありました。この資格を活かし、工事測量などで、正確な値を出すことで適切な指示を出せるようにしていきたいです。",
+    "decoded_text": "過去問題をたくさん解くことで問題の傾向を分析しました。しっかり勉強して臨んだので、合格する自信がありました。この資格を活かし、工事測量などで、正確な値を出すことで適切な指示を出せるようにしていきたいです。",
+    "diff": [
+      "replace   text[13:15] --> decoded_text[13:14]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[37:38]     'だ' --> 'だ'",
+      "replace   text[41:43] --> decoded_text[39:40]     'で' --> 'で'",
+      "replace   text[50:52] --> decoded_text[47:48]     'が' --> 'が'",
+      "replace   text[72:76] --> decoded_text[68:70]   'どで' --> 'どで'",
+      "replace   text[86:88] --> decoded_text[80:81]     'で' --> 'で'",
+      "replace   text[106:108] --> decoded_text[99:100]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "しっかり勉強したら必ず自分のためになりますよ。将来の夢を持ち、それを実現できるように今できる事を頑張ってください。",
+    "decoded_text": "しっかり勉強したら必ず自分のためになりますよ。将来の夢を持ち、それを実現できるように今できる事を頑張ってください。",
+    "diff": [
+      "replace   text[10:12] --> decoded_text[10:11]     'ず' --> 'ず'",
+      "replace   text[37:39] --> decoded_text[36:37]     'で' --> 'で'",
+      "replace   text[45:47] --> decoded_text[43:44]     'で' --> 'で'",
+      "replace   text[56:58] --> decoded_text[53:54]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "まずは、自分が何をしたいのか考え、そしてそこから、自分の目標に向かって資格取得を目指してください。せっかくの取得チャンスを無駄にしないでください。",
+    "decoded_text": "まずは、自分が何をしたいのか考え、そしてそこから、自分の目標に向かって資格取得を目指してください。せっかくの取得チャンスを無駄にしないでください。",
+    "diff": [
+      "replace   text[1:3] --> decoded_text[1:2]     'ず' --> 'ず'",
+      "replace   text[7:9] --> decoded_text[6:7]     'が' --> 'が'",
+      "replace   text[47:49] --> decoded_text[45:46]     'だ' --> 'だ'",
+      "replace   text[70:72] --> decoded_text[67:68]     'で' --> 'で'",
+      "replace   text[73:75] --> decoded_text[69:70]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問題を解き、答え合わせをした後、自分がどこを間違っていたか、なぜ間違えたか等、徹底的に勉強しました。次は測量士補や、ドローン検定等の資格を目指し、頑張りたいと思います。",
+    "decoded_text": "過去問題を解き、答え合わせをした後、自分がどこを間違っていたか、なぜ間違えたか等、徹底的に勉強しました。次は測量士補や、ドローン検定等の資格を目指し、頑張りたいと思います。",
+    "diff": [
+      "replace   text[20:24] --> decoded_text[20:22]   'がど' --> 'がど'",
+      "replace   text[35:37] --> decoded_text[33:34]     'ぜ' --> 'ぜ'",
+      "replace   text[63:65] --> decoded_text[60:61]     'ド' --> 'ド'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "細かい事でも、疑問に思った事は必ず先生に質問してください。",
+    "decoded_text": "細かい事でも、疑問に思った事は必ず先生に質問してください。",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'で' --> 'で'",
+      "replace   text[17:19] --> decoded_text[16:17]     'ず' --> 'ず'",
+      "replace   text[27:29] --> decoded_text[25:26]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問を解き続け、頭に知識と問題の傾向を叩き込みました。合格して本当に良かったです。 試験を受けるチャンスがあり、思い切ってチャレンジして良かったと思います。",
+    "decoded_text": "過去問を解き続け、頭に知識と問題の傾向を叩き込みました。合格して本当に良かったです。 試験を受けるチャンスがあり、思い切ってチャレンジして良かったと思います。",
+    "diff": [
+      "replace   text[39:41] --> decoded_text[39:40]     'で' --> 'で'",
+      "replace   text[54:56] --> decoded_text[53:54]     'が' --> 'が'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "何事もまずは挑戦してみてください。分からない事は先生が教えてくださいます。安心して勉強に取り組んでください。",
+    "decoded_text": "何事もまずは挑戦してみてください。分からない事は先生が教えてくださいます。安心して勉強に取り組んでください。",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'ず' --> 'ず'",
+      "replace   text[14:16] --> decoded_text[13:14]     'だ' --> 'だ'",
+      "replace   text[28:30] --> decoded_text[26:27]     'が' --> 'が'",
+      "replace   text[34:36] --> decoded_text[31:32]     'だ' --> 'だ'",
+      "replace   text[52:54] --> decoded_text[48:49]     'で' --> 'で'",
+      "replace   text[55:57] --> decoded_text[50:51]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "日々の勉強を大切にし、試験当日は集中して受験しました。試験一か月前までは、ひたすら過去問を解いて自分の弱いところを集中的に勉強しました。この学校に入学して1番の目標だったので取得できて嬉しいです。",
+    "decoded_text": "日々の勉強を大切にし、試験当日は集中して受験しました。試験一か月前までは、ひたすら過去問を解いて自分の弱いところを集中的に勉強しました。この学校に入学して1番の目標だったので取得できて嬉しいです。",
+    "diff": [
+      "replace   text[34:36] --> decoded_text[34:35]     'で' --> 'で'",
+      "replace   text[83:85] --> decoded_text[82:83]     'だ' --> 'だ'",
+      "replace   text[88:90] --> decoded_text[86:87]     'で' --> 'で'",
+      "replace   text[92:94] --> decoded_text[89:90]     'で' --> 'で'",
+      "replace   text[99:101] --> decoded_text[95:96]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "何回も過去問を解き、傾向を掴みました。合格して嬉しいです。さらに上の資格を目指し頑張りたいと思います。",
+    "decoded_text": "何回も過去問を解き、傾向を掴みました。合格して嬉しいです。さらに上の資格を目指し頑張りたいと思います。",
+    "diff": [
+      "replace   text[26:28] --> decoded_text[26:27]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "受けるからには合格するほうが良いので積極的に勉強してください。そして後悔しないように頑張ってください。",
+    "decoded_text": "受けるからには合格するほうが良いので積極的に勉強してください。そして後悔しないように頑張ってください。",
+    "diff": [
+      "replace   text[13:15] --> decoded_text[13:14]     'が' --> 'が'",
+      "replace   text[18:20] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[29:31] --> decoded_text[27:28]     'だ' --> 'だ'",
+      "replace   text[50:52] --> decoded_text[47:48]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "分野ごとに勉強を行いました。土木業界ではこの資格がないと仕事の範囲が狭くなるので、合格して嬉しいです。実地試験に合格したら次は1級を目指し、頑張ろうと思います。",
+    "decoded_text": "分野ごとに勉強を行いました。土木業界ではこの資格がないと仕事の範囲が狭くなるので、合格して嬉しいです。実地試験に合格したら次は1級を目指し、頑張ろうと思います。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'ご' --> 'ご'",
+      "replace   text[19:21] --> decoded_text[18:19]     'で' --> 'で'",
+      "replace   text[26:28] --> decoded_text[24:25]     'が' --> 'が'",
+      "replace   text[36:38] --> decoded_text[33:34]     'が' --> 'が'",
+      "replace   text[43:45] --> decoded_text[39:40]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[48:49]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "難しい試験ですが、勉強を続けているとコツがつかめてきます。諦めずに頑張ってください。",
+    "decoded_text": "難しい試験ですが、勉強を続けているとコツがつかめてきます。諦めずに頑張ってください。",
+    "diff": [
+      "replace   text[5:7] --> decoded_text[5:6]     'で' --> 'で'",
+      "replace   text[8:10] --> decoded_text[7:8]     'が' --> 'が'",
+      "replace   text[22:24] --> decoded_text[20:21]     'が' --> 'が'",
+      "replace   text[34:36] --> decoded_text[31:32]     'ず' --> 'ず'",
+      "replace   text[42:44] --> decoded_text[38:39]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問を解くことで対策をする事ができました。学科試験に合格したので、次は実地試験に合格して、現場を任せてもらえるようになりたいです。",
+    "decoded_text": "過去問を解くことで対策をする事ができました。学科試験に合格したので、次は実地試験に合格して、現場を任せてもらえるようになりたい��す。",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'で' --> 'で'",
+      "replace   text[16:20] --> decoded_text[15:17]   'がで' --> 'がで'",
+      "replace   text[35:37] --> decoded_text[32:33]     'で' --> 'で'",
+      "replace   text[67:69] --> decoded_text[63:64]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "取りたい資格は積極的に勉強し、自信を持って頑張ってください。わからない事は必ず先生が教えてくださいます。",
+    "decoded_text": "取りたい資格は積極的に勉強し、自信を持って頑張ってください。わからない事は必ず先生が教えてくださいます。",
+    "diff": [
+      "replace   text[26:28] --> decoded_text[26:27]     'だ' --> 'だ'",
+      "replace   text[39:41] --> decoded_text[38:39]     'ず' --> 'ず'",
+      "replace   text[43:45] --> decoded_text[41:42]     'が' --> 'が'",
+      "replace   text[49:51] --> decoded_text[46:47]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "放課後の勉強会を頑張りました。2級土木施工管理技術検定は、土木技術者になるための第一歩だと思います。合格して本当に嬉しいです。",
+    "decoded_text": "放課後の勉強会を頑張りました。2級土木施工管理技術検定は、土木技術者になるための第一歩だと思います。合格して本当に嬉しいです。",
+    "diff": [
+      "replace   text[43:45] --> decoded_text[43:44]     'だ' --> 'だ'",
+      "replace   text[61:63] --> decoded_text[60:61]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "遊び、バイト、 勉強、いろいろありますが、区切りを付けて頑張ってください。",
+    "decoded_text": "遊び、バイト、 勉強、いろいろありますが、区切りを付けて頑張ってください。",
+    "diff": [
+      "replace   text[1:3] --> decoded_text[1:2]     'び' --> 'び'",
+      "replace   text[4:6] --> decoded_text[3:4]     'バ' --> 'バ'",
+      "replace   text[35:37] --> decoded_text[33:34]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "とにかく過去問題をやり、自分の苦手な分野をできるようにして行きました。最近の土木現場では、環境への影響を考えて工事をしなければならないので、この資格を取得しようと思いました。合格して本当に良かったです。",
+    "decoded_text": "とにかく過去問題をやり、自分の苦手な分野をできるようにして行きました。最近の土木現場では、環境への影響を考えて工事をしなければならないので、この資格を取得しようと思いました。合格して本当に良かったです。",
+    "diff": [
+      "replace   text[21:23] --> decoded_text[21:22]     'で' --> 'で'",
+      "replace   text[43:45] --> decoded_text[42:43]     'で' --> 'で'",
+      "replace   text[64:66] --> decoded_text[62:63]     'ば' --> 'ば'",
+      "replace   text[71:73] --> decoded_text[68:69]     'で' --> 'で'",
+      "replace   text[102:104] --> decoded_text[98:99]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "勉強する時と、遊ぶときの切り替えをうまくやり、合格へ向けて頑張ってください。",
+    "decoded_text": "勉強する時と、遊ぶときの切り替えをうまくやり、合格へ向けて頑張ってください。",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'ぶ' --> 'ぶ'",
+      "replace   text[35:37] --> decoded_text[34:35]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問を何度もやりました。頑張ってきたことが成果に出て嬉しいです。この調子で、測量士補、2級土木施工管理技術検定の学科試験にも合格できるように頑張り たいと思います。",
+    "decoded_text": "過去問を何度もやりました。頑張ってきたことが成果に出て嬉しいです。この調子で、測量士補、2級土木施工管理技術検定の学科試験にも合格できるように頑張り たいと思います。",
+    "diff": [
+      "replace   text[21:23] --> decoded_text[21:22]     'が' --> 'が'",
+      "replace   text[31:33] --> decoded_text[30:31]     'で' --> 'で'",
+      "replace   text[39:41] --> decoded_text[37:38]     'で' --> 'で'",
+      "replace   text[68:70] --> decoded_text[65:66]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "何度も何度も繰り返し過去問を解くことが合格への近道です。頑張ってください。",
+    "decoded_text": "何度も何度も繰り返し過去問を解くことが合格への近道です。頑張ってください。",
+    "diff": [
+      "replace   text[18:20] --> decoded_text[18:19]     'が' --> 'が'",
+      "replace   text[26:28] --> decoded_text[25:26]     'で' --> 'で'",
+      "replace   text[35:37] --> decoded_text[33:34]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "放課後も残って勉強しました。その中で法律と施工管理を重点的に勉強しました。さらに作文も頑張りました。来年には2級ビオトープ計画管理士も受験して合格したいです。将来に必要な資格なので、持っていて損はないと思います。合格して本当に嬉しいです。",
+    "decoded_text": "放課後も残って勉強しました。その中で法律と施工管理を重点的に勉強しました。さらに作文も頑張りました。来年には2級ビオトープ計画管理士も受験して合格したいです。将来に必要な資格なので、持っていて損はないと思います。合格して本当に嬉しいです。",
+    "diff": [
+      "replace   text[17:19] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[57:59] --> decoded_text[56:57]     'ビ' --> 'ビ'",
+      "replace   text[62:64] --> decoded_text[60:61]     'プ' --> 'プ'",
+      "replace   text[79:81] --> decoded_text[76:77]     'で' --> 'で'",
+      "replace   text[93:95] --> decoded_text[89:90]     'で' --> 'で'",
+      "replace   text[121:123] --> decoded_text[116:117]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "やる気があれば合格できます。専門学校に入学したからには自分で目標を作り、積極的に挑戦して行ってください。",
+    "decoded_text": "やる気があれば合格できます。専門学校に入学したからには自分で目標を作り、積極的に挑戦して行ってください。",
+    "diff": [
+      "replace   text[3:5] --> decoded_text[3:4]     'が' --> 'が'",
+      "replace   text[10:12] --> decoded_text[9:10]     'で' --> 'で'",
+      "replace   text[31:33] --> decoded_text[29:30]     'で' --> 'で'",
+      "replace   text[51:53] --> decoded_text[48:49]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "放課後残って勉強しました。まずはどんな形であっても問題に取り組む事が大切だと思います。電気の知識はまだまだですが、学習の方法が定まってきたので、残りの2科目(電力科目・機械科目)、さらには消防設備士試験にも合格したいです。",
+    "decoded_text": "放課後残って勉強しました。まずはどんな形であっても問題に取り組む事が大切だと思います。電気の知識はまだまだですが、学習の方法が定まってきたので、残りの2科目(電力科目・機械科目)、さらには消防設備士試験にも合格したいです。",
+    "diff": [
+      "replace   text[14:16] --> decoded_text[14:15]     'ず' --> 'ず'",
+      "replace   text[17:19] --> decoded_text[16:17]     'ど' --> 'ど'",
+      "replace   text[22:24] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[36:38] --> decoded_text[33:34]     'が' --> 'が'",
+      "replace   text[40:42] --> decoded_text[36:37]     'だ' --> 'だ'",
+      "replace   text[55:57] --> decoded_text[50:51]     'だ' --> 'だ'",
+      "replace   text[58:62] --> decoded_text[52:54]   'だで' --> 'だで'",
+      "replace   text[63:65] --> decoded_text[55:56]     'が' --> 'が'",
+      "replace   text[71:73] --> decoded_text[62:63]     'が' --> 'が'",
+      "replace   text[80:82] --> decoded_text[70:71]     'で' --> 'で'",
+      "replace   text[119:121] --> decoded_text[108:109]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "気になる資格は、早め早めに下調べしておくことが大切だと思います。問題を知った上で授業を受けると、理解が、より深められます。",
+    "decoded_text": "気になる資格は、早め早めに下調べしておくことが大切だと思います。問題を知った上で授業を受けると、理解が、より深められます。",
+    "diff": [
+      "replace   text[15:17] --> decoded_text[15:16]     'べ' --> 'べ'",
+      "replace   text[23:25] --> decoded_text[22:23]     'が' --> 'が'",
+      "replace   text[27:29] --> decoded_text[25:26]     'だ' --> 'だ'",
+      "replace   text[53:55] --> decoded_text[50:51]     'が' --> 'が'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "問題集を1冊を決めて、とことんやりこみました。何回かやっても理解できない時は、理解できる所から取り組み、自分の得意な分野で確実に点を取るよう勉強しました。残りの3科目を取得できるように、さらに努力しようと思います。",
+    "decoded_text": "問題集を1冊を決めて、とことんやりこみました。何回かやっても理解できない時は、理解できる所から取り組み、自分の得意な分野で確実に点を取るよう勉強しました。残りの3科目を取得できるように、さらに努力しようと思います。",
+    "diff": [
+      "replace   text[32:34] --> decoded_text[32:33]     'で' --> 'で'",
+      "replace   text[61:63] --> decoded_text[60:61]     'で' --> 'で'",
+      "replace   text[88:90] --> decoded_text[86:87]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "各科目ともに完璧を目指すのではなく、少しでも自分の得意な所を見つけて得点できるようにするのが重要だと思います。",
+    "decoded_text": "各科目ともに完璧を目指すのではなく、少しでも自分の得意な所を見つけて得点できるようにするのが重要だと思います。",
+    "diff": [
+      "replace   text[13:15] --> decoded_text[13:14]     'で' --> 'で'",
+      "replace   text[21:23] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[36:37]     'で' --> 'で'",
+      "replace   text[48:50] --> decoded_text[45:46]     'が' --> 'が'",
+      "replace   text[52:54] --> decoded_text[48:49]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "電験対策講座を受講し、過去問を何回も繰り返し解きました。また日頃の授業をしっかり聞き自分がわかるように、ノートにまとめました。合格はしましたが、自分では実力はまだついてないと思います。ほかの3科目も取得できるように頑張りたいと思います。",
+    "decoded_text": "電験対策講座を受講し、過去問を何回も繰り返し解きました。また日頃の授業をしっかり聞き自分がわかるように、ノートにまとめました。合格はしましたが、自分では実力はまだついてないと思います。ほかの3科目も取得できるように頑張りたいと思います。",
+    "diff": [
+      "replace   text[44:46] --> decoded_text[44:45]     'が' --> 'が'",
+      "replace   text[71:73] --> decoded_text[70:71]     'が' --> 'が'",
+      "replace   text[76:78] --> decoded_text[74:75]     'で' --> 'で'",
+      "replace   text[83:85] --> decoded_text[80:81]     'だ' --> 'だ'",
+      "replace   text[105:107] --> decoded_text[101:102]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "普通科出身でも、毎日の授業を真剣に聞いていれば、自分に自信がつくので頑張ってください。",
+    "decoded_text": "普通科出身でも、毎日の授業を真剣に聞いていれば、自分に自信がつくので頑張ってください。",
+    "diff": [
+      "replace   text[5:7] --> decoded_text[5:6]     'で' --> 'で'",
+      "replace   text[23:25] --> decoded_text[22:23]     'ば' --> 'ば'",
+      "replace   text[31:33] --> decoded_text[29:30]     'が' --> 'が'",
+      "replace   text[36:38] --> decoded_text[33:34]     'で' --> 'で'",
+      "replace   text[43:45] --> decoded_text[39:40]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "筆記試験対策では理解できるまで、過去問を繰り返し解きました。実技試験対策では、ミスをしないように、工夫した練習をしました。合格をいただいて、高圧の電気工事に従事する事ができるので嬉しかったです。",
+    "decoded_text": "筆記試験対策では理解できるまで、過去問を繰り返し解きました。実技試験対策では、ミスをしないように、工夫した練習をしました。合格をいただいて、高圧の電気工事に従事する事ができるので嬉しかったです。",
+    "diff": [
+      "replace   text[6:8] --> decoded_text[6:7]     'で' --> 'で'",
+      "replace   text[11:13] --> decoded_text[10:11]     'で' --> 'で'",
+      "replace   text[16:18] --> decoded_text[14:15]     'で' --> 'で'",
+      "replace   text[39:41] --> decoded_text[36:37]     'で' --> 'で'",
+      "replace   text[70:72] --> decoded_text[66:67]     'だ' --> 'だ'",
+      "replace   text[88:92] --> decoded_text[83:85]   'がで' --> 'がで'",
+      "replace   text[95:97] --> decoded_text[88:89]     'で' --> 'で'",
+      "replace   text[102:104] --> decoded_text[94:95]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "入学してから受ける国家試験の中で少し難しいですが、頑張れば取れる資格なので、最後まで努力してみてください。",
+    "decoded_text": "入学してから受ける国家試験の中で少し難しいですが、頑張れば取れる資格なので、最後まで努力してみてください。",
+    "diff": [
+      "replace   text[15:17] --> decoded_text[15:16]     'で' --> 'で'",
+      "replace   text[22:24] --> decoded_text[21:22]     'で' --> 'で'",
+      "replace   text[25:27] --> decoded_text[23:24]     'が' --> 'が'",
+      "replace   text[31:33] --> decoded_text[28:29]     'ば' --> 'ば'",
+      "replace   text[40:42] --> decoded_text[36:37]     'で' --> 'で'",
+      "replace   text[46:48] --> decoded_text[41:42]     'で' --> 'で'",
+      "replace   text[55:57] --> decoded_text[49:50]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "先生が丁寧に教えてくださるので日々の授業を大切にし、分からない所はその日に先生に聞きに行きました。就職に有利になるように取得した資格を就職活動のため、また社会にでて仕事に活かしていきたいです。",
+    "decoded_text": "先生が丁寧に教えてくださるので日々の授業を大切にし、分からない所はその日に先生に聞きに行きました。就職に有利になるように取得した資格を就職活動のため、また社会にでて仕事に活かしていきたいです。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'が' --> 'が'",
+      "replace   text[11:13] --> decoded_text[10:11]     'だ' --> 'だ'",
+      "replace   text[16:18] --> decoded_text[14:15]     'で' --> 'で'",
+      "replace   text[83:85] --> decoded_text[80:81]     'で' --> 'で'",
+      "replace   text[97:99] --> decoded_text[93:94]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "入学した頃は電気に関して分からなかった私でも取得することができました。皆さんも自信を持って頑張ってください。",
+    "decoded_text": "入学した頃は電気に関して分からなかった私でも取得することができました。皆さんも自信を持って頑張ってください。",
+    "diff": [
+      "replace   text[20:22] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[29:33] --> decoded_text[28:30]   'がで' --> 'がで'",
+      "replace   text[53:55] --> decoded_text[50:51]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "とにかく過去問を何回も解き、疑問があれば先生に質問して分かるまで毎日の勉強を頑張りました。合格できて本当に良かったです。今後は第三種電気主任技術者の資格取得に向けて頑張ります。",
+    "decoded_text": "とにかく過去問を何回も解き、疑問があれば先生に質問して分かるまで毎日の勉強を頑張りました。合格できて本当に良かったです。今後は第三種電気主任技術者の資格取得に向けて頑張ります。",
+    "diff": [
+      "replace   text[16:18] --> decoded_text[16:17]     'が' --> 'が'",
+      "replace   text[32:34] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[49:51] --> decoded_text[47:48]     'で' --> 'で'",
+      "replace   text[60:62] --> decoded_text[57:58]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "第一種電気工事士の本の要点をノートにおさえて復習しました。実技では配線図が分からず先生に教えていただき、早い段階で理解 きたのも合格できた要因ではないかと思います。合格して本当に嬉しかったです。これから就職して仕事に活かしていきたいと思います。",
+    "decoded_text": "第一種電気工事士の本の要点をノートにおさえて復習しました。実技では配線図が分からず先生に教えていただき、早い段階で理解 きたのも合格できた要因ではないかと思います。合格して本当に嬉しかったです。これから就職��て仕事に活かしていきたいと思います。",
+    "diff": [
+      "replace   text[31:33] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[37:39] --> decoded_text[36:37]     'が' --> 'が'",
+      "replace   text[42:44] --> decoded_text[40:41]     'ず' --> 'ず'",
+      "replace   text[52:54] --> decoded_text[49:50]     'だ' --> 'だ'",
+      "replace   text[60:62] --> decoded_text[56:57]     'で' --> 'で'",
+      "replace   text[71:73] --> decoded_text[66:67]     'で' --> 'で'",
+      "replace   text[77:79] --> decoded_text[71:72]     'で' --> 'で'",
+      "replace   text[101:103] --> decoded_text[94:95]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "分からない場合は先生に聞けば、すぐ教えて下さるので早めに聞いたら良いと思います。",
+    "decoded_text": "分からない場合は先生に聞けば、すぐ教えて下さるので早めに聞いたら良いと思います。",
+    "diff": [
+      "replace   text[13:15] --> decoded_text[13:14]     'ば' --> 'ば'",
+      "replace   text[17:19] --> decoded_text[16:17]     'ぐ' --> 'ぐ'",
+      "replace   text[26:28] --> decoded_text[24:25]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "夏休みも学校へ行き、先生に教えていただきました。試験が終わってからは合格しているようにと祈っていました。合格と聞いて、とても嬉しかったです。これからは取得して終わりではなく、取得した資格をさらに活かせれるように勉強していきたいと思います。",
+    "decoded_text": "夏休みも学校へ行き、先生に教えていただきました。試験が終わってからは合格しているようにと祈っていました。合格と聞いて、とても嬉しかったです。これからは取得して終わりではなく、取得した資格をさらに活かせれるように勉強していきたいと思います。",
+    "diff": [
+      "replace   text[18:20] --> decoded_text[18:19]     'だ' --> 'だ'",
+      "replace   text[27:29] --> decoded_text[26:27]     'が' --> 'が'",
+      "replace   text[69:71] --> decoded_text[67:68]     'で' --> 'で'",
+      "replace   text[85:87] --> decoded_text[82:83]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "自分の苦手な問題を1つでも無くし、どの問題が出題されても対応できるように勉強すれば大丈夫です!",
+    "decoded_text": "自分の苦手な問題を1つでも無くし、どの問題が出題されても対応できるように勉強すれば大丈夫です!",
+    "diff": [
+      "replace   text[11:13] --> decoded_text[11:12]     'で' --> 'で'",
+      "replace   text[18:20] --> decoded_text[17:18]     'ど' --> 'ど'",
+      "replace   text[23:25] --> decoded_text[21:22]     'が' --> 'が'",
+      "replace   text[33:35] --> decoded_text[30:31]     'で' --> 'で'",
+      "replace   text[44:46] --> decoded_text[40:41]     'ば' --> 'ば'",
+      "replace   text[49:51] --> decoded_text[44:45]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "私は計算が苦手なので、マンツーマンで先生に教えていただき、頑張りました。資格取得を目標に専門学校に入学したので合格通知が届いたときは本当に嬉しかったです。さらに次の資格取得に向け頑張りたいと思います。",
+    "decoded_text": "私は計算が苦手なので、マンツーマンで先生に教えていただき、頑張りました。資格取得を目標に専門学校に入学したので合格通知が届いたときは本当に嬉しかったです。さらに次の資格取得に向け頑張りたいと思います。",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'が' --> 'が'",
+      "replace   text[10:12] --> decoded_text[9:10]     'で' --> 'で'",
+      "replace   text[19:21] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[29:31] --> decoded_text[26:27]     'だ' --> 'だ'",
+      "replace   text[58:60] --> decoded_text[54:55]     'で' --> 'で'",
+      "replace   text[64:66] --> decoded_text[59:60]     'が' --> 'が'",
+      "replace   text[80:82] --> decoded_text[74:75]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "得意分野より苦手分野を克服することで合格に近づけると思います。最後まで諦めずに頑張ってください。",
+    "decoded_text": "得意分野より苦手分野を克服することで合格に近づけると���います。最後まで諦めずに頑張ってください。",
+    "diff": [
+      "replace   text[17:19] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[23:25] --> decoded_text[22:23]     'づ' --> 'づ'",
+      "replace   text[36:38] --> decoded_text[34:35]     'で' --> 'で'",
+      "replace   text[40:42] --> decoded_text[37:38]     'ず' --> 'ず'",
+      "replace   text[48:50] --> decoded_text[44:45]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "実技が苦手だったので、学校に放課後も残って頑張りました。復習も必ずしました。この資格を仕事で活かせるように頑張りたいと思います。、これからも、まだまだ他の資格にも挑戦して行きます。",
+    "decoded_text": "実技が苦手だったので、学校に放課後も残って頑張りました。復習も必ずしました。この資格を仕事で活かせるように頑張りたいと思います。、これからも、まだまだ他の資格にも挑戦して行きます。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'が' --> 'が'",
+      "replace   text[6:8] --> decoded_text[5:6]     'だ' --> 'だ'",
+      "replace   text[11:13] --> decoded_text[9:10]     'で' --> 'で'",
+      "replace   text[35:37] --> decoded_text[32:33]     'ず' --> 'ず'",
+      "replace   text[49:51] --> decoded_text[45:46]     'で' --> 'で'",
+      "replace   text[77:79] --> decoded_text[72:73]     'だ' --> 'だ'",
+      "replace   text[80:82] --> decoded_text[74:75]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "自分の苦手なことで壁にぶつかっても、諦めずに頑張ってください。後悔だけはしないように、やるからには全力で挑んでください。",
+    "decoded_text": "自分の苦手なことで壁にぶつかっても、諦めずに頑張ってください。後悔だけはしないように、やるからには全力で挑んでください。",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'で' --> 'で'",
+      "replace   text[12:14] --> decoded_text[11:12]     'ぶ' --> 'ぶ'",
+      "replace   text[22:24] --> decoded_text[20:21]     'ず' --> 'ず'",
+      "replace   text[30:32] --> decoded_text[27:28]     'だ' --> 'だ'",
+      "replace   text[37:39] --> decoded_text[33:34]     'だ' --> 'だ'",
+      "replace   text[56:58] --> decoded_text[51:52]     'で' --> 'で'",
+      "replace   text[60:62] --> decoded_text[54:55]     'で' --> 'で'",
+      "replace   text[63:65] --> decoded_text[56:57]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "前回正解率の低かったアルゴリズムや表計算を重点的に復習しました。本番では諦めずに問題を読み続けました。大学編入しても、情報処理技術者試験の勉強は続けていき、次は応用情報技術者試験にもチャレンジしていきたいです。",
+    "decoded_text": "前回正解率の低かったアルゴリズムや表計算を重点的に復習しました。本番では諦めずに問題を読み続けました。大学編入しても、情報処理技術者試験の勉強は続けていき、次は応用情報技術者試験にもチャレンジしていきたいです。",
+    "diff": [
+      "replace   text[12:14] --> decoded_text[12:13]     'ゴ' --> 'ゴ'",
+      "replace   text[15:17] --> decoded_text[14:15]     'ズ' --> 'ズ'",
+      "replace   text[36:38] --> decoded_text[34:35]     'で' --> 'で'",
+      "replace   text[41:43] --> decoded_text[38:39]     'ず' --> 'ず'",
+      "replace   text[99:101] --> decoded_text[95:96]     'ジ' --> 'ジ'",
+      "replace   text[107:109] --> decoded_text[102:103]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "普段の授業をしっかり聞くことと、試験中は諦めない気持ちがあれば大丈夫です。",
+    "decoded_text": "普段の授業をしっかり聞くことと、試験中は諦めない気持ちがあれば大丈夫です。",
+    "diff": [
+      "replace   text[27:29] --> decoded_text[27:28]     'が' --> 'が'",
+      "replace   text[31:33] --> decoded_text[30:31]     'ば' --> 'ば'",
+      "replace   text[36:38] --> decoded_text[34:35]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "この資格が関係する、舞台現場でアルバイトをしていました。結果にはあまり自信がなかったのですが、合格通知が届いた時は何回も見直し、とても嬉しかったて��す。",
+    "decoded_text": "この資格が関係する、舞台現場でアルバイトをしていました。結果にはあまり自信がなかったのですが、合格通知が届いた時は何回も見直し、とても嬉しかったです。",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'が' --> 'が'",
+      "replace   text[15:17] --> decoded_text[14:15]     'で' --> 'で'",
+      "replace   text[19:21] --> decoded_text[17:18]     'バ' --> 'バ'",
+      "replace   text[40:42] --> decoded_text[37:38]     'が' --> 'が'",
+      "replace   text[47:49] --> decoded_text[43:44]     'で' --> 'で'",
+      "replace   text[50:52] --> decoded_text[45:46]     'が' --> 'が'",
+      "replace   text[57:59] --> decoded_text[51:52]     'が' --> 'が'",
+      "replace   text[79:81] --> decoded_text[72:73]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "資格対策授業で分からないところは積極的に質問しました。また復習はかかさずしました。資格を取得したからといって、勉強したことを忘れたら意味がありませんので、資格に恥じないよう に今後も頑張りたいと思います。",
+    "decoded_text": "資格対策授業で分からないところは積極的に質問しました。また復習はかかさずしました。資格を取得したからといって、勉強したことを忘れたら意味がありませんので、資格に恥じないよう に今後も頑張りたいと思います。",
+    "diff": [
+      "replace   text[6:8] --> decoded_text[6:7]     'で' --> 'で'",
+      "replace   text[36:38] --> decoded_text[35:36]     'ず' --> 'ず'",
+      "replace   text[70:72] --> decoded_text[68:69]     'が' --> 'が'",
+      "replace   text[78:80] --> decoded_text[75:76]     'で' --> 'で'",
+      "replace   text[85:87] --> decoded_text[81:82]     'じ' --> 'じ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "試験を想定して取り組みました。同じ試験を受けるクラスメイトに分からない所を聞きました。国家資格なので、持っていて損はないと思います。",
+    "decoded_text": "試験を想定して取り組みました。同じ試験を受けるクラスメイトに分からない所を聞きました。国家資格なので、持っていて損はないと思います。",
+    "diff": [
+      "replace   text[16:18] --> decoded_text[16:17]     'じ' --> 'じ'",
+      "replace   text[50:52] --> decoded_text[49:50]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "何度も、学科、実技、判断（旧要素）の対策をして合格を目指して頑張ってください。",
+    "decoded_text": "何度も、学科、実技、判断（旧要素）の対策をして合格を目指して頑張ってください。",
+    "diff": [
+      "replace   text[35:37] --> decoded_text[35:36]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "自分の力を信じて落ち着いて望んでください。練習が実を結ぶはずです。",
+    "decoded_text": "自分の力を信じて落ち着いて望んでください。練習が実を結ぶはずです。",
+    "diff": [
+      "replace   text[6:8] --> decoded_text[6:7]     'じ' --> 'じ'",
+      "replace   text[16:18] --> decoded_text[15:16]     'で' --> 'で'",
+      "replace   text[19:21] --> decoded_text[17:18]     'だ' --> 'だ'",
+      "replace   text[26:28] --> decoded_text[23:24]     'が' --> 'が'",
+      "replace   text[31:33] --> decoded_text[27:28]     'ぶ' --> 'ぶ'",
+      "replace   text[34:38] --> decoded_text[29:31]   'ずで' --> 'ずで'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "分からない所は、先生に質問して勉強すれば大丈夫です。私は納得するまで解説してくださった先生に感謝しています。",
+    "decoded_text": "分からない所は、先生に質問して勉強すれば大丈夫です。私は納得するまで解説してくださった先生に感謝しています。",
+    "diff": [
+      "replace   text[19:21] --> decoded_text[19:20]     'ば' --> 'ば'",
+      "replace   text[24:26] --> decoded_text[23:24]     'で' --> 'で'",
+      "replace   text[35:37] --> decoded_text[33:34]     'で' --> 'で'",
+      "replace   text[42:44] --> decoded_text[39:40]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "授業で分からない所は先生や友達に聞きました。問題はまず自分で解いて分からない用語は、本やネ��トで調べました。試験には合格しましたが、まだ分からないことが多いので、資格で勉強した知識をもっと深めていきたいです。",
+    "decoded_text": "授業で分からない所は先生や友達に聞きました。問題はまず自分で解いて分からない用語は、本やネットで調べました。試験には合格しましたが、まだ分からないことが多いので、資格で勉強した知識をもっと深めていきたいです。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'で' --> 'で'",
+      "replace   text[27:29] --> decoded_text[26:27]     'ず' --> 'ず'",
+      "replace   text[31:33] --> decoded_text[29:30]     'で' --> 'で'",
+      "replace   text[50:52] --> decoded_text[47:48]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[49:50]     'べ' --> 'べ'",
+      "replace   text[69:71] --> decoded_text[64:65]     'が' --> 'が'",
+      "replace   text[73:75] --> decoded_text[67:68]     'だ' --> 'だ'",
+      "replace   text[82:84] --> decoded_text[75:76]     'が' --> 'が'",
+      "replace   text[87:89] --> decoded_text[79:80]     'で' --> 'で'",
+      "replace   text[92:94] --> decoded_text[83:84]     'で' --> 'で'",
+      "replace   text[111:113] --> decoded_text[101:102]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "私は勉強が苦手でしたが、毎日勉強してAランクを取得できました。諦めないでください。",
+    "decoded_text": "私は勉強が苦手でしたが、毎日勉強してAランクを取得できました。諦めないでください。",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'が' --> 'が'",
+      "replace   text[8:10] --> decoded_text[7:8]     'で' --> 'で'",
+      "replace   text[12:14] --> decoded_text[10:11]     'が' --> 'が'",
+      "replace   text[38:40] --> decoded_text[35:36]     'で' --> 'で'",
+      "replace   text[41:43] --> decoded_text[37:38]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "受かりたい気持ちがあれば、自然と頑張れます! 最後まで諦めずに頑張ってください!",
+    "decoded_text": "受かりたい気持ちがあれば、自然と頑張れます! 最後まで諦めずに頑張ってください!",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'が' --> 'が'",
+      "replace   text[12:14] --> decoded_text[11:12]     'ば' --> 'ば'",
+      "replace   text[28:30] --> decoded_text[26:27]     'で' --> 'で'",
+      "replace   text[32:34] --> decoded_text[29:30]     'ず' --> 'ず'",
+      "replace   text[40:42] --> decoded_text[36:37]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "対策授業を真面目に受けました。分からない所は、先生に質問し自分が納得するまで勉強しました。合格をいただいて、本当に嬉しかったです。",
+    "decoded_text": "対策授業を真面目に受けました。分からない所は、先生に質問し自分が納得するまで勉強しました。合格をいただいて、本当に嬉しかったです。",
+    "diff": [
+      "replace   text[31:33] --> decoded_text[31:32]     'が' --> 'が'",
+      "replace   text[38:40] --> decoded_text[37:38]     'で' --> 'で'",
+      "replace   text[52:54] --> decoded_text[50:51]     'だ' --> 'だ'",
+      "replace   text[65:67] --> decoded_text[62:63]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "授業を真面目に聞いていたら、必ず合格できます! ここには専門の先生がいるので一人一人に丁寧に教えてくれますよ。",
+    "decoded_text": "授業を真面目に聞いていたら、必ず合格できます! ここには専門の先生がいるので一人一人に丁寧に教えてくれますよ。",
+    "diff": [
+      "replace   text[15:17] --> decoded_text[15:16]     'ず' --> 'ず'",
+      "replace   text[19:21] --> decoded_text[18:19]     'で' --> 'で'",
+      "replace   text[35:37] --> decoded_text[33:34]     'が' --> 'が'",
+      "replace   text[40:42] --> decoded_text[37:38]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "弱点を無くすために、間違えたところは、何回も復習をしました。合格して本当に嬉しかったです。この資格を就職でも活かしたいと思います。",
+    "decoded_text": "弱点を無くすために、間違えたところは、何回も復習をしました。合格して本当に嬉しかったです。���の資格を就職でも活かしたいと思います。",
+    "diff": [
+      "replace   text[42:44] --> decoded_text[42:43]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[52:53]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "受かりたい気持ちがあればきっと合格できます! 分からない所は、諦めずに先生に質問して克服してください!",
+    "decoded_text": "受かりたい気持ちがあればきっと合格できます! 分からない所は、諦めずに先生に質問して克服してください!",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'が' --> 'が'",
+      "replace   text[12:14] --> decoded_text[11:12]     'ば' --> 'ば'",
+      "replace   text[19:21] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[36:38] --> decoded_text[33:34]     'ず' --> 'ず'",
+      "replace   text[51:53] --> decoded_text[47:48]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "問題集を何回も解くことが一番大切です。また電車通学なので通学中にも勉強しました。資格を取得できたので、今後の就職活動に役立てたいと思います。また将来の夢のために、この資格を有効に活用したいと思います。",
+    "decoded_text": "問題集を何回も解くことが一番大切です。また電車通学なので通学中にも勉強しました。資格を取得できたので、今後の就職活動に役立てたいと思います。また将来の夢のために、この資格を有効に活用したいと思います。",
+    "diff": [
+      "replace   text[11:13] --> decoded_text[11:12]     'が' --> 'が'",
+      "replace   text[17:19] --> decoded_text[16:17]     'で' --> 'で'",
+      "replace   text[29:31] --> decoded_text[27:28]     'で' --> 'で'",
+      "replace   text[48:50] --> decoded_text[45:46]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[49:50]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "授業で手厚い資格対策をしてくださったので、それを元に復習しました。資格を取得することも、もちろんですが、その資格で勉強した事をきちんと身につけ、今後に役立てていきたいです。",
+    "decoded_text": "授業で手厚い資格対策をしてくださったので、それを元に復習しました。資格を取得することも、もちろんですが、その資格で勉強した事をきちんと身につけ、今後に役立てていきたいです。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'で' --> 'で'",
+      "replace   text[15:17] --> decoded_text[14:15]     'だ' --> 'だ'",
+      "replace   text[21:23] --> decoded_text[19:20]     'で' --> 'で'",
+      "replace   text[51:53] --> decoded_text[48:49]     'で' --> 'で'",
+      "replace   text[54:56] --> decoded_text[50:51]     'が' --> 'が'",
+      "replace   text[61:63] --> decoded_text[56:57]     'で' --> 'で'",
+      "replace   text[89:91] --> decoded_text[83:84]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "自分が勉強をした分だけ結果はついてきます。自分の夢を後押ししてくれる資格は絶対持ってるべきです。自分の夢の為に頑張りましょう。",
+    "decoded_text": "自分が勉強をした分だけ結果はついてきます。自分の夢を後押ししてくれる資格は絶対持ってるべきです。自分の夢の為に頑張りましょう。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'が' --> 'が'",
+      "replace   text[10:12] --> decoded_text[9:10]     'だ' --> 'だ'",
+      "replace   text[45:47] --> decoded_text[43:44]     'べ' --> 'べ'",
+      "replace   text[48:50] --> decoded_text[45:46]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "対策授業には積極的に参加し、真面目に勉強しました。将来の事を考えたとき、この資格は絶対取得すべきだと思い、受験しました。資格試験の勉強は、自分にプラスになったと思います。",
+    "decoded_text": "対策授業には積極的に参加し、真面目に勉強しました。将来の事を考えたとき、この資格は絶対取得すべきだと思い、受験しました。資格試験の勉強は、自分にプラスになったと思います。",
+    "diff": [
+      "replace   text[46:48] --> decoded_text[46:47]     'べ' --> 'べ'",
+      "replace   text[49:51] --> decoded_text[48:49]     'だ' --> 'だ'",
+      "replace   text[74:76] --> decoded_text[72:73]     'プ' --> 'プ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "対策用の教科書を繰り返し解いて覚えました。合格をいただいて本当に嬉しかったです。頑張った結果だったので自分に自信がつきました。",
+    "decoded_text": "対策用の教科書を繰り返し解いて覚えました。合格をいただいて本当に嬉しかったです。頑張った結果だったので自分に自信がつきました。",
+    "diff": [
+      "replace   text[26:28] --> decoded_text[26:27]     'だ' --> 'だ'",
+      "replace   text[38:40] --> decoded_text[37:38]     'で' --> 'で'",
+      "replace   text[48:50] --> decoded_text[46:47]     'だ' --> 'だ'",
+      "replace   text[53:55] --> decoded_text[50:51]     'で' --> 'で'",
+      "replace   text[60:62] --> decoded_text[56:57]     'が' --> 'が'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "この試験に限らず、どの資格を勉強するにもまず、繰り返し問題を解いて覚えることが大事です。そうする事で問題にも慣れ解けるようになります。",
+    "decoded_text": "この試験に限らず、どの資格を勉強するにもまず、繰り返し問題を解いて覚えることが大事です。そうする事で問題にも慣れ解けるようになります。",
+    "diff": [
+      "replace   text[9:11] --> decoded_text[9:10]     'ど' --> 'ど'",
+      "replace   text[22:24] --> decoded_text[21:22]     'ず' --> 'ず'",
+      "replace   text[40:42] --> decoded_text[38:39]     'が' --> 'が'",
+      "replace   text[44:46] --> decoded_text[41:42]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[49:50]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "練習で間違えた問題は2回、3回と繰り返し解きました。やっぱり一番の目的は就職です。就職する際に資格を持っていると有利になるので、合格して本当に良かったです。",
+    "decoded_text": "練習で間違えた問題は2回、3回と繰り返し解きました。やっぱり一番の目的は就職です。就職する際に資格を持っていると有利になるので、合格して本当に良かったです。",
+    "diff": [
+      "replace   text[28:30] --> decoded_text[28:29]     'ぱ' --> 'ぱ'",
+      "replace   text[39:41] --> decoded_text[38:39]     'で' --> 'で'",
+      "replace   text[64:66] --> decoded_text[62:63]     'で' --> 'で'",
+      "replace   text[78:80] --> decoded_text[75:76]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "やはり資格がないと就職は難しいと思います。取得できるかどうか不安はあると思いますが、絶対受かっているという意思を持って頑張ってください。また、対策授業には積極的に参加してください。",
+    "decoded_text": "やはり資格がないと就職は難しいと思います。取得できるかどうか不安はあると思いますが、絶対受かっているという意思を持って頑張ってください。また、対策授業には積極的に参加してください。",
+    "diff": [
+      "replace   text[5:7] --> decoded_text[5:6]     'が' --> 'が'",
+      "replace   text[24:26] --> decoded_text[23:24]     'で' --> 'で'",
+      "replace   text[29:31] --> decoded_text[27:28]     'ど' --> 'ど'",
+      "replace   text[67:69] --> decoded_text[64:65]     'だ' --> 'だ'",
+      "replace   text[90:92] --> decoded_text[86:87]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "試験範囲は広いですが、出題は同じようなパターンが多いので、繰り返し過去問を解いていれば合格できますよ。",
+    "decoded_text": "試験範囲は広いですが、出題は同じようなパターンが多いので、繰り返し過去問を解いていれば合格できますよ。",
+    "diff": [
+      "replace   text[7:9] --> decoded_text[7:8]     'で' --> 'で'",
+      "replace   text[10:12] --> decoded_text[9:10]     'が' --> 'が'",
+      "replace   text[44:46] --> decoded_text[42:43]     'ば' --> 'ば'",
+      "replace   text[48:50] --> decoded_text[45:46]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "通学時の電車の中でひたすら参考書を読み解き、最後の最後まで一生懸命取り組みました。また今までの授業をしっかり聞いていたので、分からないところも��く、無事合格できました。",
+    "decoded_text": "通学時の電車の中でひたすら参考書を読み解き、最後の最後まで一生懸命取り組みました。また今までの授業をしっかり聞いていたので、分からないところも無く、無事合格できました。",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'で' --> 'で'",
+      "replace   text[29:31] --> decoded_text[28:29]     'で' --> 'で'",
+      "replace   text[47:49] --> decoded_text[45:46]     'で' --> 'で'",
+      "replace   text[63:65] --> decoded_text[60:61]     'で' --> 'で'",
+      "replace   text[82:84] --> decoded_text[78:79]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "数多くの資格に挑戦し、合格した時の達成感を自分で感じ取ってもらえればと思います。",
+    "decoded_text": "数多くの資格に挑戦し、合格した時の達成感を自分で感じ取ってもらえればと思います。",
+    "diff": [
+      "replace   text[23:25] --> decoded_text[23:24]     'で' --> 'で'",
+      "replace   text[26:28] --> decoded_text[25:26]     'じ' --> 'じ'",
+      "replace   text[35:37] --> decoded_text[33:34]     'ば' --> 'ば'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "学校の授業だけではなく、家でもプリントや過去問を何度も解いて勉強しました。資格を取ったらそこで終わりではなく、就職してからも役に立つ知識を身につける事ができたので、今後も活かしていこうと思います。",
+    "decoded_text": "学校の授業だけではなく、家でもプリントや過去問を何度も解いて勉強しました。資格を取ったらそこで終わりではなく、就職してからも役に立つ知識を身につける事ができたので、今後も活かしていこうと思います。",
+    "diff": [
+      "replace   text[5:7] --> decoded_text[5:6]     'だ' --> 'だ'",
+      "replace   text[8:10] --> decoded_text[7:8]     'で' --> 'で'",
+      "replace   text[15:17] --> decoded_text[13:14]     'で' --> 'で'",
+      "replace   text[18:20] --> decoded_text[15:16]     'プ' --> 'プ'",
+      "replace   text[50:52] --> decoded_text[46:47]     'で' --> 'で'",
+      "replace   text[55:57] --> decoded_text[50:51]     'で' --> 'で'",
+      "replace   text[81:85] --> decoded_text[75:77]   'がで' --> 'がで'",
+      "replace   text[88:90] --> decoded_text[80:81]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "頑張ったら合格できるので機会があれば、ぜひ資格はとっておくべきだと思います。",
+    "decoded_text": "頑張ったら合格できるので機会があれば、ぜひ資格はとっておくべきだと思います。",
+    "diff": [
+      "replace   text[7:9] --> decoded_text[7:8]     'で' --> 'で'",
+      "replace   text[12:14] --> decoded_text[11:12]     'で' --> 'で'",
+      "replace   text[16:18] --> decoded_text[14:15]     'が' --> 'が'",
+      "replace   text[20:22] --> decoded_text[17:18]     'ば' --> 'ば'",
+      "replace   text[23:25] --> decoded_text[19:20]     'ぜ' --> 'ぜ'",
+      "replace   text[34:36] --> decoded_text[29:30]     'べ' --> 'べ'",
+      "replace   text[37:39] --> decoded_text[31:32]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "この資格は音響関係の仕事で、どこに行っても活かしていけるので取得しました。 過去問は大事です。たくさんの過去問を解き、数式も出てくるので暗記だけではなく、公式も覚えるようにしました。",
+    "decoded_text": "この資格は音響関係の仕事で、どこに行っても活かしていけるので取得しました。 過去問は大事です。たくさんの過去問を解き、数式も出てくるので暗記だけではなく、公式も覚えるようにしました。",
+    "diff": [
+      "replace   text[12:14] --> decoded_text[12:13]     'で' --> 'で'",
+      "replace   text[15:17] --> decoded_text[14:15]     'ど' --> 'ど'",
+      "replace   text[31:33] --> decoded_text[29:30]     'で' --> 'で'",
+      "replace   text[47:49] --> decoded_text[44:45]     'で' --> 'で'",
+      "replace   text[71:73] --> decoded_text[67:68]     'で' --> 'で'",
+      "replace   text[75:77] --> decoded_text[70:71]     'だ' --> 'だ'",
+      "replace   text[78:80] --> decoded_text[72:73]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "資格を取りたいという気持ちがあれば��丈夫です。頑張ってください。",
+    "decoded_text": "資格を取りたいという気持ちがあれば大丈夫です。頑張ってください。",
+    "diff": [
+      "replace   text[13:15] --> decoded_text[13:14]     'が' --> 'が'",
+      "replace   text[17:19] --> decoded_text[16:17]     'ば' --> 'ば'",
+      "replace   text[22:24] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[31:33] --> decoded_text[28:29]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/Qwen.Qwen3-235B-A22B-Thinking-2507 @ cc100.ko.diff.json

@@ -0,0 +1,216 @@
+[
+  {
+    "text": "낙천적(樂天的) : 세상과 인생을 즐겁고 좋은 것으로 여기는. 또는 그런 것. 인생을 즐길 줄 안다는 건 정말 행복한 일 아닐까요? 심리적으로 자신감과 낙천적인 태도를 갖게 하며, 새로운 아이디어를 얻도록 도움을 주는 노란색의 예쁜벽을 오디오로 채우신 고객님댁을 소개드립니다. ..more",
+    "decoded_text": "낙천적(樂天的) : 세상과 인생을 즐겁고 좋은 것으로 여기는. 또는 그런 것. 인생을 즐길 줄 안다는 건 정말 행복한 일 아닐까요? 심리적으로 자신감과 낙천적인 태도를 갖게 하며, 새로운 아이디어를 얻도록 도움을 주는 노란색의 예쁜벽을 오디오로 채우신 고객님댁을 소개드립니다. ..more",
+    "diff": [
+      "replace   text[4:5] --> decoded_text[4:5]      '樂' --> '樂'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.006211180124223602,
+    "oov_charset": "[\"樂\"]"
+  },
+  {
+    "text": "명 태조는 포의(布衣)에서 몸을 일으켜 천하를 평정하였다. 천하 평정뒤에는 관리 등용시험에 경의(敬意)를 주로 하였으므로 문교(文敎)가 융성하게 되어 많은 학자를 배출시켰다. 그러나 당시의 학자는 대개 정주학(程朱學)을 신봉한 사람들 뿐이라 명대(明代)의 특색이 아직 나타나고 있지 않다. 그러므로 영락(永樂) 12년 호(胡)에게 명하여 「사서대전」,「오경대전」 을 찬술케 하였을때 어느 경(經)이나 모두 주자의 주(主)에 기본을 두고 있다. 이것에 의해서만도 명초(明初)의 학문이 주자학을 그대로 계승하였을뿐 독창성이 없었다는 것을 상상할 수 있다. 본론에서는 오강재(吳康齋) 사상에 대해 논하고 순수한 주자학자의 설선에 대한 내용을 먼저 언급한 뒤에 다시 오강재의 문인인 호거인(胡居仁), 진헌장(陳獻章), 누량(累諒)에 대해 알아보고자 한다.",
+    "decoded_text": "명 태조는 포의(布衣)에서 몸을 일으켜 천하를 평정하였다. 천하 평정뒤에는 관리 등용시험에 경의(敬意)를 주로 하였으므로 문교(文敎)가 융성하게 되어 많은 학자를 배출시켰다. 그러나 당시의 학자는 대개 정주학(程朱學)을 신봉한 사람들 뿐이라 명대(明代)의 특색이 아직 나타나고 있지 않다. 그러므로 영락(永樂) 12년 호(胡)에게 명하여 「사서대전」,「오경대전」 을 찬술케 하였을때 어느 경(經)이나 모두 주자의 주(主)에 기본을 두고 있다. 이것에 의해서만도 명초(明初)의 학문이 주자학을 그대로 계승하였을뿐 독창성이 없었다는 것을 상상할 수 있다. 본론에서는 오강재(吳康齋) 사상에 대해 논하고 순수한 주자학자의 설선에 대한 내용을 먼저 언급한 뒤에 다시 오강재의 문인인 호거인(胡居仁), 진헌장(陳獻章), 누량(累諒)에 대해 알아보고자 한다.",
+    "diff": [
+      "replace   text[171:172] --> decoded_text[171:172]      '樂' --> '樂'",
+      "replace   text[401:402] --> decoded_text[401:402]      '累' --> '累'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.004784688995215311,
+    "oov_charset": "[\"樂\", \"累\"]"
+  },
+  {
+    "text": "역할을 수행해갔는지를 살펴보도록 하겠다. 1. 양명학 이전의 주자학 ... 과 육학(陸學) 1) 송대 주자학의 성립 데니스 트위쳇이『케임브리지 중국사 ... 독재적인 명 초기의 황제들{ 특히 홍무제의 경우 주자학을 체제교학으로",
+    "decoded_text": "역할을 수행해갔는지를 살펴보도록 하겠다. 1. 양명학 이전의 주자학 ... 과 육학(陸學) 1) 송대 주자학의 성립 데니스 트위쳇이『케임브리지 중국사 ... 독재적인 명 초기의 황제들{ 특히 홍무제의 경우 주자학을 체제교학으로",
+    "diff": [
+      "replace   text[47:48] --> decoded_text[47:48]      '陸' --> '陸'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007936507936507936,
+    "oov_charset": "[\"陸\"]"
+  },
+  {
+    "text": "확고한 지반을 굳혔다. 주자학이 명대에 와서 국가의 지도이념으로 확립되어 ... 양명학의 성립과 전개 1. 서론 朱子學(주자학)이 宋代(송대)의 학술 ... 기점으로 知行合一說(지행합일설), 致良知說(치양지설)을 속속 제출하여 주자학",
+    "decoded_text": "확고한 지반을 굳혔다. 주자학이 명대에 와서 국가의 지도이념으로 확립되어 ... 양명학의 성립과 전개 1. 서론 朱子學(주자학)이 宋代(송대)의 학술 ... 기점으로 知行合一說(지행합일설), 致良知說(치양지설)을 속속 제출하여 주자학",
+    "diff": [
+      "replace   text[108:109] --> decoded_text[108:109]      '良' --> '良'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007692307692307693,
+    "oov_charset": "[\"良\"]"
+  },
+  {
+    "text": "▷주자:이(理)�� 만물의 근원이 되는 이치이자, 기(氣)의 활동 근거인 반면 기(氣)는 만물을 구성하는 재료로서 사물을 낳는 도구이다",
+    "decoded_text": "▷주자:이(理)란 만물의 근원이 되는 이치이자, 기(氣)의 활동 근거인 반면 기(氣)는 만물을 구성하는 재료로서 사물을 낳는 도구이다",
+    "diff": [
+      "replace   text[6:7] --> decoded_text[6:7]      '理' --> '理'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.013513513513513514,
+    "oov_charset": "[\"理\"]"
+  },
+  {
+    "text": "예술이라는 한자(漢字)에서 ‘예(藝)’에는 본디 ‘심는다(種 ·樹)’는 뜻이 있으며, 따라서 그것은‘기능(機能)’‘기술(技術)’을 의미하며 고대 동양에서 사대부가 필수적으로 갖추어야 했다. 육예(六藝:禮 ·樂 ·射 ·御 ·書 ·數)에서의 ‘예’는 인간적 결실을 얻기 위해 필요한 기초 교양의 씨를 뿌리고 인격의 꽃을 피우는 수단으로 여겼던 만큼 거기에는 인격도야의 의의도 있다고 하겠다.",
+    "decoded_text": "예술이라는 한자(漢字)에서 ‘예(藝)’에는 본디 ‘심는다(種 ·樹)’는 뜻이 있으며, 따라서 그것은‘기능(機能)’‘기술(技術)’을 의미하며 고대 동양에서 사대부가 필수적으로 갖추어야 했다. 육예(六藝:禮 ·樂 ·射 ·御 ·書 ·數)에서의 ‘예’는 인간적 결실을 얻기 위해 필요한 기초 교양의 씨를 뿌리고 인격의 꽃을 피우는 수단으로 여겼던 만큼 거기에는 인격도야의 의의도 있다고 하겠다.",
+    "diff": [
+      "replace   text[115:116] --> decoded_text[115:116]      '樂' --> '樂'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.004629629629629629,
+    "oov_charset": "[\"樂\"]"
+  },
+  {
+    "text": "입지(立志)를 강조해 자경문, 성학집요, 격몽요결, 학교모범에서 항상 ... 이루어진다. 순언은 율곡이 도덕경 81장 중에서 유교 경전의 내용과 일치하며 ... 사상가 연구 - 율곡 이이 수강 과목 : 담당 교수 : 교수님 제출",
+    "decoded_text": "입지(立志)를 강조해 자경문, 성학집요, 격몽요결, 학교모범에서 항상 ... 이루어진다. 순언은 율곡이 도덕경 81장 중에서 유교 경전의 내용과 일치하며 ... 사상가 연구 - 율곡 이이 수강 과목 : 담당 교수 : 교수님 제출",
+    "diff": [
+      "replace   text[3:4] --> decoded_text[3:4]      '立' --> '立'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007874015748031496,
+    "oov_charset": "[\"立\"]"
+  },
+  {
+    "text": "Ⅰ. 김용과 중국 무협문학 1. 작가 소개 김용(金用)은 1924년 ... 것이다. 그러므로 무협소설 작가 김용(金用)은 언론인이자 정치가인 차량융의 ... 출간하기 시작하였다. 이렇게 보면 무협소설 작가인 김용(金用)은 언론인",
+    "decoded_text": "Ⅰ. 김용과 중국 무협문학 1. 작가 소개 김용(金用)은 1924년 ... 것이다. 그러므로 무협소설 작가 김용(金用)은 언론인이자 정치가인 차량융의 ... 출간하기 시작하였다. 이렇게 보면 무협소설 작가인 김용(金用)은 언론인",
+    "diff": [
+      "replace   text[27:28] --> decoded_text[27:28]      '金' --> '金'",
+      "replace   text[63:64] --> decoded_text[63:64]      '金' --> '金'",
+      "replace   text[119:120] --> decoded_text[119:120]      '金' --> '金'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.023622047244094488,
+    "oov_charset": "[\"金\"]"
+  },
+  {
+    "text": "3 이 때 상제님께서 미처 말씀을 마치지 아니하셨는데 면장 양 모(梁某)와 이장이 세금을 받으러 오거늘",
+    "decoded_text": "3 이 때 상제님께서 미처 말씀을 마치지 아니하셨는데 면장 양 모(梁某)와 이장이 세금을 받으러 오거늘",
+    "diff": [
+      "replace   text[37:38] --> decoded_text[37:38]      '梁' --> '梁'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.017543859649122806,
+    "oov_charset": "[\"梁\"]"
+  },
+  {
+    "text": "2 26일 새벽이 되자 백낙두(白樂斗)를 비롯하여 무장한 순검 수십 명이 공신의 집을 에워싸고 형렬과 자현 등 여러 사람을 결박한 뒤에 상제님의 처소를 묻거늘",
+    "decoded_text": "2 26일 새벽이 되자 백낙두(白樂斗)를 비롯하여 무장한 순검 수십 명이 공신의 집을 에워싸고 형렬과 자현 등 여러 사람을 결박한 뒤에 상제님의 처소를 묻거늘",
+    "diff": [
+      "replace   text[18:19] --> decoded_text[18:19]      '樂' --> '樂'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.011363636363636364,
+    "oov_charset": "[\"樂\"]"
+  },
+  {
+    "text": "상제님이 진주공사에서 원래는 33명에게 새 세상 일꾼 기운을 붙여서 공사를 보시려고 했는데 12명이 변심을 해서 그 자리에서 빼 버렸다. 그래서 신경수 성도 집과 문공신 성도 집에 있던 21명의 성도들이 잡혀서 왔다. 지금 여기 다내(月乃)가 상제님이 수명소 공사 주인 신경수 성도 집에서 일본 경찰들한테 체포돼서 고부경찰서까지 잡혀 가는 40리 길의 딱 중간이야. 상제님이 오신 길이 그러면 어디냐? 정토칠봉의 끝자리 수금리水金里에서 배를 타고 정읍천을 건너서 이쪽 용두龍頭마을 방향으로 오신 거다. 여기 삼거리에 주막이 있었다. 여기서 상제님이 21명의 성도들과 순검들에게 “너희도 배가 고플 테니까 가져온 음식과 고기를 여기서 배불리 먹고 가자.” 하셨다. 그래서 상제님이 여기서 술 한 잔을 드시고 나서 갑자기 일어나셔서 외치셨다.",
+    "decoded_text": "상제님이 진주공사에서 원래는 33명에게 새 세상 일꾼 기운을 붙여서 공사를 보시려고 했는데 12명이 변심을 해서 그 자리에서 빼 버렸다. 그래서 신경수 성도 집과 문공신 성도 집에 있던 21명의 성도들이 잡혀서 왔다. 지금 여기 다내(月乃)가 상제님이 수명소 공사 주인 신경수 성도 집에서 일본 경찰들한테 체포돼서 고부경찰서까지 잡혀 가는 40리 길의 딱 중간이야. 상제님이 오신 길이 그러면 어디냐? 정토칠봉의 끝자리 수금리水金里에서 배를 타고 정읍천을 건너서 이쪽 용두龍頭마을 방향으로 오신 거다. 여기 삼거리에 주막이 있었다. 여기서 상제님이 21명의 성도들과 순검들에게 “너희도 배가 고플 테니까 가져온 음식과 고기를 여기서 배불리 먹고 가자.” 하셨다. 그래서 상제님이 여기서 술 한 잔을 드시고 나서 갑자기 일어나셔서 외치셨다.",
+    "diff": [
+      "replace   text[239:240] --> decoded_text[239:240]      '金' --> '金'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.002421307506053269,
+    "oov_charset": "[\"金\"]"
+  },
+  {
+    "text": "이광수의 조혼을 다룬 희곡 <규한>보다는 진일보를 보인 작품. 3)金祐鎭 ... ) 그러나, 희곡이 무대상연을 전제로 하는 문학이라면, <不孝天罰 ... 의미로서의 창작 희곡은 아님. -대부분의 작품이 일본 신파 연극을 번역",
+    "decoded_text": "이광수의 조혼을 다룬 희곡 <규한>보다는 진일보를 보인 작품. 3)金祐鎭 ... ) 그러나, 희곡이 무대상연을 전제로 하는 문학이라면, <不孝天罰 ... 의미로서의 창작 희곡은 아님. -대부분의 작품이 일본 신파 연극을 번역",
+    "diff": [
+      "replace   text[77:78] --> decoded_text[77:78]      '不' --> '不'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.008,
+    "oov_charset": "[\"不\"]"
+  },
+  {
+    "text": "{{ 중국의 고리대금업 { 중국(中國)의 고리대금업(高利貸金業) 차 ... 아니라, 국가에서 대출을 해주는 시스템도 존재하지 않았다. 고리대금업은 전통 ... 례 서론 본론 상인(商人)의 유래 대금업의 탄생 - 위진남북조 시대의",
+    "decoded_text": "{{ 중국의 고리대금업 { 중국(中國)의 고리대금업(高利貸金業) 차 ... 아니라, 국가에서 대출을 해주는 시스템도 존재하지 않았다. 고리대금업은 전통 ... 례 서론 본론 상인(商人)의 유래 대금업의 탄생 - 위진남북조 시대의",
+    "diff": [
+      "replace   text[32:33] --> decoded_text[32:33]      '金' --> '金'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007874015748031496,
+    "oov_charset": "[\"金\"]"
+  },
+  {
+    "text": "..PAGE:1 종교 속의 성차별 ..PAGE:2 목 차 카톨릭 속의 ... 성차별 토론 ..PAGE:3 대부분 종교가 사제직 '여성 不可' 한국천주교 ... 대한 부정적 시각 ..PAGE:4 카톨릭 속의 성차별 사제는 남성이어야",
+    "decoded_text": "..PAGE:1 종교 속의 성차별 ..PAGE:2 목 차 카톨릭 속의 ... 성차별 토론 ..PAGE:3 대부분 종교가 사제직 '여성 不可' 한국천주교 ... 대한 부정적 시각 ..PAGE:4 카톨릭 속의 성차별 사제는 남성이어야",
+    "diff": [
+      "replace   text[75:76] --> decoded_text[75:76]      '不' --> '不'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0078125,
+    "oov_charset": "[\"不\"]"
+  },
+  {
+    "text": "不壞)의 몸이기 때문이다. 거기에 음독금련사는 더 했다. 그의 입에서 나오는 액은 모든 것을 녹아버리",
+    "decoded_text": "不壞)의 몸이기 때문이다. 거기에 음독금련사는 더 했다. 그의 입에서 나오는 액은 모든 것을 녹아버리",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      '不' --> '不'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.017857142857142856,
+    "oov_charset": "[\"不\"]"
+  },
+  {
+    "text": "백리무극 옆에 서 있는 인물은 바로 그의 첫제자 용구찬(龍九燦)이 서 있었다. 그는 천황의 지시하는 일",
+    "decoded_text": "백리무극 옆에 서 있는 인물은 바로 그의 첫제자 용구찬(龍九燦)이 서 있���다. 그는 천황의 지시하는 일",
+    "diff": [
+      "replace   text[31:32] --> decoded_text[31:32]      '龍' --> '龍'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.017543859649122806,
+    "oov_charset": "[\"龍\"]"
+  },
+  {
+    "text": "면 정액이 고갈(枯渴)되어 죽고 말았지만 지금 북리천과 유나영은 용(龍)의 내단을 먹어 삼일까지 이렇",
+    "decoded_text": "면 정액이 고갈(枯渴)되어 죽고 말았지만 지금 북리천과 유나영은 용(龍)의 내단을 먹어 삼일까지 이렇",
+    "diff": [
+      "replace   text[38:39] --> decoded_text[38:39]      '龍' --> '龍'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.017857142857142856,
+    "oov_charset": "[\"龍\"]"
+  },
+  {
+    "text": "라 영약(靈藥)뿐이였다.",
+    "decoded_text": "라 영약(靈藥)뿐이였다.",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6]      '靈' --> '靈'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.07692307692307693,
+    "oov_charset": "[\"靈\"]"
+  },
+  {
+    "text": "5 '선릉역 사건' 가해女, 피해女 만남 전 흉기 챙긴 이유는? 친구 데려온다는 말에",
+    "decoded_text": "5 '선릉역 사건' 가해女, 피해女 만남 전 흉기 챙긴 이유는? 친구 데려온다는 말에",
+    "diff": [
+      "replace   text[13:14] --> decoded_text[13:14]      '女' --> '女'",
+      "replace   text[18:19] --> decoded_text[18:19]      '女' --> '女'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.0425531914893617,
+    "oov_charset": "[\"女\"]"
+  },
+  {
+    "text": "알프레드 노스 화이트헤드(Alfred North Whitehead)는 20세기의 대표적인 철학자 가운데 한 사람이다. 영국 케임브리지의 트리니티 칼리지에서 수학을 전공하였고, 그 후에 동 대학의 특별연구원(Fellow)과 수석 강사(1885~1911), 런던대학의 임페리얼 칼리지 응용수학교수(1914~1924), 그리고 미국 하버드대학 철학교수(1924~1937)를 역임했다. 수학자였지만 고전에도 정통했으며, 새로운 물리학의 의미를 정확히 인식하고 있었을 뿐만 아니라 전통적인 철학을 오랫동안 깊이 연구해 왔다. 수제자 버트런드 러셀과의 공저 『수학 원리』(전 3권, 1910~1913)와 같은 수리논리학 분야에서 획기적인 업적을 남긴 수학자, 논리학자로서도 높이 평가된다. 또 한편으로는 특히 아인슈타인의 상대성 원리 등 현대 자연과학의 발전을 계기로, 현대 과학설을 철학에 도입시켜 철학 사상사에 새로운 국면을 전개한 과학철학자 그리고 “유기체 철학”(philosophy of organism)의 철학자로서도 높이 평가된다. 화이트헤드는 신중한 사람이었다. “진리를 그 가장 깊은 뿌리에서 부터 탐구”(본문 제2장 중에서) 하는 작업을 평생 멈추지 않았던 사상가였으며, 오랫동안 수학의 전문가였다. 그의 최초의 철학적 저작인 『과학과 근대세계』(1925)는 그가 63세 때, 대표작 『과정과 실재』(1929)는 68세 때에, 그로부터 4년 후에는 『관념의 모험』(1933)이 출간되었다. 그 당시 사람들은 사멸된 것으로 알았던 형이상학이 우주에 관한 상상적 사유라는 형태로 당당하게 부활하는 데 놀랐다. 그의 형이상학 체계는 사물의 유동(流動)을 둘러싸고 전개되는 체계라는 형태의 우주론으로서, 어디까지나 개방된 체계였다. 형이상학을 싫어했던 존 듀이도 화이트헤드의 “유기체 철학”에 대하여 “철학에의 혁명적 공헌” 이라는 찬사를 보냈으며, 영국의 시인이자 문학평론가·철학자였던 허버트 리드는 화이트헤드를 “20세기의 데카르트”라 평하기도 했다. 현대 프랑스의 포스트모더니즘 철학의 기수로 불리는 질 들뢰즈 같은 이는 화이트헤드를 가리켜 “영미권의 마지막 위대한 철학자”로 평하였다. 지은 책으로는 『화이트헤드의 수학이란 무엇인가』『교육의 목적』『화이트헤드와의 대화』등이 있다.",
+    "decoded_text": "알프레드 노스 화이트헤드(Alfred North Whitehead)는 20세기의 대표적인 철학자 가운데 한 사람이다. 영국 케임브리지의 트리니티 칼리지에서 수학을 전공하였고, 그 후에 동 대학의 특별연구원(Fellow)과 수석 강사(1885~1911), 런던대학의 임페리얼 칼리지 응용수학교수(1914~1924), 그리고 미국 하버드대학 철학교수(1924~1937)를 역임했다. 수학자였지만 고전에도 정통했으며, 새로운 물리학의 의미를 정확히 인식하고 있었을 뿐만 아니라 전통적인 철학을 오랫동안 깊이 연구해 왔다. 수제자 버트런드 러셀과의 공저 『수학 원리』(전 3권, 1910~1913)와 같은 수리논리학 분야에서 획기적인 업적을 남긴 수학자, 논리학자로서도 높이 평가된다. 또 한편으로는 특히 아인슈타인의 상���성 원리 등 현대 자연과학의 발전을 계기로, 현대 과학설을 철학에 도입시켜 철학 사상사에 새로운 국면을 전개한 과학철학자 그리고 “유기체 철학”(philosophy of organism)의 철학자로서도 높이 평가된다. 화이트헤드는 신중한 사람이었다. “진리를 그 가장 깊은 뿌리에서 부터 탐구”(본문 제2장 중에서) 하는 작업을 평생 멈추지 않았던 사상가였으며, 오랫동안 수학의 전문가였다. 그의 최초의 철학적 저작인 『과학과 근대세계』(1925)는 그가 63세 때, 대표작 『과정과 실재』(1929)는 68세 때에, 그로부터 4년 후에는 『관념의 모험』(1933)이 출간되었다. 그 당시 사람들은 사멸된 것으로 알았던 형이상학이 우주에 관한 상상적 사유라는 형태로 당당하게 부활하는 데 놀랐다. 그의 형이상학 체계는 사물의 유동(流動)을 둘러싸고 전개되는 체계라는 형태의 우주론으로서, 어디까지나 개방된 체계였다. 형이상학을 싫어했던 존 듀이도 화이트헤드의 “유기체 철학”에 대하여 “철학에의 혁명적 공헌” 이라는 찬사를 보냈으며, 영국의 시인이자 문학평론가·철학자였던 허버트 리드는 화이트헤드를 “20세기의 데카르트”라 평하기도 했다. 현대 프랑스의 포스트모더니즘 철학의 기수로 불리는 질 들뢰즈 같은 이는 화이트헤드를 가리켜 “영미권의 마지막 위대한 철학자”로 평하였다. 지은 책으로는 『화이트헤드의 수학이란 무엇인가』『교육의 목적』『화이트헤드와의 대화』등이 있다.",
+    "diff": [
+      "replace   text[809:810] --> decoded_text[809:810]      '流' --> '流'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0009000900090009,
+    "oov_charset": "[\"流\"]"
+  },
+  {
+    "text": "<부가설명> 오늘 청지기의 표지(標識, 표식은 잘못된 읽기이다.) 열거한, 신실함, 신뢰할 만하다는 말은 전부 헬라어 ‘피스티스, 피스토스, 피스튜오’에서 나온 말이다. 깨끗한 양심과 순종만이 다른 단어이다. 청지기는 믿을 수 있는 인격이어야 한다는 말이다. 그런 사람은 깨끗한 양심으로 하나님의 말씀을 수행하는 지체들이 된다는 것을 나타낸다. 순종이라는 단어는 ‘휘포쿠오’ ‘휘포탓소’등인데 ‘휘포’라는 말은 ‘…아래’라는 뜻이다. 순종은 누군가가 순종하는 사람 위에 있다는 것을 나타낸다. 위에서 시키는 사람의 말을 듣는 것이 ‘휘포쿠오’이고 위에서 시키는 대로 정돈하는 것이 ‘휘포탓소’이다. 청지기는 위에 주인이 계신다. 주인이 시키는 말을 잘 듣고 시키는 말대로 하는 것이고, 시킨 대로 정돈하는 것이다. 그리스도인 청지기는 예수께서 주인이시기 때문에 예수님의 말씀을 잘 듣고 그대로 수행해야 하고 그대로 정리해야 한다. 그렇게 할 때 주인의 신임을 얻고 하늘나라를 상속받게 된다. 하나님이 주신 것을 하나님의 뜻대로 관리하지 못할 것을 아시면 하나님께서 관리할 것을 맡기겠는가?",
+    "decoded_text": "<부가설명> 오늘 청지기의 표지(標識, 표식은 잘못된 읽기이다.) 열거한, 신실함, 신뢰할 만하다는 말은 전부 헬라어 ‘피스티스, 피스토스, 피스튜오’에서 나온 말이다. 깨끗한 양심과 순종만이 다른 단어이다. 청지기는 믿을 수 있는 인격이어야 한다는 말이다. 그런 사람은 깨끗한 양심으로 하나님의 말씀을 수행하는 지체들이 된다는 것을 나타낸다. 순종이라는 단어는 ‘휘포쿠오’ ‘휘포탓소’등인데 ‘휘포’라는 말은 ‘…아래’라는 뜻이다. 순종은 누군가가 순종하는 사람 위에 있다는 것을 나타낸다. 위에서 시키는 사람의 말을 듣는 것이 ‘휘포쿠오’이고 위에서 시키는 대로 정돈하는 것이 ‘휘포탓소’이다. 청지기는 위에 주인이 계신다. 주인이 시키는 말을 잘 듣고 시키는 말대로 하는 것이고, 시킨 대로 정돈하는 것이다. 그리스도인 청지기는 예수께서 주인이시기 때문에 예수님의 말씀을 잘 듣고 그대로 수행해야 하고 그대로 정리해야 한다. 그렇게 할 때 주인의 신임을 얻고 하늘나라를 상속받게 된다. 하나님이 주신 것을 하나님의 뜻대로 관리하지 못할 것을 아시면 하나님께서 관리할 것을 맡기겠는가?",
+    "diff": [
+      "replace   text[19:20] --> decoded_text[19:20]      '識' --> '識'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0018083182640144665,
+    "oov_charset": "[\"識\"]"
+  }
+]

stats/compression_rate/Qwen.Qwen3-30B-A3B-Thinking-2507 @ cc100.de.diff.json

@@ -0,0 +1,109 @@
+[
+  {
+    "text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "decoded_text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "diff": [
+      "replace   text[134:136] --> decoded_text[134:135]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "decoded_text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "diff": [
+      "replace   text[488:490] --> decoded_text[488:489]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "decoded_text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "diff": [
+      "replace   text[193:195] --> decoded_text[193:194]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Zum Glückwunsch haben Sie in den nächsten Wochen eine doppelte Gelegenheit:",
+    "decoded_text": "Zum Glückwunsch haben Sie in den nächsten Wochen eine doppelte Gelegenheit:",
+    "diff": [
+      "replace   text[6:8] --> decoded_text[6:7]     'ü' --> 'ü'",
+      "replace   text[35:37] --> decoded_text[34:35]     'ä' --> 'ä'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Zum einen haben wir im März einen neuen Kir­chenvorstand gewählt: Jüngere und Ältere, Erfahrene und Neue mischen sich zu einer Gruppe, die die Verantwortung für die Ge­meinde übernimmt. Ich bitte Sie und Euch alle, allen Kandidat*nnen zu danken, sie auf der Straße anzusprechen und zu beglück­wünschen: Denn es ist nicht selbstverständ­lich, für ein Amt von sechs Jahren Dauer zu kandidieren.",
+    "decoded_text": "Zum einen haben wir im März einen neuen Kir­chenvorstand gewählt: Jüngere und Ältere, Erfahrene und Neue mischen sich zu einer Gruppe, die die Verantwortung für die Ge­meinde übernimmt. Ich bitte Sie und Euch alle, allen Kandidat*nnen zu danken, sie auf der Straße anzusprechen und zu beglück­wünschen: Denn es ist nicht selbstverständ­lich, für ein Amt von sechs Jahren Dauer zu kandidieren.",
+    "diff": [
+      "replace   text[24:26] --> decoded_text[24:25]     'ä' --> 'ä'",
+      "replace   text[61:63] --> decoded_text[60:61]     'ä' --> 'ä'",
+      "replace   text[69:71] --> decoded_text[67:68]     'ü' --> 'ü'",
+      "replace   text[81:83] --> decoded_text[78:79]     'Ä' --> 'Ä'",
+      "replace   text[162:164] --> decoded_text[158:159]     'ü' --> 'ü'",
+      "replace   text[180:182] --> decoded_text[175:176]     'ü' --> 'ü'",
+      "replace   text[295:297] --> decoded_text[289:290]     'ü' --> 'ü'",
+      "replace   text[301:303] --> decoded_text[294:295]     'ü' --> 'ü'",
+      "replace   text[340:342] --> decoded_text[332:333]     'ä' --> 'ä'",
+      "replace   text[352:354] --> decoded_text[343:344]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Darüber freuen wir uns. Und wenn Sie je­ manden von denen kennen, freuen die sich, wenn Sie sie ansprechen und darin bestär­ken.",
+    "decoded_text": "Darüber freuen wir uns. Und wenn Sie je­ manden von denen kennen, freuen die sich, wenn Sie sie ansprechen und darin bestär­ken.",
+    "diff": [
+      "replace   text[3:5] --> decoded_text[3:4]     'ü' --> 'ü'",
+      "replace   text[122:124] --> decoded_text[121:122]     'ä' --> 'ä'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Unsere Kirchengemeinde lebt davon, dass manche eine Aufgabe haben oder eine be­sondere Zeit erleben – wie den Konfirman­denunterricht. Die anderen aber daran teil­haben und sie unterstützen und ihnen Glück wünschen. Und Sie werden merken, dass es Sie selbst beglücken kann, anderen Glück zu wünschen!",
+    "decoded_text": "Unsere Kirchengemeinde lebt davon, dass manche eine Aufgabe haben oder eine be­sondere Zeit erleben – wie den Konfirman­denunterricht. Die anderen aber daran teil­haben und sie unterstützen und ihnen Glück wünschen. Und Sie werden merken, dass es Sie selbst beglücken kann, anderen Glück zu wünschen!",
+    "diff": [
+      "replace   text[184:186] --> decoded_text[184:185]     'ü' --> 'ü'",
+      "replace   text[203:205] --> decoded_text[202:203]     'ü' --> 'ü'",
+      "replace   text[209:211] --> decoded_text[207:208]     'ü' --> 'ü'",
+      "replace   text[265:267] --> decoded_text[262:263]     'ü' --> 'ü'",
+      "replace   text[288:290] --> decoded_text[284:285]     'ü' --> 'ü'",
+      "replace   text[297:299] --> decoded_text[292:293]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "‹ Herzlichen Dank für all Ihre Spenden!",
+    "decoded_text": "‹ Herzlichen Dank für all Ihre Spenden!",
+    "diff": [
+      "replace   text[19:21] --> decoded_text[19:20]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Bitte beachte: Du kannst die an uns erteile Einwilligung auch jederzeit widerrufen. Nutze dazu einfach unsere Kontaktmöglichkeiten. Durch den Widerruf wird die Rechtmäßigkeit der bis dahin erfolgten Verarbeitung nicht berührt.",
+    "decoded_text": "Bitte beachte: Du kannst die an uns erteile Einwilligung auch jederzeit widerrufen. Nutze dazu einfach unsere Kontaktmöglichkeiten. Durch den Widerruf wird die Rechtmäßigkeit der bis dahin erfolgten Verarbeitung nicht berührt.",
+    "diff": [
+      "replace   text[166:168] --> decoded_text[166:167]     'ä' --> 'ä'",
+      "replace   text[222:224] --> decoded_text[221:222]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/Qwen.Qwen3-30B-A3B-Thinking-2507 @ cc100.fa.diff.json

@@ -0,0 +1,248 @@
+[
+  {
+    "text": "رئيس حوزه علميه اصفهان گفت: دليل نزول اکثر مصائب رفتار خودِ انسان هاست؛ فقر، بيماري هاي لاعلاج و ناامني هاي اجتماعي، همه و همه نتيجه گناهاني است که اکثر افراد جامعه مرتکب مي شوند. به گزارش رسا، حضرت آيت الله حسين مظاهري در جلسه تفسير قرآن صبح ديروز که در مسجد اميرالمؤمنين(ع) خيابان جي برگزار شد، گفت: هميشه خير و صلاح افراد در بهره برداري بيشتر از دنيا نيست. وي در ادامه تفسير آيه صد و پنجاه و پنجم سوره بقره که مي فرمايد«وَلَنَبْلُوَنَّکُمْ بِشَيْءٍ مِنَ الْخَوْفِ وَالْجُوعِ وَنَقْصٍ مِنَ الأمْوَالِ وَالأنْفُسِ وَالثَّمَرَاتِ وَبَشِّرِ الصَّابِرِينَ» افزود: بلاها و مصائب با اين دنيا عجين شده است و اين بلاها در همه زمينه هاي فردي و اجتماعي جريان دارد و رفتار مردم در برابر اين بلاها و مصائب به دو بخش تقسيم مي شود، عده اي در برابر مصائب جزع و فزع مي کنند و گاهي منکر همه اعتقادات و باورهايشان مي شوند و عده اي در برابر همين بلاها صبر پيشه مي کنند و همه مصائب را از سوي خداوند مي بينند و به فعل خداوند راضي هستند. حضرت آيت الله مظاهري برخي از مصائب را از الطاف خفيه الهي دانست و خاطرنشان کرد: خداوند بر افرادي که در برابر مصائب صبر پيشه",
+    "decoded_text": "رئيس حوزه علميه اصفهان گفت: دليل نزول اکثر مصائب رفتار خودِ انسان هاست؛ فقر، بيماري هاي لاعلاج و ناامني هاي اجتماعي، همه و همه نتيجه گناهاني است که اکثر افراد جامعه مرتکب مي شوند. به گزارش رسا، حضرت آيت الله حسين مظاهري در جلسه تفسير قرآن صبح ديروز که در مسجد اميرالمؤمنين(ع) خيابان جي برگزار شد، گفت: هميشه خير و صلاح افراد در بهره برداري بيشتر از دنيا نيست. وي در ادامه تفسير آيه صد و پنجاه و پنجم سوره بقره که مي فرمايد«وَلَنَبْلُوَنَّکُمْ بِشَيْءٍ مِنَ الْخَوْفِ وَالْجُوعِ وَنَقْصٍ مِنَ الأمْوَالِ وَالأنْفُسِ وَالثَّمَرَاتِ وَبَشِّرِ الصَّابِرِينَ» افزود: بلاها و مصائب با اين دنيا عجين شده است و اين بلاها در همه زمينه هاي فردي و اجتماعي جريان دارد و رفتار مردم در برابر اين بلاها و مصائب به دو بخش تقسيم مي شود، عده اي در برابر مصائب جزع و فزع مي کنند و گاهي منکر همه اعتقادات و باورهايشان مي شوند و عده اي در برابر همين بلاها صبر پيشه مي کنند و همه مصائب را از سوي خداوند مي بينند و به فعل خداوند راضي هستند. حضرت آيت الله مظاهري برخي از مصائب را از الطاف خفيه الهي دانست و خاطرنشان کرد: خداوند بر افرادي که در برابر مصائب صبر پيشه",
+    "diff": [
+      "insert    text[436:436] --> decoded_text[436:437]       '' --> 'َ'",
+      "delete    text[437:438] --> decoded_text[438:438]      'َ' --> ''",
+      "insert    text[520:520] --> decoded_text[520:521]       '' --> 'َ'",
+      "delete    text[521:522] --> decoded_text[522:522]      'َ' --> ''",
+      "insert    text[543:543] --> decoded_text[543:544]       '' --> 'َ'",
+      "delete    text[544:545] --> decoded_text[545:545]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "«رِجَالٌ لا تُلْهِیهِمْ تجَارَةٌ وَ لا بَیْعٌ عَن ذِکْرِ اللهِ وَ إِقَامِ الصَّلَوةِ وَ إِیتَاءِ الزَّکَوةِ ـ مردانی که نه تجارت و نه معامله‏ای آنان را از یاد خدا و برپاداشتن نماز و ادای زکات غافل نمی‏کند.»[1]",
+    "decoded_text": "«رِجَالٌ لا تُلْهِیهِمْ تجَارَةٌ وَ لا بَیْعٌ عَن ذِکْرِ اللهِ وَ إِقَامِ الصَّلَوةِ وَ إِیتَاءِ الزَّکَوةِ ـ مردانی که نه تجارت و نه معامله‏ای آنان را از یاد خدا و برپاداشتن نماز و ادای زکات غافل نمی‏کند.»[1]",
+    "diff": [
+      "insert    text[77:77] --> decoded_text[77:78]       '' --> 'َ'",
+      "delete    text[78:79] --> decoded_text[79:79]      'َ' --> ''",
+      "insert    text[100:100] --> decoded_text[100:101]       '' --> 'َ'",
+      "delete    text[101:102] --> decoded_text[102:102]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "«وَ إِمَّا یَنْزَغَنَّکَ مِنَ الشَّیْطانِ نَزْغٌ فَاسْتَعِذْ بِاللهِ إِنَّهُ سَمِیعٌ عَلِیمٌ ـ و هر گاه وسوسه‌ای از شیطان به تو رسد، به خدا پناه ببر که او شنوای داناست.»[19]",
+    "decoded_text": "«وَ إِمَّا یَنْزَغَنَّکَ مِنَ الشَّیْطانِ نَزْغٌ فَاسْتَعِذْ بِاللهِ إِنَّهُ سَمِیعٌ عَلِیمٌ ـ و هر گاه وسوسه‌ای از شیطان به تو رسد، به خدا پناه ببر که او شنوای داناست.»[19]",
+    "diff": [
+      "insert    text[7:7] --> decoded_text[7:8]       '' --> 'َ'",
+      "delete    text[8:9] --> decoded_text[9:9]      'َ' --> ''",
+      "insert    text[20:20] --> decoded_text[20:21]       '' --> 'َ'",
+      "delete    text[21:22] --> decoded_text[22:22]      'َ' --> ''",
+      "insert    text[33:33] --> decoded_text[33:34]       '' --> 'َ'",
+      "delete    text[34:35] --> decoded_text[35:35]      'َ' --> ''",
+      "insert    text[72:72] --> decoded_text[72:73]       '' --> 'َ'",
+      "delete    text[73:74] --> decoded_text[74:74]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "«وَ قُلْ رَبِّ أَعُوذُ بِکَ مِنْ هَمَزاتِ الشَّیَاطِینِ* وَ أَعُوذُ بِکَ رَبِّ أَنْ یَحْضُرُونِ ـ بگو ای پروردگار من؛ پناه می‌برم به تو از وسوسه‌های شیاطین* و پناه می‌برم به تو ای پروردگار من؛ از این‌که حاضر شوند.»([20]",
+    "decoded_text": "«وَ قُلْ رَبِّ أَعُوذُ بِکَ مِنْ هَمَزاتِ الشَّیَاطِینِ* وَ أَعُوذُ بِکَ رَبِّ أَنْ یَحْضُرُونِ ـ بگو ای پروردگار من؛ پناه می‌برم به تو از وسوسه‌های شیاطین* و پناه می‌برم به تو ای پروردگار من؛ از این‌که حاضر شوند.»([20]",
+    "diff": [
+      "insert    text[12:12] --> decoded_text[12:13]       '' --> 'ِ'",
+      "delete    text[13:14] --> decoded_text[14:14]      'ِ' --> ''",
+      "insert    text[45:45] --> decoded_text[45:46]       '' --> 'َ'",
+      "delete    text[46:47] --> decoded_text[47:47]      'َ' --> ''",
+      "insert    text[76:76] --> decoded_text[76:77]       '' --> 'ِ'",
+      "delete    text[77:78] --> decoded_text[78:78]      'ِ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "امیرالمؤمنین علیه‌السلام فرموده‏ا‏ند: «هنگامی که شیطان یکی از شما را وسوسه نمود، باید به خدا پناه ببرد و بگوید: آمَنْتُ بِاللهِ وَ بِرَسُولِهِ مُخْلِصاً لَهُ الدِّینَ»[23]",
+    "decoded_text": "امیرالمؤمنین علیه‌السلام فرموده‏ا‏ند: «هنگامی که شیطان یکی از شما را وسوسه نمود، باید به خدا پناه ببرد و بگوید: آمَنْتُ بِاللهِ وَ بِرَسُولِهِ مُخْلِصاً لَهُ الدِّینَ»[23]",
+    "diff": [
+      "insert    text[161:161] --> decoded_text[161:162]       '' --> 'ِ'",
+      "delete    text[162:163] --> decoded_text[163:163]      'ِ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "حضرت صادق علیه‌السلام فرمود: مردی خدمت رسول خدا آمد و گفت: یا رسول الله؛ از وسوسه‌ای که در نماز به من القا می‌شود شکایت دارم. حتی این‌که نمی‏دانم چه‌قدر نماز کردم از زیاده یا کم. حضرت فرمودند: «وقتی داخل نماز شدی، انگشت سبّابه‌ی دست راستت را به ران پای چپت بزن و سپس بگو: بِسْمِ اللهِ وَ بِاللهِ تَوَکَّلْتُ عَلَی اللهِ أَعُوذُ بِاللهِ السَّمِیعِ الْعَلِیمِ مِنَ الشَّیْطَانِ الرَّجِیمِ ـ پس همانا او را دور و از خود منع و طرد کنی.»[24]",
+    "decoded_text": "حضرت صادق علیه‌السلام فرمود: مردی خدمت رسول خدا آمد و گفت: یا رسول الله؛ از وسوسه‌ای که در نماز به من القا می‌شود شکایت دارم. حتی این‌که نمی‏دانم چه‌قدر نماز کردم از زیاده یا کم. حضرت فرمودند: «وقتی داخل نماز شدی، انگشت سبّابه‌ی دست راستت را به ران پای چپت بزن و سپس بگو: بِسْمِ اللهِ وَ بِاللهِ تَوَکَّلْتُ عَلَی اللهِ أَعُوذُ بِاللهِ السَّمِیعِ الْعَلِیمِ مِنَ الشَّیْطَانِ الرَّجِیمِ ـ پس همانا او را دور و از خود منع و طرد کنی.»[24]",
+    "diff": [
+      "insert    text[301:301] --> decoded_text[301:302]       '' --> 'َ'",
+      "delete    text[302:303] --> decoded_text[303:303]      'َ' --> ''",
+      "insert    text[339:339] --> decoded_text[339:340]       '' --> 'َ'",
+      "delete    text[340:341] --> decoded_text[341:341]      'َ' --> ''",
+      "insert    text[366:366] --> decoded_text[366:367]       '' --> 'َ'",
+      "delete    text[367:368] --> decoded_text[368:368]      'َ' --> ''",
+      "insert    text[379:379] --> decoded_text[379:380]       '' --> 'َ'",
+      "delete    text[380:381] --> decoded_text[381:381]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آموزگاران بهترین مردم اند . هرگاه یاد [خدا] کهنه مى شود، تجدیدش مى کنند . به آنان عطا کنید ولى آنها را به مزدورى نگیرید که بر آنان سخت مى آید. کد خبر: ۷۴۸۰۲. تاریخ: ۱۸ اردیبهشت ۱۳۹۴ - ۰۹:۲۱. رسول خدا صلى الله علیه و آله :. المُعَلِّمونَ خَیرُ النّاسِ کُلَّما أخلَقَ الذِّکرُ جَدَّدوهُ، أعطوهُم ولا تَستَأجِروهُم فَتُحرِجوهُم؛. آموزگاران بهترین مردم اند . هرگاه یاد [خدا] کهنه مى شود، تجدیدش. مى کنند . به آنان عطا کنید ولى آنها را به مزدورى نگیرید که بر آنان سخت. مى آید. الفردوس : ۴ / ۱۹۳ / ۶۵۹۷ . علم و حکمت ج 2، ص 626. امام هادی علیه السلام:.",
+    "decoded_text": "آموزگاران بهترین مردم اند . هرگاه یاد [خدا] کهنه مى شود، تجدیدش مى کنند . به آنان عطا کنید ولى آنها را به مزدورى نگیرید که بر آنان سخت مى آید. کد خبر: ۷۴۸۰۲. تاریخ: ۱۸ اردیبهشت ۱۳۹۴ - ۰۹:۲۱. رسول خدا صلى الله علیه و آله :. المُعَلِّمونَ خَیرُ النّاسِ کُلَّما أخلَقَ الذِّکرُ جَدَّدوهُ، أعطوهُم ولا تَستَأجِروهُم فَتُحرِجوهُم؛. آموزگاران بهترین مردم اند . هرگاه یاد [خدا] کهنه مى شود، تجدیدش. مى کنند . به آنان عطا کنید ولى آنها را به مزدورى نگیرید که بر آنان سخت. مى آید. الفردوس : ۴ / ۱۹۳ / ۶۵۹۷ . علم و حکمت ج 2، ص 626. امام هادی علیه السلام:.",
+    "diff": [
+      "insert    text[230:230] --> decoded_text[230:231]       '' --> 'ِ'",
+      "insert    text[231:231] --> decoded_text[232:249]       '' --> 'مونَ خَیرُ النّاس'",
+      "replace   text[232:246] --> decoded_text[250:255] 'مونَ خَیرُ الن' --> ' کُلَ'",
+      "replace   text[247:249] --> decoded_text[256:269]     'اس' --> 'ما أخلَقَ الذ'",
+      "delete    text[250:254] --> decoded_text[270:270]   ' کُل' --> ''",
+      "replace   text[255:269] --> decoded_text[271:279] 'َما أخلَقَ الذ' --> 'کرُ جَدَ'",
+      "delete    text[270:280] --> decoded_text[280:280] 'ِکرُ جَدَّ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آن گاه که در روز قیامت برانگیخته شوم، گناهکاران امّت پیامبر اسلام را شفاعت خواهم کرد. کد خبر: ۷۲۳۰۷. تاریخ: ۲۱ فروردین ۱۳۹۴ - ۰۶:۰۰. حضرت فاطمه ‏علیها السلام :. إذا حُشِرتُ یَومَ القِیامَةِ أشفَعُ عُصاةَ اُمَّةِ النَّبِیِّ صلی الله علیه و آله؛. آن گاه که در روز قیامت برانگیخته شوم، گناهکاران امّت پیامبر اسلام را شفاعت خواهم کرد. إحقاق الحقّ، ج 19، ص 129 ؛ آینه یادها ص 172. امام على علیه السلام:. ضادُّوا التَّوانِیَ بِالعَزمِ؛. از راه تصمیم راسخ گرفتن، با سستى نبرد کنید. عیون الحکم والمواعظ: ص ۳۱۰ ح ۵۴۵۴ / میزان الحکمه: ج10 ص134.",
+    "decoded_text": "آن گاه که در روز قیامت برانگیخته شوم، گن��هکاران امّت پیامبر اسلام را شفاعت خواهم کرد. کد خبر: ۷۲۳۰۷. تاریخ: ۲۱ فروردین ۱۳۹۴ - ۰۶:۰۰. حضرت فاطمه ‏علیها السلام :. إذا حُشِرتُ یَومَ القِیامَةِ أشفَعُ عُصاةَ اُمَّةِ النَّبِیِّ صلی الله علیه و آله؛. آن گاه که در روز قیامت برانگیخته شوم، گناهکاران امّت پیامبر اسلام را شفاعت خواهم کرد. إحقاق الحقّ، ج 19، ص 129 ؛ آینه یادها ص 172. امام على علیه السلام:. ضادُّوا التَّوانِیَ بِالعَزمِ؛. از راه تصمیم راسخ گرفتن، با سستى نبرد کنید. عیون الحکم والمواعظ: ص ۳۱۰ ح ۵۴۵۴ / میزان الحکمه: ج10 ص134.",
+    "diff": [
+      "replace   text[207:209] --> decoded_text[207:209]     'َّ' --> 'َّ'",
+      "replace   text[215:222] --> decoded_text[215:222] 'َّبِیِّ' --> 'َّبِیِّ'",
+      "delete    text[402:403] --> decoded_text[402:402]      'ّ' --> ''",
+      "replace   text[404:412] --> decoded_text[403:412] 'وا التَّ' --> 'ّوا التَّ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آن گاه که وقت خروج قائم مى‏‌شود، منادى‏‌اى از آسمان ندا مى‌‏دهد: «اى مردم ! مدّت حکومت جبّاران بر شما، به پایان رسید و بهترین فرد امّت محمّد، حکومت را به دست گرفته است، پس به مکّه بروید». کد خبر: ۷۱۵۹۷. تاریخ: ۱۲ فروردین ۱۳۹۴ - ۰۶:۰۰. پیامبر صلى‏ الله ‏علیه ‏و‏آله:. إذا. کانَ عِندَ خُروجِ القائِمِ یُنادی مُنادٍ مِنَ السَّماءِ: أیُّهَا. النّاسُ! قَطَعَ عَنکُم مُدَّةُ الجَبّارینَ ووَلِیَ الأَمرَ خَیرُ اُمَّةِ. مُحَمَّدٍ فَالحَقوا بِمَکَّةَ؛. آن گاه که وقت خروج قائم مى‏‌شود، منادى‏‌اى از آسمان ندا مى‌‏دهد:. «اى مردم ! مدّت حکومت جبّاران بر شما، به",
+    "decoded_text": "آن گاه که وقت خروج قائم مى‏‌شود، منادى‏‌اى از آسمان ندا مى‌‏دهد: «اى مردم ! مدّت حکومت جبّاران بر شما، به پایان رسید و بهترین فرد امّت محمّد، حکومت را به دست گرفته است، پس به مکّه بروید». کد خبر: ۷۱۵۹۷. تاریخ: ۱۲ فروردین ۱۳۹۴ - ۰۶:۰۰. پیامبر صلى‏ الله ‏علیه ‏و‏آله:. إذا. کانَ عِندَ خُروجِ القائِمِ یُنادی مُنادٍ مِنَ السَّماءِ: أیُّهَا. النّاسُ! قَطَعَ عَنکُم مُدَّةُ الجَبّارینَ ووَلِیَ الأَمرَ خَیرُ اُمَّةِ. مُحَمَّدٍ فَالحَقوا بِمَکَّةَ؛. آن گاه که وقت خروج قائم مى‏‌شود، منادى‏‌اى از آسمان ندا مى‌‏دهد:. «اى مردم ! مدّت حکومت جبّاران بر شما، به",
+    "diff": [
+      "replace   text[321:323] --> decoded_text[321:323]     'َّ' --> 'َّ'",
+      "replace   text[331:333] --> decoded_text[331:333]     'ُّ' --> 'ُّ'",
+      "replace   text[364:366] --> decoded_text[364:366]     'َّ' --> 'َّ'",
+      "replace   text[406:408] --> decoded_text[406:408]     'َّ' --> 'َّ'",
+      "replace   text[417:419] --> decoded_text[417:419]     'َّ' --> 'َّ'",
+      "replace   text[437:439] --> decoded_text[437:439]     'َّ' --> 'َّ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آن که سازش و مدارا را ترک کند، ناگوارى به او روى آورَد. کد خبر: ۷۳۵۳۸. تاریخ: ۰۲ اردیبهشت ۱۳۹۴ - ۰۶:۰۰. امام جواد(سلام الله علیه):. مَن هَجَرَ الْمُداراةَ قَاربَهُ المَکرُوهُ؛. آن که سازش و مدارا را ترک کند، ناگوارى به او روى آورَد. بحارالأنوار، ج 68، ص 341. پیامبر خدا(صلی الله علیه و آله):. لا تَخَفْ فِی اللَّهِ لَومَةَ لائمٍ؛. در راه خدا از ملامت و نکوهش ملامتگران نترس. معانى الأخبار، ص 335.",
+    "decoded_text": "آن که سازش و مدارا را ترک کند، ناگوارى به او روى آورَد. کد خبر: ۷۳۵۳۸. تاریخ: ۰۲ اردیبهشت ۱۳۹۴ - ۰۶:۰۰. امام جواد(سلام الله علیه):. مَن هَجَرَ الْمُداراةَ قَاربَهُ المَکرُوهُ؛. آن که سازش و مدارا را ترک کند، ناگوارى به او روى آورَد. بحارالأنوار، ج 68، ص 341. پیامبر خدا(صلی الله علیه و آله):. لا تَخَفْ فِی اللَّهِ لَومَةَ لائمٍ؛. در راه خدا از ملامت و نکوهش ملامتگران نترس. معانى الأخبار، ص 335.",
+    "diff": [
+      "insert    text[310:310] --> decoded_text[310:311]       '' --> 'َ'",
+      "delete    text[311:312] --> decoded_text[312:312]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آنچه را به تو ربطی ندارد، رها کن و به کارى که رستگارت کند، مشغول شو. کد خبر: ۶۸۸۵۸. تاریخ: ۲۶ بهمن ۱۳۹۳ - ۰۶:۰۰. امام علی علیه السلام:. دَع ما لا یَعنِیکَ، وَ اشتَغِل بِمُهِمِّکَ الَّذی یُنجِیکَ؛. آنچه را به تو ربطی ندارد، رها کن و به کارى که رستگارت کند، مشغول شو. غرر الحکم: ح ۵۱۳۳/ گزیده غررالحکم و دررالکلم، ص52. امام على علیه‏السلام :. عَظِّمُوا أقدارَکُم بِالتَّغافُلِ عَنِ الدَّنِیِّ مِنَ الاُْمُورِ ؛. با بى توجهى به امور پست، بر ارزش خود بیفزایید . تحف العقول ، ص 224.",
+    "decoded_text": "آنچه را به تو ربطی ندارد، رها کن و به کارى که رستگارت کند، مشغول شو. کد خبر: ۶۸۸۵۸. تاریخ: ۲۶ بهمن ۱۳۹۳ - ۰۶:۰۰. امام علی علیه السلام:. دَع ما لا یَعنِیکَ، وَ اشتَغِل بِمُهِمِّکَ الَّذی یُنجِیکَ؛. آنچه را به تو ربطی ندارد، رها کن و به کارى که رستگارت کند، مشغول شو. غرر الحکم: ح ۵۱۳۳/ گزیده غررالحکم و دررالکلم، ص52. امام على علیه‏السلام :. عَظِّمُوا أقدارَکُم بِالتَّغافُلِ عَنِ الدَّنِیِّ مِنَ الاُْمُورِ ؛. با بى توجهى به امور پست، بر ارزش خود بیفزایید . تحف العقول ، ص 224.",
+    "diff": [
+      "replace   text[174:183] --> decoded_text[174:183] 'ِّکَ الَّ' --> 'ِّکَ الَّ'",
+      "replace   text[344:346] --> decoded_text[344:346]     'ِّ' --> 'ِّ'",
+      "replace   text[366:368] --> decoded_text[366:368]     'َّ' --> 'َّ'",
+      "replace   text[383:399] --> decoded_text[383:400] 'َّنِیِّ مِنَ الا' --> 'َّنِیِّ مِنَ الاُ'",
+      "delete    text[400:401] --> decoded_text[401:401]      'ُ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "اگر به آنچه تو را به آن فرمان می‌‏دهیم عمل کنی و از آنچه برحذر می‏داریم دوری کنی ، از شیعیان مایی و الّا هرگز. کد خبر: ۷۱۵۲۴. تاریخ: ۰۳ فروردین ۱۳۹۴ - ۰۶:۰۰. حضرت فاطمه‏ علیها السلام :. إنْ کُنتَ تَعمَلُ بِما أمَرناکَ و تَنتَهی عَمّا زَجَرناکَ عَنهُ فَأنتَ مِن شیعَتِنا و إلّا فَلا؛. اگر به آنچه تو را به آن فرمان می‌‏دهیم عمل کنی و از آنچه برحذر می‏داریم دوری کنی ، از شیعیان مایی و الّا هرگز. بحار الأنوار ، ج ۶۸ ، ص ۱۵۵ . امام على سلام الله علیه:. تَبارَکَ. اللّهُ الَّذی . . . أنشَأَ السَّحابَ الثِّقالَ ، فَأَهطَلَ دِیَمَها. وعَدَّدَ قِسَمَها",
+    "decoded_text": "اگر به آنچه تو را به آن فرمان می‌‏دهیم عمل کنی و از آنچه برحذر می‏داریم دوری کنی ، از شیعیان مایی و الّا هرگز. کد خبر: ۷۱۵۲۴. تاریخ: ۰۳ فروردین ۱۳۹۴ - ۰۶:۰۰. حضرت فاطمه‏ علیها السلام :. إنْ کُنتَ تَعمَلُ بِما أمَرناکَ و تَنتَهی عَمّا زَجَرناکَ عَنهُ فَأنتَ مِن شیعَتِنا و إلّا فَلا؛. اگر به آنچه تو را به آن فرمان می‌‏دهیم عمل کنی و از آنچه برحذر می‏داریم دوری کنی ، از شیعیان مایی و الّا هرگز. بحار الأنوار ، ج ۶۸ ، ص ۱۵۵ . امام على سلام الله علیه:. تَبارَکَ. اللّهُ الَّذی . . . أنشَأَ السَّحابَ الثِّقالَ ، فَأَهطَلَ دِیَمَها. وعَدَّدَ قِسَمَها",
+    "diff": [
+      "replace   text[470:472] --> decoded_text[470:472]     'َّ' --> 'َّ'",
+      "replace   text[491:493] --> decoded_text[491:493]     'َّ' --> 'َّ'",
+      "delete    text[501:502] --> decoded_text[501:501]      'ّ' --> ''",
+      "insert    text[503:503] --> decoded_text[502:503]       '' --> 'ّ'",
+      "replace   text[534:536] --> decoded_text[534:536]     'َّ' --> 'َّ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "اگر مى‏‌توانى، همیشه با وضو باش. کد خبر: ۷۱۵۰۰. تاریخ: ۲۹ اسفند ۱۳۹۳ - ۱۲:۰۷. پیامبر اکرم (صلی الله علیه و آله):. إنِ استَطَعتَ أن تَکونَ أبَداً عَلى وُضوءٍ فَافعَل. اگر مى‏‌توانى، همیشه با وضو باش. حکمت نامه پیامبر اعظم(ص): ج9- ص306 - ح 7205. امام باقر (سلام الله علیه) :. الکَسَلُ یُضِرُّ بِالدِّینِ والدُّنیا. تنبلى به دین و دنیا ضرر مى‏‌زند. میزان الحکمة: ج10- ص131- ح 17769.",
+    "decoded_text": "اگر مى‏‌توانى، همیشه با وضو باش. کد خبر: ۷۱۵۰۰. تاریخ: ۲۹ اسفند ۱۳۹۳ - ۱۲:۰۷. پیامبر اکرم (صلی الله علیه و آله):. إنِ استَطَعتَ أن تَکونَ أبَداً عَلى وُضوءٍ فَافعَل. اگر مى‏‌توانى، همیشه با وضو باش. حکمت نامه پیامبر اعظم(ص): ج9- ص306 - ح 7205. امام باقر (سلام الله علیه) :. الکَسَلُ یُضِرُّ بِالدِّینِ والدُّنیا. تنبلى به دین و دنیا ضرر مى‏‌زند. میزان الحکمة: ج10- ص131- ح 17769.",
+    "diff": [
+      "insert    text[288:288] --> decoded_text[288:289]       '' --> 'ُ'",
+      "replace   text[289:296] --> decoded_text[290:297] 'ُ بِالد' --> ' بِالدِ'",
+      "replace   text[297:306] --> decoded_text[298:307] 'ِینِ والد' --> 'ینِ والدُ'",
+      "delete    text[307:308] --> decoded_text[308:308]      'ُ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "اگر مى‏توانید هر روز را نوروز کنید؛ یعنى در راه خدا به یکدیگر هدیه بدهید و با یکدیگر پیوند داشته باشید. کد خبر: ۷۱۵۰۱. تاریخ: ۰۱ فروردین ۱۳۹۴ - ۰۶:۰۰. پیامبر اکرم صلی الله علیه وآله. فَنَیرِزُوا إن قَدَرتُم کُلَّ یَومٍ یَعنی تَهادَوا و تَواصَلُوا فِی اللَّهِ؛. اگر مى‏توانید هر روز را نوروز کنید؛ یعنى در راه خدا به یکدیگر هدیه بدهید و با یکدیگر پیوند داشته باشید. دعائم الإسلام: ج 2، ص 326. امام صادق سلام الله علیه. إنَّ یَومَ النَّیروزِ هُوَ الیَومُ الّذى أخَذَ اللَّهُ فیهِ مَواثیقَ العِبادِ أن یَعبُدوهُ. روز نوروز همان روزى است که خداوند از بند",
+    "decoded_text": "اگر مى‏توانید هر روز را نوروز کنید؛ یعنى در راه خدا به یکدیگر هدیه بدهید و با یکدیگر پیوند داشته باشید. کد خبر: ۷۱۵۰۱. تاریخ: ۰۱ فروردین ۱۳۹۴ - ۰۶:۰۰. پیامبر اکرم صلی الله علیه وآله. فَنَیرِزُوا إن قَدَرتُم کُلَّ یَومٍ یَعنی تَهادَوا و تَواصَلُوا فِی اللَّهِ؛. اگر مى‏توانید هر روز را نوروز کنید؛ یعنى در راه خدا به یکدیگر هدیه بدهید و با یکدیگر پیوند داشته باشید. دعائم الإسلام: ج 2، ص 326. امام صادق سلام الله علیه. إنَّ یَومَ النَّیروزِ هُوَ الیَومُ الّذى أخَذَ اللَّهُ فیهِ مَواثیقَ العِبادِ أن یَعبُدوهُ. روز نوروز همان روزى است که خداوند از بند",
+    "diff": [
+      "insert    text[210:210] --> decoded_text[210:211]       '' --> 'َ'",
+      "delete    text[211:212] --> decoded_text[212:212]      'َ' --> ''",
+      "insert    text[254:254] --> decoded_text[254:255]       '' --> 'َ'",
+      "delete    text[255:256] --> decoded_text[256:256]      'َ' --> ''",
+      "insert    text[420:420] --> decoded_text[420:421]       '' --> 'َ'",
+      "replace   text[421:432] --> decoded_text[422:433] 'َ یَومَ الن' --> ' یَومَ النَ'",
+      "delete    text[433:434] --> decoded_text[434:434]      'َ' --> ''",
+      "insert    text[468:468] --> decoded_text[468:469]       '' --> 'َ'",
+      "delete    text[469:470] --> decoded_text[470:470]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "امام باقر علیه السلام‏:. أحسِن؛ فَإِنّى لَم أرَ شَیئاً قَطُّ أشَدَّ طَلَباً ولا أسرَعَ دَرکاً مِن حَسَنَةٍ مُحدَثَةٍ لِذَنبٍ قَدیمٍ؛. نیکى کن؛ که به‌راستى هرگز چیزى مانند کار نیکِ جدید را ندیده‏‌ام. که این‌چنین، به تعقیب یک گناه قدیم برآید و با سرعت، خود را به آن برساند. [و آن را محو سازد]. علل الشرائع: ص ۵۹۹ ح ۴۹ / حکمت‌نامه حضرت عبدالعظیم الحسنی علیه السلام، ص175. امام صادق سلام الله علیه :. کَثرَةُ النَّومِ مَذهَبَةٌ للدِّینِ والدُّنیا؛. پرخوابى، دین و دنیا را از بین مى‏برد. کافی : ج 5، ص 84، ح 1 / میزان الحکمة: ج 12 ، ص 493.",
+    "decoded_text": "امام باقر علیه السلام‏:. أحسِن؛ فَإِنّى لَم أرَ شَیئاً قَطُّ أشَدَّ طَلَباً ولا أسرَعَ دَرکاً مِن حَسَنَةٍ مُحدَثَةٍ لِذَنبٍ قَدیمٍ؛. نیکى کن؛ که به‌راستى هرگز چیزى مانند کار نیکِ جدید را ندیده‏‌ام. که این‌چنین، به تعقیب یک گناه قدیم برآید و با سرعت، خود را به آن برساند. [و آن را محو سازد]. علل الشرائع: ص ۵۹۹ ح ۴۹ / حکمت‌نامه حضرت عبدالعظیم الحسنی علیه السلام، ص175. امام صادق سلام الله علیه :. کَثرَةُ النَّومِ مَذهَبَةٌ للدِّینِ والدُّنیا؛. پرخوابى، دین و دنیا را از بین مى‏برد. کافی : ج 5، ص 84، ح 1 / میزان الحکمة: ج 12 ، ص 493.",
+    "diff": [
+      "insert    text[58:58] --> decoded_text[58:59]       '' --> 'ُ'",
+      "delete    text[59:60] --> decoded_text[60:60]      'ُ' --> ''",
+      "insert    text[65:65] --> decoded_text[65:66]       '' --> 'َ'",
+      "delete    text[66:67] --> decoded_text[67:67]      'َ' --> ''",
+      "insert    text[408:408] --> decoded_text[408:409]       '' --> 'َ'",
+      "delete    text[409:410] --> decoded_text[410:410]      'َ' --> ''",
+      "insert    text[427:427] --> decoded_text[427:428]       '' --> 'ِ'",
+      "replace   text[428:437] --> decoded_text[429:438] 'ِینِ والد' --> 'ینِ والدُ'",
+      "delete    text[438:439] --> decoded_text[439:439]      'ُ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "امام باقر علیه السلام:. أقرَبُ ما یَکونُ العَبدُ مِنَ اللَّهِ إذا کانَ فِی الصَّلاةِ؛. نزدیک‏ترین حالت بنده به خدا، هنگامى است که در نماز است. دعائم الإسلام: ج ۱ ص ۱۳۴/ شناخت‌نامه نماز: ج1 ص204. پیامبر اکرم صلی الله علیه و آله:. فإنَّ خِیارَکُم خِیارُکُم لِأهلِهِ. براستى بهترین شما کسى است که براى خانواده اش بهتر باشد . بحار الأنوار :ج 5 ، ص 268 ، ح79 / میزان الحکمة : ج 5 ، ص 101.",
+    "decoded_text": "امام باقر علیه السلام:. أقرَبُ ما یَکونُ العَبدُ مِنَ اللَّهِ إذا کانَ فِی الصَّلاةِ؛. نزدیک‏ترین حالت بنده به خدا، هنگامى است که در نماز است. دعائم الإسلام: ج ۱ ص ۱۳۴/ شناخت‌نامه نماز: ج1 ص204. پیامبر اکرم صلی الله علیه و آله:. فإنَّ خِیارَکُم خِیارُکُم لِأهلِهِ. براستى بهترین شما کسى است که براى خانواده اش بهتر باشد . بحار الأنوار :ج 5 ، ص 268 ، ح79 / میزان الحکمة : ج 5 ، ص 101.",
+    "diff": [
+      "insert    text[57:57] --> decoded_text[57:58]       '' --> 'َ'",
+      "delete    text[58:59] --> decoded_text[59:59]      'َ' --> ''",
+      "insert    text[78:78] --> decoded_text[78:79]       '' --> 'َ'",
+      "delete    text[79:80] --> decoded_text[80:80]      'َ' --> ''",
+      "insert    text[232:232] --> decoded_text[232:233]       '' --> 'َ'",
+      "delete    text[233:234] --> decoded_text[234:234]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "قالیباف افزود: یا حدیث معروفِ «مَن اَصبَحَ وَ لَم یَهتَمَّ بِاُمورِ المُسلِمینَ فَلَیسَ بِمُسلِم» و نمونه های مشابه آن، جزو بیّنات اسلام است؛ یعنى اسلام انسان را این‌جور خواسته است که مسئول باشد؛ هم نسبت به خود، هم نسبت به نزدیکان خود، هم نسبت به جامعه‌ى خود، هم نسبت به بشریّت.",
+    "decoded_text": "قالیباف افزود: یا حدیث معروفِ «مَن اَصبَحَ وَ لَم یَهتَمَّ بِاُمورِ المُسلِمینَ فَلَیسَ بِمُسلِم» و نمونه های مشابه آن، جزو بیّنات اسلام است؛ یعنى اسلام انسان را این‌جور خواسته است که مسئول باشد؛ هم نسبت به خود، هم نسبت به نزدیکان خود، هم نسبت به جامعه‌ى خود، هم نسبت به بشریّت.",
+    "diff": [
+      "insert    text[56:56] --> decoded_text[56:57]       '' --> 'َ'",
+      "delete    text[57:58] --> decoded_text[58:58]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/Qwen.Qwen3-30B-A3B-Thinking-2507 @ cc100.fr.diff.json

@@ -0,0 +1,105 @@
+[
+  {
+    "text": "Une Agence conseil en Communication et Coopération Décentralisée.",
+    "decoded_text": "Une Agence conseil en Communication et Coopération Décentralisée.",
+    "diff": [
+      "replace   text[43:45] --> decoded_text[43:44]     'é' --> 'é'",
+      "replace   text[53:55] --> decoded_text[52:53]     'é' --> 'é'",
+      "replace   text[64:66] --> decoded_text[62:63]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Une équipe de consultants expérimentés pour accompagner, conseiller tout type de coopération économique, sociale, culturelle et durable, en lien avec l’Afrique.",
+    "decoded_text": "Une équipe de consultants expérimentés pour accompagner, conseiller tout type de coopération économique, sociale, culturelle et durable, en lien avec l’Afrique.",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'é' --> 'é'",
+      "replace   text[30:32] --> decoded_text[29:30]     'é' --> 'é'",
+      "replace   text[38:40] --> decoded_text[36:37]     'é' --> 'é'",
+      "replace   text[88:90] --> decoded_text[85:86]     'é' --> 'é'",
+      "replace   text[97:99] --> decoded_text[93:94]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Des compétences confirmées dans les domaines des médias et de la communication publique.",
+    "decoded_text": "Des compétences confirmées dans les domaines des médias et de la communication publique.",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'é' --> 'é'",
+      "replace   text[24:26] --> decoded_text[23:24]     'é' --> 'é'",
+      "replace   text[52:54] --> decoded_text[50:51]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Une bonne connaissance du réseau des décideurs publics et privés, en France et ailleurs dans le monde, principalement pour l’Afrique.",
+    "decoded_text": "Une bonne connaissance du réseau des décideurs publics et privés, en France et ailleurs dans le monde, principalement pour l’Afrique.",
+    "diff": [
+      "replace   text[27:29] --> decoded_text[27:28]     'é' --> 'é'",
+      "replace   text[39:41] --> decoded_text[38:39]     'é' --> 'é'",
+      "replace   text[64:66] --> decoded_text[62:63]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "La tribune internationale pour parler des atouts de la Côte d’Ivoire et lui offrir les meilleures conditions des approches nouvelles des politiques de coopération française et européenne.",
+    "decoded_text": "La tribune internationale pour parler des atouts de la Côte d’Ivoire et lui offrir les meilleures conditions des approches nouvelles des politiques de coopération française et européenne.",
+    "diff": [
+      "replace   text[56:58] --> decoded_text[56:57]     'ô' --> 'ô'",
+      "replace   text[156:158] --> decoded_text[155:156]     'é' --> 'é'",
+      "replace   text[169:171] --> decoded_text[167:168]     'ç' --> 'ç'",
+      "replace   text[184:186] --> decoded_text[181:182]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "La rencontre entre les pouvoirs publics et décideurs français, les autorités ivoiriennes, les hommes d'affaires, entrepreneurs et investisseurs, venant de tous horizons.",
+    "decoded_text": "La rencontre entre les pouvoirs publics et décideurs français, les autorités ivoiriennes, les hommes d'affaires, entrepreneurs et investisseurs, venant de tous horizons.",
+    "diff": [
+      "replace   text[44:46] --> decoded_text[44:45]     'é' --> 'é'",
+      "replace   text[58:60] --> decoded_text[57:58]     'ç' --> 'ç'",
+      "replace   text[76:78] --> decoded_text[74:75]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Parler des opportunités de la relation privilégiée de la coopération française et européenne avec la Côte d’Ivoire.",
+    "decoded_text": "Parler des opportunités de la relation privilégiée de la coopération française et européenne avec la Côte d’Ivoire.",
+    "diff": [
+      "replace   text[21:23] --> decoded_text[21:22]     'é' --> 'é'",
+      "replace   text[46:48] --> decoded_text[45:46]     'é' --> 'é'",
+      "replace   text[50:52] --> decoded_text[48:49]     'é' --> 'é'",
+      "replace   text[64:66] --> decoded_text[61:62]     'é' --> 'é'",
+      "replace   text[77:79] --> decoded_text[73:74]     'ç' --> 'ç'",
+      "replace   text[92:94] --> decoded_text[87:88]     'é' --> 'é'",
+      "replace   text[108:110] --> decoded_text[102:103]     'ô' --> 'ô'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Faciliter les discussions entre les acteurs de la coopération décentralisée.",
+    "decoded_text": "Faciliter les discussions entre les acteurs de la coopération décentralisée.",
+    "diff": [
+      "replace   text[54:56] --> decoded_text[54:55]     'é' --> 'é'",
+      "replace   text[64:66] --> decoded_text[63:64]     'é' --> 'é'",
+      "replace   text[75:77] --> decoded_text[73:74]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/Qwen.Qwen3-30B-A3B-Thinking-2507 @ cc100.ja.diff.json

@@ -0,0 +1,1046 @@
+[
+  {
+    "text": "点を取れる部分をメインに勉強を行いました。とても勉強になったので、チャレンジして良かったです。仕事で活かせるように今後も勉強を続けて行きたいです。",
+    "decoded_text": "点を取れる部分をメインに勉強を行いました。とても勉強になったので、チャレンジして良かったです。仕事で活かせるように今後も勉強を続けて行きたいです。",
+    "diff": [
+      "replace   text[31:33] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[37:38]     'ジ' --> 'ジ'",
+      "replace   text[46:48] --> decoded_text[44:45]     'で' --> 'で'",
+      "replace   text[52:54] --> decoded_text[49:50]     'で' --> 'で'",
+      "replace   text[74:76] --> decoded_text[70:71]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "ドローンは今後、土木・農業など様々な分野での利用が見込まれるので、ぜひチャレンジしてみてください。",
+    "decoded_text": "ドローンは今後、土木・農業など様々な分野での利用が見込まれるので、ぜひチャレンジしてみてください。",
+    "diff": [
+      "replace   text[0:2] --> decoded_text[0:1]     'ド' --> 'ド'",
+      "replace   text[15:17] --> decoded_text[14:15]     'ど' --> 'ど'",
+      "replace   text[22:24] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[27:29] --> decoded_text[24:25]     'が' --> 'が'",
+      "replace   text[35:37] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[33:34]     'ぜ' --> 'ぜ'",
+      "replace   text[45:47] --> decoded_text[39:40]     'ジ' --> 'ジ'",
+      "replace   text[52:54] --> decoded_text[45:46]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "覚える範囲が多かったので、要点を絞って取り組みました。合格して良かったです。内定先で今後使う話が出てきたら率先して取り組んで行きたいです。",
+    "decoded_text": "覚える範囲が多かったので、要点を絞って取り組みました。合格して良かったです。内定先で今後使う話が出てきたら率先して取り組んで行きたいです。",
+    "diff": [
+      "replace   text[5:7] --> decoded_text[5:6]     'が' --> 'が'",
+      "replace   text[12:14] --> decoded_text[11:12]     'で' --> 'で'",
+      "replace   text[37:39] --> decoded_text[35:36]     'で' --> 'で'",
+      "replace   text[44:46] --> decoded_text[41:42]     'で' --> 'で'",
+      "replace   text[51:53] --> decoded_text[47:48]     'が' --> 'が'",
+      "replace   text[66:68] --> decoded_text[61:62]     'で' --> 'で'",
+      "replace   text[72:74] --> decoded_text[66:67]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "先生が全面的にサポートして下さるので安心して勉強できます。分からない時は先生になんでも質問してください。",
+    "decoded_text": "先生が全面的にサポートして下さるので安心して勉強できます。分からない時は先生になんでも質問してください。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'が' --> 'が'",
+      "replace   text[9:11] --> decoded_text[8:9]     'ポ' --> 'ポ'",
+      "replace   text[19:21] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[27:29] --> decoded_text[24:25]     'で' --> 'で'",
+      "replace   text[45:47] --> decoded_text[41:42]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[48:49]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問題をたくさん解くことで問題の傾向を分析しました。しっかり勉強して臨んだので、合格する自信がありました。この資格を活かし、工事測量などで、正確な値を出すことで適切な指示を出せるようにしていきたいです。",
+    "decoded_text": "過去問題をたくさん解くことで問題の傾向を分析しました。しっかり勉強して臨んだので、合格する自信がありました。この資格を活かし、工事測量などで、正確な値を出すことで適切な指示を出せるようにしていきたいです。",
+    "diff": [
+      "replace   text[13:15] --> decoded_text[13:14]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[37:38]     'だ' --> 'だ'",
+      "replace   text[41:43] --> decoded_text[39:40]     'で' --> 'で'",
+      "replace   text[50:52] --> decoded_text[47:48]     'が' --> 'が'",
+      "replace   text[72:76] --> decoded_text[68:70]   'どで' --> 'どで'",
+      "replace   text[86:88] --> decoded_text[80:81]     'で' --> 'で'",
+      "replace   text[106:108] --> decoded_text[99:100]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "しっかり勉強したら必ず自分のためになりますよ。将来の夢を持ち、それを実現できるように今できる事を頑張ってください。",
+    "decoded_text": "しっかり勉強したら必ず自分のためになりますよ。将来の夢を持ち、それを実現できるように今できる事を頑張ってください。",
+    "diff": [
+      "replace   text[10:12] --> decoded_text[10:11]     'ず' --> 'ず'",
+      "replace   text[37:39] --> decoded_text[36:37]     'で' --> 'で'",
+      "replace   text[45:47] --> decoded_text[43:44]     'で' --> 'で'",
+      "replace   text[56:58] --> decoded_text[53:54]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "まずは、自分が何をしたいのか考え、そしてそこから、自分の目標に向かって資格取得を目指してください。せっかくの取得チャンスを無駄にしないでください。",
+    "decoded_text": "まずは、自分が何をしたいのか考え、そしてそこから、自分の目標に向かって資格取得を目指してください。せっかくの取得チャンスを無駄にしないでください。",
+    "diff": [
+      "replace   text[1:3] --> decoded_text[1:2]     'ず' --> 'ず'",
+      "replace   text[7:9] --> decoded_text[6:7]     'が' --> 'が'",
+      "replace   text[47:49] --> decoded_text[45:46]     'だ' --> 'だ'",
+      "replace   text[70:72] --> decoded_text[67:68]     'で' --> 'で'",
+      "replace   text[73:75] --> decoded_text[69:70]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問題を解き、答え合わせをした後、自分がどこを間違っていたか、なぜ間違えたか等、徹底的に勉強しました。次は測量士補や、ドローン検定等の資格を目指し、頑張りたいと思います。",
+    "decoded_text": "過去問題を解き、答え合わせをした後、自分がどこを間違っていたか、なぜ間違えたか等、徹底的に勉強しました。次は測量士補や、ドローン検定等の資格を目指し、頑張りたいと思います。",
+    "diff": [
+      "replace   text[20:24] --> decoded_text[20:22]   'がど' --> 'がど'",
+      "replace   text[35:37] --> decoded_text[33:34]     'ぜ' --> 'ぜ'",
+      "replace   text[63:65] --> decoded_text[60:61]     'ド' --> 'ド'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "細かい事でも、疑問に思った事は必ず先生に質問してください。",
+    "decoded_text": "細かい事でも、疑問に思った事は必ず先生に質問してください。",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'で' --> 'で'",
+      "replace   text[17:19] --> decoded_text[16:17]     'ず' --> 'ず'",
+      "replace   text[27:29] --> decoded_text[25:26]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問を解き続け、頭に知識と問題の傾向を叩き込みました。合格して本当に良かったです。 試験を受けるチャンスがあり、思い切ってチャレンジして良かったと思います。",
+    "decoded_text": "過去問を解き続け、頭に知識と問題の傾向を叩き込みました。合格して本当に良かったです。 試験を受けるチャンスがあり、思い切ってチャレンジして良かったと思います。",
+    "diff": [
+      "replace   text[39:41] --> decoded_text[39:40]     'で' --> 'で'",
+      "replace   text[54:56] --> decoded_text[53:54]     'が' --> 'が'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "何事もまずは挑戦してみてください。分からない事は先生が教えてくださいます。安心して勉強に取り組んでください。",
+    "decoded_text": "何事もまずは挑戦してみてください。分からない事は先生が教えてくださいます。安心して勉強に取り組んでください。",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'ず' --> 'ず'",
+      "replace   text[14:16] --> decoded_text[13:14]     'だ' --> 'だ'",
+      "replace   text[28:30] --> decoded_text[26:27]     'が' --> 'が'",
+      "replace   text[34:36] --> decoded_text[31:32]     'だ' --> 'だ'",
+      "replace   text[52:54] --> decoded_text[48:49]     'で' --> 'で'",
+      "replace   text[55:57] --> decoded_text[50:51]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "日々の勉強を大切にし、試験当日は集中して受験しました。試験一か月前までは、ひたすら過去問を解いて自分の弱いところを集中的に勉強しました。この学校に入学して1番の目標だったので取得できて嬉しいです。",
+    "decoded_text": "日々の勉強を大切にし、試験当日は集中して受験しました。試験一か月前までは、ひたすら過去問を解いて自分の弱いところを集中的に勉強しました。この学校に入学して1番の目標だったので取得できて嬉しいです。",
+    "diff": [
+      "replace   text[34:36] --> decoded_text[34:35]     'で' --> 'で'",
+      "replace   text[83:85] --> decoded_text[82:83]     'だ' --> 'だ'",
+      "replace   text[88:90] --> decoded_text[86:87]     'で' --> 'で'",
+      "replace   text[92:94] --> decoded_text[89:90]     'で' --> 'で'",
+      "replace   text[99:101] --> decoded_text[95:96]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "何回も過去問を解き、傾向を掴みました。合格して嬉しいです。さらに上の資格を目指し頑張りたいと思います。",
+    "decoded_text": "何回も過去問を解き、傾向を掴みました。合格して嬉しいです。さらに上の資格を目指し頑張りたいと思います。",
+    "diff": [
+      "replace   text[26:28] --> decoded_text[26:27]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "受けるからには合格するほうが良いので積極的に勉強してください。そして後悔しないように頑張ってください。",
+    "decoded_text": "受けるからには合格するほうが良いので積極的に勉強してください。そして後悔しないように頑張ってください。",
+    "diff": [
+      "replace   text[13:15] --> decoded_text[13:14]     'が' --> 'が'",
+      "replace   text[18:20] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[29:31] --> decoded_text[27:28]     'だ' --> 'だ'",
+      "replace   text[50:52] --> decoded_text[47:48]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "分野ごとに勉強を行いました。土木業界ではこの資格がないと仕事の範囲が狭くなるので、合格して嬉しいです。実地試験に合格したら次は1級を目指し、頑張ろうと思います。",
+    "decoded_text": "分野ごとに勉強を行いました。土木業界ではこの資格がないと仕事の範囲が狭くなるので、合格して嬉しいです。実地試験に合格したら次は1級を目指し、頑張ろうと思います。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'ご' --> 'ご'",
+      "replace   text[19:21] --> decoded_text[18:19]     'で' --> 'で'",
+      "replace   text[26:28] --> decoded_text[24:25]     'が' --> 'が'",
+      "replace   text[36:38] --> decoded_text[33:34]     'が' --> 'が'",
+      "replace   text[43:45] --> decoded_text[39:40]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[48:49]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "難しい試験ですが、勉強を続けているとコツがつかめてきます。諦めずに頑張ってください。",
+    "decoded_text": "難しい試験ですが、勉強を続けているとコツがつかめてきます。諦めずに頑張ってください。",
+    "diff": [
+      "replace   text[5:7] --> decoded_text[5:6]     'で' --> 'で'",
+      "replace   text[8:10] --> decoded_text[7:8]     'が' --> 'が'",
+      "replace   text[22:24] --> decoded_text[20:21]     'が' --> 'が'",
+      "replace   text[34:36] --> decoded_text[31:32]     'ず' --> 'ず'",
+      "replace   text[42:44] --> decoded_text[38:39]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問を解くことで対策をする事ができました。学科試験に合格したので、次は実地試験に合格して、現場を任せてもらえるようになりたいです。",
+    "decoded_text": "過去問を解くことで対策をする事ができました。学科試験に合格したので、次は実地試験に合格して、現場を任せてもらえるようになりたい��す。",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'で' --> 'で'",
+      "replace   text[16:20] --> decoded_text[15:17]   'がで' --> 'がで'",
+      "replace   text[35:37] --> decoded_text[32:33]     'で' --> 'で'",
+      "replace   text[67:69] --> decoded_text[63:64]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "取りたい資格は積極的に勉強し、自信を持って頑張ってください。わからない事は必ず先生が教えてくださいます。",
+    "decoded_text": "取りたい資格は積極的に勉強し、自信を持って頑張ってください。わからない事は必ず先生が教えてくださいます。",
+    "diff": [
+      "replace   text[26:28] --> decoded_text[26:27]     'だ' --> 'だ'",
+      "replace   text[39:41] --> decoded_text[38:39]     'ず' --> 'ず'",
+      "replace   text[43:45] --> decoded_text[41:42]     'が' --> 'が'",
+      "replace   text[49:51] --> decoded_text[46:47]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "放課後の勉強会を頑張りました。2級土木施工管理技術検定は、土木技術者になるための第一歩だと思います。合格して本当に嬉しいです。",
+    "decoded_text": "放課後の勉強会を頑張りました。2級土木施工管理技術検定は、土木技術者になるための第一歩だと思います。合格して本当に嬉しいです。",
+    "diff": [
+      "replace   text[43:45] --> decoded_text[43:44]     'だ' --> 'だ'",
+      "replace   text[61:63] --> decoded_text[60:61]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "遊び、バイト、 勉強、いろいろありますが、区切りを付けて頑張ってください。",
+    "decoded_text": "遊び、バイト、 勉強、いろいろありますが、区切りを付けて頑張ってください。",
+    "diff": [
+      "replace   text[1:3] --> decoded_text[1:2]     'び' --> 'び'",
+      "replace   text[4:6] --> decoded_text[3:4]     'バ' --> 'バ'",
+      "replace   text[35:37] --> decoded_text[33:34]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "とにかく過去問題をやり、自分の苦手な分野をできるようにして行きました。最近の土木現場では、環境への影響を考えて工事をしなければならないので、この資格を取得しようと思いました。合格して本当に良かったです。",
+    "decoded_text": "とにかく過去問題をやり、自分の苦手な分野をできるようにして行きました。最近の土木現場では、環境への影響を考えて工事をしなければならないので、この資格を取得しようと思いました。合格して本当に良かったです。",
+    "diff": [
+      "replace   text[21:23] --> decoded_text[21:22]     'で' --> 'で'",
+      "replace   text[43:45] --> decoded_text[42:43]     'で' --> 'で'",
+      "replace   text[64:66] --> decoded_text[62:63]     'ば' --> 'ば'",
+      "replace   text[71:73] --> decoded_text[68:69]     'で' --> 'で'",
+      "replace   text[102:104] --> decoded_text[98:99]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "勉強する時と、遊ぶときの切り替えをうまくやり、合格へ向けて頑張ってください。",
+    "decoded_text": "勉強する時と、遊ぶときの切り替えをうまくやり、合格へ向けて頑張ってください。",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'ぶ' --> 'ぶ'",
+      "replace   text[35:37] --> decoded_text[34:35]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問を何度もやりました。頑張ってきたことが成果に出て嬉しいです。この調子で、測量士補、2級土木施工管理技術検定の学科試験にも合格できるように頑張り たいと思います。",
+    "decoded_text": "過去問を何度もやりました。頑張ってきたことが成果に出て嬉しいです。この調子で、測量士補、2級土木施工管理技術検定の学科試験にも合格できるように頑張り たいと思います。",
+    "diff": [
+      "replace   text[21:23] --> decoded_text[21:22]     'が' --> 'が'",
+      "replace   text[31:33] --> decoded_text[30:31]     'で' --> 'で'",
+      "replace   text[39:41] --> decoded_text[37:38]     'で' --> 'で'",
+      "replace   text[68:70] --> decoded_text[65:66]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "何度も何度も繰り返し過去問を解くことが合格への近道です。頑張ってください。",
+    "decoded_text": "何度も何度も繰り返し過去問を解くことが合格への近道です。頑張ってください。",
+    "diff": [
+      "replace   text[18:20] --> decoded_text[18:19]     'が' --> 'が'",
+      "replace   text[26:28] --> decoded_text[25:26]     'で' --> 'で'",
+      "replace   text[35:37] --> decoded_text[33:34]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "放課後も残って勉強しました。その中で法律と施工管理を重点的に勉強しました。さらに作文も頑張りました。来年には2級ビオトープ計画管理士も受験して合格したいです。将来に必要な資格なので、持っていて損はないと思います。合格して本当に嬉しいです。",
+    "decoded_text": "放課後も残って勉強しました。その中で法律と施工管理を重点的に勉強しました。さらに作文も頑張りました。来年には2級ビオトープ計画管理士も受験して合格したいです。将来に必要な資格なので、持っていて損はないと思います。合格して本当に嬉しいです。",
+    "diff": [
+      "replace   text[17:19] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[57:59] --> decoded_text[56:57]     'ビ' --> 'ビ'",
+      "replace   text[62:64] --> decoded_text[60:61]     'プ' --> 'プ'",
+      "replace   text[79:81] --> decoded_text[76:77]     'で' --> 'で'",
+      "replace   text[93:95] --> decoded_text[89:90]     'で' --> 'で'",
+      "replace   text[121:123] --> decoded_text[116:117]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "やる気があれば合格できます。専門学校に入学したからには自分で目標を作り、積極的に挑戦して行ってください。",
+    "decoded_text": "やる気があれば合格できます。専門学校に入学したからには自分で目標を作り、積極的に挑戦して行ってください。",
+    "diff": [
+      "replace   text[3:5] --> decoded_text[3:4]     'が' --> 'が'",
+      "replace   text[10:12] --> decoded_text[9:10]     'で' --> 'で'",
+      "replace   text[31:33] --> decoded_text[29:30]     'で' --> 'で'",
+      "replace   text[51:53] --> decoded_text[48:49]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "放課後残って勉強しました。まずはどんな形であっても問題に取り組む事が大切だと思います。電気の知識はまだまだですが、学習の方法が定まってきたので、残りの2科目(電力科目・機械科目)、さらには消防設備士試験にも合格したいです。",
+    "decoded_text": "放課後残って勉強しました。まずはどんな形であっても問題に取り組む事が大切だと思います。電気の知識はまだまだですが、学習の方法が定まってきたので、残りの2科目(電力科目・機械科目)、さらには消防設備士試験にも合格したいです。",
+    "diff": [
+      "replace   text[14:16] --> decoded_text[14:15]     'ず' --> 'ず'",
+      "replace   text[17:19] --> decoded_text[16:17]     'ど' --> 'ど'",
+      "replace   text[22:24] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[36:38] --> decoded_text[33:34]     'が' --> 'が'",
+      "replace   text[40:42] --> decoded_text[36:37]     'だ' --> 'だ'",
+      "replace   text[55:57] --> decoded_text[50:51]     'だ' --> 'だ'",
+      "replace   text[58:62] --> decoded_text[52:54]   'だで' --> 'だで'",
+      "replace   text[63:65] --> decoded_text[55:56]     'が' --> 'が'",
+      "replace   text[71:73] --> decoded_text[62:63]     'が' --> 'が'",
+      "replace   text[80:82] --> decoded_text[70:71]     'で' --> 'で'",
+      "replace   text[119:121] --> decoded_text[108:109]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "気になる資格は、早め早めに下調べしておくことが大切だと思います。問題を知った上で授業を受けると、理解が、より深められます。",
+    "decoded_text": "気になる資格は、早め早めに下調べしておくことが大切だと思います。問題を知った上で授業を受けると、理解が、より深められます。",
+    "diff": [
+      "replace   text[15:17] --> decoded_text[15:16]     'べ' --> 'べ'",
+      "replace   text[23:25] --> decoded_text[22:23]     'が' --> 'が'",
+      "replace   text[27:29] --> decoded_text[25:26]     'だ' --> 'だ'",
+      "replace   text[53:55] --> decoded_text[50:51]     'が' --> 'が'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "問題集を1冊を決めて、とことんやりこみました。何回かやっても理解できない時は、理解できる所から取り組み、自分の得意な分野で確実に点を取るよう勉強しました。残りの3科目を取得できるように、さらに努力しようと思います。",
+    "decoded_text": "問題集を1冊を決めて、とことんやりこみました。何回かやっても理解できない時は、理解できる所から取り組み、自分の得意な分野で確実に点を取るよう勉強しました。残りの3科目を取得できるように、さらに努力しようと思います。",
+    "diff": [
+      "replace   text[32:34] --> decoded_text[32:33]     'で' --> 'で'",
+      "replace   text[61:63] --> decoded_text[60:61]     'で' --> 'で'",
+      "replace   text[88:90] --> decoded_text[86:87]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "各科目ともに完璧を目指すのではなく、少しでも自分の得意な所を見つけて得点できるようにするのが重要だと思います。",
+    "decoded_text": "各科目ともに完璧を目指すのではなく、少しでも自分の得意な所を見つけて得点できるようにするのが重要だと思います。",
+    "diff": [
+      "replace   text[13:15] --> decoded_text[13:14]     'で' --> 'で'",
+      "replace   text[21:23] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[36:37]     'で' --> 'で'",
+      "replace   text[48:50] --> decoded_text[45:46]     'が' --> 'が'",
+      "replace   text[52:54] --> decoded_text[48:49]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "電験対策講座を受講し、過去問を何回も繰り返し解きました。また日頃の授業をしっかり聞き自分がわかるように、ノートにまとめました。合格はしましたが、自分では実力はまだついてないと思います。ほかの3科目も取得できるように頑張りたいと思います。",
+    "decoded_text": "電験対策講座を受講し、過去問を何回も繰り返し解きました。また日頃の授業をしっかり聞き自分がわかるように、ノートにまとめました。合格はしましたが、自分では実力はまだついてないと思います。ほかの3科目も取得できるように頑張りたいと思います。",
+    "diff": [
+      "replace   text[44:46] --> decoded_text[44:45]     'が' --> 'が'",
+      "replace   text[71:73] --> decoded_text[70:71]     'が' --> 'が'",
+      "replace   text[76:78] --> decoded_text[74:75]     'で' --> 'で'",
+      "replace   text[83:85] --> decoded_text[80:81]     'だ' --> 'だ'",
+      "replace   text[105:107] --> decoded_text[101:102]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "普通科出身でも、毎日の授業を真剣に聞いていれば、自分に自信がつくので頑張ってください。",
+    "decoded_text": "普通科出身でも、毎日の授業を真剣に聞いていれば、自分に自信がつくので頑張ってください。",
+    "diff": [
+      "replace   text[5:7] --> decoded_text[5:6]     'で' --> 'で'",
+      "replace   text[23:25] --> decoded_text[22:23]     'ば' --> 'ば'",
+      "replace   text[31:33] --> decoded_text[29:30]     'が' --> 'が'",
+      "replace   text[36:38] --> decoded_text[33:34]     'で' --> 'で'",
+      "replace   text[43:45] --> decoded_text[39:40]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "筆記試験対策では理解できるまで、過去問を繰り返し解きました。実技試験対策では、ミスをしないように、工夫した練習をしました。合格をいただいて、高圧の電気工事に従事する事ができるので嬉しかったです。",
+    "decoded_text": "筆記試験対策では理解できるまで、過去問を繰り返し解きました。実技試験対策では、ミスをしないように、工夫した練習をしました。合格をいただいて、高圧の電気工事に従事する事ができるので嬉しかったです。",
+    "diff": [
+      "replace   text[6:8] --> decoded_text[6:7]     'で' --> 'で'",
+      "replace   text[11:13] --> decoded_text[10:11]     'で' --> 'で'",
+      "replace   text[16:18] --> decoded_text[14:15]     'で' --> 'で'",
+      "replace   text[39:41] --> decoded_text[36:37]     'で' --> 'で'",
+      "replace   text[70:72] --> decoded_text[66:67]     'だ' --> 'だ'",
+      "replace   text[88:92] --> decoded_text[83:85]   'がで' --> 'がで'",
+      "replace   text[95:97] --> decoded_text[88:89]     'で' --> 'で'",
+      "replace   text[102:104] --> decoded_text[94:95]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "入学してから受ける国家試験の中で少し難しいですが、頑張れば取れる資格なので、最後まで努力してみてください。",
+    "decoded_text": "入学してから受ける国家試験の中で少し難しいですが、頑張れば取れる資格なので、最後まで努力してみてください。",
+    "diff": [
+      "replace   text[15:17] --> decoded_text[15:16]     'で' --> 'で'",
+      "replace   text[22:24] --> decoded_text[21:22]     'で' --> 'で'",
+      "replace   text[25:27] --> decoded_text[23:24]     'が' --> 'が'",
+      "replace   text[31:33] --> decoded_text[28:29]     'ば' --> 'ば'",
+      "replace   text[40:42] --> decoded_text[36:37]     'で' --> 'で'",
+      "replace   text[46:48] --> decoded_text[41:42]     'で' --> 'で'",
+      "replace   text[55:57] --> decoded_text[49:50]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "先生が丁寧に教えてくださるので日々の授業を大切にし、分からない所はその日に先生に聞きに行きました。就職に有利になるように取得した資格を就職活動のため、また社会にでて仕事に活かしていきたいです。",
+    "decoded_text": "先生が丁寧に教えてくださるので日々の授業を大切にし、分からない所はその日に先生に聞きに行きました。就職に有利になるように取得した資格を就職活動のため、また社会にでて仕事に活かしていきたいです。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'が' --> 'が'",
+      "replace   text[11:13] --> decoded_text[10:11]     'だ' --> 'だ'",
+      "replace   text[16:18] --> decoded_text[14:15]     'で' --> 'で'",
+      "replace   text[83:85] --> decoded_text[80:81]     'で' --> 'で'",
+      "replace   text[97:99] --> decoded_text[93:94]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "入学した頃は電気に関して分からなかった私でも取得することができました。皆さんも自信を持って頑張ってください。",
+    "decoded_text": "入学した頃は電気に関して分からなかった私でも取得することができました。皆さんも自信を持って頑張ってください。",
+    "diff": [
+      "replace   text[20:22] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[29:33] --> decoded_text[28:30]   'がで' --> 'がで'",
+      "replace   text[53:55] --> decoded_text[50:51]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "とにかく過去問を何回も解き、疑問があれば先生に質問して分かるまで毎日の勉強を頑張りました。合格できて本当に良かったです。今後は第三種電気主任技術者の資格取得に向けて頑張ります。",
+    "decoded_text": "とにかく過去問を何回も解き、疑問があれば先生に質問して分かるまで毎日の勉強を頑張りました。合格できて本当に良かったです。今後は第三種電気主任技術者の資格取得に向けて頑張ります。",
+    "diff": [
+      "replace   text[16:18] --> decoded_text[16:17]     'が' --> 'が'",
+      "replace   text[32:34] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[49:51] --> decoded_text[47:48]     'で' --> 'で'",
+      "replace   text[60:62] --> decoded_text[57:58]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "第一種電気工事士の本の要点をノートにおさえて復習しました。実技では配線図が分からず先生に教えていただき、早い段階で理解 きたのも合格できた要因ではないかと思います。合格して本当に嬉しかったです。これから就職して仕事に活かしていきたいと思います。",
+    "decoded_text": "第一種電気工事士の本の要点をノートにおさえて復習しました。実技では配線図が分からず先生に教えていただき、早い段階で理解 きたのも合格できた要因ではないかと思います。合格して本当に嬉しかったです。これから就職��て仕事に活かしていきたいと思います。",
+    "diff": [
+      "replace   text[31:33] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[37:39] --> decoded_text[36:37]     'が' --> 'が'",
+      "replace   text[42:44] --> decoded_text[40:41]     'ず' --> 'ず'",
+      "replace   text[52:54] --> decoded_text[49:50]     'だ' --> 'だ'",
+      "replace   text[60:62] --> decoded_text[56:57]     'で' --> 'で'",
+      "replace   text[71:73] --> decoded_text[66:67]     'で' --> 'で'",
+      "replace   text[77:79] --> decoded_text[71:72]     'で' --> 'で'",
+      "replace   text[101:103] --> decoded_text[94:95]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "分からない場合は先生に聞けば、すぐ教えて下さるので早めに聞いたら良いと思います。",
+    "decoded_text": "分からない場合は先生に聞けば、すぐ教えて下さるので早めに聞いたら良いと思います。",
+    "diff": [
+      "replace   text[13:15] --> decoded_text[13:14]     'ば' --> 'ば'",
+      "replace   text[17:19] --> decoded_text[16:17]     'ぐ' --> 'ぐ'",
+      "replace   text[26:28] --> decoded_text[24:25]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "夏休みも学校へ行き、先生に教えていただきました。試験が終わってからは合格しているようにと祈っていました。合格と聞いて、とても嬉しかったです。これからは取得して終わりではなく、取得した資格をさらに活かせれるように勉強していきたいと思います。",
+    "decoded_text": "夏休みも学校へ行き、先生に教えていただきました。試験が終わってからは合格しているようにと祈っていました。合格と聞いて、とても嬉しかったです。これからは取得して終わりではなく、取得した資格をさらに活かせれるように勉強していきたいと思います。",
+    "diff": [
+      "replace   text[18:20] --> decoded_text[18:19]     'だ' --> 'だ'",
+      "replace   text[27:29] --> decoded_text[26:27]     'が' --> 'が'",
+      "replace   text[69:71] --> decoded_text[67:68]     'で' --> 'で'",
+      "replace   text[85:87] --> decoded_text[82:83]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "自分の苦手な問題を1つでも無くし、どの問題が出題されても対応できるように勉強すれば大丈夫です!",
+    "decoded_text": "自分の苦手な問題を1つでも無くし、どの問題が出題されても対応できるように勉強すれば大丈夫です!",
+    "diff": [
+      "replace   text[11:13] --> decoded_text[11:12]     'で' --> 'で'",
+      "replace   text[18:20] --> decoded_text[17:18]     'ど' --> 'ど'",
+      "replace   text[23:25] --> decoded_text[21:22]     'が' --> 'が'",
+      "replace   text[33:35] --> decoded_text[30:31]     'で' --> 'で'",
+      "replace   text[44:46] --> decoded_text[40:41]     'ば' --> 'ば'",
+      "replace   text[49:51] --> decoded_text[44:45]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "私は計算が苦手なので、マンツーマンで先生に教えていただき、頑張りました。資格取得を目標に専門学校に入学したので合格通知が届いたときは本当に嬉しかったです。さらに次の資格取得に向け頑張りたいと思います。",
+    "decoded_text": "私は計算が苦手なので、マンツーマンで先生に教えていただき、頑張りました。資格取得を目標に専門学校に入学したので合格通知が届いたときは本当に嬉しかったです。さらに次の資格取得に向け頑張りたいと思います。",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'が' --> 'が'",
+      "replace   text[10:12] --> decoded_text[9:10]     'で' --> 'で'",
+      "replace   text[19:21] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[29:31] --> decoded_text[26:27]     'だ' --> 'だ'",
+      "replace   text[58:60] --> decoded_text[54:55]     'で' --> 'で'",
+      "replace   text[64:66] --> decoded_text[59:60]     'が' --> 'が'",
+      "replace   text[80:82] --> decoded_text[74:75]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "得意分野より苦手分野を克服することで合格に近づけると思います。最後まで諦めずに頑張ってください。",
+    "decoded_text": "得意分野より苦手分野を克服することで合格に近づけると���います。最後まで諦めずに頑張ってください。",
+    "diff": [
+      "replace   text[17:19] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[23:25] --> decoded_text[22:23]     'づ' --> 'づ'",
+      "replace   text[36:38] --> decoded_text[34:35]     'で' --> 'で'",
+      "replace   text[40:42] --> decoded_text[37:38]     'ず' --> 'ず'",
+      "replace   text[48:50] --> decoded_text[44:45]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "実技が苦手だったので、学校に放課後も残って頑張りました。復習も必ずしました。この資格を仕事で活かせるように頑張りたいと思います。、これからも、まだまだ他の資格にも挑戦して行きます。",
+    "decoded_text": "実技が苦手だったので、学校に放課後も残って頑張りました。復習も必ずしました。この資格を仕事で活かせるように頑張りたいと思います。、これからも、まだまだ他の資格にも挑戦して行きます。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'が' --> 'が'",
+      "replace   text[6:8] --> decoded_text[5:6]     'だ' --> 'だ'",
+      "replace   text[11:13] --> decoded_text[9:10]     'で' --> 'で'",
+      "replace   text[35:37] --> decoded_text[32:33]     'ず' --> 'ず'",
+      "replace   text[49:51] --> decoded_text[45:46]     'で' --> 'で'",
+      "replace   text[77:79] --> decoded_text[72:73]     'だ' --> 'だ'",
+      "replace   text[80:82] --> decoded_text[74:75]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "自分の苦手なことで壁にぶつかっても、諦めずに頑張ってください。後悔だけはしないように、やるからには全力で挑んでください。",
+    "decoded_text": "自分の苦手なことで壁にぶつかっても、諦めずに頑張ってください。後悔だけはしないように、やるからには全力で挑んでください。",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'で' --> 'で'",
+      "replace   text[12:14] --> decoded_text[11:12]     'ぶ' --> 'ぶ'",
+      "replace   text[22:24] --> decoded_text[20:21]     'ず' --> 'ず'",
+      "replace   text[30:32] --> decoded_text[27:28]     'だ' --> 'だ'",
+      "replace   text[37:39] --> decoded_text[33:34]     'だ' --> 'だ'",
+      "replace   text[56:58] --> decoded_text[51:52]     'で' --> 'で'",
+      "replace   text[60:62] --> decoded_text[54:55]     'で' --> 'で'",
+      "replace   text[63:65] --> decoded_text[56:57]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "前回正解率の低かったアルゴリズムや表計算を重点的に復習しました。本番では諦めずに問題を読み続けました。大学編入しても、情報処理技術者試験の勉強は続けていき、次は応用情報技術者試験にもチャレンジしていきたいです。",
+    "decoded_text": "前回正解率の低かったアルゴリズムや表計算を重点的に復習しました。本番では諦めずに問題を読み続けました。大学編入しても、情報処理技術者試験の勉強は続けていき、次は応用情報技術者試験にもチャレンジしていきたいです。",
+    "diff": [
+      "replace   text[12:14] --> decoded_text[12:13]     'ゴ' --> 'ゴ'",
+      "replace   text[15:17] --> decoded_text[14:15]     'ズ' --> 'ズ'",
+      "replace   text[36:38] --> decoded_text[34:35]     'で' --> 'で'",
+      "replace   text[41:43] --> decoded_text[38:39]     'ず' --> 'ず'",
+      "replace   text[99:101] --> decoded_text[95:96]     'ジ' --> 'ジ'",
+      "replace   text[107:109] --> decoded_text[102:103]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "普段の授業をしっかり聞くことと、試験中は諦めない気持ちがあれば大丈夫です。",
+    "decoded_text": "普段の授業をしっかり聞くことと、試験中は諦めない気持ちがあれば大丈夫です。",
+    "diff": [
+      "replace   text[27:29] --> decoded_text[27:28]     'が' --> 'が'",
+      "replace   text[31:33] --> decoded_text[30:31]     'ば' --> 'ば'",
+      "replace   text[36:38] --> decoded_text[34:35]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "この資格が関係する、舞台現場でアルバイトをしていました。結果にはあまり自信がなかったのですが、合格通知が届いた時は何回も見直し、とても嬉しかったて��す。",
+    "decoded_text": "この資格が関係する、舞台現場でアルバイトをしていました。結果にはあまり自信がなかったのですが、合格通知が届いた時は何回も見直し、とても嬉しかったです。",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'が' --> 'が'",
+      "replace   text[15:17] --> decoded_text[14:15]     'で' --> 'で'",
+      "replace   text[19:21] --> decoded_text[17:18]     'バ' --> 'バ'",
+      "replace   text[40:42] --> decoded_text[37:38]     'が' --> 'が'",
+      "replace   text[47:49] --> decoded_text[43:44]     'で' --> 'で'",
+      "replace   text[50:52] --> decoded_text[45:46]     'が' --> 'が'",
+      "replace   text[57:59] --> decoded_text[51:52]     'が' --> 'が'",
+      "replace   text[79:81] --> decoded_text[72:73]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "資格対策授業で分からないところは積極的に質問しました。また復習はかかさずしました。資格を取得したからといって、勉強したことを忘れたら意味がありませんので、資格に恥じないよう に今後も頑張りたいと思います。",
+    "decoded_text": "資格対策授業で分からないところは積極的に質問しました。また復習はかかさずしました。資格を取得したからといって、勉強したことを忘れたら意味がありませんので、資格に恥じないよう に今後も頑張りたいと思います。",
+    "diff": [
+      "replace   text[6:8] --> decoded_text[6:7]     'で' --> 'で'",
+      "replace   text[36:38] --> decoded_text[35:36]     'ず' --> 'ず'",
+      "replace   text[70:72] --> decoded_text[68:69]     'が' --> 'が'",
+      "replace   text[78:80] --> decoded_text[75:76]     'で' --> 'で'",
+      "replace   text[85:87] --> decoded_text[81:82]     'じ' --> 'じ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "試験を想定して取り組みました。同じ試験を受けるクラスメイトに分からない所を聞きました。国家資格なので、持っていて損はないと思います。",
+    "decoded_text": "試験を想定して取り組みました。同じ試験を受けるクラスメイトに分からない所を聞きました。国家資格なので、持っていて損はないと思います。",
+    "diff": [
+      "replace   text[16:18] --> decoded_text[16:17]     'じ' --> 'じ'",
+      "replace   text[50:52] --> decoded_text[49:50]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "何度も、学科、実技、判断（旧要素）の対策をして合格を目指して頑張ってください。",
+    "decoded_text": "何度も、学科、実技、判断（旧要素）の対策をして合格を目指して頑張ってください。",
+    "diff": [
+      "replace   text[35:37] --> decoded_text[35:36]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "自分の力を信じて落ち着いて望んでください。練習が実を結ぶはずです。",
+    "decoded_text": "自分の力を信じて落ち着いて望んでください。練習が実を結ぶはずです。",
+    "diff": [
+      "replace   text[6:8] --> decoded_text[6:7]     'じ' --> 'じ'",
+      "replace   text[16:18] --> decoded_text[15:16]     'で' --> 'で'",
+      "replace   text[19:21] --> decoded_text[17:18]     'だ' --> 'だ'",
+      "replace   text[26:28] --> decoded_text[23:24]     'が' --> 'が'",
+      "replace   text[31:33] --> decoded_text[27:28]     'ぶ' --> 'ぶ'",
+      "replace   text[34:38] --> decoded_text[29:31]   'ずで' --> 'ずで'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "分からない所は、先生に質問して勉強すれば大丈夫です。私は納得するまで解説してくださった先生に感謝しています。",
+    "decoded_text": "分からない所は、先生に質問して勉強すれば大丈夫です。私は納得するまで解説してくださった先生に感謝しています。",
+    "diff": [
+      "replace   text[19:21] --> decoded_text[19:20]     'ば' --> 'ば'",
+      "replace   text[24:26] --> decoded_text[23:24]     'で' --> 'で'",
+      "replace   text[35:37] --> decoded_text[33:34]     'で' --> 'で'",
+      "replace   text[42:44] --> decoded_text[39:40]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "授業で分からない所は先生や友達に聞きました。問題はまず自分で解いて分からない用語は、本やネ��トで調べました。試験には合格しましたが、まだ分からないことが多いので、資格で勉強した知識をもっと深めていきたいです。",
+    "decoded_text": "授業で分からない所は先生や友達に聞きました。問題はまず自分で解いて分からない用語は、本やネットで調べました。試験には合格しましたが、まだ分からないことが多いので、資格で勉強した知識をもっと深めていきたいです。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'で' --> 'で'",
+      "replace   text[27:29] --> decoded_text[26:27]     'ず' --> 'ず'",
+      "replace   text[31:33] --> decoded_text[29:30]     'で' --> 'で'",
+      "replace   text[50:52] --> decoded_text[47:48]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[49:50]     'べ' --> 'べ'",
+      "replace   text[69:71] --> decoded_text[64:65]     'が' --> 'が'",
+      "replace   text[73:75] --> decoded_text[67:68]     'だ' --> 'だ'",
+      "replace   text[82:84] --> decoded_text[75:76]     'が' --> 'が'",
+      "replace   text[87:89] --> decoded_text[79:80]     'で' --> 'で'",
+      "replace   text[92:94] --> decoded_text[83:84]     'で' --> 'で'",
+      "replace   text[111:113] --> decoded_text[101:102]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "私は勉強が苦手でしたが、毎日勉強してAランクを取得できました。諦めないでください。",
+    "decoded_text": "私は勉強が苦手でしたが、毎日勉強してAランクを取得できました。諦めないでください。",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'が' --> 'が'",
+      "replace   text[8:10] --> decoded_text[7:8]     'で' --> 'で'",
+      "replace   text[12:14] --> decoded_text[10:11]     'が' --> 'が'",
+      "replace   text[38:40] --> decoded_text[35:36]     'で' --> 'で'",
+      "replace   text[41:43] --> decoded_text[37:38]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "受かりたい気持ちがあれば、自然と頑張れます! 最後まで諦めずに頑張ってください!",
+    "decoded_text": "受かりたい気持ちがあれば、自然と頑張れます! 最後まで諦めずに頑張ってください!",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'が' --> 'が'",
+      "replace   text[12:14] --> decoded_text[11:12]     'ば' --> 'ば'",
+      "replace   text[28:30] --> decoded_text[26:27]     'で' --> 'で'",
+      "replace   text[32:34] --> decoded_text[29:30]     'ず' --> 'ず'",
+      "replace   text[40:42] --> decoded_text[36:37]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "対策授業を真面目に受けました。分からない所は、先生に質問し自分が納得するまで勉強しました。合格をいただいて、本当に嬉しかったです。",
+    "decoded_text": "対策授業を真面目に受けました。分からない所は、先生に質問し自分が納得するまで勉強しました。合格をいただいて、本当に嬉しかったです。",
+    "diff": [
+      "replace   text[31:33] --> decoded_text[31:32]     'が' --> 'が'",
+      "replace   text[38:40] --> decoded_text[37:38]     'で' --> 'で'",
+      "replace   text[52:54] --> decoded_text[50:51]     'だ' --> 'だ'",
+      "replace   text[65:67] --> decoded_text[62:63]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "授業を真面目に聞いていたら、必ず合格できます! ここには専門の先生がいるので一人一人に丁寧に教えてくれますよ。",
+    "decoded_text": "授業を真面目に聞いていたら、必ず合格できます! ここには専門の先生がいるので一人一人に丁寧に教えてくれますよ。",
+    "diff": [
+      "replace   text[15:17] --> decoded_text[15:16]     'ず' --> 'ず'",
+      "replace   text[19:21] --> decoded_text[18:19]     'で' --> 'で'",
+      "replace   text[35:37] --> decoded_text[33:34]     'が' --> 'が'",
+      "replace   text[40:42] --> decoded_text[37:38]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "弱点を無くすために、間違えたところは、何回も復習をしました。合格して本当に嬉しかったです。この資格を就職でも活かしたいと思います。",
+    "decoded_text": "弱点を無くすために、間違えたところは、何回も復習をしました。合格して本当に嬉しかったです。���の資格を就職でも活かしたいと思います。",
+    "diff": [
+      "replace   text[42:44] --> decoded_text[42:43]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[52:53]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "受かりたい気持ちがあればきっと合格できます! 分からない所は、諦めずに先生に質問して克服してください!",
+    "decoded_text": "受かりたい気持ちがあればきっと合格できます! 分からない所は、諦めずに先生に質問して克服してください!",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'が' --> 'が'",
+      "replace   text[12:14] --> decoded_text[11:12]     'ば' --> 'ば'",
+      "replace   text[19:21] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[36:38] --> decoded_text[33:34]     'ず' --> 'ず'",
+      "replace   text[51:53] --> decoded_text[47:48]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "問題集を何回も解くことが一番大切です。また電車通学なので通学中にも勉強しました。資格を取得できたので、今後の就職活動に役立てたいと思います。また将来の夢のために、この資格を有効に活用したいと思います。",
+    "decoded_text": "問題集を何回も解くことが一番大切です。また電車通学なので通学中にも勉強しました。資格を取得できたので、今後の就職活動に役立てたいと思います。また将来の夢のために、この資格を有効に活用したいと思います。",
+    "diff": [
+      "replace   text[11:13] --> decoded_text[11:12]     'が' --> 'が'",
+      "replace   text[17:19] --> decoded_text[16:17]     'で' --> 'で'",
+      "replace   text[29:31] --> decoded_text[27:28]     'で' --> 'で'",
+      "replace   text[48:50] --> decoded_text[45:46]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[49:50]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "授業で手厚い資格対策をしてくださったので、それを元に復習しました。資格を取得することも、もちろんですが、その資格で勉強した事をきちんと身につけ、今後に役立てていきたいです。",
+    "decoded_text": "授業で手厚い資格対策をしてくださったので、それを元に復習しました。資格を取得することも、もちろんですが、その資格で勉強した事をきちんと身につけ、今後に役立てていきたいです。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'で' --> 'で'",
+      "replace   text[15:17] --> decoded_text[14:15]     'だ' --> 'だ'",
+      "replace   text[21:23] --> decoded_text[19:20]     'で' --> 'で'",
+      "replace   text[51:53] --> decoded_text[48:49]     'で' --> 'で'",
+      "replace   text[54:56] --> decoded_text[50:51]     'が' --> 'が'",
+      "replace   text[61:63] --> decoded_text[56:57]     'で' --> 'で'",
+      "replace   text[89:91] --> decoded_text[83:84]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "自分が勉強をした分だけ結果はついてきます。自分の夢を後押ししてくれる資格は絶対持ってるべきです。自分の夢の為に頑張りましょう。",
+    "decoded_text": "自分が勉強をした分だけ結果はついてきます。自分の夢を後押ししてくれる資格は絶対持ってるべきです。自分の夢の為に頑張りましょう。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'が' --> 'が'",
+      "replace   text[10:12] --> decoded_text[9:10]     'だ' --> 'だ'",
+      "replace   text[45:47] --> decoded_text[43:44]     'べ' --> 'べ'",
+      "replace   text[48:50] --> decoded_text[45:46]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "対策授業には積極的に参加し、真面目に勉強しました。将来の事を考えたとき、この資格は絶対取得すべきだと思い、受験しました。資格試験の勉強は、自分にプラスになったと思います。",
+    "decoded_text": "対策授業には積極的に参加し、真面目に勉強しました。将来の事を考えたとき、この資格は絶対取得すべきだと思い、受験しました。資格試験の勉強は、自分にプラスになったと思います。",
+    "diff": [
+      "replace   text[46:48] --> decoded_text[46:47]     'べ' --> 'べ'",
+      "replace   text[49:51] --> decoded_text[48:49]     'だ' --> 'だ'",
+      "replace   text[74:76] --> decoded_text[72:73]     'プ' --> 'プ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "対策用の教科書を繰り返し解いて覚えました。合格をいただいて本当に嬉しかったです。頑張った結果だったので自分に自信がつきました。",
+    "decoded_text": "対策用の教科書を繰り返し解いて覚えました。合格をいただいて本当に嬉しかったです。頑張った結果だったので自分に自信がつきました。",
+    "diff": [
+      "replace   text[26:28] --> decoded_text[26:27]     'だ' --> 'だ'",
+      "replace   text[38:40] --> decoded_text[37:38]     'で' --> 'で'",
+      "replace   text[48:50] --> decoded_text[46:47]     'だ' --> 'だ'",
+      "replace   text[53:55] --> decoded_text[50:51]     'で' --> 'で'",
+      "replace   text[60:62] --> decoded_text[56:57]     'が' --> 'が'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "この試験に限らず、どの資格を勉強するにもまず、繰り返し問題を解いて覚えることが大事です。そうする事で問題にも慣れ解けるようになります。",
+    "decoded_text": "この試験に限らず、どの資格を勉強するにもまず、繰り返し問題を解いて覚えることが大事です。そうする事で問題にも慣れ解けるようになります。",
+    "diff": [
+      "replace   text[9:11] --> decoded_text[9:10]     'ど' --> 'ど'",
+      "replace   text[22:24] --> decoded_text[21:22]     'ず' --> 'ず'",
+      "replace   text[40:42] --> decoded_text[38:39]     'が' --> 'が'",
+      "replace   text[44:46] --> decoded_text[41:42]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[49:50]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "練習で間違えた問題は2回、3回と繰り返し解きました。やっぱり一番の目的は就職です。就職する際に資格を持っていると有利になるので、合格して本当に良かったです。",
+    "decoded_text": "練習で間違えた問題は2回、3回と繰り返し解きました。やっぱり一番の目的は就職です。就職する際に資格を持っていると有利になるので、合格して本当に良かったです。",
+    "diff": [
+      "replace   text[28:30] --> decoded_text[28:29]     'ぱ' --> 'ぱ'",
+      "replace   text[39:41] --> decoded_text[38:39]     'で' --> 'で'",
+      "replace   text[64:66] --> decoded_text[62:63]     'で' --> 'で'",
+      "replace   text[78:80] --> decoded_text[75:76]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "やはり資格がないと就職は難しいと思います。取得できるかどうか不安はあると思いますが、絶対受かっているという意思を持って頑張ってください。また、対策授業には積極的に参加してください。",
+    "decoded_text": "やはり資格がないと就職は難しいと思います。取得できるかどうか不安はあると思いますが、絶対受かっているという意思を持って頑張ってください。また、対策授業には積極的に参加してください。",
+    "diff": [
+      "replace   text[5:7] --> decoded_text[5:6]     'が' --> 'が'",
+      "replace   text[24:26] --> decoded_text[23:24]     'で' --> 'で'",
+      "replace   text[29:31] --> decoded_text[27:28]     'ど' --> 'ど'",
+      "replace   text[67:69] --> decoded_text[64:65]     'だ' --> 'だ'",
+      "replace   text[90:92] --> decoded_text[86:87]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "試験範囲は広いですが、出題は同じようなパターンが多いので、繰り返し過去問を解いていれば合格できますよ。",
+    "decoded_text": "試験範囲は広いですが、出題は同じようなパターンが多いので、繰り返し過去問を解いていれば合格できますよ。",
+    "diff": [
+      "replace   text[7:9] --> decoded_text[7:8]     'で' --> 'で'",
+      "replace   text[10:12] --> decoded_text[9:10]     'が' --> 'が'",
+      "replace   text[44:46] --> decoded_text[42:43]     'ば' --> 'ば'",
+      "replace   text[48:50] --> decoded_text[45:46]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "通学時の電車の中でひたすら参考書を読み解き、最後の最後まで一生懸命取り組みました。また今までの授業をしっかり聞いていたので、分からないところも��く、無事合格できました。",
+    "decoded_text": "通学時の電車の中でひたすら参考書を読み解き、最後の最後まで一生懸命取り組みました。また今までの授業をしっかり聞いていたので、分からないところも無く、無事合格できました。",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'で' --> 'で'",
+      "replace   text[29:31] --> decoded_text[28:29]     'で' --> 'で'",
+      "replace   text[47:49] --> decoded_text[45:46]     'で' --> 'で'",
+      "replace   text[63:65] --> decoded_text[60:61]     'で' --> 'で'",
+      "replace   text[82:84] --> decoded_text[78:79]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "数多くの資格に挑戦し、合格した時の達成感を自分で感じ取ってもらえればと思います。",
+    "decoded_text": "数多くの資格に挑戦し、合格した時の達成感を自分で感じ取ってもらえればと思います。",
+    "diff": [
+      "replace   text[23:25] --> decoded_text[23:24]     'で' --> 'で'",
+      "replace   text[26:28] --> decoded_text[25:26]     'じ' --> 'じ'",
+      "replace   text[35:37] --> decoded_text[33:34]     'ば' --> 'ば'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "学校の授業だけではなく、家でもプリントや過去問を何度も解いて勉強しました。資格を取ったらそこで終わりではなく、就職してからも役に立つ知識を身につける事ができたので、今後も活かしていこうと思います。",
+    "decoded_text": "学校の授業だけではなく、家でもプリントや過去問を何度も解いて勉強しました。資格を取ったらそこで終わりではなく、就職してからも役に立つ知識を身につける事ができたので、今後も活かしていこうと思います。",
+    "diff": [
+      "replace   text[5:7] --> decoded_text[5:6]     'だ' --> 'だ'",
+      "replace   text[8:10] --> decoded_text[7:8]     'で' --> 'で'",
+      "replace   text[15:17] --> decoded_text[13:14]     'で' --> 'で'",
+      "replace   text[18:20] --> decoded_text[15:16]     'プ' --> 'プ'",
+      "replace   text[50:52] --> decoded_text[46:47]     'で' --> 'で'",
+      "replace   text[55:57] --> decoded_text[50:51]     'で' --> 'で'",
+      "replace   text[81:85] --> decoded_text[75:77]   'がで' --> 'がで'",
+      "replace   text[88:90] --> decoded_text[80:81]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "頑張ったら合格できるので機会があれば、ぜひ資格はとっておくべきだと思います。",
+    "decoded_text": "頑張ったら合格できるので機会があれば、ぜひ資格はとっておくべきだと思います。",
+    "diff": [
+      "replace   text[7:9] --> decoded_text[7:8]     'で' --> 'で'",
+      "replace   text[12:14] --> decoded_text[11:12]     'で' --> 'で'",
+      "replace   text[16:18] --> decoded_text[14:15]     'が' --> 'が'",
+      "replace   text[20:22] --> decoded_text[17:18]     'ば' --> 'ば'",
+      "replace   text[23:25] --> decoded_text[19:20]     'ぜ' --> 'ぜ'",
+      "replace   text[34:36] --> decoded_text[29:30]     'べ' --> 'べ'",
+      "replace   text[37:39] --> decoded_text[31:32]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "この資格は音響関係の仕事で、どこに行っても活かしていけるので取得しました。 過去問は大事です。たくさんの過去問を解き、数式も出てくるので暗記だけではなく、公式も覚えるようにしました。",
+    "decoded_text": "この資格は音響関係の仕事で、どこに行っても活かしていけるので取得しました。 過去問は大事です。たくさんの過去問を解き、数式も出てくるので暗記だけではなく、公式も覚えるようにしました。",
+    "diff": [
+      "replace   text[12:14] --> decoded_text[12:13]     'で' --> 'で'",
+      "replace   text[15:17] --> decoded_text[14:15]     'ど' --> 'ど'",
+      "replace   text[31:33] --> decoded_text[29:30]     'で' --> 'で'",
+      "replace   text[47:49] --> decoded_text[44:45]     'で' --> 'で'",
+      "replace   text[71:73] --> decoded_text[67:68]     'で' --> 'で'",
+      "replace   text[75:77] --> decoded_text[70:71]     'だ' --> 'だ'",
+      "replace   text[78:80] --> decoded_text[72:73]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "資格を取りたいという気持ちがあれば��丈夫です。頑張ってください。",
+    "decoded_text": "資格を取りたいという気持ちがあれば大丈夫です。頑張ってください。",
+    "diff": [
+      "replace   text[13:15] --> decoded_text[13:14]     'が' --> 'が'",
+      "replace   text[17:19] --> decoded_text[16:17]     'ば' --> 'ば'",
+      "replace   text[22:24] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[31:33] --> decoded_text[28:29]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/Qwen.Qwen3-30B-A3B-Thinking-2507 @ cc100.ko.diff.json

@@ -0,0 +1,216 @@
+[
+  {
+    "text": "낙천적(樂天的) : 세상과 인생을 즐겁고 좋은 것으로 여기는. 또는 그런 것. 인생을 즐길 줄 안다는 건 정말 행복한 일 아닐까요? 심리적으로 자신감과 낙천적인 태도를 갖게 하며, 새로운 아이디어를 얻도록 도움을 주는 노란색의 예쁜벽을 오디오로 채우신 고객님댁을 소개드립니다. ..more",
+    "decoded_text": "낙천적(樂天的) : 세상과 인생을 즐겁고 좋은 것으로 여기는. 또는 그런 것. 인생을 즐길 줄 안다는 건 정말 행복한 일 아닐까요? 심리적으로 자신감과 낙천적인 태도를 갖게 하며, 새로운 아이디어를 얻도록 도움을 주는 노란색의 예쁜벽을 오디오로 채우신 고객님댁을 소개드립니다. ..more",
+    "diff": [
+      "replace   text[4:5] --> decoded_text[4:5]      '樂' --> '樂'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.006211180124223602,
+    "oov_charset": "[\"樂\"]"
+  },
+  {
+    "text": "명 태조는 포의(布衣)에서 몸을 일으켜 천하를 평정하였다. 천하 평정뒤에는 관리 등용시험에 경의(敬意)를 주로 하였으므로 문교(文敎)가 융성하게 되어 많은 학자를 배출시켰다. 그러나 당시의 학자는 대개 정주학(程朱學)을 신봉한 사람들 뿐이라 명대(明代)의 특색이 아직 나타나고 있지 않다. 그러므로 영락(永樂) 12년 호(胡)에게 명하여 「사서대전」,「오경대전」 을 찬술케 하였을때 어느 경(經)이나 모두 주자의 주(主)에 기본을 두고 있다. 이것에 의해서만도 명초(明初)의 학문이 주자학을 그대로 계승하였을뿐 독창성이 없었다는 것을 상상할 수 있다. 본론에서는 오강재(吳康齋) 사상에 대해 논하고 순수한 주자학자의 설선에 대한 내용을 먼저 언급한 뒤에 다시 오강재의 문인인 호거인(胡居仁), 진헌장(陳獻章), 누량(累諒)에 대해 알아보고자 한다.",
+    "decoded_text": "명 태조는 포의(布衣)에서 몸을 일으켜 천하를 평정하였다. 천하 평정뒤에는 관리 등용시험에 경의(敬意)를 주로 하였으므로 문교(文敎)가 융성하게 되어 많은 학자를 배출시켰다. 그러나 당시의 학자는 대개 정주학(程朱學)을 신봉한 사람들 뿐이라 명대(明代)의 특색이 아직 나타나고 있지 않다. 그러므로 영락(永樂) 12년 호(胡)에게 명하여 「사서대전」,「오경대전」 을 찬술케 하였을때 어느 경(經)이나 모두 주자의 주(主)에 기본을 두고 있다. 이것에 의해서만도 명초(明初)의 학문이 주자학을 그대로 계승하였을뿐 독창성이 없었다는 것을 상상할 수 있다. 본론에서는 오강재(吳康齋) 사상에 대해 논하고 순수한 주자학자의 설선에 대한 내용을 먼저 언급한 뒤에 다시 오강재의 문인인 호거인(胡居仁), 진헌장(陳獻章), 누량(累諒)에 대해 알아보고자 한다.",
+    "diff": [
+      "replace   text[171:172] --> decoded_text[171:172]      '樂' --> '樂'",
+      "replace   text[401:402] --> decoded_text[401:402]      '累' --> '累'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.004784688995215311,
+    "oov_charset": "[\"樂\", \"累\"]"
+  },
+  {
+    "text": "역할을 수행해갔는지를 살펴보도록 하겠다. 1. 양명학 이전의 주자학 ... 과 육학(陸學) 1) 송대 주자학의 성립 데니스 트위쳇이『케임브리지 중국사 ... 독재적인 명 초기의 황제들{ 특히 홍무제의 경우 주자학을 체제교학으로",
+    "decoded_text": "역할을 수행해갔는지를 살펴보도록 하겠다. 1. 양명학 이전의 주자학 ... 과 육학(陸學) 1) 송대 주자학의 성립 데니스 트위쳇이『케임브리지 중국사 ... 독재적인 명 초기의 황제들{ 특히 홍무제의 경우 주자학을 체제교학으로",
+    "diff": [
+      "replace   text[47:48] --> decoded_text[47:48]      '陸' --> '陸'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007936507936507936,
+    "oov_charset": "[\"陸\"]"
+  },
+  {
+    "text": "확고한 지반을 굳혔다. 주자학이 명대에 와서 국가의 지도이념으로 확립되어 ... 양명학의 성립과 전개 1. 서론 朱子學(주자학)이 宋代(송대)의 학술 ... 기점으로 知行合一說(지행합일설), 致良知說(치양지설)을 속속 제출하여 주자학",
+    "decoded_text": "확고한 지반을 굳혔다. 주자학이 명대에 와서 국가의 지도이념으로 확립되어 ... 양명학의 성립과 전개 1. 서론 朱子學(주자학)이 宋代(송대)의 학술 ... 기점으로 知行合一說(지행합일설), 致良知說(치양지설)을 속속 제출하여 주자학",
+    "diff": [
+      "replace   text[108:109] --> decoded_text[108:109]      '良' --> '良'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007692307692307693,
+    "oov_charset": "[\"良\"]"
+  },
+  {
+    "text": "▷주자:이(理)�� 만물의 근원이 되는 이치이자, 기(氣)의 활동 근거인 반면 기(氣)는 만물을 구성하는 재료로서 사물을 낳는 도구이다",
+    "decoded_text": "▷주자:이(理)란 만물의 근원이 되는 이치이자, 기(氣)의 활동 근거인 반면 기(氣)는 만물을 구성하는 재료로서 사물을 낳는 도구이다",
+    "diff": [
+      "replace   text[6:7] --> decoded_text[6:7]      '理' --> '理'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.013513513513513514,
+    "oov_charset": "[\"理\"]"
+  },
+  {
+    "text": "예술이라는 한자(漢字)에서 ‘예(藝)’에는 본디 ‘심는다(種 ·樹)’는 뜻이 있으며, 따라서 그것은‘기능(機能)’‘기술(技術)’을 의미하며 고대 동양에서 사대부가 필수적으로 갖추어야 했다. 육예(六藝:禮 ·樂 ·射 ·御 ·書 ·數)에서의 ‘예’는 인간적 결실을 얻기 위해 필요한 기초 교양의 씨를 뿌리고 인격의 꽃을 피우는 수단으로 여겼던 만큼 거기에는 인격도야의 의의도 있다고 하겠다.",
+    "decoded_text": "예술이라는 한자(漢字)에서 ‘예(藝)’에는 본디 ‘심는다(種 ·樹)’는 뜻이 있으며, 따라서 그것은‘기능(機能)’‘기술(技術)’을 의미하며 고대 동양에서 사대부가 필수적으로 갖추어야 했다. 육예(六藝:禮 ·樂 ·射 ·御 ·書 ·數)에서의 ‘예’는 인간적 결실을 얻기 위해 필요한 기초 교양의 씨를 뿌리고 인격의 꽃을 피우는 수단으로 여겼던 만큼 거기에는 인격도야의 의의도 있다고 하겠다.",
+    "diff": [
+      "replace   text[115:116] --> decoded_text[115:116]      '樂' --> '樂'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.004629629629629629,
+    "oov_charset": "[\"樂\"]"
+  },
+  {
+    "text": "입지(立志)를 강조해 자경문, 성학집요, 격몽요결, 학교모범에서 항상 ... 이루어진다. 순언은 율곡이 도덕경 81장 중에서 유교 경전의 내용과 일치하며 ... 사상가 연구 - 율곡 이이 수강 과목 : 담당 교수 : 교수님 제출",
+    "decoded_text": "입지(立志)를 강조해 자경문, 성학집요, 격몽요결, 학교모범에서 항상 ... 이루어진다. 순언은 율곡이 도덕경 81장 중에서 유교 경전의 내용과 일치하며 ... 사상가 연구 - 율곡 이이 수강 과목 : 담당 교수 : 교수님 제출",
+    "diff": [
+      "replace   text[3:4] --> decoded_text[3:4]      '立' --> '立'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007874015748031496,
+    "oov_charset": "[\"立\"]"
+  },
+  {
+    "text": "Ⅰ. 김용과 중국 무협문학 1. 작가 소개 김용(金用)은 1924년 ... 것이다. 그러므로 무협소설 작가 김용(金用)은 언론인이자 정치가인 차량융의 ... 출간하기 시작하였다. 이렇게 보면 무협소설 작가인 김용(金用)은 언론인",
+    "decoded_text": "Ⅰ. 김용과 중국 무협문학 1. 작가 소개 김용(金用)은 1924년 ... 것이다. 그러므로 무협소설 작가 김용(金用)은 언론인이자 정치가인 차량융의 ... 출간하기 시작하였다. 이렇게 보면 무협소설 작가인 김용(金用)은 언론인",
+    "diff": [
+      "replace   text[27:28] --> decoded_text[27:28]      '金' --> '金'",
+      "replace   text[63:64] --> decoded_text[63:64]      '金' --> '金'",
+      "replace   text[119:120] --> decoded_text[119:120]      '金' --> '金'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.023622047244094488,
+    "oov_charset": "[\"金\"]"
+  },
+  {
+    "text": "3 이 때 상제님께서 미처 말씀을 마치지 아니하셨는데 면장 양 모(梁某)와 이장이 세금을 받으러 오거늘",
+    "decoded_text": "3 이 때 상제님께서 미처 말씀을 마치지 아니하셨는데 면장 양 모(梁某)와 이장이 세금을 받으러 오거늘",
+    "diff": [
+      "replace   text[37:38] --> decoded_text[37:38]      '梁' --> '梁'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.017543859649122806,
+    "oov_charset": "[\"梁\"]"
+  },
+  {
+    "text": "2 26일 새벽이 되자 백낙두(白樂斗)를 비롯하여 무장한 순검 수십 명이 공신의 집을 에워싸고 형렬과 자현 등 여러 사람을 결박한 뒤에 상제님의 처소를 묻거늘",
+    "decoded_text": "2 26일 새벽이 되자 백낙두(白樂斗)를 비롯하여 무장한 순검 수십 명이 공신의 집을 에워싸고 형렬과 자현 등 여러 사람을 결박한 뒤에 상제님의 처소를 묻거늘",
+    "diff": [
+      "replace   text[18:19] --> decoded_text[18:19]      '樂' --> '樂'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.011363636363636364,
+    "oov_charset": "[\"樂\"]"
+  },
+  {
+    "text": "상제님이 진주공사에서 원래는 33명에게 새 세상 일꾼 기운을 붙여서 공사를 보시려고 했는데 12명이 변심을 해서 그 자리에서 빼 버렸다. 그래서 신경수 성도 집과 문공신 성도 집에 있던 21명의 성도들이 잡혀서 왔다. 지금 여기 다내(月乃)가 상제님이 수명소 공사 주인 신경수 성도 집에서 일본 경찰들한테 체포돼서 고부경찰서까지 잡혀 가는 40리 길의 딱 중간이야. 상제님이 오신 길이 그러면 어디냐? 정토칠봉의 끝자리 수금리水金里에서 배를 타고 정읍천을 건너서 이쪽 용두龍頭마을 방향으로 오신 거다. 여기 삼거리에 주막이 있었다. 여기서 상제님이 21명의 성도들과 순검들에게 “너희도 배가 고플 테니까 가져온 음식과 고기를 여기서 배불리 먹고 가자.” 하셨다. 그래서 상제님이 여기서 술 한 잔을 드시고 나서 갑자기 일어나셔서 외치셨다.",
+    "decoded_text": "상제님이 진주공사에서 원래는 33명에게 새 세상 일꾼 기운을 붙여서 공사를 보시려고 했는데 12명이 변심을 해서 그 자리에서 빼 버렸다. 그래서 신경수 성도 집과 문공신 성도 집에 있던 21명의 성도들이 잡혀서 왔다. 지금 여기 다내(月乃)가 상제님이 수명소 공사 주인 신경수 성도 집에서 일본 경찰들한테 체포돼서 고부경찰서까지 잡혀 가는 40리 길의 딱 중간이야. 상제님이 오신 길이 그러면 어디냐? 정토칠봉의 끝자리 수금리水金里에서 배를 타고 정읍천을 건너서 이쪽 용두龍頭마을 방향으로 오신 거다. 여기 삼거리에 주막이 있었다. 여기서 상제님이 21명의 성도들과 순검들에게 “너희도 배가 고플 테니까 가져온 음식과 고기를 여기서 배불리 먹고 가자.” 하셨다. 그래서 상제님이 여기서 술 한 잔을 드시고 나서 갑자기 일어나셔서 외치셨다.",
+    "diff": [
+      "replace   text[239:240] --> decoded_text[239:240]      '金' --> '金'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.002421307506053269,
+    "oov_charset": "[\"金\"]"
+  },
+  {
+    "text": "이광수의 조혼을 다룬 희곡 <규한>보다는 진일보를 보인 작품. 3)金祐鎭 ... ) 그러나, 희곡이 무대상연을 전제로 하는 문학이라면, <不孝天罰 ... 의미로서의 창작 희곡은 아님. -대부분의 작품이 일본 신파 연극을 번역",
+    "decoded_text": "이광수의 조혼을 다룬 희곡 <규한>보다는 진일보를 보인 작품. 3)金祐鎭 ... ) 그러나, 희곡이 무대상연을 전제로 하는 문학이라면, <不孝天罰 ... 의미로서의 창작 희곡은 아님. -대부분의 작품이 일본 신파 연극을 번역",
+    "diff": [
+      "replace   text[77:78] --> decoded_text[77:78]      '不' --> '不'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.008,
+    "oov_charset": "[\"不\"]"
+  },
+  {
+    "text": "{{ 중국의 고리대금업 { 중국(中國)의 고리대금업(高利貸金業) 차 ... 아니라, 국가에서 대출을 해주는 시스템도 존재하지 않았다. 고리대금업은 전통 ... 례 서론 본론 상인(商人)의 유래 대금업의 탄생 - 위진남북조 시대의",
+    "decoded_text": "{{ 중국의 고리대금업 { 중국(中國)의 고리대금업(高利貸金業) 차 ... 아니라, 국가에서 대출을 해주는 시스템도 존재하지 않았다. 고리대금업은 전통 ... 례 서론 본론 상인(商人)의 유래 대금업의 탄생 - 위진남북조 시대의",
+    "diff": [
+      "replace   text[32:33] --> decoded_text[32:33]      '金' --> '金'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007874015748031496,
+    "oov_charset": "[\"金\"]"
+  },
+  {
+    "text": "..PAGE:1 종교 속의 성차별 ..PAGE:2 목 차 카톨릭 속의 ... 성차별 토론 ..PAGE:3 대부분 종교가 사제직 '여성 不可' 한국천주교 ... 대한 부정적 시각 ..PAGE:4 카톨릭 속의 성차별 사제는 남성이어야",
+    "decoded_text": "..PAGE:1 종교 속의 성차별 ..PAGE:2 목 차 카톨릭 속의 ... 성차별 토론 ..PAGE:3 대부분 종교가 사제직 '여성 不可' 한국천주교 ... 대한 부정적 시각 ..PAGE:4 카톨릭 속의 성차별 사제는 남성이어야",
+    "diff": [
+      "replace   text[75:76] --> decoded_text[75:76]      '不' --> '不'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0078125,
+    "oov_charset": "[\"不\"]"
+  },
+  {
+    "text": "不壞)의 몸이기 때문이다. 거기에 음독금련사는 더 했다. 그의 입에서 나오는 액은 모든 것을 녹아버리",
+    "decoded_text": "不壞)의 몸이기 때문이다. 거기에 음독금련사는 더 했다. 그의 입에서 나오는 액은 모든 것을 녹아버리",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      '不' --> '不'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.017857142857142856,
+    "oov_charset": "[\"不\"]"
+  },
+  {
+    "text": "백리무극 옆에 서 있는 인물은 바로 그의 첫제자 용구찬(龍九燦)이 서 있었다. 그는 천황의 지시하는 일",
+    "decoded_text": "백리무극 옆에 서 있는 인물은 바로 그의 첫제자 용구찬(龍九燦)이 서 있���다. 그는 천황의 지시하는 일",
+    "diff": [
+      "replace   text[31:32] --> decoded_text[31:32]      '龍' --> '龍'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.017543859649122806,
+    "oov_charset": "[\"龍\"]"
+  },
+  {
+    "text": "면 정액이 고갈(枯渴)되어 죽고 말았지만 지금 북리천과 유나영은 용(龍)의 내단을 먹어 삼일까지 이렇",
+    "decoded_text": "면 정액이 고갈(枯渴)되어 죽고 말았지만 지금 북리천과 유나영은 용(龍)의 내단을 먹어 삼일까지 이렇",
+    "diff": [
+      "replace   text[38:39] --> decoded_text[38:39]      '龍' --> '龍'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.017857142857142856,
+    "oov_charset": "[\"龍\"]"
+  },
+  {
+    "text": "라 영약(靈藥)뿐이였다.",
+    "decoded_text": "라 영약(靈藥)뿐이였다.",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6]      '靈' --> '靈'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.07692307692307693,
+    "oov_charset": "[\"靈\"]"
+  },
+  {
+    "text": "5 '선릉역 사건' 가해女, 피해女 만남 전 흉기 챙긴 이유는? 친구 데려온다는 말에",
+    "decoded_text": "5 '선릉역 사건' 가해女, 피해女 만남 전 흉기 챙긴 이유는? 친구 데려온다는 말에",
+    "diff": [
+      "replace   text[13:14] --> decoded_text[13:14]      '女' --> '女'",
+      "replace   text[18:19] --> decoded_text[18:19]      '女' --> '女'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.0425531914893617,
+    "oov_charset": "[\"女\"]"
+  },
+  {
+    "text": "알프레드 노스 화이트헤드(Alfred North Whitehead)는 20세기의 대표적인 철학자 가운데 한 사람이다. 영국 케임브리지의 트리니티 칼리지에서 수학을 전공하였고, 그 후에 동 대학의 특별연구원(Fellow)과 수석 강사(1885~1911), 런던대학의 임페리얼 칼리지 응용수학교수(1914~1924), 그리고 미국 하버드대학 철학교수(1924~1937)를 역임했다. 수학자였지만 고전에도 정통했으며, 새로운 물리학의 의미를 정확히 인식하고 있었을 뿐만 아니라 전통적인 철학을 오랫동안 깊이 연구해 왔다. 수제자 버트런드 러셀과의 공저 『수학 원리』(전 3권, 1910~1913)와 같은 수리논리학 분야에서 획기적인 업적을 남긴 수학자, 논리학자로서도 높이 평가된다. 또 한편으로는 특히 아인슈타인의 상대성 원리 등 현대 자연과학의 발전을 계기로, 현대 과학설을 철학에 도입시켜 철학 사상사에 새로운 국면을 전개한 과학철학자 그리고 “유기체 철학”(philosophy of organism)의 철학자로서도 높이 평가된다. 화이트헤드는 신중한 사람이었다. “진리를 그 가장 깊은 뿌리에서 부터 탐구”(본문 제2장 중에서) 하는 작업을 평생 멈추지 않았던 사상가였으며, 오랫동안 수학의 전문가였다. 그의 최초의 철학적 저작인 『과학과 근대세계』(1925)는 그가 63세 때, 대표작 『과정과 실재』(1929)는 68세 때에, 그로부터 4년 후에는 『관념의 모험』(1933)이 출간되었다. 그 당시 사람들은 사멸된 것으로 알았던 형이상학이 우주에 관한 상상적 사유라는 형태로 당당하게 부활하는 데 놀랐다. 그의 형이상학 체계는 사물의 유동(流動)을 둘러싸고 전개되는 체계라는 형태의 우주론으로서, 어디까지나 개방된 체계였다. 형이상학을 싫어했던 존 듀이도 화이트헤드의 “유기체 철학”에 대하여 “철학에의 혁명적 공헌” 이라는 찬사를 보냈으며, 영국의 시인이자 문학평론가·철학자였던 허버트 리드는 화이트헤드를 “20세기의 데카르트”라 평하기도 했다. 현대 프랑스의 포스트모더니즘 철학의 기수로 불리는 질 들뢰즈 같은 이는 화이트헤드를 가리켜 “영미권의 마지막 위대한 철학자”로 평하였다. 지은 책으로는 『화이트헤드의 수학이란 무엇인가』『교육의 목적』『화이트헤드와의 대화』등이 있다.",
+    "decoded_text": "알프레드 노스 화이트헤드(Alfred North Whitehead)는 20세기의 대표적인 철학자 가운데 한 사람이다. 영국 케임브리지의 트리니티 칼리지에서 수학을 전공하였고, 그 후에 동 대학의 특별연구원(Fellow)과 수석 강사(1885~1911), 런던대학의 임페리얼 칼리지 응용수학교수(1914~1924), 그리고 미국 하버드대학 철학교수(1924~1937)를 역임했다. 수학자였지만 고전에도 정통했으며, 새로운 물리학의 의미를 정확히 인식하고 있었을 뿐만 아니라 전통적인 철학을 오랫동안 깊이 연구해 왔다. 수제자 버트런드 러셀과의 공저 『수학 원리』(전 3권, 1910~1913)와 같은 수리논리학 분야에서 획기적인 업적을 남긴 수학자, 논리학자로서도 높이 평가된다. 또 한편으로는 특히 아인슈타인의 상���성 원리 등 현대 자연과학의 발전을 계기로, 현대 과학설을 철학에 도입시켜 철학 사상사에 새로운 국면을 전개한 과학철학자 그리고 “유기체 철학”(philosophy of organism)의 철학자로서도 높이 평가된다. 화이트헤드는 신중한 사람이었다. “진리를 그 가장 깊은 뿌리에서 부터 탐구”(본문 제2장 중에서) 하는 작업을 평생 멈추지 않았던 사상가였으며, 오랫동안 수학의 전문가였다. 그의 최초의 철학적 저작인 『과학과 근대세계』(1925)는 그가 63세 때, 대표작 『과정과 실재』(1929)는 68세 때에, 그로부터 4년 후에는 『관념의 모험』(1933)이 출간되었다. 그 당시 사람들은 사멸된 것으로 알았던 형이상학이 우주에 관한 상상적 사유라는 형태로 당당하게 부활하는 데 놀랐다. 그의 형이상학 체계는 사물의 유동(流動)을 둘러싸고 전개되는 체계라는 형태의 우주론으로서, 어디까지나 개방된 체계였다. 형이상학을 싫어했던 존 듀이도 화이트헤드의 “유기체 철학”에 대하여 “철학에의 혁명적 공헌” 이라는 찬사를 보냈으며, 영국의 시인이자 문학평론가·철학자였던 허버트 리드는 화이트헤드를 “20세기의 데카르트”라 평하기도 했다. 현대 프랑스의 포스트모더니즘 철학의 기수로 불리는 질 들뢰즈 같은 이는 화이트헤드를 가리켜 “영미권의 마지막 위대한 철학자”로 평하였다. 지은 책으로는 『화이트헤드의 수학이란 무엇인가』『교육의 목적』『화이트헤드와의 대화』등이 있다.",
+    "diff": [
+      "replace   text[809:810] --> decoded_text[809:810]      '流' --> '流'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0009000900090009,
+    "oov_charset": "[\"流\"]"
+  },
+  {
+    "text": "<부가설명> 오늘 청지기의 표지(標識, 표식은 잘못된 읽기이다.) 열거한, 신실함, 신뢰할 만하다는 말은 전부 헬라어 ‘피스티스, 피스토스, 피스튜오’에서 나온 말이다. 깨끗한 양심과 순종만이 다른 단어이다. 청지기는 믿을 수 있는 인격이어야 한다는 말이다. 그런 사람은 깨끗한 양심으로 하나님의 말씀을 수행하는 지체들이 된다는 것을 나타낸다. 순종이라는 단어는 ‘휘포쿠오’ ‘휘포탓소’등인데 ‘휘포’라는 말은 ‘…아래’라는 뜻이다. 순종은 누군가가 순종하는 사람 위에 있다는 것을 나타낸다. 위에서 시키는 사람의 말을 듣는 것이 ‘휘포쿠오’이고 위에서 시키는 대로 정돈하는 것이 ‘휘포탓소’이다. 청지기는 위에 주인이 계신다. 주인이 시키는 말을 잘 듣고 시키는 말대로 하는 것이고, 시킨 대로 정돈하는 것이다. 그리스도인 청지기는 예수께서 주인이시기 때문에 예수님의 말씀을 잘 듣고 그대로 수행해야 하고 그대로 정리해야 한다. 그렇게 할 때 주인의 신임을 얻고 하늘나라를 상속받게 된다. 하나님이 주신 것을 하나님의 뜻대로 관리하지 못할 것을 아시면 하나님께서 관리할 것을 맡기겠는가?",
+    "decoded_text": "<부가설명> 오늘 청지기의 표지(標識, 표식은 잘못된 읽기이다.) 열거한, 신실함, 신뢰할 만하다는 말은 전부 헬라어 ‘피스티스, 피스토스, 피스튜오’에서 나온 말이다. 깨끗한 양심과 순종만이 다른 단어이다. 청지기는 믿을 수 있는 인격이어야 한다는 말이다. 그런 사람은 깨끗한 양심으로 하나님의 말씀을 수행하는 지체들이 된다는 것을 나타낸다. 순종이라는 단어는 ‘휘포쿠오’ ‘휘포탓소’등인데 ‘휘포’라는 말은 ‘…아래’라는 뜻이다. 순종은 누군가가 순종하는 사람 위에 있다는 것을 나타낸다. 위에서 시키는 사람의 말을 듣는 것이 ‘휘포쿠오’이고 위에서 시키는 대로 정돈하는 것이 ‘휘포탓소’이다. 청지기는 위에 주인이 계신다. 주인이 시키는 말을 잘 듣고 시키는 말대로 하는 것이고, 시킨 대로 정돈하는 것이다. 그리스도인 청지기는 예수께서 주인이시기 때문에 예수님의 말씀을 잘 듣고 그대로 수행해야 하고 그대로 정리해야 한다. 그렇게 할 때 주인의 신임을 얻고 하늘나라를 상속받게 된다. 하나님이 주신 것을 하나님의 뜻대로 관리하지 못할 것을 아시면 하나님께서 관리할 것을 맡기겠는가?",
+    "diff": [
+      "replace   text[19:20] --> decoded_text[19:20]      '識' --> '識'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0018083182640144665,
+    "oov_charset": "[\"識\"]"
+  }
+]

stats/compression_rate/deepseek-ai.DeepSeek-R1-Distill-Qwen-1.5B @ cc100.de.diff.json

@@ -0,0 +1,109 @@
+[
+  {
+    "text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "decoded_text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "diff": [
+      "replace   text[134:136] --> decoded_text[134:135]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "decoded_text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "diff": [
+      "replace   text[488:490] --> decoded_text[488:489]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "decoded_text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "diff": [
+      "replace   text[193:195] --> decoded_text[193:194]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Zum Glückwunsch haben Sie in den nächsten Wochen eine doppelte Gelegenheit:",
+    "decoded_text": "Zum Glückwunsch haben Sie in den nächsten Wochen eine doppelte Gelegenheit:",
+    "diff": [
+      "replace   text[6:8] --> decoded_text[6:7]     'ü' --> 'ü'",
+      "replace   text[35:37] --> decoded_text[34:35]     'ä' --> 'ä'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Zum einen haben wir im März einen neuen Kir­chenvorstand gewählt: Jüngere und Ältere, Erfahrene und Neue mischen sich zu einer Gruppe, die die Verantwortung für die Ge­meinde übernimmt. Ich bitte Sie und Euch alle, allen Kandidat*nnen zu danken, sie auf der Straße anzusprechen und zu beglück­wünschen: Denn es ist nicht selbstverständ­lich, für ein Amt von sechs Jahren Dauer zu kandidieren.",
+    "decoded_text": "Zum einen haben wir im März einen neuen Kir­chenvorstand gewählt: Jüngere und Ältere, Erfahrene und Neue mischen sich zu einer Gruppe, die die Verantwortung für die Ge­meinde übernimmt. Ich bitte Sie und Euch alle, allen Kandidat*nnen zu danken, sie auf der Straße anzusprechen und zu beglück­wünschen: Denn es ist nicht selbstverständ­lich, für ein Amt von sechs Jahren Dauer zu kandidieren.",
+    "diff": [
+      "replace   text[24:26] --> decoded_text[24:25]     'ä' --> 'ä'",
+      "replace   text[61:63] --> decoded_text[60:61]     'ä' --> 'ä'",
+      "replace   text[69:71] --> decoded_text[67:68]     'ü' --> 'ü'",
+      "replace   text[81:83] --> decoded_text[78:79]     'Ä' --> 'Ä'",
+      "replace   text[162:164] --> decoded_text[158:159]     'ü' --> 'ü'",
+      "replace   text[180:182] --> decoded_text[175:176]     'ü' --> 'ü'",
+      "replace   text[295:297] --> decoded_text[289:290]     'ü' --> 'ü'",
+      "replace   text[301:303] --> decoded_text[294:295]     'ü' --> 'ü'",
+      "replace   text[340:342] --> decoded_text[332:333]     'ä' --> 'ä'",
+      "replace   text[352:354] --> decoded_text[343:344]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Darüber freuen wir uns. Und wenn Sie je­ manden von denen kennen, freuen die sich, wenn Sie sie ansprechen und darin bestär­ken.",
+    "decoded_text": "Darüber freuen wir uns. Und wenn Sie je­ manden von denen kennen, freuen die sich, wenn Sie sie ansprechen und darin bestär­ken.",
+    "diff": [
+      "replace   text[3:5] --> decoded_text[3:4]     'ü' --> 'ü'",
+      "replace   text[122:124] --> decoded_text[121:122]     'ä' --> 'ä'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Unsere Kirchengemeinde lebt davon, dass manche eine Aufgabe haben oder eine be­sondere Zeit erleben – wie den Konfirman­denunterricht. Die anderen aber daran teil­haben und sie unterstützen und ihnen Glück wünschen. Und Sie werden merken, dass es Sie selbst beglücken kann, anderen Glück zu wünschen!",
+    "decoded_text": "Unsere Kirchengemeinde lebt davon, dass manche eine Aufgabe haben oder eine be­sondere Zeit erleben – wie den Konfirman­denunterricht. Die anderen aber daran teil­haben und sie unterstützen und ihnen Glück wünschen. Und Sie werden merken, dass es Sie selbst beglücken kann, anderen Glück zu wünschen!",
+    "diff": [
+      "replace   text[184:186] --> decoded_text[184:185]     'ü' --> 'ü'",
+      "replace   text[203:205] --> decoded_text[202:203]     'ü' --> 'ü'",
+      "replace   text[209:211] --> decoded_text[207:208]     'ü' --> 'ü'",
+      "replace   text[265:267] --> decoded_text[262:263]     'ü' --> 'ü'",
+      "replace   text[288:290] --> decoded_text[284:285]     'ü' --> 'ü'",
+      "replace   text[297:299] --> decoded_text[292:293]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "‹ Herzlichen Dank für all Ihre Spenden!",
+    "decoded_text": "‹ Herzlichen Dank für all Ihre Spenden!",
+    "diff": [
+      "replace   text[19:21] --> decoded_text[19:20]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Bitte beachte: Du kannst die an uns erteile Einwilligung auch jederzeit widerrufen. Nutze dazu einfach unsere Kontaktmöglichkeiten. Durch den Widerruf wird die Rechtmäßigkeit der bis dahin erfolgten Verarbeitung nicht berührt.",
+    "decoded_text": "Bitte beachte: Du kannst die an uns erteile Einwilligung auch jederzeit widerrufen. Nutze dazu einfach unsere Kontaktmöglichkeiten. Durch den Widerruf wird die Rechtmäßigkeit der bis dahin erfolgten Verarbeitung nicht berührt.",
+    "diff": [
+      "replace   text[166:168] --> decoded_text[166:167]     'ä' --> 'ä'",
+      "replace   text[222:224] --> decoded_text[221:222]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/deepseek-ai.DeepSeek-R1-Distill-Qwen-1.5B @ cc100.fa.diff.json

@@ -0,0 +1,248 @@
+[
+  {
+    "text": "رئيس حوزه علميه اصفهان گفت: دليل نزول اکثر مصائب رفتار خودِ انسان هاست؛ فقر، بيماري هاي لاعلاج و ناامني هاي اجتماعي، همه و همه نتيجه گناهاني است که اکثر افراد جامعه مرتکب مي شوند. به گزارش رسا، حضرت آيت الله حسين مظاهري در جلسه تفسير قرآن صبح ديروز که در مسجد اميرالمؤمنين(ع) خيابان جي برگزار شد، گفت: هميشه خير و صلاح افراد در بهره برداري بيشتر از دنيا نيست. وي در ادامه تفسير آيه صد و پنجاه و پنجم سوره بقره که مي فرمايد«وَلَنَبْلُوَنَّکُمْ بِشَيْءٍ مِنَ الْخَوْفِ وَالْجُوعِ وَنَقْصٍ مِنَ الأمْوَالِ وَالأنْفُسِ وَالثَّمَرَاتِ وَبَشِّرِ الصَّابِرِينَ» افزود: بلاها و مصائب با اين دنيا عجين شده است و اين بلاها در همه زمينه هاي فردي و اجتماعي جريان دارد و رفتار مردم در برابر اين بلاها و مصائب به دو بخش تقسيم مي شود، عده اي در برابر مصائب جزع و فزع مي کنند و گاهي منکر همه اعتقادات و باورهايشان مي شوند و عده اي در برابر همين بلاها صبر پيشه مي کنند و همه مصائب را از سوي خداوند مي بينند و به فعل خداوند راضي هستند. حضرت آيت الله مظاهري برخي از مصائب را از الطاف خفيه الهي دانست و خاطرنشان کرد: خداوند بر افرادي که در برابر مصائب صبر پيشه",
+    "decoded_text": "رئيس حوزه علميه اصفهان گفت: دليل نزول اکثر مصائب رفتار خودِ انسان هاست؛ فقر، بيماري هاي لاعلاج و ناامني هاي اجتماعي، همه و همه نتيجه گناهاني است که اکثر افراد جامعه مرتکب مي شوند. به گزارش رسا، حضرت آيت الله حسين مظاهري در جلسه تفسير قرآن صبح ديروز که در مسجد اميرالمؤمنين(ع) خيابان جي برگزار شد، گفت: هميشه خير و صلاح افراد در بهره برداري بيشتر از دنيا نيست. وي در ادامه تفسير آيه صد و پنجاه و پنجم سوره بقره که مي فرمايد«وَلَنَبْلُوَنَّکُمْ بِشَيْءٍ مِنَ الْخَوْفِ وَالْجُوعِ وَنَقْصٍ مِنَ الأمْوَالِ وَالأنْفُسِ وَالثَّمَرَاتِ وَبَشِّرِ الصَّابِرِينَ» افزود: بلاها و مصائب با اين دنيا عجين شده است و اين بلاها در همه زمينه هاي فردي و اجتماعي جريان دارد و رفتار مردم در برابر اين بلاها و مصائب به دو بخش تقسيم مي شود، عده اي در برابر مصائب جزع و فزع مي کنند و گاهي منکر همه اعتقادات و باورهايشان مي شوند و عده اي در برابر همين بلاها صبر پيشه مي کنند و همه مصائب را از سوي خداوند مي بينند و به فعل خداوند راضي هستند. حضرت آيت الله مظاهري برخي از مصائب را از الطاف خفيه الهي دانست و خاطرنشان کرد: خداوند بر افرادي که در برابر مصائب صبر پيشه",
+    "diff": [
+      "insert    text[436:436] --> decoded_text[436:437]       '' --> 'َ'",
+      "delete    text[437:438] --> decoded_text[438:438]      'َ' --> ''",
+      "insert    text[520:520] --> decoded_text[520:521]       '' --> 'َ'",
+      "delete    text[521:522] --> decoded_text[522:522]      'َ' --> ''",
+      "insert    text[543:543] --> decoded_text[543:544]       '' --> 'َ'",
+      "delete    text[544:545] --> decoded_text[545:545]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "«رِجَالٌ لا تُلْهِیهِمْ تجَارَةٌ وَ لا بَیْعٌ عَن ذِکْرِ اللهِ وَ إِقَامِ الصَّلَوةِ وَ إِیتَاءِ الزَّکَوةِ ـ مردانی که نه تجارت و نه معامله‏ای آنان را از یاد خدا و برپاداشتن نماز و ادای زکات غافل نمی‏کند.»[1]",
+    "decoded_text": "«رِجَالٌ لا تُلْهِیهِمْ تجَارَةٌ وَ لا بَیْعٌ عَن ذِکْرِ اللهِ وَ إِقَامِ الصَّلَوةِ وَ إِیتَاءِ الزَّکَوةِ ـ مردانی که نه تجارت و نه معامله‏ای آنان را از یاد خدا و برپاداشتن نماز و ادای زکات غافل نمی‏کند.»[1]",
+    "diff": [
+      "insert    text[77:77] --> decoded_text[77:78]       '' --> 'َ'",
+      "delete    text[78:79] --> decoded_text[79:79]      'َ' --> ''",
+      "insert    text[100:100] --> decoded_text[100:101]       '' --> 'َ'",
+      "delete    text[101:102] --> decoded_text[102:102]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "«وَ إِمَّا یَنْزَغَنَّکَ مِنَ الشَّیْطانِ نَزْغٌ فَاسْتَعِذْ بِاللهِ إِنَّهُ سَمِیعٌ عَلِیمٌ ـ و هر گاه وسوسه‌ای از شیطان به تو رسد، به خدا پناه ببر که او شنوای داناست.»[19]",
+    "decoded_text": "«وَ إِمَّا یَنْزَغَنَّکَ مِنَ الشَّیْطانِ نَزْغٌ فَاسْتَعِذْ بِاللهِ إِنَّهُ سَمِیعٌ عَلِیمٌ ـ و هر گاه وسوسه‌ای از شیطان به تو رسد، به خدا پناه ببر که او شنوای داناست.»[19]",
+    "diff": [
+      "insert    text[7:7] --> decoded_text[7:8]       '' --> 'َ'",
+      "delete    text[8:9] --> decoded_text[9:9]      'َ' --> ''",
+      "insert    text[20:20] --> decoded_text[20:21]       '' --> 'َ'",
+      "delete    text[21:22] --> decoded_text[22:22]      'َ' --> ''",
+      "insert    text[33:33] --> decoded_text[33:34]       '' --> 'َ'",
+      "delete    text[34:35] --> decoded_text[35:35]      'َ' --> ''",
+      "insert    text[72:72] --> decoded_text[72:73]       '' --> 'َ'",
+      "delete    text[73:74] --> decoded_text[74:74]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "«وَ قُلْ رَبِّ أَعُوذُ بِکَ مِنْ هَمَزاتِ الشَّیَاطِینِ* وَ أَعُوذُ بِکَ رَبِّ أَنْ یَحْضُرُونِ ـ بگو ای پروردگار من؛ پناه می‌برم به تو از وسوسه‌های شیاطین* و پناه می‌برم به تو ای پروردگار من؛ از این‌که حاضر شوند.»([20]",
+    "decoded_text": "«وَ قُلْ رَبِّ أَعُوذُ بِکَ مِنْ هَمَزاتِ الشَّیَاطِینِ* وَ أَعُوذُ بِکَ رَبِّ أَنْ یَحْضُرُونِ ـ بگو ای پروردگار من؛ پناه می‌برم به تو از وسوسه‌های شیاطین* و پناه می‌برم به تو ای پروردگار من؛ از این‌که حاضر شوند.»([20]",
+    "diff": [
+      "insert    text[12:12] --> decoded_text[12:13]       '' --> 'ِ'",
+      "delete    text[13:14] --> decoded_text[14:14]      'ِ' --> ''",
+      "insert    text[45:45] --> decoded_text[45:46]       '' --> 'َ'",
+      "delete    text[46:47] --> decoded_text[47:47]      'َ' --> ''",
+      "insert    text[76:76] --> decoded_text[76:77]       '' --> 'ِ'",
+      "delete    text[77:78] --> decoded_text[78:78]      'ِ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "امیرالمؤمنین علیه‌السلام فرموده‏ا‏ند: «هنگامی که شیطان یکی از شما را وسوسه نمود، باید به خدا پناه ببرد و بگوید: آمَنْتُ بِاللهِ وَ بِرَسُولِهِ مُخْلِصاً لَهُ الدِّینَ»[23]",
+    "decoded_text": "امیرالمؤمنین علیه‌السلام فرموده‏ا‏ند: «هنگامی که شیطان یکی از شما را وسوسه نمود، باید به خدا پناه ببرد و بگوید: آمَنْتُ بِاللهِ وَ بِرَسُولِهِ مُخْلِصاً لَهُ الدِّینَ»[23]",
+    "diff": [
+      "insert    text[161:161] --> decoded_text[161:162]       '' --> 'ِ'",
+      "delete    text[162:163] --> decoded_text[163:163]      'ِ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "حضرت صادق علیه‌السلام فرمود: مردی خدمت رسول خدا آمد و گفت: یا رسول الله؛ از وسوسه‌ای که در نماز به من القا می‌شود شکایت دارم. حتی این‌که نمی‏دانم چه‌قدر نماز کردم از زیاده یا کم. حضرت فرمودند: «وقتی داخل نماز شدی، انگشت سبّابه‌ی دست راستت را به ران پای چپت بزن و سپس بگو: بِسْمِ اللهِ وَ بِاللهِ تَوَکَّلْتُ عَلَی اللهِ أَعُوذُ بِاللهِ السَّمِیعِ الْعَلِیمِ مِنَ الشَّیْطَانِ الرَّجِیمِ ـ پس همانا او را دور و از خود منع و طرد کنی.»[24]",
+    "decoded_text": "حضرت صادق علیه‌السلام فرمود: مردی خدمت رسول خدا آمد و گفت: یا رسول الله؛ از وسوسه‌ای که در نماز به من القا می‌شود شکایت دارم. حتی این‌که نمی‏دانم چه‌قدر نماز کردم از زیاده یا کم. حضرت فرمودند: «وقتی داخل نماز شدی، انگشت سبّابه‌ی دست راستت را به ران پای چپت بزن و سپس بگو: بِسْمِ اللهِ وَ بِاللهِ تَوَکَّلْتُ عَلَی اللهِ أَعُوذُ بِاللهِ السَّمِیعِ الْعَلِیمِ مِنَ الشَّیْطَانِ الرَّجِیمِ ـ پس همانا او را دور و از خود منع و طرد کنی.»[24]",
+    "diff": [
+      "insert    text[301:301] --> decoded_text[301:302]       '' --> 'َ'",
+      "delete    text[302:303] --> decoded_text[303:303]      'َ' --> ''",
+      "insert    text[339:339] --> decoded_text[339:340]       '' --> 'َ'",
+      "delete    text[340:341] --> decoded_text[341:341]      'َ' --> ''",
+      "insert    text[366:366] --> decoded_text[366:367]       '' --> 'َ'",
+      "delete    text[367:368] --> decoded_text[368:368]      'َ' --> ''",
+      "insert    text[379:379] --> decoded_text[379:380]       '' --> 'َ'",
+      "delete    text[380:381] --> decoded_text[381:381]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آموزگاران بهترین مردم اند . هرگاه یاد [خدا] کهنه مى شود، تجدیدش مى کنند . به آنان عطا کنید ولى آنها را به مزدورى نگیرید که بر آنان سخت مى آید. کد خبر: ۷۴۸۰۲. تاریخ: ۱۸ اردیبهشت ۱۳۹۴ - ۰۹:۲۱. رسول خدا صلى الله علیه و آله :. المُعَلِّمونَ خَیرُ النّاسِ کُلَّما أخلَقَ الذِّکرُ جَدَّدوهُ، أعطوهُم ولا تَستَأجِروهُم فَتُحرِجوهُم؛. آموزگاران بهترین مردم اند . هرگاه یاد [خدا] کهنه مى شود، تجدیدش. مى کنند . به آنان عطا کنید ولى آنها را به مزدورى نگیرید که بر آنان سخت. مى آید. الفردوس : ۴ / ۱۹۳ / ۶۵۹۷ . علم و حکمت ج 2، ص 626. امام هادی علیه السلام:.",
+    "decoded_text": "آموزگاران بهترین مردم اند . هرگاه یاد [خدا] کهنه مى شود، تجدیدش مى کنند . به آنان عطا کنید ولى آنها را به مزدورى نگیرید که بر آنان سخت مى آید. کد خبر: ۷۴۸۰۲. تاریخ: ۱۸ اردیبهشت ۱۳۹۴ - ۰۹:۲۱. رسول خدا صلى الله علیه و آله :. المُعَلِّمونَ خَیرُ النّاسِ کُلَّما أخلَقَ الذِّکرُ جَدَّدوهُ، أعطوهُم ولا تَستَأجِروهُم فَتُحرِجوهُم؛. آموزگاران بهترین مردم اند . هرگاه یاد [خدا] کهنه مى شود، تجدیدش. مى کنند . به آنان عطا کنید ولى آنها را به مزدورى نگیرید که بر آنان سخت. مى آید. الفردوس : ۴ / ۱۹۳ / ۶۵۹۷ . علم و حکمت ج 2، ص 626. امام هادی علیه السلام:.",
+    "diff": [
+      "insert    text[230:230] --> decoded_text[230:231]       '' --> 'ِ'",
+      "insert    text[231:231] --> decoded_text[232:249]       '' --> 'مونَ خَیرُ النّاس'",
+      "replace   text[232:246] --> decoded_text[250:255] 'مونَ خَیرُ الن' --> ' کُلَ'",
+      "replace   text[247:249] --> decoded_text[256:269]     'اس' --> 'ما أخلَقَ الذ'",
+      "delete    text[250:254] --> decoded_text[270:270]   ' کُل' --> ''",
+      "replace   text[255:269] --> decoded_text[271:279] 'َما أخلَقَ الذ' --> 'کرُ جَدَ'",
+      "delete    text[270:280] --> decoded_text[280:280] 'ِکرُ جَدَّ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آن گاه که در روز قیامت برانگیخته شوم، گناهکاران امّت پیامبر اسلام را شفاعت خواهم کرد. کد خبر: ۷۲۳۰۷. تاریخ: ۲۱ فروردین ۱۳۹۴ - ۰۶:۰۰. حضرت فاطمه ‏علیها السلام :. إذا حُشِرتُ یَومَ القِیامَةِ أشفَعُ عُصاةَ اُمَّةِ النَّبِیِّ صلی الله علیه و آله؛. آن گاه که در روز قیامت برانگیخته شوم، گناهکاران امّت پیامبر اسلام را شفاعت خواهم کرد. إحقاق الحقّ، ج 19، ص 129 ؛ آینه یادها ص 172. امام على علیه السلام:. ضادُّوا التَّوانِیَ بِالعَزمِ؛. از راه تصمیم راسخ گرفتن، با سستى نبرد کنید. عیون الحکم والمواعظ: ص ۳۱۰ ح ۵۴۵۴ / میزان الحکمه: ج10 ص134.",
+    "decoded_text": "آن گاه که در روز قیامت برانگیخته شوم، گن��هکاران امّت پیامبر اسلام را شفاعت خواهم کرد. کد خبر: ۷۲۳۰۷. تاریخ: ۲۱ فروردین ۱۳۹۴ - ۰۶:۰۰. حضرت فاطمه ‏علیها السلام :. إذا حُشِرتُ یَومَ القِیامَةِ أشفَعُ عُصاةَ اُمَّةِ النَّبِیِّ صلی الله علیه و آله؛. آن گاه که در روز قیامت برانگیخته شوم، گناهکاران امّت پیامبر اسلام را شفاعت خواهم کرد. إحقاق الحقّ، ج 19، ص 129 ؛ آینه یادها ص 172. امام على علیه السلام:. ضادُّوا التَّوانِیَ بِالعَزمِ؛. از راه تصمیم راسخ گرفتن، با سستى نبرد کنید. عیون الحکم والمواعظ: ص ۳۱۰ ح ۵۴۵۴ / میزان الحکمه: ج10 ص134.",
+    "diff": [
+      "replace   text[207:209] --> decoded_text[207:209]     'َّ' --> 'َّ'",
+      "replace   text[215:222] --> decoded_text[215:222] 'َّبِیِّ' --> 'َّبِیِّ'",
+      "delete    text[402:403] --> decoded_text[402:402]      'ّ' --> ''",
+      "replace   text[404:412] --> decoded_text[403:412] 'وا التَّ' --> 'ّوا التَّ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آن گاه که وقت خروج قائم مى‏‌شود، منادى‏‌اى از آسمان ندا مى‌‏دهد: «اى مردم ! مدّت حکومت جبّاران بر شما، به پایان رسید و بهترین فرد امّت محمّد، حکومت را به دست گرفته است، پس به مکّه بروید». کد خبر: ۷۱۵۹۷. تاریخ: ۱۲ فروردین ۱۳۹۴ - ۰۶:۰۰. پیامبر صلى‏ الله ‏علیه ‏و‏آله:. إذا. کانَ عِندَ خُروجِ القائِمِ یُنادی مُنادٍ مِنَ السَّماءِ: أیُّهَا. النّاسُ! قَطَعَ عَنکُم مُدَّةُ الجَبّارینَ ووَلِیَ الأَمرَ خَیرُ اُمَّةِ. مُحَمَّدٍ فَالحَقوا بِمَکَّةَ؛. آن گاه که وقت خروج قائم مى‏‌شود، منادى‏‌اى از آسمان ندا مى‌‏دهد:. «اى مردم ! مدّت حکومت جبّاران بر شما، به",
+    "decoded_text": "آن گاه که وقت خروج قائم مى‏‌شود، منادى‏‌اى از آسمان ندا مى‌‏دهد: «اى مردم ! مدّت حکومت جبّاران بر شما، به پایان رسید و بهترین فرد امّت محمّد، حکومت را به دست گرفته است، پس به مکّه بروید». کد خبر: ۷۱۵۹۷. تاریخ: ۱۲ فروردین ۱۳۹۴ - ۰۶:۰۰. پیامبر صلى‏ الله ‏علیه ‏و‏آله:. إذا. کانَ عِندَ خُروجِ القائِمِ یُنادی مُنادٍ مِنَ السَّماءِ: أیُّهَا. النّاسُ! قَطَعَ عَنکُم مُدَّةُ الجَبّارینَ ووَلِیَ الأَمرَ خَیرُ اُمَّةِ. مُحَمَّدٍ فَالحَقوا بِمَکَّةَ؛. آن گاه که وقت خروج قائم مى‏‌شود، منادى‏‌اى از آسمان ندا مى‌‏دهد:. «اى مردم ! مدّت حکومت جبّاران بر شما، به",
+    "diff": [
+      "replace   text[321:323] --> decoded_text[321:323]     'َّ' --> 'َّ'",
+      "replace   text[331:333] --> decoded_text[331:333]     'ُّ' --> 'ُّ'",
+      "replace   text[364:366] --> decoded_text[364:366]     'َّ' --> 'َّ'",
+      "replace   text[406:408] --> decoded_text[406:408]     'َّ' --> 'َّ'",
+      "replace   text[417:419] --> decoded_text[417:419]     'َّ' --> 'َّ'",
+      "replace   text[437:439] --> decoded_text[437:439]     'َّ' --> 'َّ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آن که سازش و مدارا را ترک کند، ناگوارى به او روى آورَد. کد خبر: ۷۳۵۳۸. تاریخ: ۰۲ اردیبهشت ۱۳۹۴ - ۰۶:۰۰. امام جواد(سلام الله علیه):. مَن هَجَرَ الْمُداراةَ قَاربَهُ المَکرُوهُ؛. آن که سازش و مدارا را ترک کند، ناگوارى به او روى آورَد. بحارالأنوار، ج 68، ص 341. پیامبر خدا(صلی الله علیه و آله):. لا تَخَفْ فِی اللَّهِ لَومَةَ لائمٍ؛. در راه خدا از ملامت و نکوهش ملامتگران نترس. معانى الأخبار، ص 335.",
+    "decoded_text": "آن که سازش و مدارا را ترک کند، ناگوارى به او روى آورَد. کد خبر: ۷۳۵۳۸. تاریخ: ۰۲ اردیبهشت ۱۳۹۴ - ۰۶:۰۰. امام جواد(سلام الله علیه):. مَن هَجَرَ الْمُداراةَ قَاربَهُ المَکرُوهُ؛. آن که سازش و مدارا را ترک کند، ناگوارى به او روى آورَد. بحارالأنوار، ج 68، ص 341. پیامبر خدا(صلی الله علیه و آله):. لا تَخَفْ فِی اللَّهِ لَومَةَ لائمٍ؛. در راه خدا از ملامت و نکوهش ملامتگران نترس. معانى الأخبار، ص 335.",
+    "diff": [
+      "insert    text[310:310] --> decoded_text[310:311]       '' --> 'َ'",
+      "delete    text[311:312] --> decoded_text[312:312]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آنچه را به تو ربطی ندارد، رها کن و به کارى که رستگارت کند، مشغول شو. کد خبر: ۶۸۸۵۸. تاریخ: ۲۶ بهمن ۱۳۹۳ - ۰۶:۰۰. امام علی علیه السلام:. دَع ما لا یَعنِیکَ، وَ اشتَغِل بِمُهِمِّکَ الَّذی یُنجِیکَ؛. آنچه را به تو ربطی ندارد، رها کن و به کارى که رستگارت کند، مشغول شو. غرر الحکم: ح ۵۱۳۳/ گزیده غررالحکم و دررالکلم، ص52. امام على علیه‏السلام :. عَظِّمُوا أقدارَکُم بِالتَّغافُلِ عَنِ الدَّنِیِّ مِنَ الاُْمُورِ ؛. با بى توجهى به امور پست، بر ارزش خود بیفزایید . تحف العقول ، ص 224.",
+    "decoded_text": "آنچه را به تو ربطی ندارد، رها کن و به کارى که رستگارت کند، مشغول شو. کد خبر: ۶۸۸۵۸. تاریخ: ۲۶ بهمن ۱۳۹۳ - ۰۶:۰۰. امام علی علیه السلام:. دَع ما لا یَعنِیکَ، وَ اشتَغِل بِمُهِمِّکَ الَّذی یُنجِیکَ؛. آنچه را به تو ربطی ندارد، رها کن و به کارى که رستگارت کند، مشغول شو. غرر الحکم: ح ۵۱۳۳/ گزیده غررالحکم و دررالکلم، ص52. امام على علیه‏السلام :. عَظِّمُوا أقدارَکُم بِالتَّغافُلِ عَنِ الدَّنِیِّ مِنَ الاُْمُورِ ؛. با بى توجهى به امور پست، بر ارزش خود بیفزایید . تحف العقول ، ص 224.",
+    "diff": [
+      "replace   text[174:183] --> decoded_text[174:183] 'ِّکَ الَّ' --> 'ِّکَ الَّ'",
+      "replace   text[344:346] --> decoded_text[344:346]     'ِّ' --> 'ِّ'",
+      "replace   text[366:368] --> decoded_text[366:368]     'َّ' --> 'َّ'",
+      "replace   text[383:399] --> decoded_text[383:400] 'َّنِیِّ مِنَ الا' --> 'َّنِیِّ مِنَ الاُ'",
+      "delete    text[400:401] --> decoded_text[401:401]      'ُ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "اگر به آنچه تو را به آن فرمان می‌‏دهیم عمل کنی و از آنچه برحذر می‏داریم دوری کنی ، از شیعیان مایی و الّا هرگز. کد خبر: ۷۱۵۲۴. تاریخ: ۰۳ فروردین ۱۳۹۴ - ۰۶:۰۰. حضرت فاطمه‏ علیها السلام :. إنْ کُنتَ تَعمَلُ بِما أمَرناکَ و تَنتَهی عَمّا زَجَرناکَ عَنهُ فَأنتَ مِن شیعَتِنا و إلّا فَلا؛. اگر به آنچه تو را به آن فرمان می‌‏دهیم عمل کنی و از آنچه برحذر می‏داریم دوری کنی ، از شیعیان مایی و الّا هرگز. بحار الأنوار ، ج ۶۸ ، ص ۱۵۵ . امام على سلام الله علیه:. تَبارَکَ. اللّهُ الَّذی . . . أنشَأَ السَّحابَ الثِّقالَ ، فَأَهطَلَ دِیَمَها. وعَدَّدَ قِسَمَها",
+    "decoded_text": "اگر به آنچه تو را به آن فرمان می‌‏دهیم عمل کنی و از آنچه برحذر می‏داریم دوری کنی ، از شیعیان مایی و الّا هرگز. کد خبر: ۷۱۵۲۴. تاریخ: ۰۳ فروردین ۱۳۹۴ - ۰۶:۰۰. حضرت فاطمه‏ علیها السلام :. إنْ کُنتَ تَعمَلُ بِما أمَرناکَ و تَنتَهی عَمّا زَجَرناکَ عَنهُ فَأنتَ مِن شیعَتِنا و إلّا فَلا؛. اگر به آنچه تو را به آن فرمان می‌‏دهیم عمل کنی و از آنچه برحذر می‏داریم دوری کنی ، از شیعیان مایی و الّا هرگز. بحار الأنوار ، ج ۶۸ ، ص ۱۵۵ . امام على سلام الله علیه:. تَبارَکَ. اللّهُ الَّذی . . . أنشَأَ السَّحابَ الثِّقالَ ، فَأَهطَلَ دِیَمَها. وعَدَّدَ قِسَمَها",
+    "diff": [
+      "replace   text[470:472] --> decoded_text[470:472]     'َّ' --> 'َّ'",
+      "replace   text[491:493] --> decoded_text[491:493]     'َّ' --> 'َّ'",
+      "delete    text[501:502] --> decoded_text[501:501]      'ّ' --> ''",
+      "insert    text[503:503] --> decoded_text[502:503]       '' --> 'ّ'",
+      "replace   text[534:536] --> decoded_text[534:536]     'َّ' --> 'َّ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "اگر مى‏‌توانى، همیشه با وضو باش. کد خبر: ۷۱۵۰۰. تاریخ: ۲۹ اسفند ۱۳۹۳ - ۱۲:۰۷. پیامبر اکرم (صلی الله علیه و آله):. إنِ استَطَعتَ أن تَکونَ أبَداً عَلى وُضوءٍ فَافعَل. اگر مى‏‌توانى، همیشه با وضو باش. حکمت نامه پیامبر اعظم(ص): ج9- ص306 - ح 7205. امام باقر (سلام الله علیه) :. الکَسَلُ یُضِرُّ بِالدِّینِ والدُّنیا. تنبلى به دین و دنیا ضرر مى‏‌زند. میزان الحکمة: ج10- ص131- ح 17769.",
+    "decoded_text": "اگر مى‏‌توانى، همیشه با وضو باش. کد خبر: ۷۱۵۰۰. تاریخ: ۲۹ اسفند ۱۳۹۳ - ۱۲:۰۷. پیامبر اکرم (صلی الله علیه و آله):. إنِ استَطَعتَ أن تَکونَ أبَداً عَلى وُضوءٍ فَافعَل. اگر مى‏‌توانى، همیشه با وضو باش. حکمت نامه پیامبر اعظم(ص): ج9- ص306 - ح 7205. امام باقر (سلام الله علیه) :. الکَسَلُ یُضِرُّ بِالدِّینِ والدُّنیا. تنبلى به دین و دنیا ضرر مى‏‌زند. میزان الحکمة: ج10- ص131- ح 17769.",
+    "diff": [
+      "insert    text[288:288] --> decoded_text[288:289]       '' --> 'ُ'",
+      "replace   text[289:296] --> decoded_text[290:297] 'ُ بِالد' --> ' بِالدِ'",
+      "replace   text[297:306] --> decoded_text[298:307] 'ِینِ والد' --> 'ینِ والدُ'",
+      "delete    text[307:308] --> decoded_text[308:308]      'ُ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "اگر مى‏توانید هر روز را نوروز کنید؛ یعنى در راه خدا به یکدیگر هدیه بدهید و با یکدیگر پیوند داشته باشید. کد خبر: ۷۱۵۰۱. تاریخ: ۰۱ فروردین ۱۳۹۴ - ۰۶:۰۰. پیامبر اکرم صلی الله علیه وآله. فَنَیرِزُوا إن قَدَرتُم کُلَّ یَومٍ یَعنی تَهادَوا و تَواصَلُوا فِی اللَّهِ؛. اگر مى‏توانید هر روز را نوروز کنید؛ یعنى در راه خدا به یکدیگر هدیه بدهید و با یکدیگر پیوند داشته باشید. دعائم الإسلام: ج 2، ص 326. امام صادق سلام الله علیه. إنَّ یَومَ النَّیروزِ هُوَ الیَومُ الّذى أخَذَ اللَّهُ فیهِ مَواثیقَ العِبادِ أن یَعبُدوهُ. روز نوروز همان روزى است که خداوند از بند",
+    "decoded_text": "اگر مى‏توانید هر روز را نوروز کنید؛ یعنى در راه خدا به یکدیگر هدیه بدهید و با یکدیگر پیوند داشته باشید. کد خبر: ۷۱۵۰۱. تاریخ: ۰۱ فروردین ۱۳۹۴ - ۰۶:۰۰. پیامبر اکرم صلی الله علیه وآله. فَنَیرِزُوا إن قَدَرتُم کُلَّ یَومٍ یَعنی تَهادَوا و تَواصَلُوا فِی اللَّهِ؛. اگر مى‏توانید هر روز را نوروز کنید؛ یعنى در راه خدا به یکدیگر هدیه بدهید و با یکدیگر پیوند داشته باشید. دعائم الإسلام: ج 2، ص 326. امام صادق سلام الله علیه. إنَّ یَومَ النَّیروزِ هُوَ الیَومُ الّذى أخَذَ اللَّهُ فیهِ مَواثیقَ العِبادِ أن یَعبُدوهُ. روز نوروز همان روزى است که خداوند از بند",
+    "diff": [
+      "insert    text[210:210] --> decoded_text[210:211]       '' --> 'َ'",
+      "delete    text[211:212] --> decoded_text[212:212]      'َ' --> ''",
+      "insert    text[254:254] --> decoded_text[254:255]       '' --> 'َ'",
+      "delete    text[255:256] --> decoded_text[256:256]      'َ' --> ''",
+      "insert    text[420:420] --> decoded_text[420:421]       '' --> 'َ'",
+      "replace   text[421:432] --> decoded_text[422:433] 'َ یَومَ الن' --> ' یَومَ النَ'",
+      "delete    text[433:434] --> decoded_text[434:434]      'َ' --> ''",
+      "insert    text[468:468] --> decoded_text[468:469]       '' --> 'َ'",
+      "delete    text[469:470] --> decoded_text[470:470]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "امام باقر علیه السلام‏:. أحسِن؛ فَإِنّى لَم أرَ شَیئاً قَطُّ أشَدَّ طَلَباً ولا أسرَعَ دَرکاً مِن حَسَنَةٍ مُحدَثَةٍ لِذَنبٍ قَدیمٍ؛. نیکى کن؛ که به‌راستى هرگز چیزى مانند کار نیکِ جدید را ندیده‏‌ام. که این‌چنین، به تعقیب یک گناه قدیم برآید و با سرعت، خود را به آن برساند. [و آن را محو سازد]. علل الشرائع: ص ۵۹۹ ح ۴۹ / حکمت‌نامه حضرت عبدالعظیم الحسنی علیه السلام، ص175. امام صادق سلام الله علیه :. کَثرَةُ النَّومِ مَذهَبَةٌ للدِّینِ والدُّنیا؛. پرخوابى، دین و دنیا را از بین مى‏برد. کافی : ج 5، ص 84، ح 1 / میزان الحکمة: ج 12 ، ص 493.",
+    "decoded_text": "امام باقر علیه السلام‏:. أحسِن؛ فَإِنّى لَم أرَ شَیئاً قَطُّ أشَدَّ طَلَباً ولا أسرَعَ دَرکاً مِن حَسَنَةٍ مُحدَثَةٍ لِذَنبٍ قَدیمٍ؛. نیکى کن؛ که به‌راستى هرگز چیزى مانند کار نیکِ جدید را ندیده‏‌ام. که این‌چنین، به تعقیب یک گناه قدیم برآید و با سرعت، خود را به آن برساند. [و آن را محو سازد]. علل الشرائع: ص ۵۹۹ ح ۴۹ / حکمت‌نامه حضرت عبدالعظیم الحسنی علیه السلام، ص175. امام صادق سلام الله علیه :. کَثرَةُ النَّومِ مَذهَبَةٌ للدِّینِ والدُّنیا؛. پرخوابى، دین و دنیا را از بین مى‏برد. کافی : ج 5، ص 84، ح 1 / میزان الحکمة: ج 12 ، ص 493.",
+    "diff": [
+      "insert    text[58:58] --> decoded_text[58:59]       '' --> 'ُ'",
+      "delete    text[59:60] --> decoded_text[60:60]      'ُ' --> ''",
+      "insert    text[65:65] --> decoded_text[65:66]       '' --> 'َ'",
+      "delete    text[66:67] --> decoded_text[67:67]      'َ' --> ''",
+      "insert    text[408:408] --> decoded_text[408:409]       '' --> 'َ'",
+      "delete    text[409:410] --> decoded_text[410:410]      'َ' --> ''",
+      "insert    text[427:427] --> decoded_text[427:428]       '' --> 'ِ'",
+      "replace   text[428:437] --> decoded_text[429:438] 'ِینِ والد' --> 'ینِ والدُ'",
+      "delete    text[438:439] --> decoded_text[439:439]      'ُ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "امام باقر علیه السلام:. أقرَبُ ما یَکونُ العَبدُ مِنَ اللَّهِ إذا کانَ فِی الصَّلاةِ؛. نزدیک‏ترین حالت بنده به خدا، هنگامى است که در نماز است. دعائم الإسلام: ج ۱ ص ۱۳۴/ شناخت‌نامه نماز: ج1 ص204. پیامبر اکرم صلی الله علیه و آله:. فإنَّ خِیارَکُم خِیارُکُم لِأهلِهِ. براستى بهترین شما کسى است که براى خانواده اش بهتر باشد . بحار الأنوار :ج 5 ، ص 268 ، ح79 / میزان الحکمة : ج 5 ، ص 101.",
+    "decoded_text": "امام باقر علیه السلام:. أقرَبُ ما یَکونُ العَبدُ مِنَ اللَّهِ إذا کانَ فِی الصَّلاةِ؛. نزدیک‏ترین حالت بنده به خدا، هنگامى است که در نماز است. دعائم الإسلام: ج ۱ ص ۱۳۴/ شناخت‌نامه نماز: ج1 ص204. پیامبر اکرم صلی الله علیه و آله:. فإنَّ خِیارَکُم خِیارُکُم لِأهلِهِ. براستى بهترین شما کسى است که براى خانواده اش بهتر باشد . بحار الأنوار :ج 5 ، ص 268 ، ح79 / میزان الحکمة : ج 5 ، ص 101.",
+    "diff": [
+      "insert    text[57:57] --> decoded_text[57:58]       '' --> 'َ'",
+      "delete    text[58:59] --> decoded_text[59:59]      'َ' --> ''",
+      "insert    text[78:78] --> decoded_text[78:79]       '' --> 'َ'",
+      "delete    text[79:80] --> decoded_text[80:80]      'َ' --> ''",
+      "insert    text[232:232] --> decoded_text[232:233]       '' --> 'َ'",
+      "delete    text[233:234] --> decoded_text[234:234]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "قالیباف افزود: یا حدیث معروفِ «مَن اَصبَحَ وَ لَم یَهتَمَّ بِاُمورِ المُسلِمینَ فَلَیسَ بِمُسلِم» و نمونه های مشابه آن، جزو بیّنات اسلام است؛ یعنى اسلام انسان را این‌جور خواسته است که مسئول باشد؛ هم نسبت به خود، هم نسبت به نزدیکان خود، هم نسبت به جامعه‌ى خود، هم نسبت به بشریّت.",
+    "decoded_text": "قالیباف افزود: یا حدیث معروفِ «مَن اَصبَحَ وَ لَم یَهتَمَّ بِاُمورِ المُسلِمینَ فَلَیسَ بِمُسلِم» و نمونه های مشابه آن، جزو بیّنات اسلام است؛ یعنى اسلام انسان را این‌جور خواسته است که مسئول باشد؛ هم نسبت به خود، هم نسبت به نزدیکان خود، هم نسبت به جامعه‌ى خود، هم نسبت به بشریّت.",
+    "diff": [
+      "insert    text[56:56] --> decoded_text[56:57]       '' --> 'َ'",
+      "delete    text[57:58] --> decoded_text[58:58]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/deepseek-ai.DeepSeek-R1-Distill-Qwen-1.5B @ cc100.fr.diff.json

@@ -0,0 +1,105 @@
+[
+  {
+    "text": "Une Agence conseil en Communication et Coopération Décentralisée.",
+    "decoded_text": "Une Agence conseil en Communication et Coopération Décentralisée.",
+    "diff": [
+      "replace   text[43:45] --> decoded_text[43:44]     'é' --> 'é'",
+      "replace   text[53:55] --> decoded_text[52:53]     'é' --> 'é'",
+      "replace   text[64:66] --> decoded_text[62:63]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Une équipe de consultants expérimentés pour accompagner, conseiller tout type de coopération économique, sociale, culturelle et durable, en lien avec l’Afrique.",
+    "decoded_text": "Une équipe de consultants expérimentés pour accompagner, conseiller tout type de coopération économique, sociale, culturelle et durable, en lien avec l’Afrique.",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'é' --> 'é'",
+      "replace   text[30:32] --> decoded_text[29:30]     'é' --> 'é'",
+      "replace   text[38:40] --> decoded_text[36:37]     'é' --> 'é'",
+      "replace   text[88:90] --> decoded_text[85:86]     'é' --> 'é'",
+      "replace   text[97:99] --> decoded_text[93:94]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Des compétences confirmées dans les domaines des médias et de la communication publique.",
+    "decoded_text": "Des compétences confirmées dans les domaines des médias et de la communication publique.",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'é' --> 'é'",
+      "replace   text[24:26] --> decoded_text[23:24]     'é' --> 'é'",
+      "replace   text[52:54] --> decoded_text[50:51]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Une bonne connaissance du réseau des décideurs publics et privés, en France et ailleurs dans le monde, principalement pour l’Afrique.",
+    "decoded_text": "Une bonne connaissance du réseau des décideurs publics et privés, en France et ailleurs dans le monde, principalement pour l’Afrique.",
+    "diff": [
+      "replace   text[27:29] --> decoded_text[27:28]     'é' --> 'é'",
+      "replace   text[39:41] --> decoded_text[38:39]     'é' --> 'é'",
+      "replace   text[64:66] --> decoded_text[62:63]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "La tribune internationale pour parler des atouts de la Côte d’Ivoire et lui offrir les meilleures conditions des approches nouvelles des politiques de coopération française et européenne.",
+    "decoded_text": "La tribune internationale pour parler des atouts de la Côte d’Ivoire et lui offrir les meilleures conditions des approches nouvelles des politiques de coopération française et européenne.",
+    "diff": [
+      "replace   text[56:58] --> decoded_text[56:57]     'ô' --> 'ô'",
+      "replace   text[156:158] --> decoded_text[155:156]     'é' --> 'é'",
+      "replace   text[169:171] --> decoded_text[167:168]     'ç' --> 'ç'",
+      "replace   text[184:186] --> decoded_text[181:182]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "La rencontre entre les pouvoirs publics et décideurs français, les autorités ivoiriennes, les hommes d'affaires, entrepreneurs et investisseurs, venant de tous horizons.",
+    "decoded_text": "La rencontre entre les pouvoirs publics et décideurs français, les autorités ivoiriennes, les hommes d'affaires, entrepreneurs et investisseurs, venant de tous horizons.",
+    "diff": [
+      "replace   text[44:46] --> decoded_text[44:45]     'é' --> 'é'",
+      "replace   text[58:60] --> decoded_text[57:58]     'ç' --> 'ç'",
+      "replace   text[76:78] --> decoded_text[74:75]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Parler des opportunités de la relation privilégiée de la coopération française et européenne avec la Côte d’Ivoire.",
+    "decoded_text": "Parler des opportunités de la relation privilégiée de la coopération française et européenne avec la Côte d’Ivoire.",
+    "diff": [
+      "replace   text[21:23] --> decoded_text[21:22]     'é' --> 'é'",
+      "replace   text[46:48] --> decoded_text[45:46]     'é' --> 'é'",
+      "replace   text[50:52] --> decoded_text[48:49]     'é' --> 'é'",
+      "replace   text[64:66] --> decoded_text[61:62]     'é' --> 'é'",
+      "replace   text[77:79] --> decoded_text[73:74]     'ç' --> 'ç'",
+      "replace   text[92:94] --> decoded_text[87:88]     'é' --> 'é'",
+      "replace   text[108:110] --> decoded_text[102:103]     'ô' --> 'ô'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Faciliter les discussions entre les acteurs de la coopération décentralisée.",
+    "decoded_text": "Faciliter les discussions entre les acteurs de la coopération décentralisée.",
+    "diff": [
+      "replace   text[54:56] --> decoded_text[54:55]     'é' --> 'é'",
+      "replace   text[64:66] --> decoded_text[63:64]     'é' --> 'é'",
+      "replace   text[75:77] --> decoded_text[73:74]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/deepseek-ai.DeepSeek-R1-Distill-Qwen-1.5B @ cc100.ja.diff.json

@@ -0,0 +1,1046 @@
+[
+  {
+    "text": "点を取れる部分をメインに勉強を行いました。とても勉強になったので、チャレンジして良かったです。仕事で活かせるように今後も勉強を続けて行きたいです。",
+    "decoded_text": "点を取れる部分をメインに勉強を行いました。とても勉強になったので、チャレンジして良かったです。仕事で活かせるように今後も勉強を続けて行きたいです。",
+    "diff": [
+      "replace   text[31:33] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[37:38]     'ジ' --> 'ジ'",
+      "replace   text[46:48] --> decoded_text[44:45]     'で' --> 'で'",
+      "replace   text[52:54] --> decoded_text[49:50]     'で' --> 'で'",
+      "replace   text[74:76] --> decoded_text[70:71]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "ドローンは今後、土木・農業など様々な分野での利用が見込まれるので、ぜひチャレンジしてみてください。",
+    "decoded_text": "ドローンは今後、土木・農業など様々な分野での利用が見込まれるので、ぜひチャレンジしてみてください。",
+    "diff": [
+      "replace   text[0:2] --> decoded_text[0:1]     'ド' --> 'ド'",
+      "replace   text[15:17] --> decoded_text[14:15]     'ど' --> 'ど'",
+      "replace   text[22:24] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[27:29] --> decoded_text[24:25]     'が' --> 'が'",
+      "replace   text[35:37] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[33:34]     'ぜ' --> 'ぜ'",
+      "replace   text[45:47] --> decoded_text[39:40]     'ジ' --> 'ジ'",
+      "replace   text[52:54] --> decoded_text[45:46]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "覚える範囲が多かったので、要点を絞って取り組みました。合格して良かったです。内定先で今後使う話が出てきたら率先して取り組んで行きたいです。",
+    "decoded_text": "覚える範囲が多かったので、要点を絞って取り組みました。合格して良かったです。内定先で今後使う話が出てきたら率先して取り組んで行きたいです。",
+    "diff": [
+      "replace   text[5:7] --> decoded_text[5:6]     'が' --> 'が'",
+      "replace   text[12:14] --> decoded_text[11:12]     'で' --> 'で'",
+      "replace   text[37:39] --> decoded_text[35:36]     'で' --> 'で'",
+      "replace   text[44:46] --> decoded_text[41:42]     'で' --> 'で'",
+      "replace   text[51:53] --> decoded_text[47:48]     'が' --> 'が'",
+      "replace   text[66:68] --> decoded_text[61:62]     'で' --> 'で'",
+      "replace   text[72:74] --> decoded_text[66:67]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "先生が全面的にサポートして下さるので安心して勉強できます。分からない時は先生になんでも質問してください。",
+    "decoded_text": "先生が全面的にサポートして下さるので安心して勉強できます。分からない時は先生になんでも質問してください。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'が' --> 'が'",
+      "replace   text[9:11] --> decoded_text[8:9]     'ポ' --> 'ポ'",
+      "replace   text[19:21] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[27:29] --> decoded_text[24:25]     'で' --> 'で'",
+      "replace   text[45:47] --> decoded_text[41:42]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[48:49]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問題をたくさん解くことで問題の傾向を分析しました。しっかり勉強して臨んだので、合格する自信がありました。この資格を活かし、工事測量などで、正確な値を出すことで適切な指示を出せるようにしていきたいです。",
+    "decoded_text": "過去問題をたくさん解くことで問題の傾向を分析しました。しっかり勉強して臨んだので、合格する自信がありました。この資格を活かし、工事測量などで、正確な値を出すことで適切な指示を出せるようにしていきたいです。",
+    "diff": [
+      "replace   text[13:15] --> decoded_text[13:14]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[37:38]     'だ' --> 'だ'",
+      "replace   text[41:43] --> decoded_text[39:40]     'で' --> 'で'",
+      "replace   text[50:52] --> decoded_text[47:48]     'が' --> 'が'",
+      "replace   text[72:76] --> decoded_text[68:70]   'どで' --> 'どで'",
+      "replace   text[86:88] --> decoded_text[80:81]     'で' --> 'で'",
+      "replace   text[106:108] --> decoded_text[99:100]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "しっかり勉強したら必ず自分のためになりますよ。将来の夢を持ち、それを実現できるように今できる事を頑張ってください。",
+    "decoded_text": "しっかり勉強したら必ず自分のためになりますよ。将来の夢を持ち、それを実現できるように今できる事を頑張ってください。",
+    "diff": [
+      "replace   text[10:12] --> decoded_text[10:11]     'ず' --> 'ず'",
+      "replace   text[37:39] --> decoded_text[36:37]     'で' --> 'で'",
+      "replace   text[45:47] --> decoded_text[43:44]     'で' --> 'で'",
+      "replace   text[56:58] --> decoded_text[53:54]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "まずは、自分が何をしたいのか考え、そしてそこから、自分の目標に向かって資格取得を目指してください。せっかくの取得チャンスを無駄にしないでください。",
+    "decoded_text": "まずは、自分が何をしたいのか考え、そしてそこから、自分の目標に向かって資格取得を目指してください。せっかくの取得チャンスを無駄にしないでください。",
+    "diff": [
+      "replace   text[1:3] --> decoded_text[1:2]     'ず' --> 'ず'",
+      "replace   text[7:9] --> decoded_text[6:7]     'が' --> 'が'",
+      "replace   text[47:49] --> decoded_text[45:46]     'だ' --> 'だ'",
+      "replace   text[70:72] --> decoded_text[67:68]     'で' --> 'で'",
+      "replace   text[73:75] --> decoded_text[69:70]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問題を解き、答え合わせをした後、自分がどこを間違っていたか、なぜ間違えたか等、徹底的に勉強しました。次は測量士補や、ドローン検定等の資格を目指し、頑張りたいと思います。",
+    "decoded_text": "過去問題を解き、答え合わせをした後、自分がどこを間違っていたか、なぜ間違えたか等、徹底的に勉強しました。次は測量士補や、ドローン検定等の資格を目指し、頑張りたいと思います。",
+    "diff": [
+      "replace   text[20:24] --> decoded_text[20:22]   'がど' --> 'がど'",
+      "replace   text[35:37] --> decoded_text[33:34]     'ぜ' --> 'ぜ'",
+      "replace   text[63:65] --> decoded_text[60:61]     'ド' --> 'ド'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "細かい事でも、疑問に思った事は必ず先生に質問してください。",
+    "decoded_text": "細かい事でも、疑問に思った事は必ず先生に質問してください。",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'で' --> 'で'",
+      "replace   text[17:19] --> decoded_text[16:17]     'ず' --> 'ず'",
+      "replace   text[27:29] --> decoded_text[25:26]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問を解き続け、頭に知識と問題の傾向を叩き込みました。合格して本当に良かったです。 試験を受けるチャンスがあり、思い切ってチャレンジして良かったと思います。",
+    "decoded_text": "過去問を解き続け、頭に知識と問題の傾向を叩き込みました。合格して本当に良かったです。 試験を受けるチャンスがあり、思い切ってチャレンジして良かったと思います。",
+    "diff": [
+      "replace   text[39:41] --> decoded_text[39:40]     'で' --> 'で'",
+      "replace   text[54:56] --> decoded_text[53:54]     'が' --> 'が'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "何事もまずは挑戦してみてください。分からない事は先生が教えてくださいます。安心して勉強に取り組んでください。",
+    "decoded_text": "何事もまずは挑戦してみてください。分からない事は先生が教えてくださいます。安心して勉強に取り組んでください。",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'ず' --> 'ず'",
+      "replace   text[14:16] --> decoded_text[13:14]     'だ' --> 'だ'",
+      "replace   text[28:30] --> decoded_text[26:27]     'が' --> 'が'",
+      "replace   text[34:36] --> decoded_text[31:32]     'だ' --> 'だ'",
+      "replace   text[52:54] --> decoded_text[48:49]     'で' --> 'で'",
+      "replace   text[55:57] --> decoded_text[50:51]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "日々の勉強を大切にし、試験当日は集中して受験しました。試験一か月前までは、ひたすら過去問を解いて自分の弱いところを集中的に勉強しました。この学校に入学して1番の目標だったので取得できて嬉しいです。",
+    "decoded_text": "日々の勉強を大切にし、試験当日は集中して受験しました。試験一か月前までは、ひたすら過去問を解いて自分の弱いところを集中的に勉強しました。この学校に入学して1番の目標だったので取得できて嬉しいです。",
+    "diff": [
+      "replace   text[34:36] --> decoded_text[34:35]     'で' --> 'で'",
+      "replace   text[83:85] --> decoded_text[82:83]     'だ' --> 'だ'",
+      "replace   text[88:90] --> decoded_text[86:87]     'で' --> 'で'",
+      "replace   text[92:94] --> decoded_text[89:90]     'で' --> 'で'",
+      "replace   text[99:101] --> decoded_text[95:96]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "何回も過去問を解き、傾向を掴みました。合格して嬉しいです。さらに上の資格を目指し頑張りたいと思います。",
+    "decoded_text": "何回も過去問を解き、傾向を掴みました。合格して嬉しいです。さらに上の資格を目指し頑張りたいと思います。",
+    "diff": [
+      "replace   text[26:28] --> decoded_text[26:27]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "受けるからには合格するほうが良いので積極的に勉強してください。そして後悔しないように頑張ってください。",
+    "decoded_text": "受けるからには合格するほうが良いので積極的に勉強してください。そして後悔しないように頑張ってください。",
+    "diff": [
+      "replace   text[13:15] --> decoded_text[13:14]     'が' --> 'が'",
+      "replace   text[18:20] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[29:31] --> decoded_text[27:28]     'だ' --> 'だ'",
+      "replace   text[50:52] --> decoded_text[47:48]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "分野ごとに勉強を行いました。土木業界ではこの資格がないと仕事の範囲が狭くなるので、合格して嬉しいです。実地試験に合格したら次は1級を目指し、頑張ろうと思います。",
+    "decoded_text": "分野ごとに勉強を行いました。土木業界ではこの資格がないと仕事の範囲が狭くなるので、合格して嬉しいです。実地試験に合格したら次は1級を目指し、頑張ろうと思います。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'ご' --> 'ご'",
+      "replace   text[19:21] --> decoded_text[18:19]     'で' --> 'で'",
+      "replace   text[26:28] --> decoded_text[24:25]     'が' --> 'が'",
+      "replace   text[36:38] --> decoded_text[33:34]     'が' --> 'が'",
+      "replace   text[43:45] --> decoded_text[39:40]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[48:49]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "難しい試験ですが、勉強を続けているとコツがつかめてきます。諦めずに頑張ってください。",
+    "decoded_text": "難しい試験ですが、勉強を続けているとコツがつかめてきます。諦めずに頑張ってください。",
+    "diff": [
+      "replace   text[5:7] --> decoded_text[5:6]     'で' --> 'で'",
+      "replace   text[8:10] --> decoded_text[7:8]     'が' --> 'が'",
+      "replace   text[22:24] --> decoded_text[20:21]     'が' --> 'が'",
+      "replace   text[34:36] --> decoded_text[31:32]     'ず' --> 'ず'",
+      "replace   text[42:44] --> decoded_text[38:39]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問を解くことで対策をする事ができました。学科試験に合格したので、次は実地試験に合格して、現場を任せてもらえるようになりたいです。",
+    "decoded_text": "過去問を解くことで対策をする事ができました。学科試験に合格したので、次は実地試験に合格して、現場を任せてもらえるようになりたい��す。",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'で' --> 'で'",
+      "replace   text[16:20] --> decoded_text[15:17]   'がで' --> 'がで'",
+      "replace   text[35:37] --> decoded_text[32:33]     'で' --> 'で'",
+      "replace   text[67:69] --> decoded_text[63:64]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "取りたい資格は積極的に勉強し、自信を持って頑張ってください。わからない事は必ず先生が教えてくださいます。",
+    "decoded_text": "取りたい資格は積極的に勉強し、自信を持って頑張ってください。わからない事は必ず先生が教えてくださいます。",
+    "diff": [
+      "replace   text[26:28] --> decoded_text[26:27]     'だ' --> 'だ'",
+      "replace   text[39:41] --> decoded_text[38:39]     'ず' --> 'ず'",
+      "replace   text[43:45] --> decoded_text[41:42]     'が' --> 'が'",
+      "replace   text[49:51] --> decoded_text[46:47]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "放課後の勉強会を頑張りました。2級土木施工管理技術検定は、土木技術者になるための第一歩だと思います。合格して本当に嬉しいです。",
+    "decoded_text": "放課後の勉強会を頑張りました。2級土木施工管理技術検定は、土木技術者になるための第一歩だと思います。合格して本当に嬉しいです。",
+    "diff": [
+      "replace   text[43:45] --> decoded_text[43:44]     'だ' --> 'だ'",
+      "replace   text[61:63] --> decoded_text[60:61]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "遊び、バイト、 勉強、いろいろありますが、区切りを付けて頑張ってください。",
+    "decoded_text": "遊び、バイト、 勉強、いろいろありますが、区切りを付けて頑張ってください。",
+    "diff": [
+      "replace   text[1:3] --> decoded_text[1:2]     'び' --> 'び'",
+      "replace   text[4:6] --> decoded_text[3:4]     'バ' --> 'バ'",
+      "replace   text[35:37] --> decoded_text[33:34]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "とにかく過去問題をやり、自分の苦手な分野をできるようにして行きました。最近の土木現場では、環境への影響を考えて工事をしなければならないので、この資格を取得しようと思いました。合格して本当に良かったです。",
+    "decoded_text": "とにかく過去問題をやり、自分の苦手な分野をできるようにして行きました。最近の土木現場では、環境への影響を考えて工事をしなければならないので、この資格を取得しようと思いました。合格して本当に良かったです。",
+    "diff": [
+      "replace   text[21:23] --> decoded_text[21:22]     'で' --> 'で'",
+      "replace   text[43:45] --> decoded_text[42:43]     'で' --> 'で'",
+      "replace   text[64:66] --> decoded_text[62:63]     'ば' --> 'ば'",
+      "replace   text[71:73] --> decoded_text[68:69]     'で' --> 'で'",
+      "replace   text[102:104] --> decoded_text[98:99]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "勉強する時と、遊ぶときの切り替えをうまくやり、合格へ向けて頑張ってください。",
+    "decoded_text": "勉強する時と、遊ぶときの切り替えをうまくやり、合格へ向けて頑張ってください。",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'ぶ' --> 'ぶ'",
+      "replace   text[35:37] --> decoded_text[34:35]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問を何度もやりました。頑張ってきたことが成果に出て嬉しいです。この調子で、測量士補、2級土木施工管理技術検定の学科試験にも合格できるように頑張り たいと思います。",
+    "decoded_text": "過去問を何度もやりました。頑張ってきたことが成果に出て嬉しいです。この調子で、測量士補、2級土木施工管理技術検定の学科試験にも合格できるように頑張り たいと思います。",
+    "diff": [
+      "replace   text[21:23] --> decoded_text[21:22]     'が' --> 'が'",
+      "replace   text[31:33] --> decoded_text[30:31]     'で' --> 'で'",
+      "replace   text[39:41] --> decoded_text[37:38]     'で' --> 'で'",
+      "replace   text[68:70] --> decoded_text[65:66]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "何度も何度も繰り返し過去問を解くことが合格への近道です。頑張ってください。",
+    "decoded_text": "何度も何度も繰り返し過去問を解くことが合格への近道です。頑張ってください。",
+    "diff": [
+      "replace   text[18:20] --> decoded_text[18:19]     'が' --> 'が'",
+      "replace   text[26:28] --> decoded_text[25:26]     'で' --> 'で'",
+      "replace   text[35:37] --> decoded_text[33:34]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "放課後も残って勉強しました。その中で法律と施工管理を重点的に勉強しました。さらに作文も頑張りました。来年には2級ビオトープ計画管理士も受験して合格したいです。将来に必要な資格なので、持っていて損はないと思います。合格して本当に嬉しいです。",
+    "decoded_text": "放課後も残って勉強しました。その中で法律と施工管理を重点的に勉強しました。さらに作文も頑張りました。来年には2級ビオトープ計画管理士も受験して合格したいです。将来に必要な資格なので、持っていて損はないと思います。合格して本当に嬉しいです。",
+    "diff": [
+      "replace   text[17:19] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[57:59] --> decoded_text[56:57]     'ビ' --> 'ビ'",
+      "replace   text[62:64] --> decoded_text[60:61]     'プ' --> 'プ'",
+      "replace   text[79:81] --> decoded_text[76:77]     'で' --> 'で'",
+      "replace   text[93:95] --> decoded_text[89:90]     'で' --> 'で'",
+      "replace   text[121:123] --> decoded_text[116:117]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "やる気があれば合格できます。専門学校に入学したからには自分で目標を作り、積極的に挑戦して行ってください。",
+    "decoded_text": "やる気があれば合格できます。専門学校に入学したからには自分で目標を作り、積極的に挑戦して行ってください。",
+    "diff": [
+      "replace   text[3:5] --> decoded_text[3:4]     'が' --> 'が'",
+      "replace   text[10:12] --> decoded_text[9:10]     'で' --> 'で'",
+      "replace   text[31:33] --> decoded_text[29:30]     'で' --> 'で'",
+      "replace   text[51:53] --> decoded_text[48:49]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "放課後残って勉強しました。まずはどんな形であっても問題に取り組む事が大切だと思います。電気の知識はまだまだですが、学習の方法が定まってきたので、残りの2科目(電力科目・機械科目)、さらには消防設備士試験にも合格したいです。",
+    "decoded_text": "放課後残って勉強しました。まずはどんな形であっても問題に取り組む事が大切だと思います。電気の知識はまだまだですが、学習の方法が定まってきたので、残りの2科目(電力科目・機械科目)、さらには消防設備士試験にも合格したいです。",
+    "diff": [
+      "replace   text[14:16] --> decoded_text[14:15]     'ず' --> 'ず'",
+      "replace   text[17:19] --> decoded_text[16:17]     'ど' --> 'ど'",
+      "replace   text[22:24] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[36:38] --> decoded_text[33:34]     'が' --> 'が'",
+      "replace   text[40:42] --> decoded_text[36:37]     'だ' --> 'だ'",
+      "replace   text[55:57] --> decoded_text[50:51]     'だ' --> 'だ'",
+      "replace   text[58:62] --> decoded_text[52:54]   'だで' --> 'だで'",
+      "replace   text[63:65] --> decoded_text[55:56]     'が' --> 'が'",
+      "replace   text[71:73] --> decoded_text[62:63]     'が' --> 'が'",
+      "replace   text[80:82] --> decoded_text[70:71]     'で' --> 'で'",
+      "replace   text[119:121] --> decoded_text[108:109]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "気になる資格は、早め早めに下調べしておくことが大切だと思います。問題を知った上で授業を受けると、理解が、より深められます。",
+    "decoded_text": "気になる資格は、早め早めに下調べしておくことが大切だと思います。問題を知った上で授業を受けると、理解が、より深められます。",
+    "diff": [
+      "replace   text[15:17] --> decoded_text[15:16]     'べ' --> 'べ'",
+      "replace   text[23:25] --> decoded_text[22:23]     'が' --> 'が'",
+      "replace   text[27:29] --> decoded_text[25:26]     'だ' --> 'だ'",
+      "replace   text[53:55] --> decoded_text[50:51]     'が' --> 'が'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "問題集を1冊を決めて、とことんやりこみました。何回かやっても理解できない時は、理解できる所から取り組み、自分の得意な分野で確実に点を取るよう勉強しました。残りの3科目を取得できるように、さらに努力しようと思います。",
+    "decoded_text": "問題集を1冊を決めて、とことんやりこみました。何回かやっても理解できない時は、理解できる所から取り組み、自分の得意な分野で確実に点を取るよう勉強しました。残りの3科目を取得できるように、さらに努力しようと思います。",
+    "diff": [
+      "replace   text[32:34] --> decoded_text[32:33]     'で' --> 'で'",
+      "replace   text[61:63] --> decoded_text[60:61]     'で' --> 'で'",
+      "replace   text[88:90] --> decoded_text[86:87]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "各科目ともに完璧を目指すのではなく、少しでも自分の得意な所を見つけて得点できるようにするのが重要だと思います。",
+    "decoded_text": "各科目ともに完璧を目指すのではなく、少しでも自分の得意な所を見つけて得点できるようにするのが重要だと思います。",
+    "diff": [
+      "replace   text[13:15] --> decoded_text[13:14]     'で' --> 'で'",
+      "replace   text[21:23] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[36:37]     'で' --> 'で'",
+      "replace   text[48:50] --> decoded_text[45:46]     'が' --> 'が'",
+      "replace   text[52:54] --> decoded_text[48:49]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "電験対策講座を受講し、過去問を何回も繰り返し解きました。また日頃の授業をしっかり聞き自分がわかるように、ノートにまとめました。合格はしましたが、自分では実力はまだついてないと思います。ほかの3科目も取得できるように頑張りたいと思います。",
+    "decoded_text": "電験対策講座を受講し、過去問を何回も繰り返し解きました。また日頃の授業をしっかり聞き自分がわかるように、ノートにまとめました。合格はしましたが、自分では実力はまだついてないと思います。ほかの3科目も取得できるように頑張りたいと思います。",
+    "diff": [
+      "replace   text[44:46] --> decoded_text[44:45]     'が' --> 'が'",
+      "replace   text[71:73] --> decoded_text[70:71]     'が' --> 'が'",
+      "replace   text[76:78] --> decoded_text[74:75]     'で' --> 'で'",
+      "replace   text[83:85] --> decoded_text[80:81]     'だ' --> 'だ'",
+      "replace   text[105:107] --> decoded_text[101:102]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "普通科出身でも、毎日の授業を真剣に聞いていれば、自分に自信がつくので頑張ってください。",
+    "decoded_text": "普通科出身でも、毎日の授業を真剣に聞いていれば、自分に自信がつくので頑張ってください。",
+    "diff": [
+      "replace   text[5:7] --> decoded_text[5:6]     'で' --> 'で'",
+      "replace   text[23:25] --> decoded_text[22:23]     'ば' --> 'ば'",
+      "replace   text[31:33] --> decoded_text[29:30]     'が' --> 'が'",
+      "replace   text[36:38] --> decoded_text[33:34]     'で' --> 'で'",
+      "replace   text[43:45] --> decoded_text[39:40]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "筆記試験対策では理解できるまで、過去問を繰り返し解きました。実技試験対策では、ミスをしないように、工夫した練習をしました。合格をいただいて、高圧の電気工事に従事する事ができるので嬉しかったです。",
+    "decoded_text": "筆記試験対策では理解できるまで、過去問を繰り返し解きました。実技試験対策では、ミスをしないように、工夫した練習をしました。合格をいただいて、高圧の電気工事に従事する事ができるので嬉しかったです。",
+    "diff": [
+      "replace   text[6:8] --> decoded_text[6:7]     'で' --> 'で'",
+      "replace   text[11:13] --> decoded_text[10:11]     'で' --> 'で'",
+      "replace   text[16:18] --> decoded_text[14:15]     'で' --> 'で'",
+      "replace   text[39:41] --> decoded_text[36:37]     'で' --> 'で'",
+      "replace   text[70:72] --> decoded_text[66:67]     'だ' --> 'だ'",
+      "replace   text[88:92] --> decoded_text[83:85]   'がで' --> 'がで'",
+      "replace   text[95:97] --> decoded_text[88:89]     'で' --> 'で'",
+      "replace   text[102:104] --> decoded_text[94:95]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "入学してから受ける国家試験の中で少し難しいですが、頑張れば取れる資格なので、最後まで努力してみてください。",
+    "decoded_text": "入学してから受ける国家試験の中で少し難しいですが、頑張れば取れる資格なので、最後まで努力してみてください。",
+    "diff": [
+      "replace   text[15:17] --> decoded_text[15:16]     'で' --> 'で'",
+      "replace   text[22:24] --> decoded_text[21:22]     'で' --> 'で'",
+      "replace   text[25:27] --> decoded_text[23:24]     'が' --> 'が'",
+      "replace   text[31:33] --> decoded_text[28:29]     'ば' --> 'ば'",
+      "replace   text[40:42] --> decoded_text[36:37]     'で' --> 'で'",
+      "replace   text[46:48] --> decoded_text[41:42]     'で' --> 'で'",
+      "replace   text[55:57] --> decoded_text[49:50]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "先生が丁寧に教えてくださるので日々の授業を大切にし、分からない所はその日に先生に聞きに行きました。就職に有利になるように取得した資格を就職活動のため、また社会にでて仕事に活かしていきたいです。",
+    "decoded_text": "先生が丁寧に教えてくださるので日々の授業を大切にし、分からない所はその日に先生に聞きに行きました。就職に有利になるように取得した資格を就職活動のため、また社会にでて仕事に活かしていきたいです。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'が' --> 'が'",
+      "replace   text[11:13] --> decoded_text[10:11]     'だ' --> 'だ'",
+      "replace   text[16:18] --> decoded_text[14:15]     'で' --> 'で'",
+      "replace   text[83:85] --> decoded_text[80:81]     'で' --> 'で'",
+      "replace   text[97:99] --> decoded_text[93:94]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "入学した頃は電気に関して分からなかった私でも取得することができました。皆さんも自信を持って頑張ってください。",
+    "decoded_text": "入学した頃は電気に関して分からなかった私でも取得することができました。皆さんも自信を持って頑張ってください。",
+    "diff": [
+      "replace   text[20:22] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[29:33] --> decoded_text[28:30]   'がで' --> 'がで'",
+      "replace   text[53:55] --> decoded_text[50:51]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "とにかく過去問を何回も解き、疑問があれば先生に質問して分かるまで毎日の勉強を頑張りました。合格できて本当に良かったです。今後は第三種電気主任技術者の資格取得に向けて頑張ります。",
+    "decoded_text": "とにかく過去問を何回も解き、疑問があれば先生に質問して分かるまで毎日の勉強を頑張りました。合格できて本当に良かったです。今後は第三種電気主任技術者の資格取得に向けて頑張ります。",
+    "diff": [
+      "replace   text[16:18] --> decoded_text[16:17]     'が' --> 'が'",
+      "replace   text[32:34] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[49:51] --> decoded_text[47:48]     'で' --> 'で'",
+      "replace   text[60:62] --> decoded_text[57:58]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "第一種電気工事士の本の要点をノートにおさえて復習しました。実技では配線図が分からず先生に教えていただき、早い段階で理解 きたのも合格できた要因ではないかと思います。合格して本当に嬉しかったです。これから就職して仕事に活かしていきたいと思います。",
+    "decoded_text": "第一種電気工事士の本の要点をノートにおさえて復習しました。実技では配線図が分からず先生に教えていただき、早い段階で理解 きたのも合格できた要因ではないかと思います。合格して本当に嬉しかったです。これから就職��て仕事に活かしていきたいと思います。",
+    "diff": [
+      "replace   text[31:33] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[37:39] --> decoded_text[36:37]     'が' --> 'が'",
+      "replace   text[42:44] --> decoded_text[40:41]     'ず' --> 'ず'",
+      "replace   text[52:54] --> decoded_text[49:50]     'だ' --> 'だ'",
+      "replace   text[60:62] --> decoded_text[56:57]     'で' --> 'で'",
+      "replace   text[71:73] --> decoded_text[66:67]     'で' --> 'で'",
+      "replace   text[77:79] --> decoded_text[71:72]     'で' --> 'で'",
+      "replace   text[101:103] --> decoded_text[94:95]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "分からない場合は先生に聞けば、すぐ教えて下さるので早めに聞いたら良いと思います。",
+    "decoded_text": "分からない場合は先生に聞けば、すぐ教えて下さるので早めに聞いたら良いと思います。",
+    "diff": [
+      "replace   text[13:15] --> decoded_text[13:14]     'ば' --> 'ば'",
+      "replace   text[17:19] --> decoded_text[16:17]     'ぐ' --> 'ぐ'",
+      "replace   text[26:28] --> decoded_text[24:25]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "夏休みも学校へ行き、先生に教えていただきました。試験が終わってからは合格しているようにと祈っていました。合格と聞いて、とても嬉しかったです。これからは取得して終わりではなく、取得した資格をさらに活かせれるように勉強していきたいと思います。",
+    "decoded_text": "夏休みも学校へ行き、先生に教えていただきました。試験が終わってからは合格しているようにと祈っていました。合格と聞いて、とても嬉しかったです。これからは取得して終わりではなく、取得した資格をさらに活かせれるように勉強していきたいと思います。",
+    "diff": [
+      "replace   text[18:20] --> decoded_text[18:19]     'だ' --> 'だ'",
+      "replace   text[27:29] --> decoded_text[26:27]     'が' --> 'が'",
+      "replace   text[69:71] --> decoded_text[67:68]     'で' --> 'で'",
+      "replace   text[85:87] --> decoded_text[82:83]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "自分の苦手な問題を1つでも無くし、どの問題が出題されても対応できるように勉強すれば大丈夫です!",
+    "decoded_text": "自分の苦手な問題を1つでも無くし、どの問題が出題されても対応できるように勉強すれば大丈夫です!",
+    "diff": [
+      "replace   text[11:13] --> decoded_text[11:12]     'で' --> 'で'",
+      "replace   text[18:20] --> decoded_text[17:18]     'ど' --> 'ど'",
+      "replace   text[23:25] --> decoded_text[21:22]     'が' --> 'が'",
+      "replace   text[33:35] --> decoded_text[30:31]     'で' --> 'で'",
+      "replace   text[44:46] --> decoded_text[40:41]     'ば' --> 'ば'",
+      "replace   text[49:51] --> decoded_text[44:45]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "私は計算が苦手なので、マンツーマンで先生に教えていただき、頑張りました。資格取得を目標に専門学校に入学したので合格通知が届いたときは本当に嬉しかったです。さらに次の資格取得に向け頑張りたいと思います。",
+    "decoded_text": "私は計算が苦手なので、マンツーマンで先生に教えていただき、頑張りました。資格取得を目標に専門学校に入学したので合格通知が届いたときは本当に嬉しかったです。さらに次の資格取得に向け頑張りたいと思います。",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'が' --> 'が'",
+      "replace   text[10:12] --> decoded_text[9:10]     'で' --> 'で'",
+      "replace   text[19:21] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[29:31] --> decoded_text[26:27]     'だ' --> 'だ'",
+      "replace   text[58:60] --> decoded_text[54:55]     'で' --> 'で'",
+      "replace   text[64:66] --> decoded_text[59:60]     'が' --> 'が'",
+      "replace   text[80:82] --> decoded_text[74:75]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "得意分野より苦手分野を克服することで合格に近づけると思います。最後まで諦めずに頑張ってください。",
+    "decoded_text": "得意分野より苦手分野を克服することで合格に近づけると���います。最後まで諦めずに頑張ってください。",
+    "diff": [
+      "replace   text[17:19] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[23:25] --> decoded_text[22:23]     'づ' --> 'づ'",
+      "replace   text[36:38] --> decoded_text[34:35]     'で' --> 'で'",
+      "replace   text[40:42] --> decoded_text[37:38]     'ず' --> 'ず'",
+      "replace   text[48:50] --> decoded_text[44:45]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "実技が苦手だったので、学校に放課後も残って頑張りました。復習も必ずしました。この資格を仕事で活かせるように頑張りたいと思います。、これからも、まだまだ他の資格にも挑戦して行きます。",
+    "decoded_text": "実技が苦手だったので、学校に放課後も残って頑張りました。復習も必ずしました。この資格を仕事で活かせるように頑張りたいと思います。、これからも、まだまだ他の資格にも挑戦して行きます。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'が' --> 'が'",
+      "replace   text[6:8] --> decoded_text[5:6]     'だ' --> 'だ'",
+      "replace   text[11:13] --> decoded_text[9:10]     'で' --> 'で'",
+      "replace   text[35:37] --> decoded_text[32:33]     'ず' --> 'ず'",
+      "replace   text[49:51] --> decoded_text[45:46]     'で' --> 'で'",
+      "replace   text[77:79] --> decoded_text[72:73]     'だ' --> 'だ'",
+      "replace   text[80:82] --> decoded_text[74:75]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "自分の苦手なことで壁にぶつかっても、諦めずに頑張ってください。後悔だけはしないように、やるからには全力で挑んでください。",
+    "decoded_text": "自分の苦手なことで壁にぶつかっても、諦めずに頑張ってください。後悔だけはしないように、やるからには全力で挑んでください。",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'で' --> 'で'",
+      "replace   text[12:14] --> decoded_text[11:12]     'ぶ' --> 'ぶ'",
+      "replace   text[22:24] --> decoded_text[20:21]     'ず' --> 'ず'",
+      "replace   text[30:32] --> decoded_text[27:28]     'だ' --> 'だ'",
+      "replace   text[37:39] --> decoded_text[33:34]     'だ' --> 'だ'",
+      "replace   text[56:58] --> decoded_text[51:52]     'で' --> 'で'",
+      "replace   text[60:62] --> decoded_text[54:55]     'で' --> 'で'",
+      "replace   text[63:65] --> decoded_text[56:57]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "前回正解率の低かったアルゴリズムや表計算を重点的に復習しました。本番では諦めずに問題を読み続けました。大学編入しても、情報処理技術者試験の勉強は続けていき、次は応用情報技術者試験にもチャレンジしていきたいです。",
+    "decoded_text": "前回正解率の低かったアルゴリズムや表計算を重点的に復習しました。本番では諦めずに問題を読み続けました。大学編入しても、情報処理技術者試験の勉強は続けていき、次は応用情報技術者試験にもチャレンジしていきたいです。",
+    "diff": [
+      "replace   text[12:14] --> decoded_text[12:13]     'ゴ' --> 'ゴ'",
+      "replace   text[15:17] --> decoded_text[14:15]     'ズ' --> 'ズ'",
+      "replace   text[36:38] --> decoded_text[34:35]     'で' --> 'で'",
+      "replace   text[41:43] --> decoded_text[38:39]     'ず' --> 'ず'",
+      "replace   text[99:101] --> decoded_text[95:96]     'ジ' --> 'ジ'",
+      "replace   text[107:109] --> decoded_text[102:103]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "普段の授業をしっかり聞くことと、試験中は諦めない気持ちがあれば大丈夫です。",
+    "decoded_text": "普段の授業をしっかり聞くことと、試験中は諦めない気持ちがあれば大丈夫です。",
+    "diff": [
+      "replace   text[27:29] --> decoded_text[27:28]     'が' --> 'が'",
+      "replace   text[31:33] --> decoded_text[30:31]     'ば' --> 'ば'",
+      "replace   text[36:38] --> decoded_text[34:35]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "この資格が関係する、舞台現場でアルバイトをしていました。結果にはあまり自信がなかったのですが、合格通知が届いた時は何回も見直し、とても嬉しかったて��す。",
+    "decoded_text": "この資格が関係する、舞台現場でアルバイトをしていました。結果にはあまり自信がなかったのですが、合格通知が届いた時は何回も見直し、とても嬉しかったです。",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'が' --> 'が'",
+      "replace   text[15:17] --> decoded_text[14:15]     'で' --> 'で'",
+      "replace   text[19:21] --> decoded_text[17:18]     'バ' --> 'バ'",
+      "replace   text[40:42] --> decoded_text[37:38]     'が' --> 'が'",
+      "replace   text[47:49] --> decoded_text[43:44]     'で' --> 'で'",
+      "replace   text[50:52] --> decoded_text[45:46]     'が' --> 'が'",
+      "replace   text[57:59] --> decoded_text[51:52]     'が' --> 'が'",
+      "replace   text[79:81] --> decoded_text[72:73]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "資格対策授業で分からないところは積極的に質問しました。また復習はかかさずしました。資格を取得したからといって、勉強したことを忘れたら意味がありませんので、資格に恥じないよう に今後も頑張りたいと思います。",
+    "decoded_text": "資格対策授業で分からないところは積極的に質問しました。また復習はかかさずしました。資格を取得したからといって、勉強したことを忘れたら意味がありませんので、資格に恥じないよう に今後も頑張りたいと思います。",
+    "diff": [
+      "replace   text[6:8] --> decoded_text[6:7]     'で' --> 'で'",
+      "replace   text[36:38] --> decoded_text[35:36]     'ず' --> 'ず'",
+      "replace   text[70:72] --> decoded_text[68:69]     'が' --> 'が'",
+      "replace   text[78:80] --> decoded_text[75:76]     'で' --> 'で'",
+      "replace   text[85:87] --> decoded_text[81:82]     'じ' --> 'じ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "試験を想定して取り組みました。同じ試験を受けるクラスメイトに分からない所を聞きました。国家資格なので、持っていて損はないと思います。",
+    "decoded_text": "試験を想定して取り組みました。同じ試験を受けるクラスメイトに分からない所を聞きました。国家資格なので、持っていて損はないと思います。",
+    "diff": [
+      "replace   text[16:18] --> decoded_text[16:17]     'じ' --> 'じ'",
+      "replace   text[50:52] --> decoded_text[49:50]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "何度も、学科、実技、判断（旧要素）の対策をして合格を目指して頑張ってください。",
+    "decoded_text": "何度も、学科、実技、判断（旧要素）の対策をして合格を目指して頑張ってください。",
+    "diff": [
+      "replace   text[35:37] --> decoded_text[35:36]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "自分の力を信じて落ち着いて望んでください。練習が実を結ぶはずです。",
+    "decoded_text": "自分の力を信じて落ち着いて望んでください。練習が実を結ぶはずです。",
+    "diff": [
+      "replace   text[6:8] --> decoded_text[6:7]     'じ' --> 'じ'",
+      "replace   text[16:18] --> decoded_text[15:16]     'で' --> 'で'",
+      "replace   text[19:21] --> decoded_text[17:18]     'だ' --> 'だ'",
+      "replace   text[26:28] --> decoded_text[23:24]     'が' --> 'が'",
+      "replace   text[31:33] --> decoded_text[27:28]     'ぶ' --> 'ぶ'",
+      "replace   text[34:38] --> decoded_text[29:31]   'ずで' --> 'ずで'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "分からない所は、先生に質問して勉強すれば大丈夫です。私は納得するまで解説してくださった先生に感謝しています。",
+    "decoded_text": "分からない所は、先生に質問して勉強すれば大丈夫です。私は納得するまで解説してくださった先生に感謝しています。",
+    "diff": [
+      "replace   text[19:21] --> decoded_text[19:20]     'ば' --> 'ば'",
+      "replace   text[24:26] --> decoded_text[23:24]     'で' --> 'で'",
+      "replace   text[35:37] --> decoded_text[33:34]     'で' --> 'で'",
+      "replace   text[42:44] --> decoded_text[39:40]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "授業で分からない所は先生や友達に聞きました。問題はまず自分で解いて分からない用語は、本やネ��トで調べました。試験には合格しましたが、まだ分からないことが多いので、資格で勉強した知識をもっと深めていきたいです。",
+    "decoded_text": "授業で分からない所は先生や友達に聞きました。問題はまず自分で解いて分からない用語は、本やネットで調べました。試験には合格しましたが、まだ分からないことが多いので、資格で勉強した知識をもっと深めていきたいです。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'で' --> 'で'",
+      "replace   text[27:29] --> decoded_text[26:27]     'ず' --> 'ず'",
+      "replace   text[31:33] --> decoded_text[29:30]     'で' --> 'で'",
+      "replace   text[50:52] --> decoded_text[47:48]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[49:50]     'べ' --> 'べ'",
+      "replace   text[69:71] --> decoded_text[64:65]     'が' --> 'が'",
+      "replace   text[73:75] --> decoded_text[67:68]     'だ' --> 'だ'",
+      "replace   text[82:84] --> decoded_text[75:76]     'が' --> 'が'",
+      "replace   text[87:89] --> decoded_text[79:80]     'で' --> 'で'",
+      "replace   text[92:94] --> decoded_text[83:84]     'で' --> 'で'",
+      "replace   text[111:113] --> decoded_text[101:102]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "私は勉強が苦手でしたが、毎日勉強してAランクを取得できました。諦めないでください。",
+    "decoded_text": "私は勉強が苦手でしたが、毎日勉強してAランクを取得できました。諦めないでください。",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'が' --> 'が'",
+      "replace   text[8:10] --> decoded_text[7:8]     'で' --> 'で'",
+      "replace   text[12:14] --> decoded_text[10:11]     'が' --> 'が'",
+      "replace   text[38:40] --> decoded_text[35:36]     'で' --> 'で'",
+      "replace   text[41:43] --> decoded_text[37:38]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "受かりたい気持ちがあれば、自然と頑張れます! 最後まで諦めずに頑張ってください!",
+    "decoded_text": "受かりたい気持ちがあれば、自然と頑張れます! 最後まで諦めずに頑張ってください!",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'が' --> 'が'",
+      "replace   text[12:14] --> decoded_text[11:12]     'ば' --> 'ば'",
+      "replace   text[28:30] --> decoded_text[26:27]     'で' --> 'で'",
+      "replace   text[32:34] --> decoded_text[29:30]     'ず' --> 'ず'",
+      "replace   text[40:42] --> decoded_text[36:37]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "対策授業を真面目に受けました。分からない所は、先生に質問し自分が納得するまで勉強しました。合格をいただいて、本当に嬉しかったです。",
+    "decoded_text": "対策授業を真面目に受けました。分からない所は、先生に質問し自分が納得するまで勉強しました。合格をいただいて、本当に嬉しかったです。",
+    "diff": [
+      "replace   text[31:33] --> decoded_text[31:32]     'が' --> 'が'",
+      "replace   text[38:40] --> decoded_text[37:38]     'で' --> 'で'",
+      "replace   text[52:54] --> decoded_text[50:51]     'だ' --> 'だ'",
+      "replace   text[65:67] --> decoded_text[62:63]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "授業を真面目に聞いていたら、必ず合格できます! ここには専門の先生がいるので一人一人に丁寧に教えてくれますよ。",
+    "decoded_text": "授業を真面目に聞いていたら、必ず合格できます! ここには専門の先生がいるので一人一人に丁寧に教えてくれますよ。",
+    "diff": [
+      "replace   text[15:17] --> decoded_text[15:16]     'ず' --> 'ず'",
+      "replace   text[19:21] --> decoded_text[18:19]     'で' --> 'で'",
+      "replace   text[35:37] --> decoded_text[33:34]     'が' --> 'が'",
+      "replace   text[40:42] --> decoded_text[37:38]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "弱点を無くすために、間違えたところは、何回も復習をしました。合格して本当に嬉しかったです。この資格を就職でも活かしたいと思います。",
+    "decoded_text": "弱点を無くすために、間違えたところは、何回も復習をしました。合格して本当に嬉しかったです。���の資格を就職でも活かしたいと思います。",
+    "diff": [
+      "replace   text[42:44] --> decoded_text[42:43]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[52:53]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "受かりたい気持ちがあればきっと合格できます! 分からない所は、諦めずに先生に質問して克服してください!",
+    "decoded_text": "受かりたい気持ちがあればきっと合格できます! 分からない所は、諦めずに先生に質問して克服してください!",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'が' --> 'が'",
+      "replace   text[12:14] --> decoded_text[11:12]     'ば' --> 'ば'",
+      "replace   text[19:21] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[36:38] --> decoded_text[33:34]     'ず' --> 'ず'",
+      "replace   text[51:53] --> decoded_text[47:48]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "問題集を何回も解くことが一番大切です。また電車通学なので通学中にも勉強しました。資格を取得できたので、今後の就職活動に役立てたいと思います。また将来の夢のために、この資格を有効に活用したいと思います。",
+    "decoded_text": "問題集を何回も解くことが一番大切です。また電車通学なので通学中にも勉強しました。資格を取得できたので、今後の就職活動に役立てたいと思います。また将来の夢のために、この資格を有効に活用したいと思います。",
+    "diff": [
+      "replace   text[11:13] --> decoded_text[11:12]     'が' --> 'が'",
+      "replace   text[17:19] --> decoded_text[16:17]     'で' --> 'で'",
+      "replace   text[29:31] --> decoded_text[27:28]     'で' --> 'で'",
+      "replace   text[48:50] --> decoded_text[45:46]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[49:50]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "授業で手厚い資格対策をしてくださったので、それを元に復習しました。資格を取得することも、もちろんですが、その資格で勉強した事をきちんと身につけ、今後に役立てていきたいです。",
+    "decoded_text": "授業で手厚い資格対策をしてくださったので、それを元に復習しました。資格を取得することも、もちろんですが、その資格で勉強した事をきちんと身につけ、今後に役立てていきたいです。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'で' --> 'で'",
+      "replace   text[15:17] --> decoded_text[14:15]     'だ' --> 'だ'",
+      "replace   text[21:23] --> decoded_text[19:20]     'で' --> 'で'",
+      "replace   text[51:53] --> decoded_text[48:49]     'で' --> 'で'",
+      "replace   text[54:56] --> decoded_text[50:51]     'が' --> 'が'",
+      "replace   text[61:63] --> decoded_text[56:57]     'で' --> 'で'",
+      "replace   text[89:91] --> decoded_text[83:84]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "自分が勉強をした分だけ結果はついてきます。自分の夢を後押ししてくれる資格は絶対持ってるべきです。自分の夢の為に頑張りましょう。",
+    "decoded_text": "自分が勉強をした分だけ結果はついてきます。自分の夢を後押ししてくれる資格は絶対持ってるべきです。自分の夢の為に頑張りましょう。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'が' --> 'が'",
+      "replace   text[10:12] --> decoded_text[9:10]     'だ' --> 'だ'",
+      "replace   text[45:47] --> decoded_text[43:44]     'べ' --> 'べ'",
+      "replace   text[48:50] --> decoded_text[45:46]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "対策授業には積極的に参加し、真面目に勉強しました。将来の事を考えたとき、この資格は絶対取得すべきだと思い、受験しました。資格試験の勉強は、自分にプラスになったと思います。",
+    "decoded_text": "対策授業には積極的に参加し、真面目に勉強しました。将来の事を考えたとき、この資格は絶対取得すべきだと思い、受験しました。資格試験の勉強は、自分にプラスになったと思います。",
+    "diff": [
+      "replace   text[46:48] --> decoded_text[46:47]     'べ' --> 'べ'",
+      "replace   text[49:51] --> decoded_text[48:49]     'だ' --> 'だ'",
+      "replace   text[74:76] --> decoded_text[72:73]     'プ' --> 'プ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "対策用の教科書を繰り返し解いて覚えました。合格をいただいて本当に嬉しかったです。頑張った結果だったので自分に自信がつきました。",
+    "decoded_text": "対策用の教科書を繰り返し解いて覚えました。合格をいただいて本当に嬉しかったです。頑張った結果だったので自分に自信がつきました。",
+    "diff": [
+      "replace   text[26:28] --> decoded_text[26:27]     'だ' --> 'だ'",
+      "replace   text[38:40] --> decoded_text[37:38]     'で' --> 'で'",
+      "replace   text[48:50] --> decoded_text[46:47]     'だ' --> 'だ'",
+      "replace   text[53:55] --> decoded_text[50:51]     'で' --> 'で'",
+      "replace   text[60:62] --> decoded_text[56:57]     'が' --> 'が'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "この試験に限らず、どの資格を勉強するにもまず、繰り返し問題を解いて覚えることが大事です。そうする事で問題にも慣れ解けるようになります。",
+    "decoded_text": "この試験に限らず、どの資格を勉強するにもまず、繰り返し問題を解いて覚えることが大事です。そうする事で問題にも慣れ解けるようになります。",
+    "diff": [
+      "replace   text[9:11] --> decoded_text[9:10]     'ど' --> 'ど'",
+      "replace   text[22:24] --> decoded_text[21:22]     'ず' --> 'ず'",
+      "replace   text[40:42] --> decoded_text[38:39]     'が' --> 'が'",
+      "replace   text[44:46] --> decoded_text[41:42]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[49:50]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "練習で間違えた問題は2回、3回と繰り返し解きました。やっぱり一番の目的は就職です。就職する際に資格を持っていると有利になるので、合格して本当に良かったです。",
+    "decoded_text": "練習で間違えた問題は2回、3回と繰り返し解きました。やっぱり一番の目的は就職です。就職する際に資格を持っていると有利になるので、合格して本当に良かったです。",
+    "diff": [
+      "replace   text[28:30] --> decoded_text[28:29]     'ぱ' --> 'ぱ'",
+      "replace   text[39:41] --> decoded_text[38:39]     'で' --> 'で'",
+      "replace   text[64:66] --> decoded_text[62:63]     'で' --> 'で'",
+      "replace   text[78:80] --> decoded_text[75:76]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "やはり資格がないと就職は難しいと思います。取得できるかどうか不安はあると思いますが、絶対受かっているという意思を持って頑張ってください。また、対策授業には積極的に参加してください。",
+    "decoded_text": "やはり資格がないと就職は難しいと思います。取得できるかどうか不安はあると思いますが、絶対受かっているという意思を持って頑張ってください。また、対策授業には積極的に参加してください。",
+    "diff": [
+      "replace   text[5:7] --> decoded_text[5:6]     'が' --> 'が'",
+      "replace   text[24:26] --> decoded_text[23:24]     'で' --> 'で'",
+      "replace   text[29:31] --> decoded_text[27:28]     'ど' --> 'ど'",
+      "replace   text[67:69] --> decoded_text[64:65]     'だ' --> 'だ'",
+      "replace   text[90:92] --> decoded_text[86:87]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "試験範囲は広いですが、出題は同じようなパターンが多いので、繰り返し過去問を解いていれば合格できますよ。",
+    "decoded_text": "試験範囲は広いですが、出題は同じようなパターンが多いので、繰り返し過去問を解いていれば合格できますよ。",
+    "diff": [
+      "replace   text[7:9] --> decoded_text[7:8]     'で' --> 'で'",
+      "replace   text[10:12] --> decoded_text[9:10]     'が' --> 'が'",
+      "replace   text[44:46] --> decoded_text[42:43]     'ば' --> 'ば'",
+      "replace   text[48:50] --> decoded_text[45:46]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "通学時の電車の中でひたすら参考書を読み解き、最後の最後まで一生懸命取り組みました。また今までの授業をしっかり聞いていたので、分からないところも��く、無事合格できました。",
+    "decoded_text": "通学時の電車の中でひたすら参考書を読み解き、最後の最後まで一生懸命取り組みました。また今までの授業をしっかり聞いていたので、分からないところも無く、無事合格できました。",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'で' --> 'で'",
+      "replace   text[29:31] --> decoded_text[28:29]     'で' --> 'で'",
+      "replace   text[47:49] --> decoded_text[45:46]     'で' --> 'で'",
+      "replace   text[63:65] --> decoded_text[60:61]     'で' --> 'で'",
+      "replace   text[82:84] --> decoded_text[78:79]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "数多くの資格に挑戦し、合格した時の達成感を自分で感じ取ってもらえればと思います。",
+    "decoded_text": "数多くの資格に挑戦し、合格した時の達成感を自分で感じ取ってもらえればと思います。",
+    "diff": [
+      "replace   text[23:25] --> decoded_text[23:24]     'で' --> 'で'",
+      "replace   text[26:28] --> decoded_text[25:26]     'じ' --> 'じ'",
+      "replace   text[35:37] --> decoded_text[33:34]     'ば' --> 'ば'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "学校の授業だけではなく、家でもプリントや過去問を何度も解いて勉強しました。資格を取ったらそこで終わりではなく、就職してからも役に立つ知識を身につける事ができたので、今後も活かしていこうと思います。",
+    "decoded_text": "学校の授業だけではなく、家でもプリントや過去問を何度も解いて勉強しました。資格を取ったらそこで終わりではなく、就職してからも役に立つ知識を身につける事ができたので、今後も活かしていこうと思います。",
+    "diff": [
+      "replace   text[5:7] --> decoded_text[5:6]     'だ' --> 'だ'",
+      "replace   text[8:10] --> decoded_text[7:8]     'で' --> 'で'",
+      "replace   text[15:17] --> decoded_text[13:14]     'で' --> 'で'",
+      "replace   text[18:20] --> decoded_text[15:16]     'プ' --> 'プ'",
+      "replace   text[50:52] --> decoded_text[46:47]     'で' --> 'で'",
+      "replace   text[55:57] --> decoded_text[50:51]     'で' --> 'で'",
+      "replace   text[81:85] --> decoded_text[75:77]   'がで' --> 'がで'",
+      "replace   text[88:90] --> decoded_text[80:81]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "頑張ったら合格できるので機会があれば、ぜひ資格はとっておくべきだと思います。",
+    "decoded_text": "頑張ったら合格できるので機会があれば、ぜひ資格はとっておくべきだと思います。",
+    "diff": [
+      "replace   text[7:9] --> decoded_text[7:8]     'で' --> 'で'",
+      "replace   text[12:14] --> decoded_text[11:12]     'で' --> 'で'",
+      "replace   text[16:18] --> decoded_text[14:15]     'が' --> 'が'",
+      "replace   text[20:22] --> decoded_text[17:18]     'ば' --> 'ば'",
+      "replace   text[23:25] --> decoded_text[19:20]     'ぜ' --> 'ぜ'",
+      "replace   text[34:36] --> decoded_text[29:30]     'べ' --> 'べ'",
+      "replace   text[37:39] --> decoded_text[31:32]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "この資格は音響関係の仕事で、どこに行っても活かしていけるので取得しました。 過去問は大事です。たくさんの過去問を解き、数式も出てくるので暗記だけではなく、公式も覚えるようにしました。",
+    "decoded_text": "この資格は音響関係の仕事で、どこに行っても活かしていけるので取得しました。 過去問は大事です。たくさんの過去問を解き、数式も出てくるので暗記だけではなく、公式も覚えるようにしました。",
+    "diff": [
+      "replace   text[12:14] --> decoded_text[12:13]     'で' --> 'で'",
+      "replace   text[15:17] --> decoded_text[14:15]     'ど' --> 'ど'",
+      "replace   text[31:33] --> decoded_text[29:30]     'で' --> 'で'",
+      "replace   text[47:49] --> decoded_text[44:45]     'で' --> 'で'",
+      "replace   text[71:73] --> decoded_text[67:68]     'で' --> 'で'",
+      "replace   text[75:77] --> decoded_text[70:71]     'だ' --> 'だ'",
+      "replace   text[78:80] --> decoded_text[72:73]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "資格を取りたいという気持ちがあれば��丈夫です。頑張ってください。",
+    "decoded_text": "資格を取りたいという気持ちがあれば大丈夫です。頑張ってください。",
+    "diff": [
+      "replace   text[13:15] --> decoded_text[13:14]     'が' --> 'が'",
+      "replace   text[17:19] --> decoded_text[16:17]     'ば' --> 'ば'",
+      "replace   text[22:24] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[31:33] --> decoded_text[28:29]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/deepseek-ai.DeepSeek-R1-Distill-Qwen-1.5B @ cc100.ko.diff.json

@@ -0,0 +1,216 @@
+[
+  {
+    "text": "낙천적(樂天的) : 세상과 인생을 즐겁고 좋은 것으로 여기는. 또는 그런 것. 인생을 즐길 줄 안다는 건 정말 행복한 일 아닐까요? 심리적으로 자신감과 낙천적인 태도를 갖게 하며, 새로운 아이디어를 얻도록 도움을 주는 노란색의 예쁜벽을 오디오로 채우신 고객님댁을 소개드립니다. ..more",
+    "decoded_text": "낙천적(樂天的) : 세상과 인생을 즐겁고 좋은 것으로 여기는. 또는 그런 것. 인생을 즐길 줄 안다는 건 정말 행복한 일 아닐까요? 심리적으로 자신감과 낙천적인 태도를 갖게 하며, 새로운 아이디어를 얻도록 도움을 주는 노란색의 예쁜벽을 오디오로 채우신 고객님댁을 소개드립니다. ..more",
+    "diff": [
+      "replace   text[4:5] --> decoded_text[4:5]      '樂' --> '樂'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.006211180124223602,
+    "oov_charset": "[\"樂\"]"
+  },
+  {
+    "text": "명 태조는 포의(布衣)에서 몸을 일으켜 천하를 평정하였다. 천하 평정뒤에는 관리 등용시험에 경의(敬意)를 주로 하였으므로 문교(文敎)가 융성하게 되어 많은 학자를 배출시켰다. 그러나 당시의 학자는 대개 정주학(程朱學)을 신봉한 사람들 뿐이라 명대(明代)의 특색이 아직 나타나고 있지 않다. 그러므로 영락(永樂) 12년 호(胡)에게 명하여 「사서대전」,「오경대전」 을 찬술케 하였을때 어느 경(經)이나 모두 주자의 주(主)에 기본을 두고 있다. 이것에 의해서만도 명초(明初)의 학문이 주자학을 그대로 계승하였을뿐 독창성이 없었다는 것을 상상할 수 있다. 본론에서는 오강재(吳康齋) 사상에 대해 논하고 순수한 주자학자의 설선에 대한 내용을 먼저 언급한 뒤에 다시 오강재의 문인인 호거인(胡居仁), 진헌장(陳獻章), 누량(累諒)에 대해 알아보고자 한다.",
+    "decoded_text": "명 태조는 포의(布衣)에서 몸을 일으켜 천하를 평정하였다. 천하 평정뒤에는 관리 등용시험에 경의(敬意)를 주로 하였으므로 문교(文敎)가 융성하게 되어 많은 학자를 배출시켰다. 그러나 당시의 학자는 대개 정주학(程朱學)을 신봉한 사람들 뿐이라 명대(明代)의 특색이 아직 나타나고 있지 않다. 그러므로 영락(永樂) 12년 호(胡)에게 명하여 「사서대전」,「오경대전」 을 찬술케 하였을때 어느 경(經)이나 모두 주자의 주(主)에 기본을 두고 있다. 이것에 의해서만도 명초(明初)의 학문이 주자학을 그대로 계승하였을뿐 독창성이 없었다는 것을 상상할 수 있다. 본론에서는 오강재(吳康齋) 사상에 대해 논하고 순수한 주자학자의 설선에 대한 내용을 먼저 언급한 뒤에 다시 오강재의 문인인 호거인(胡居仁), 진헌장(陳獻章), 누량(累諒)에 대해 알아보고자 한다.",
+    "diff": [
+      "replace   text[171:172] --> decoded_text[171:172]      '樂' --> '樂'",
+      "replace   text[401:402] --> decoded_text[401:402]      '累' --> '累'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.004784688995215311,
+    "oov_charset": "[\"樂\", \"累\"]"
+  },
+  {
+    "text": "역할을 수행해갔는지를 살펴보도록 하겠다. 1. 양명학 이전의 주자학 ... 과 육학(陸學) 1) 송대 주자학의 성립 데니스 트위쳇이『케임브리지 중국사 ... 독재적인 명 초기의 황제들{ 특히 홍무제의 경우 주자학을 체제교학으로",
+    "decoded_text": "역할을 수행해갔는지를 살펴보도록 하겠다. 1. 양명학 이전의 주자학 ... 과 육학(陸學) 1) 송대 주자학의 성립 데니스 트위쳇이『케임브리지 중국사 ... 독재적인 명 초기의 황제들{ 특히 홍무제의 경우 주자학을 체제교학으로",
+    "diff": [
+      "replace   text[47:48] --> decoded_text[47:48]      '陸' --> '陸'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007936507936507936,
+    "oov_charset": "[\"陸\"]"
+  },
+  {
+    "text": "확고한 지반을 굳혔다. 주자학이 명대에 와서 국가의 지도이념으로 확립되어 ... 양명학의 성립과 전개 1. 서론 朱子學(주자학)이 宋代(송대)의 학술 ... 기점으로 知行合一說(지행합일설), 致良知說(치양지설)을 속속 제출하여 주자학",
+    "decoded_text": "확고한 지반을 굳혔다. 주자학이 명대에 와서 국가의 지도이념으로 확립되어 ... 양명학의 성립과 전개 1. 서론 朱子學(주자학)이 宋代(송대)의 학술 ... 기점으로 知行合一說(지행합일설), 致良知說(치양지설)을 속속 제출하여 주자학",
+    "diff": [
+      "replace   text[108:109] --> decoded_text[108:109]      '良' --> '良'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007692307692307693,
+    "oov_charset": "[\"良\"]"
+  },
+  {
+    "text": "▷주자:이(理)�� 만물의 근원이 되는 이치이자, 기(氣)의 활동 근거인 반면 기(氣)는 만물을 구성하는 재료로서 사물을 낳는 도구이다",
+    "decoded_text": "▷주자:이(理)란 만물의 근원이 되는 이치이자, 기(氣)의 활동 근거인 반면 기(氣)는 만물을 구성하는 재료로서 사물을 낳는 도구이다",
+    "diff": [
+      "replace   text[6:7] --> decoded_text[6:7]      '理' --> '理'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.013513513513513514,
+    "oov_charset": "[\"理\"]"
+  },
+  {
+    "text": "예술이라는 한자(漢字)에서 ‘예(藝)’에는 본디 ‘심는다(種 ·樹)’는 뜻이 있으며, 따라서 그것은‘기능(機能)’‘기술(技術)’을 의미하며 고대 동양에서 사대부가 필수적으로 갖추어야 했다. 육예(六藝:禮 ·樂 ·射 ·御 ·書 ·數)에서의 ‘예’는 인간적 결실을 얻기 위해 필요한 기초 교양의 씨를 뿌리고 인격의 꽃을 피우는 수단으로 여겼던 만큼 거기에는 인격도야의 의의도 있다고 하겠다.",
+    "decoded_text": "예술이라는 한자(漢字)에서 ‘예(藝)’에는 본디 ‘심는다(種 ·樹)’는 뜻이 있으며, 따라서 그것은‘기능(機能)’‘기술(技術)’을 의미하며 고대 동양에서 사대부가 필수적으로 갖추어야 했다. 육예(六藝:禮 ·樂 ·射 ·御 ·書 ·數)에서의 ‘예’는 인간적 결실을 얻기 위해 필요한 기초 교양의 씨를 뿌리고 인격의 꽃을 피우는 수단으로 여겼던 만큼 거기에는 인격도야의 의의도 있다고 하겠다.",
+    "diff": [
+      "replace   text[115:116] --> decoded_text[115:116]      '樂' --> '樂'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.004629629629629629,
+    "oov_charset": "[\"樂\"]"
+  },
+  {
+    "text": "입지(立志)를 강조해 자경문, 성학집요, 격몽요결, 학교모범에서 항상 ... 이루어진다. 순언은 율곡이 도덕경 81장 중에서 유교 경전의 내용과 일치하며 ... 사상가 연구 - 율곡 이이 수강 과목 : 담당 교수 : 교수님 제출",
+    "decoded_text": "입지(立志)를 강조해 자경문, 성학집요, 격몽요결, 학교모범에서 항상 ... 이루어진다. 순언은 율곡이 도덕경 81장 중에서 유교 경전의 내용과 일치하며 ... 사상가 연구 - 율곡 이이 수강 과목 : 담당 교수 : 교수님 제출",
+    "diff": [
+      "replace   text[3:4] --> decoded_text[3:4]      '立' --> '立'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007874015748031496,
+    "oov_charset": "[\"立\"]"
+  },
+  {
+    "text": "Ⅰ. 김용과 중국 무협문학 1. 작가 소개 김용(金用)은 1924년 ... 것이다. 그러므로 무협소설 작가 김용(金用)은 언론인이자 정치가인 차량융의 ... 출간하기 시작하였다. 이렇게 보면 무협소설 작가인 김용(金用)은 언론인",
+    "decoded_text": "Ⅰ. 김용과 중국 무협문학 1. 작가 소개 김용(金用)은 1924년 ... 것이다. 그러므로 무협소설 작가 김용(金用)은 언론인이자 정치가인 차량융의 ... 출간하기 시작하였다. 이렇게 보면 무협소설 작가인 김용(金用)은 언론인",
+    "diff": [
+      "replace   text[27:28] --> decoded_text[27:28]      '金' --> '金'",
+      "replace   text[63:64] --> decoded_text[63:64]      '金' --> '金'",
+      "replace   text[119:120] --> decoded_text[119:120]      '金' --> '金'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.023622047244094488,
+    "oov_charset": "[\"金\"]"
+  },
+  {
+    "text": "3 이 때 상제님께서 미처 말씀을 마치지 아니하셨는데 면장 양 모(梁某)와 이장이 세금을 받으러 오거늘",
+    "decoded_text": "3 이 때 상제님께서 미처 말씀을 마치지 아니하셨는데 면장 양 모(梁某)와 이장이 세금을 받으러 오거늘",
+    "diff": [
+      "replace   text[37:38] --> decoded_text[37:38]      '梁' --> '梁'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.017543859649122806,
+    "oov_charset": "[\"梁\"]"
+  },
+  {
+    "text": "2 26일 새벽이 되자 백낙두(白樂斗)를 비롯하여 무장한 순검 수십 명이 공신의 집을 에워싸고 형렬과 자현 등 여러 사람을 결박한 뒤에 상제님의 처소를 묻거늘",
+    "decoded_text": "2 26일 새벽이 되자 백낙두(白樂斗)를 비롯하여 무장한 순검 수십 명이 공신의 집을 에워싸고 형렬과 자현 등 여러 사람을 결박한 뒤에 상제님의 처소를 묻거늘",
+    "diff": [
+      "replace   text[18:19] --> decoded_text[18:19]      '樂' --> '樂'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.011363636363636364,
+    "oov_charset": "[\"樂\"]"
+  },
+  {
+    "text": "상제님이 진주공사에서 원래는 33명에게 새 세상 일꾼 기운을 붙여서 공사를 보시려고 했는데 12명이 변심을 해서 그 자리에서 빼 버렸다. 그래서 신경수 성도 집과 문공신 성도 집에 있던 21명의 성도들이 잡혀서 왔다. 지금 여기 다내(月乃)가 상제님이 수명소 공사 주인 신경수 성도 집에서 일본 경찰들한테 체포돼서 고부경찰서까지 잡혀 가는 40리 길의 딱 중간이야. 상제님이 오신 길이 그러면 어디냐? 정토칠봉의 끝자리 수금리水金里에서 배를 타고 정읍천을 건너서 이쪽 용두龍頭마을 방향으로 오신 거다. 여기 삼거리에 주막이 있었다. 여기서 상제님이 21명의 성도들과 순검들에게 “너희도 배가 고플 테니까 가져온 음식과 고기를 여기서 배불리 먹고 가자.” 하셨다. 그래서 상제님이 여기서 술 한 잔을 드시고 나서 갑자기 일어나셔서 외치셨다.",
+    "decoded_text": "상제님이 진주공사에서 원래는 33명에게 새 세상 일꾼 기운을 붙여서 공사를 보시려고 했는데 12명이 변심을 해서 그 자리에서 빼 버렸다. 그래서 신경수 성도 집과 문공신 성도 집에 있던 21명의 성도들이 잡혀서 왔다. 지금 여기 다내(月乃)가 상제님이 수명소 공사 주인 신경수 성도 집에서 일본 경찰들한테 체포돼서 고부경찰서까지 잡혀 가는 40리 길의 딱 중간이야. 상제님이 오신 길이 그러면 어디냐? 정토칠봉의 끝자리 수금리水金里에서 배를 타고 정읍천을 건너서 이쪽 용두龍頭마을 방향으로 오신 거다. 여기 삼거리에 주막이 있었다. 여기서 상제님이 21명의 성도들과 순검들에게 “너희도 배가 고플 테니까 가져온 음식과 고기를 여기서 배불리 먹고 가자.” 하셨다. 그래서 상제님이 여기서 술 한 잔을 드시고 나서 갑자기 일어나셔서 외치셨다.",
+    "diff": [
+      "replace   text[239:240] --> decoded_text[239:240]      '金' --> '金'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.002421307506053269,
+    "oov_charset": "[\"金\"]"
+  },
+  {
+    "text": "이광수의 조혼을 다룬 희곡 <규한>보다는 진일보를 보인 작품. 3)金祐鎭 ... ) 그러나, 희곡이 무대상연을 전제로 하는 문학이라면, <不孝天罰 ... 의미로서의 창작 희곡은 아님. -대부분의 작품이 일본 신파 연극을 번역",
+    "decoded_text": "이광수의 조혼을 다룬 희곡 <규한>보다는 진일보를 보인 작품. 3)金祐鎭 ... ) 그러나, 희곡이 무대상연을 전제로 하는 문학이라면, <不孝天罰 ... 의미로서의 창작 희곡은 아님. -대부분의 작품이 일본 신파 연극을 번역",
+    "diff": [
+      "replace   text[77:78] --> decoded_text[77:78]      '不' --> '不'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.008,
+    "oov_charset": "[\"不\"]"
+  },
+  {
+    "text": "{{ 중국의 고리대금업 { 중국(中國)의 고리대금업(高利貸金業) 차 ... 아니라, 국가에서 대출을 해주는 시스템도 존재하지 않았다. 고리대금업은 전통 ... 례 서론 본론 상인(商人)의 유래 대금업의 탄생 - 위진남북조 시대의",
+    "decoded_text": "{{ 중국의 고리대금업 { 중국(中國)의 고리대금업(高利貸金業) 차 ... 아니라, 국가에서 대출을 해주는 시스템도 존재하지 않았다. 고리대금업은 전통 ... 례 서론 본론 상인(商人)의 유래 대금업의 탄생 - 위진남북조 시대의",
+    "diff": [
+      "replace   text[32:33] --> decoded_text[32:33]      '金' --> '金'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007874015748031496,
+    "oov_charset": "[\"金\"]"
+  },
+  {
+    "text": "..PAGE:1 종교 속의 성차별 ..PAGE:2 목 차 카톨릭 속의 ... 성차별 토론 ..PAGE:3 대부분 종교가 사제직 '여성 不可' 한국천주교 ... 대한 부정적 시각 ..PAGE:4 카톨릭 속의 성차별 사제는 남성이어야",
+    "decoded_text": "..PAGE:1 종교 속의 성차별 ..PAGE:2 목 차 카톨릭 속의 ... 성차별 토론 ..PAGE:3 대부분 종교가 사제직 '여성 不可' 한국천주교 ... 대한 부정적 시각 ..PAGE:4 카톨릭 속의 성차별 사제는 남성이어야",
+    "diff": [
+      "replace   text[75:76] --> decoded_text[75:76]      '不' --> '不'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0078125,
+    "oov_charset": "[\"不\"]"
+  },
+  {
+    "text": "不壞)의 몸이기 때문이다. 거기에 음독금련사는 더 했다. 그의 입에서 나오는 액은 모든 것을 녹아버리",
+    "decoded_text": "不壞)의 몸이기 때문이다. 거기에 음독금련사는 더 했다. 그의 입에서 나오는 액은 모든 것을 녹아버리",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      '不' --> '不'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.017857142857142856,
+    "oov_charset": "[\"不\"]"
+  },
+  {
+    "text": "백리무극 옆에 서 있는 인물은 바로 그의 첫제자 용구찬(龍九燦)이 서 있었다. 그는 천황의 지시하는 일",
+    "decoded_text": "백리무극 옆에 서 있는 인물은 바로 그의 첫제자 용구찬(龍九燦)이 서 있���다. 그는 천황의 지시하는 일",
+    "diff": [
+      "replace   text[31:32] --> decoded_text[31:32]      '龍' --> '龍'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.017543859649122806,
+    "oov_charset": "[\"龍\"]"
+  },
+  {
+    "text": "면 정액이 고갈(枯渴)되어 죽고 말았지만 지금 북리천과 유나영은 용(龍)의 내단을 먹어 삼일까지 이렇",
+    "decoded_text": "면 정액이 고갈(枯渴)되어 죽고 말았지만 지금 북리천과 유나영은 용(龍)의 내단을 먹어 삼일까지 이렇",
+    "diff": [
+      "replace   text[38:39] --> decoded_text[38:39]      '龍' --> '龍'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.017857142857142856,
+    "oov_charset": "[\"龍\"]"
+  },
+  {
+    "text": "라 영약(靈藥)뿐이였다.",
+    "decoded_text": "라 영약(靈藥)뿐이였다.",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6]      '靈' --> '靈'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.07692307692307693,
+    "oov_charset": "[\"靈\"]"
+  },
+  {
+    "text": "5 '선릉역 사건' 가해女, 피해女 만남 전 흉기 챙긴 이유는? 친구 데려온다는 말에",
+    "decoded_text": "5 '선릉역 사건' 가해女, 피해女 만남 전 흉기 챙긴 이유는? 친구 데려온다는 말에",
+    "diff": [
+      "replace   text[13:14] --> decoded_text[13:14]      '女' --> '女'",
+      "replace   text[18:19] --> decoded_text[18:19]      '女' --> '女'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.0425531914893617,
+    "oov_charset": "[\"女\"]"
+  },
+  {
+    "text": "알프레드 노스 화이트헤드(Alfred North Whitehead)는 20세기의 대표적인 철학자 가운데 한 사람이다. 영국 케임브리지의 트리니티 칼리지에서 수학을 전공하였고, 그 후에 동 대학의 특별연구원(Fellow)과 수석 강사(1885~1911), 런던대학의 임페리얼 칼리지 응용수학교수(1914~1924), 그리고 미국 하버드대학 철학교수(1924~1937)를 역임했다. 수학자였지만 고전에도 정통했으며, 새로운 물리학의 의미를 정확히 인식하고 있었을 뿐만 아니라 전통적인 철학을 오랫동안 깊이 연구해 왔다. 수제자 버트런드 러셀과의 공저 『수학 원리』(전 3권, 1910~1913)와 같은 수리논리학 분야에서 획기적인 업적을 남긴 수학자, 논리학자로서도 높이 평가된다. 또 한편으로는 특히 아인슈타인의 상대성 원리 등 현대 자연과학의 발전을 계기로, 현대 과학설을 철학에 도입시켜 철학 사상사에 새로운 국면을 전개한 과학철학자 그리고 “유기체 철학”(philosophy of organism)의 철학자로서도 높이 평가된다. 화이트헤드는 신중한 사람이었다. “진리를 그 가장 깊은 뿌리에서 부터 탐구”(본문 제2장 중에서) 하는 작업을 평생 멈추지 않았던 사상가였으며, 오랫동안 수학의 전문가였다. 그의 최초의 철학적 저작인 『과학과 근대세계』(1925)는 그가 63세 때, 대표작 『과정과 실재』(1929)는 68세 때에, 그로부터 4년 후에는 『관념의 모험』(1933)이 출간되었다. 그 당시 사람들은 사멸된 것으로 알았던 형이상학이 우주에 관한 상상적 사유라는 형태로 당당하게 부활하는 데 놀랐다. 그의 형이상학 체계는 사물의 유동(流動)을 둘러싸고 전개되는 체계라는 형태의 우주론으로서, 어디까지나 개방된 체계였다. 형이상학을 싫어했던 존 듀이도 화이트헤드의 “유기체 철학”에 대하여 “철학에의 혁명적 공헌” 이라는 찬사를 보냈으며, 영국의 시인이자 문학평론가·철학자였던 허버트 리드는 화이트헤드를 “20세기의 데카르트”라 평하기도 했다. 현대 프랑스의 포스트모더니즘 철학의 기수로 불리는 질 들뢰즈 같은 이는 화이트헤드를 가리켜 “영미권의 마지막 위대한 철학자”로 평하였다. 지은 책으로는 『화이트헤드의 수학이란 무엇인가』『교육의 목적』『화이트헤드와의 대화』등이 있다.",
+    "decoded_text": "알프레드 노스 화이트헤드(Alfred North Whitehead)는 20세기의 대표적인 철학자 가운데 한 사람이다. 영국 케임브리지의 트리니티 칼리지에서 수학을 전공하였고, 그 후에 동 대학의 특별연구원(Fellow)과 수석 강사(1885~1911), 런던대학의 임페리얼 칼리지 응용수학교수(1914~1924), 그리고 미국 하버드대학 철학교수(1924~1937)를 역임했다. 수학자였지만 고전에도 정통했으며, 새로운 물리학의 의미를 정확히 인식하고 있었을 뿐만 아니라 전통적인 철학을 오랫동안 깊이 연구해 왔다. 수제자 버트런드 러셀과의 공저 『수학 원리』(전 3권, 1910~1913)와 같은 수리논리학 분야에서 획기적인 업적을 남긴 수학자, 논리학자로서도 높이 평가된다. 또 한편으로는 특히 아인슈타인의 상���성 원리 등 현대 자연과학의 발전을 계기로, 현대 과학설을 철학에 도입시켜 철학 사상사에 새로운 국면을 전개한 과학철학자 그리고 “유기체 철학”(philosophy of organism)의 철학자로서도 높이 평가된다. 화이트헤드는 신중한 사람이었다. “진리를 그 가장 깊은 뿌리에서 부터 탐구”(본문 제2장 중에서) 하는 작업을 평생 멈추지 않았던 사상가였으며, 오랫동안 수학의 전문가였다. 그의 최초의 철학적 저작인 『과학과 근대세계』(1925)는 그가 63세 때, 대표작 『과정과 실재』(1929)는 68세 때에, 그로부터 4년 후에는 『관념의 모험』(1933)이 출간되었다. 그 당시 사람들은 사멸된 것으로 알았던 형이상학이 우주에 관한 상상적 사유라는 형태로 당당하게 부활하는 데 놀랐다. 그의 형이상학 체계는 사물의 유동(流動)을 둘러싸고 전개되는 체계라는 형태의 우주론으로서, 어디까지나 개방된 체계였다. 형이상학을 싫어했던 존 듀이도 화이트헤드의 “유기체 철학”에 대하여 “철학에의 혁명적 공헌” 이라는 찬사를 보냈으며, 영국의 시인이자 문학평론가·철학자였던 허버트 리드는 화이트헤드를 “20세기의 데카르트”라 평하기도 했다. 현대 프랑스의 포스트모더니즘 철학의 기수로 불리는 질 들뢰즈 같은 이는 화이트헤드를 가리켜 “영미권의 마지막 위대한 철학자”로 평하였다. 지은 책으로는 『화이트헤드의 수학이란 무엇인가』『교육의 목적』『화이트헤드와의 대화』등이 있다.",
+    "diff": [
+      "replace   text[809:810] --> decoded_text[809:810]      '流' --> '流'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0009000900090009,
+    "oov_charset": "[\"流\"]"
+  },
+  {
+    "text": "<부가설명> 오늘 청지기의 표지(標識, 표식은 잘못된 읽기이다.) 열거한, 신실함, 신뢰할 만하다는 말은 전부 헬라어 ‘피스티스, 피스토스, 피스튜오’에서 나온 말이다. 깨끗한 양심과 순종만이 다른 단어이다. 청지기는 믿을 수 있는 인격이어야 한다는 말이다. 그런 사람은 깨끗한 양심으로 하나님의 말씀을 수행하는 지체들이 된다는 것을 나타낸다. 순종이라는 단어는 ‘휘포쿠오’ ‘휘포탓소’등인데 ‘휘포’라는 말은 ‘…아래’라는 뜻이다. 순종은 누군가가 순종하는 사람 위에 있다는 것을 나타낸다. 위에서 시키는 사람의 말을 듣는 것이 ‘휘포쿠오’이고 위에서 시키는 대로 정돈하는 것이 ‘휘포탓소’이다. 청지기는 위에 주인이 계신다. 주인이 시키는 말을 잘 듣고 시키는 말대로 하는 것이고, 시킨 대로 정돈하는 것이다. 그리스도인 청지기는 예수께서 주인이시기 때문에 예수님의 말씀을 잘 듣고 그대로 수행해야 하고 그대로 정리해야 한다. 그렇게 할 때 주인의 신임을 얻고 하늘나라를 상속받게 된다. 하나님이 주신 것을 하나님의 뜻대로 관리하지 못할 것을 아시면 하나님께서 관리할 것을 맡기겠는가?",
+    "decoded_text": "<부가설명> 오늘 청지기의 표지(標識, 표식은 잘못된 읽기이다.) 열거한, 신실함, 신뢰할 만하다는 말은 전부 헬라어 ‘피스티스, 피스토스, 피스튜오’에서 나온 말이다. 깨끗한 양심과 순종만이 다른 단어이다. 청지기는 믿을 수 있는 인격이어야 한다는 말이다. 그런 사람은 깨끗한 양심으로 하나님의 말씀을 수행하는 지체들이 된다는 것을 나타낸다. 순종이라는 단어는 ‘휘포쿠오’ ‘휘포탓소’등인데 ‘휘포’라는 말은 ‘…아래’라는 뜻이다. 순종은 누군가가 순종하는 사람 위에 있다는 것을 나타낸다. 위에서 시키는 사람의 말을 듣는 것이 ‘휘포쿠오’이고 위에서 시키는 대로 정돈하는 것이 ‘휘포탓소’이다. 청지기는 위에 주인이 계신다. 주인이 시키는 말을 잘 듣고 시키는 말대로 하는 것이고, 시킨 대로 정돈하는 것이다. 그리스도인 청지기는 예수께서 주인이시기 때문에 예수님의 말씀을 잘 듣고 그대로 수행해야 하고 그대로 정리해야 한다. 그렇게 할 때 주인의 신임을 얻고 하늘나라를 상속받게 된다. 하나님이 주신 것을 하나님의 뜻대로 관리하지 못할 것을 아시면 하나님께서 관리할 것을 맡기겠는가?",
+    "diff": [
+      "replace   text[19:20] --> decoded_text[19:20]      '識' --> '識'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0018083182640144665,
+    "oov_charset": "[\"識\"]"
+  }
+]

vocab.py

@@ -334,6 +334,9 @@ _all_tokenizer_config = [
                     link="https://github.com/openai/tiktoken", ),
     TokenizerConfig("openai/gpt-4o", impl=TokenizerImpl.TikToken, org="OpenAI",
                     link="https://github.com/openai/tiktoken", ),
+    
+    
+    
     TokenizerConfig("Qwen/Qwen-7B-Chat", name_display="Qwen/Qwen", impl=TokenizerImpl.TikToken, org="Alibaba",
                     init_kwargs={"revision": "refs/pr/56"},
                     meta="在gpt4词典基础上，删除了100个多数字token，增加10000中文词token；并优化了special_token的分词"),
@@ -381,6 +384,8 @@ _all_tokenizer_config = [
     TokenizerConfig("deepseek-ai/DeepSeek-R1", org="DeepSeek"),  # 在llama3的词典上，增加了一些中文token，删掉了一部分token
     TokenizerConfig("deepseek-ai/DeepSeek-R1-Zero", org="DeepSeek"),
     TokenizerConfig("deepseek-ai/DeepSeek-R1-Distill-Llama-70B", org="DeepSeek"),
+    TokenizerConfig("deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B", org="DeepSeek"),
+    TokenizerConfig("deepseek-ai/Janus-Pro-1B", org="DeepSeek"),
     
     
     TokenizerConfig("google/gemma-7b", org="Google"),
@@ -391,6 +396,13 @@ _all_tokenizer_config = [
     TokenizerConfig("databricks/dbrx-instruct", org="Databricks"),
     TokenizerConfig("MiniMaxAI/MiniMax-Text-01", org="MiniMax"),
     
+    TokenizerConfig("openai/gpt-oss-20b", org="OpenAI"),
+    TokenizerConfig("openai/gpt-oss-120b", org="OpenAI"),
+    TokenizerConfig("Qwen/Qwen3-235B-A22B-Thinking-2507", org="Alibaba"),
+    TokenizerConfig("Qwen/Qwen3-30B-A3B-Thinking-2507", org="Alibaba"),
+    
+    
+    
 
     # TokenizerConfig("nvidia/Nemotron-4-340B-Instruct", org="Nvidia"),