Update cached embeddings with new sizes, enhance prediction output by adding standard and aggregate unit columns, and refactor loading logic in the sentence transformer service for improved error handling.

data/cached_embeddings_abstract.pkl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:9228f5a3d3a1e87ae1cc3bead894275c1c72f0235db187191d96aefe24519bef
-size 15165877
+oid sha256:f83a38e1839d4169d2e9154428627435bc270485ecbc136a17c4d6c5dfb3e046
+size 6243374

data/cached_embeddings_name.pkl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4ff02d38b5244171b7546bb884be57200d4c20f0fd23fdd7b1d2636ec2f34fce
-size 31974360
+oid sha256:9a0c8ee1c0be9dcd79c7fccd6f67fb51925980e5b45707705f56093f707fc52e
+size 27426684

data/cached_embeddings_sub_subject.pkl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:9b0421f183f69ca5fd99f78965f7e706b6b0b07601de0cc14cfb63a1bded20d5
-size 1185145
+oid sha256:cded7544600ebfb2154c2f36de3268f3ae6b8966c175eb2f57635225ceae0d9a
+size 978708

data/cached_embeddings_subject.pkl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:3ff438fc86f8b72e18db102ed4a68d7d0ae0ea8e693523ea51bcadb81480ec46
-size 581412
+oid sha256:55ff495af4f2403b0f213c5ee2543ab0c50ff24f126e1d6c1579c4d1113d07a4
+size 562493

data/cached_embeddings_unit.pkl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:296c8e2fa98330d9f7df7f02f14b1e5e1d8e2a27e2bdfb181a50b8017f67da80
-size 372392
+oid sha256:2c241a434f1ec36358410bb9782036d5cacb18fd6a766bc1cf78707b08ffa7c0
+size 369237

data/outputDataUnit.csv

@@ -1,116 +1,116 @@
-単位,単位文,出力_基準単位,出力_単位類似度,出力_集計用単位
-ｍ,単位：ｍ。,ｍ,99.99995827674866,m
-か所,単位：か所。,か所,99.99998807907104,か所・個・回・本・式
-人日,単位：人日。,人日,99.99998807907104,人日
-式,単位：式。,式,100.00001192092896,か所・個・回・本・式
-建発ｍ3,単位：建発ｍ3。,m3,96.60412073135376,m3
-㎡,単位：㎡。,m2,100.00002384185791,m2
-往復,単位：往復。,往復,100.0,往復
-ｔ,単位：ｔ。,t,100.00001192092896,t
-個,単位：個。,個,100.0,か所・個・回・本・式
-組,単位：組。,組,99.99997019767761,か所・個・回・本・式
-枚,単位：枚。,枚,99.99998211860657,か所・個・回・本・式
-本,単位：本。,本,100.0,か所・個・回・本・式
-延㎡,単位：延㎡。,m2,97.71089553833008,m2
-㎏,単位：㎏。,kg,99.99998807907104,kg
-台,単位：台。,台,100.00001192092896,か所・個・回・本・式
-回,単位：回。,回,99.99995231628418,か所・個・回・本・式
-kg,単位：kg。,kg,99.99998807907104,kg
-トン,単位：トン。,ﾄﾝ,100.00001192092896,t
-％,単位：％。,％,100.0,％
-面,単位：面。,面,99.99995231628418,か所・個・回・本・式
-基,単位：基。,基,100.0,か所・個・回・本・式
-日,単位：日。,日,100.00001192092896,日
-人,単位：人。,人,99.99998211860657,人
-検体,単位：検体。,検体,99.99999403953552,か所・個・回・本・式
-株,単位：株。,株,99.99999403953552,か所・個・回・本・式
-m3,単位：m3。,m3,100.00002384185791,m3
-セット,単位：セット。,ｾｯﾄ,99.99998807907104,か所・個・回・本・式
-架㎡,単位：架㎡。,m2,98.18716049194336,m2
-床㎡,単位：床㎡。,m2,97.14738130569458,m2
-室,単位：室。,室,100.0,か所・個・回・本・式
-m2,単位：m2。,m2,100.00004768371582,m2
-ｾｯﾄ,単位：ｾｯﾄ。,ｾｯﾄ,99.99997615814209,か所・個・回・本・式
-箇所,単位：箇所。,箇所,100.00003576278687,か所・個・回・本・式
-t,単位：t。,t,100.0,t
-帖,単位：帖。,帖,100.0,か所・個・回・本・式
-Ｌ,単位：Ｌ。,Ｌ,99.99998807907104,L
-業務,単位：業務。,業務,100.0,か所・個・回・本・式
-利権者,単位：利権者。,利権者,99.99999403953552,人
-棟,単位：棟。,棟,100.0,か所・個・回・本・式
-部,単位：部。,部,100.00001192092896,か所・個・回・本・式
-点,単位：点。,点,99.99998807907104,か所・個・回・本・式
-月,単位：月。,月,100.0,月
-1,単位：1。,1,100.00002384185791,か所・個・回・本・式
-１工事,単位：１工事。,１工事,99.99998211860657,か所・個・回・本・式
-脚,単位：脚。,脚,99.99998807907104,か所・個・回・本・式
-台月,単位：台月。,台月,99.99998807907104,台日
-m,単位：m。,m,99.99996423721313,m
-一式,単位：一式。,一式,100.0,か所・個・回・本・式
-ﾕﾆｯﾄ,単位：ﾕﾆｯﾄ。,ﾕﾆｯﾄ,100.00001192092896,か所・個・回・本・式
-張,単位：張。,張,100.00001192092896,か所・個・回・本・式
-POT,単位：POT。,POT,100.00001192092896,か所・個・回・本・式
-軒,単位：軒。,軒,100.00001192092896,か所・個・回・本・式
-鉢,単位：鉢。,鉢,100.00001192092896,か所・個・回・本・式
-畳,単位：畳。,畳,100.00001192092896,か所・個・回・本・式
-建新共人日,単位：建新共人日。,人日,95.0712502002716,人日
-建新共日,単位：建新共日。,日,93.64779591560364,日
-建新共か所,単位：建新共か所。,か所,95.1797604560852,か所・個・回・本・式
-件,単位：件。,件,99.99998807907104,か所・個・回・本・式
-建新式,単位：建新式。,式,96.09522223472595,か所・個・回・本・式
-建新㎡,単位：建新㎡。,m2,98.18736910820007,m2
-建新本,単位：建新本。,本,96.02546691894531,か所・個・回・本・式
-建新ｍ3,単位：建新ｍ3。,m3,98.15722107887268,m3
-建新ｔ,単位：建新ｔ。,t,97.09546566009521,t
-建新か所,単位：建新か所。,か所,97.41055965423584,か所・個・回・本・式
-建新ｍ,単位：建新ｍ。,ｍ,94.88064050674438,m
-建新鉄ｔ,単位：建新鉄ｔ。,t,96.54421806335449,t
-建新鉄式,単位：建新鉄式。,式,94.90609765052795,か所・個・回・本・式
-建新鉄㎡,単位：建新鉄㎡。,m2,96.9235897064209,m2
-建新鉄か所,単位：建新鉄か所。,か所,92.79875755310059,か所・個・回・本・式
-電新台,単位：電新台。,台,94.87690925598145,か所・個・回・本・式
-電新個,単位：電新個。,個,96.62517309188843,か所・個・回・本・式
-電新式,単位：電新式。,式,93.80441904067993,か所・個・回・本・式
-電新組,単位：電新組。,組,95.89881300926208,か所・個・回・本・式
-電新基,単位：電新基。,基,95.84553837776184,か所・個・回・本・式
-電新面,単位：電新面。,面,95.46024799346924,か所・個・回・本・式
-機新台,単位：機新台。,台,95.1753318309784,か所・個・回・本・式
-機新式,単位：機新式。,式,92.62499809265137,か所・個・回・本・式
-機新個,単位：機新個。,個,95.99997997283936,か所・個・回・本・式
-機新ｍ,単位：機新ｍ。,m,95.33501863479614,m
-機新か所,単位：機新か所。,か所,96.62094712257385,か所・個・回・本・式
-機新組,単位：機新組。,組,96.22829556465149,か所・個・回・本・式
-機新枚,単位：機新枚。,枚,97.6352870464325,か所・個・回・本・式
-対,単位：対。,対,99.99999403953552,か所・個・回・本・式
-建新共ｍ,単位：建新共ｍ。,m2,88.79318833351135,m2
-建新共㎡,単位：建新共㎡。,m2,97.5206732749939,m2
-建新共台,単位：建新共台。,台,93.8029944896698,か所・個・回・本・式
-建新往復,単位：建新往復。,往復,98.01614284515381,往復
-建新組,単位：建新組。,組,96.89183235168457,か所・個・回・本・式
-建新回,単位：建新回。,回,96.91262245178223,か所・個・回・本・式
-建新鉄ｍ,単位：建新鉄ｍ。,m,94.20540928840637,m
-建新鉄本,単位：建新鉄本。,鉄本,96.31228446960449,か所・個・回・本・式
-建新kg,単位：建新kg。,kg,97.65897393226624,kg
-建新鉄,単位：建新鉄。,鉄,95.79679369926453,か所・個・回・本・式
-建新基,単位：建新基。,基,96.83878421783447,か所・個・回・本・式
-建新枚,単位：建新枚。,枚,97.5138783454895,か所・個・回・本・式
-建新1,単位：建新1。,1,91.50975942611694,か所・個・回・本・式
-建そ㎡,単位：建そ㎡。,m2,98.02416563034058,m2
-建そか所,単位：建そか所。,か所,84.75893139839172,か所・個・回・本・式
-建そｍ,単位：建そｍ。,ｍ,94.04593706130981,m
-建そ式,単位：建そ式。,式,94.24981474876404,か所・個・回・本・式
-建そ本,単位：建そ本。,本,94.68826055526733,か所・個・回・本・式
-建そｍ3,単位：建そｍ3。,m3,97.72946834564209,m3
-建そ株,単位：建そ株。,株,97.26487994194031,か所・個・回・本・式
-ｍ3,単位：ｍ3。,m3,100.00002384185791,m3
-建発ｔ,単位：建発ｔ。,t,95.43354511260986,t
-建発kg,単位：建発kg。,kg,95.56557536125183,kg
-建そm3,単位：建そm3。,m3,97.72946834564209,m3
-基日,単位：基日。,基日,100.0,基日
-人月,単位：人月。,人月,100.0,人日
-台日,単位：台日。,台日,100.00002384185791,台日
-箱,単位：箱。,箱,99.99998807907104,か所・個・回・本・式
-ｍ３,単位：ｍ３。,m3,100.00002384185791,m3
-巻,単位：巻。,巻,99.99997615814209,か所・個・回・本・式
-型,単位：型。,型,99.99998211860657,か所・個・回・本・式
-F,単位：F。,F,99.99998211860657,F
+単位,単位文,出力_基準単位,出力_単位類似度,出力_集計用単位,出力_標準単位
+ｍ,単位：ｍ。,ｍ,99.99995827674866,m,m
+か所,単位：か所。,か所,99.99998807907104,か所・個・回・本・式,か所
+人日,単位：人日。,人日,99.99998807907104,人日,人日
+式,単位：式。,式,100.00001192092896,か所・個・回・本・式,式
+建発ｍ3,単位：建発ｍ3。,m3,96.60412073135376,m3,m3
+㎡,単位：㎡。,m2,100.00002384185791,m2,m2
+往復,単位：往復。,往復,100.0,か所・個・回・本・式,往復
+ｔ,単位：ｔ。,t,100.00001192092896,t,t
+個,単位：個。,個,100.0,か所・個・回・本・式,個
+組,単位：組。,組,99.99997019767761,か所・個・回・本・式,組
+枚,単位：枚。,枚,99.99998211860657,か所・個・回・本・式,枚
+本,単位：本。,本,100.0,か所・個・回・本・式,本
+延㎡,単位：延㎡。,m2,97.71089553833008,m2,m2
+㎏,単位：㎏。,kg,99.99998807907104,kg,kg
+台,単位：台。,台,100.00001192092896,か所・個・回・本・式,台
+回,単位：回。,回,99.99995231628418,か所・個・回・本・式,回
+kg,単位：kg。,kg,99.99998807907104,kg,kg
+トン,単位：トン。,ﾄﾝ,100.00001192092896,t,t
+％,単位：％。,％,100.0,％,％
+面,単位：面。,面,99.99995231628418,か所・個・回・本・式,面
+基,単位：基。,基,100.0,か所・個・回・本・式,基
+日,単位：日。,日,100.00001192092896,日,日
+人,単位：人。,人,99.99998211860657,人,人
+検体,単位：検体。,検体,99.99999403953552,か所・個・回・本・式,検体
+株,単位：株。,株,99.99999403953552,か所・個・回・本・式,株
+m3,単位：m3。,m3,100.00002384185791,m3,m3
+セット,単位：セット。,ｾｯﾄ,99.99998807907104,か所・個・回・本・式,ｾｯﾄ
+架㎡,単位：架㎡。,m2,98.18716049194336,m2,m2
+床㎡,単位：床㎡。,m2,97.14738130569458,m2,m2
+室,単位：室。,室,100.0,か所・個・回・本・式,室
+m2,単位：m2。,m2,100.00004768371582,m2,m2
+ｾｯﾄ,単位：ｾｯﾄ。,ｾｯﾄ,99.99997615814209,か所・個・回・本・式,ｾｯﾄ
+箇所,単��：箇所。,箇所,100.00003576278687,か所・個・回・本・式,箇所
+t,単位：t。,t,100.0,t,t
+帖,単位：帖。,帖,100.0,か所・個・回・本・式,帖
+Ｌ,単位：Ｌ。,Ｌ,99.99998807907104,L,L
+業務,単位：業務。,業務,100.0,か所・個・回・本・式,業務
+利権者,単位：利権者。,利権者,99.99999403953552,人,人
+棟,単位：棟。,棟,100.0,か所・個・回・本・式,棟
+部,単位：部。,部,100.00001192092896,か所・個・回・本・式,部
+点,単位：点。,点,99.99998807907104,か所・個・回・本・式,点
+月,単位：月。,月,100.0,月,月
+1,単位：1。,1,100.00002384185791,か所・個・回・本・式,個
+１工事,単位：１工事。,１工事,99.99998211860657,か所・個・回・本・式,工事
+脚,単位：脚。,脚,99.99998807907104,か所・個・回・本・式,脚
+台月,単位：台月。,台月,99.99998807907104,台日,台日
+m,単位：m。,m,99.99996423721313,m,m
+一式,単位：一式。,一式,100.0,か所・個・回・本・式,一式
+ﾕﾆｯﾄ,単位：ﾕﾆｯﾄ。,ﾕﾆｯﾄ,100.00001192092896,か所・個・回・本・式,ﾕﾆｯﾄ
+張,単位：張。,張,100.00001192092896,か所・個・回・本・式,張
+POT,単位：POT。,POT,100.00001192092896,か所・個・回・本・式,POT
+軒,単位：軒。,軒,100.00001192092896,か所・個・回・本・式,軒
+鉢,単位：鉢。,鉢,100.00001192092896,か所・個・回・本・式,鉢
+畳,単位：畳。,畳,100.00001192092896,か所・個・回・本・式,畳
+建新共人日,単位：建新共人日。,人日,95.0712502002716,人日,人日
+建新共日,単位：建新共日。,日,93.64779591560364,日,日
+建新共か所,単位：建新共か所。,か所,95.1797604560852,か所・個・回・本・式,か所
+件,単位：件。,件,99.99998807907104,か所・個・回・本・式,件
+建新式,単位：建新式。,式,96.09522223472595,か所・個・回・本・式,式
+建新㎡,単位：建新㎡。,m2,98.18736910820007,m2,m2
+建新本,単位：建新本。,本,96.02546691894531,か所・個・回・本・式,本
+建新ｍ3,単位：建新ｍ3。,m3,98.15722107887268,m3,m3
+建新ｔ,単位：建新ｔ。,t,97.09546566009521,t,t
+建新か所,単位：建新か所。,か所,97.41055965423584,か所・個・回・本・式,か所
+建新ｍ,単位：建新ｍ。,ｍ,94.88064050674438,m,m
+建新鉄ｔ,単位：建新鉄ｔ。,t,96.54421806335449,t,t
+建新鉄式,単位：建新鉄式。,式,94.90609765052795,か所・個・回・本・式,式
+建新鉄㎡,単位：建新鉄㎡。,m2,96.9235897064209,m2,m2
+建新鉄か所,単位：建新鉄か所。,か所,92.79875755310059,か所・個・回・本・式,か所
+電新台,単位：電新台。,台,94.87690925598145,か所・個・回・本・式,台
+電新個,単位：電新個。,個,96.62517309188843,か所・個・回・本・式,個
+電新式,単位：電新式。,式,93.80441904067993,か所・個・回・本・式,式
+電新組,単位：電新組。,組,95.89881300926208,か所・個・回・本・式,組
+電新基,単位：電新基。,基,95.84553837776184,か所・個・回・本・式,基
+電新面,単位：電新面。,面,95.46024799346924,か所・個・回・本・式,面
+機新台,単位：機新台。,台,95.1753318309784,か所・個・回・本・式,台
+機新式,単位：機新式。,式,92.62499809265137,か所・個・回・本・式,式
+機新個,単位：機新個。,個,95.99997997283936,か所・個・回・本・式,個
+機新ｍ,単位：機新ｍ。,m,95.33501863479614,m,m
+機新か所,単位：機新か所。,か所,96.62094712257385,か所・個・回・本・式,か所
+機新組,単位：機新組。,組,96.22829556465149,か所・個・回・本・式,組
+機新枚,単位：機新枚。,枚,97.6352870464325,か所・個・回・本・式,枚
+対,単位：対。,対,99.99999403953552,か所・個・回・本・式,対
+建新共ｍ,単位：建新共ｍ。,m2,88.79318833351135,m2,m2
+建新共㎡,単位：建新共㎡。,m2,97.5206732749939,m2,m2
+建新共台,単位：建新共台。,台,93.8029944896698,か所・個・回・本・式,台
+建新往復,単位：建新往復。,往復,98.01614284515381,か所・個・回・本・式,往復
+建新組,単位：建新組。,組,96.89183235168457,か所・個・回・本・式,組
+建新回,単位：建新回。,回,96.91262245178223,か所・個・回・本・式,回
+建新鉄ｍ,単位：建新鉄ｍ。,m,94.20540928840637,m,m
+建新鉄本,単位：建新鉄本。,鉄本,96.31228446960449,か所・個・回・本・式,鉄本
+建新kg,単位：建新kg。,kg,97.65897393226624,kg,kg
+建新鉄,単位：建新鉄。,鉄,95.79679369926453,か所・個・回・本・式,鉄
+建新基,単位：建新基。,基,96.83878421783447,か所・個・回・本・式,基
+建新枚,単位：建新枚。,枚,97.5138783454895,か所・個・回・本・式,枚
+建新1,単位：建新1。,1,91.50975942611694,か所・個・回・本・式,個
+建そ㎡,単位：建そ㎡。,m2,98.02416563034058,m2,m2
+建そか所,単位：建そか所。,か所,84.75893139839172,か所・個・回・本・式,か所
+建そｍ,単位：建そｍ。,ｍ,94.04593706130981,m,m
+建そ式,単位：建そ式。,式,94.24981474876404,か所・個・回・本・式,式
+建そ本,単位：建そ本。,本,94.68826055526733,か所・個・回・本・式,本
+建そｍ3,単位：建そｍ3。,m3,97.72946834564209,m3,m3
+建そ株,単位：建そ株。,株,97.26487994194031,か所・個・回・本・式,株
+ｍ3,単位：ｍ3。,m3,100.00002384185791,m3,m3
+建発ｔ,単位：建発ｔ。,t,95.43354511260986,t,t
+建発kg,単位：建発kg。,kg,95.56557536125183,kg,kg
+建そm3,単位：建そm3。,m3,97.72946834564209,m3,m3
+基日,単位：基日。,基日,100.0,基日,基日
+人月,単位：人月。,人月,100.0,人日,人日
+台日,単位：台日。,台日,100.00002384185791,台日,台日
+箱,単位：箱。,箱,99.99998807907104,か所・個・回・本・式,箱
+ｍ３,単位：ｍ３。,m3,100.00002384185791,m3,m3
+巻,単位：巻。,巻,99.99997615814209,か所・個・回・本・式,巻
+型,単位：型。,型,99.99998211860657,か所・個・回・本・式,型
+F,単位：F。,F,99.99998211860657,F,F

data/unitMapData.csv

@@ -1,58 +1,58 @@
-基準単位,集計用単位
-ｍ,m
-か所,か所・個・回・本・式
-人日,人日
-式,か所・個・回・本・式
-m3,m3
-m2,m2
-往復,往復
-t,t
-個,か所・個・回・本・式
-組,か所・個・回・本・式
-枚,か所・個・回・本・式
-本,か所・個・回・本・式
-kg,kg
-台,か所・個・回・本・式
-回,か所・個・回・本・式
-ﾄﾝ,t
-％,％
-面,か所・個・回・本・式
-基,か所・個・回・本・式
-日,日
-人,人
-検体,か所・個・回・本・式
-株,か所・個・回・本・式
-ｾｯﾄ,か所・個・回・本・式
-室,か所・個・回・本・式
-箇所,か所・個・回・本・式
-帖,か所・個・回・本・式
-Ｌ,L
-業務,か所・個・回・本・式
-利権者,人
-棟,か所・個・回・本・式
-部,か所・個・回・本・式
-点,か所・個・回・本・式
-月,月
-1,か所・個・回・本・式
-１工事,か所・個・回・本・式
-脚,か所・個・回・本・式
-台月,台日
-m,m
-一式,か所・個・回・本・式
-ﾕﾆｯﾄ,か所・個・回・本・式
-張,か所・個・回・本・式
-POT,か所・個・回・本・式
-軒,か所・個・回・本・式
-鉢,か所・個・回・本・式
-畳,か所・個・回・本・式
-件,か所・個・回・本・式
-対,か所・個・回・本・式
-鉄本,か所・個・回・本・式
-鉄,か所・個・回・本・式
-基日,基日
-人月,人日
-台日,台日
-箱,か所・個・回・本・式
-巻,か所・個・回・本・式
-型,か所・個・回・本・式
-F,F
+基準単位,標準単位,集計用単位
+ｍ,m,m
+か所,か所,か所・個・回・本・式
+人日,人日,人日
+式,式,か所・個・回・本・式
+m3,m3,m3
+m2,m2,m2
+往復,往復,か所・個・回・本・式
+t,t,t
+個,個,か所・個・回・本・式
+組,組,か所・個・回・本・式
+枚,枚,か所・個・回・本・式
+本,本,か所・個・回・本・式
+kg,kg,kg
+台,台,か所・個・回・本・式
+回,回,か所・個・回・本・式
+ﾄﾝ,t,t
+％,％,％
+面,面,か所・個・回・本・式
+基,基,か所・個・回・本・式
+日,日,日
+人,人,人
+検体,検体,か所・個・回・本・式
+株,株,か所・個・回・本・式
+ｾｯﾄ,ｾｯﾄ,か所・個・回・本・式
+室,室,か所・個・回・本・式
+箇所,箇所,か所・個・回・本・式
+帖,帖,か所・個・回・本・式
+Ｌ,L,L
+業務,業務,か所・個・回・本・式
+利権者,人,人
+棟,棟,か所・個・回・本・式
+部,部,か所・個・回・本・式
+点,点,か所・個・回・本・式
+月,月,月
+1,個,か所・個・回・本・式
+１工事,工事,か所・個・回・本・式
+脚,脚,か所・個・回・本・式
+台月,台日,台日
+m,m,m
+一式,一式,か所・個・回・本・式
+ﾕﾆｯﾄ,ﾕﾆｯﾄ,か所・個・回・本・式
+張,張,か所・個・回・本・式
+POT,POT,か所・個・回・本・式
+軒,軒,か所・個・回・本・式
+鉢,鉢,か所・個・回・本・式
+畳,畳,か所・個・回・本・式
+件,件,か所・個・回・本・式
+対,対,か所・個・回・本・式
+鉄本,鉄本,か所・個・回・本・式
+鉄,鉄,か所・個・回・本・式
+基日,基日,基日
+人月,人日,人日
+台日,台日,台日
+箱,箱,か所・個・回・本・式
+巻,巻,か所・個・回・本・式
+型,型,か所・個・回・本・式
+F,F,F

routes/predict.py

@@ -257,7 +257,8 @@ async def predict(
             "出力_科目": "",
             "出力_中科目": "",
             "出力_項目名": "",
-            "出力_単位": "",
+            "出力_標準単位": "",
+            "出力_集計用単位": "",
             "出力_確率度": 0.0,
         }
 
@@ -284,13 +285,13 @@ async def predict(
         elif "出力_基準名称" in df_output_data.columns:
             df_output_data["出力_項目名"] = df_output_data["出力_基準名称"]
 
-        # 出力_単位 mapping - use unit mapper result
+        # 出力_標準単位 mapping - use unit mapper result
+        if "出力_標準単位" in df_output_data.columns:
+            df_output_data["出力_標準単位"] = df_output_data["出力_標準単位"]
+        
+        # 出力_集計用単位 mapping - use unit mapper result
         if "出力_集計用単位" in df_output_data.columns:
-            df_output_data["出力_単位"] = df_output_data["出力_集計用単位"]
-        elif "出力_標準単位" in df_output_data.columns:
-            df_output_data["出力_単位"] = df_output_data["出力_標準単位"]
-        elif "出力_基準単位" in df_output_data.columns:
-            df_output_data["出力_単位"] = df_output_data["出力_基準単位"]
+            df_output_data["出力_集計用単位"] = df_output_data["出力_集計用単位"]
 
         # 出力_確率度 mapping - use the name similarity as main probability
         if "出力_名称類似度" in df_output_data.columns:
@@ -347,8 +348,9 @@ async def predict(
             "出力_科目",
             "出力_中科目",
             "出力_項目名",
-            "出力_単位",
             "出力_確率度",
+            "出力_標準単位",
+            "出力_集計用単位",
         ]
 
         # Save with utf_8_sig encoding for Japanese Excel compatibility

services/sentence_transformer_service.py

@@ -53,7 +53,7 @@ def load_cached_embeddings_by_type(cache_type):
     cache_file = cache_files.get(cache_type)
     if not cache_file:
         print(f"Unknown cache type: {cache_type}")
-        return {}
+        return {}, False
 
     if os.path.exists(cache_file):
         try:
@@ -62,15 +62,15 @@ def load_cached_embeddings_by_type(cache_type):
             print(
                 f"Loaded {cache_type} embeddings with {len(cached_embeddings)} entries from {cache_file}"
             )
-            return cached_embeddings
+            return cached_embeddings, True
         except Exception as e:
             print(f"Error loading {cache_type} embeddings: {e}")
-            return {}
+            return {}, False
     else:
         print(
             f"No {cache_type} embeddings cache file found. Starting with empty cache."
         )
-        return {}
+        return {}, False
 
 
 def save_cached_embeddings_by_type(cached_embedding_helper, cache_type):
@@ -103,10 +103,10 @@ def save_cached_embeddings_by_type(cached_embedding_helper, cache_type):
 
 def create_cached_embedding_helper_for_type(sentence_transformer, cache_type):
     """Create a CachedEmbeddingHelper for specific embedding type"""
-    cached_embeddings = load_cached_embeddings_by_type(cache_type)
+    cached_embeddings, is_loaded = load_cached_embeddings_by_type(cache_type)
     return CachedEmbeddingHelper(
         sentence_transformer, cached_sentence_embeddings=cached_embeddings
-    )
+    ), is_loaded
 
 
 class SentenceTransformerService:
@@ -115,10 +115,15 @@ class SentenceTransformerService:
 
         # Different cached embedding helpers for different types
         self.unit_cached_embedding_helper = None
+        self.unit_is_loaded = False
         self.subject_cached_embedding_helper = None
+        self.subject_is_loaded = False
         self.sub_subject_cached_embedding_helper = None
+        self.sub_subject_is_loaded = False
         self.name_cached_embedding_helper = None
+        self.name_is_loaded = False
         self.abstract_cached_embedding_helper = None
+        self.abstract_is_loaded = False
 
         # Map data holders
         self.df_unit_map_data = None
@@ -144,21 +149,21 @@ class SentenceTransformerService:
         )
 
         # Create different cached embedding helpers for different types
-        self.unit_cached_embedding_helper = create_cached_embedding_helper_for_type(
+        self.unit_cached_embedding_helper, self.unit_is_loaded = create_cached_embedding_helper_for_type(
             self.sentenceTransformerHelper, "unit"
         )
-        self.subject_cached_embedding_helper = create_cached_embedding_helper_for_type(
+        self.subject_cached_embedding_helper, self.subject_is_loaded = create_cached_embedding_helper_for_type(
             self.sentenceTransformerHelper, "subject"
         )
-        self.sub_subject_cached_embedding_helper = (
+        self.sub_subject_cached_embedding_helper, self.sub_subject_is_loaded = (
             create_cached_embedding_helper_for_type(
                 self.sentenceTransformerHelper, "sub_subject"
             )
         )
-        self.name_cached_embedding_helper = create_cached_embedding_helper_for_type(
+        self.name_cached_embedding_helper, self.name_is_loaded = create_cached_embedding_helper_for_type(
             self.sentenceTransformerHelper, "name"
         )
-        self.abstract_cached_embedding_helper = create_cached_embedding_helper_for_type(
+        self.abstract_cached_embedding_helper, self.abstract_is_loaded = create_cached_embedding_helper_for_type(
             self.sentenceTransformerHelper, "abstract"
         )
 
@@ -250,23 +255,23 @@ class SentenceTransformerService:
     def save_all_caches(self):
         """Save all cached embeddings"""
         try:
-            if self.unit_cached_embedding_helper:
+            if not self.unit_is_loaded:
                 save_cached_embeddings_by_type(
                     self.unit_cached_embedding_helper, "unit"
                 )
-            if self.subject_cached_embedding_helper:
+            if not self.subject_is_loaded:
                 save_cached_embeddings_by_type(
                     self.subject_cached_embedding_helper, "subject"
                 )
-            if self.sub_subject_cached_embedding_helper:
+            if not self.sub_subject_is_loaded:
                 save_cached_embeddings_by_type(
                     self.sub_subject_cached_embedding_helper, "sub_subject"
                 )
-            if self.name_cached_embedding_helper:
+            if not self.name_is_loaded:
                 save_cached_embeddings_by_type(
                     self.name_cached_embedding_helper, "name"
                 )
-            if self.abstract_cached_embedding_helper:
+            if not self.abstract_is_loaded:
                 save_cached_embeddings_by_type(
                     self.abstract_cached_embedding_helper, "abstract"
                 )
@@ -277,35 +282,35 @@ class SentenceTransformerService:
             print("=" * 60)
 
             total_cache_size = 0
-            if self.unit_cached_embedding_helper:
+            if not self.unit_is_loaded:
                 unit_size = len(
                     self.unit_cached_embedding_helper._cached_sentence_embeddings
                 )
                 total_cache_size += unit_size
                 print(f"Unit cache: {unit_size} embeddings")
 
-            if self.subject_cached_embedding_helper:
+            if not self.subject_is_loaded:
                 subject_size = len(
                     self.subject_cached_embedding_helper._cached_sentence_embeddings
                 )
                 total_cache_size += subject_size
                 print(f"Subject cache: {subject_size} embeddings")
 
-            if self.sub_subject_cached_embedding_helper:
+            if not self.sub_subject_is_loaded:
                 sub_subject_size = len(
                     self.sub_subject_cached_embedding_helper._cached_sentence_embeddings
                 )
                 total_cache_size += sub_subject_size
                 print(f"Sub-subject cache: {sub_subject_size} embeddings")
 
-            if self.name_cached_embedding_helper:
+            if not self.name_is_loaded:
                 name_size = len(
                     self.name_cached_embedding_helper._cached_sentence_embeddings
                 )
                 total_cache_size += name_size
                 print(f"Name cache: {name_size} embeddings")
 
-            if self.abstract_cached_embedding_helper:
+            if not self.abstract_is_loaded:
                 abstract_size = len(
                     self.abstract_cached_embedding_helper._cached_sentence_embeddings
                 )