Update model to cl-nagoya-sup-simcse-ja-nss-v1_0_8_4, add new standard name mapping functionality in prediction process, and enhance data loading in sentence transformer service.

config.py

@@ -24,7 +24,7 @@ NAME_ABSTRACT_MAP_DATA_FILE = os.path.join(DATA_DIR, "nameAbstractData.csv")
 HALF = "float16"
 MODEL_TYPE = None
 DEVICE_TYPE = "cpu"
-MODEL_NAME = "Detomo/cl-nagoya-sup-simcse-ja-nss-v1_0_8_3"
+MODEL_NAME = "Detomo/cl-nagoya-sup-simcse-ja-nss-v1_0_8_4"
 if HALF == "float16":
     SENTENCE_EMBEDDING_FILE = os.path.join(
         DATA_DIR,

data/abstractMapData.csv

@@ -485,3 +485,6 @@
 附属棟,埋戻し,総堀り,総堀り,2
 附属棟,埋戻し,桝・溝堀り,桝・溝堀り,2
 防水,防水,ｼｰﾄ防水,ｼｰﾄ防水,9
+直接仮設,災害防止,小幅ﾈｯﾄ,小幅ﾈｯﾄ,2
+直接仮設,災害防止,防音ｼｰﾄ,防音ｼｰﾄ,2
+直接仮設,災害防止,養生ｼｰﾄ,養生ｼｰﾄ,2

data/nameMapData.csv

@@ -4876,7 +4876,7 @@
 直接仮設,遣方,遣方,必要,確定,,,,
 直接仮設,固定仮設間仕切り壁,固定仮設間仕切り壁,必要,確定,,,,
 直接仮設,交通誘導員,ｶﾞｰﾄﾞﾏﾝ,不要,確定,,,,
-直接仮設,災害防止,災害防止,必要,確定,,,,
+直接仮設,災害防止,災害防止,必要,未設定,災害防止,,,
 直接仮設,小幅ﾈｯﾄ張り,小幅ﾈｯﾄ張り,必要,確定,,,,
 直接仮設,成形鋼板,成形鋼板,必要,確定,,,,
 直接仮設,整理･清掃･後片付け,清掃･片付け,必要,未確定,整理清掃後片付け,,,
@@ -4954,7 +4954,7 @@
 鉄筋,ＰＣ緊張技術管理費,ＰＣ緊張技術管理費,必要,確定,,,,
 鉄筋,ＰＣ緊張材料費,ＰＣ緊張材料費,不要,確定,,,,
 鉄筋,ＰＣ緊張労務費,ＰＣ緊張労務費,不要,確定,,,,
-鉄筋,RC梁貫通孔補強,梁貫通孔補強鉄筋加工組立,必要,確定,,,,
+鉄筋,RC梁貫通孔補強,梁貫通孔補強,必要,確定,,,,
 鉄筋,ｱｽﾌｧﾙﾄ防水撤去,撤去,不要,確定,,,,
 鉄筋,ｱﾙﾐﾊﾟﾈﾙ撤去,撤去,不要,確定,,,,
 鉄筋,ｱﾙﾐ防音ﾊﾟﾈﾙ張り,防音ﾊﾟﾈﾙ張り,必要,確定,,,,
@@ -4980,7 +4980,7 @@
 鉄筋,ｽﾊﾟｲﾗﾙﾌｰﾌﾟ,ｽﾊﾟｲﾗﾙﾌｰﾌﾟ,必要,確定,,,,
 鉄筋,ｽﾊﾟｲﾗﾙ鉄筋,ｽﾊﾟｲﾗﾙ鉄筋,必要,確定,,,,
 鉄筋,ｽﾗｲﾃﾞｨﾝｸﾞｳｫｰﾙ撤去,撤去,不要,確定,,,,
-鉄筋,ｽﾘｰﾌﾞ補強RC･SRC共通,梁貫通孔補強鉄筋加工組立,必要,確定,,,,
+鉄筋,ｽﾘｰﾌﾞ補強RC･SRC共通,梁貫通孔補強,必要,確定,,,,
 鉄筋,ｽﾘｰﾌﾞ補強筋,ｽﾘｰﾌﾞ補強,必要,確定,,,,
 鉄筋,ｾｰﾊﾞｰ撤去,撤去,不要,確定,,,,
 鉄筋,ｿﾌﾄ巾木撤去,撤去,不要,確定,,,,
@@ -5153,8 +5153,8 @@
 鉄筋,梁貫通孔補強既製品,梁貫通孔補強既製品,必要,確定,,,,
 鉄筋,梁貫通孔補強既製品設置手間,梁貫通孔補強既製品設置手間,必要,確定,,,,
 鉄筋,梁貫通孔補強鉄筋加工組立,梁貫通孔補強鉄筋加工組立,必要,確定,,,,
-鉄筋,梁貫通補強,梁貫通孔補強鉄筋加工組立,必要,確定,,,,
-鉄筋,梁貫通補強金物,梁貫通孔補強鉄筋加工組立,必要,確定,,,,
+鉄筋,梁貫通補強,梁貫通孔補強,必要,確定,,,,
+鉄筋,梁貫通補強金物,梁貫通孔補強,必要,確定,,,,
 鉄筋,枠組本足場,枠組本足場,必要,確定,,,,
 鉄骨,ALC板取付金物部半湿式ﾛｯｸｳｰﾙ吹付,吹付耐火被覆,必要,確定,,,,
 鉄骨,ECP･ALC下地,ECP･ALC下地,不要,確定,,,,
@@ -7100,7 +7100,7 @@
 附属棟,庇金網,庇金網,不要,確定,,,,
 附属棟,庇竪樋,庇竪樋,必要,確定,,,,
 附属棟,庇鉄骨,庇鉄骨,必要,確定,,,,
-附属棟,庇鉄骨建方,鉄骨建方,必要,確定,,,,
+附属棟,庇鉄骨建方,庇鉄骨建方,必要,確定,,,,
 附属棟,扉（SD）,鋼製建具,必要,確定,,,,
 附属棟,標識,ｻｲﾝ,不要,確定,,,,
 附属棟,敷鉄板,敷鉄板,不要,確定,,,,

data/subSubjectAndNameMapData.csv

@@ -1,11 +1,14 @@
 標準科目,入力_項目名,標準中科目,出力_項目名
-地業,工事費,既製コンクリート杭,既製コンクリート杭工事費
-地業,杭施工費,現場打ちコンクリート杭,現場打ちコンクリート杭施工費
-地業,施工費,現場打ちコンクリート杭,現場打ちコンクリート杭施工費
-地業,試験杭施工費,現場打ちコンクリート杭,現場打ちコンクリート杭施工費
+地業,工事費,既製コンクリート杭,既製杭工事費
+地業,杭頭処理,既製コンクリート杭,既製杭頭処理
+地業,杭施工費,現場打ちコンクリート杭,場所打ち杭施工本数
+地業,施工費,現場打ちコンクリート杭,場所打ち杭施工本数
+地業,杭頭処理,現場打ちコンクリート杭,現場打ち杭頭処理
+地業,試験杭施工費,現場打ちコンクリート杭,場所打ち杭施工本数
 建具,ｶﾞﾗｽﾄﾞｱ,ガラスドア（内部）,内部　鋼製建具
 建具,ｶﾞﾗｽﾄﾞｱ,ガラスドア（外部）,外部　鋼製建具
 建具,ｶﾞﾗｽﾄﾞｱ,ガラス（内部）,内部　ｶﾞﾗｽ
 建具,ｶﾞﾗｽﾄﾞｱ,ガラス（外部）,外部　ｶﾞﾗｽ
+建具,ｶﾞﾗｽ,パーティション（内部）,外部　ｶﾞﾗｽ
 建具,ｶﾞﾗﾘ,アルミニウム製建具（外部）,内部　アルミニウム製建具
 建具,ｶﾞﾗﾘ,アルミニウム製建具（内部）,外部　アルミニウム製建具

data/unitMapData.csv

@@ -1,58 +1,59 @@
 基準単位,標準単位,集計用単位
 ｍ,m,m
-か所,か所,か所・個・回・本・式
+か所,か所,か所
 人日,人日,人日
-式,式,か所・個・回・本・式
+式,式,式
 m3,m3,m3
 m2,m2,m2
-往復,往復,か所・個・回・本・式
+往復,往復,往復
 t,t,t
-個,個,か所・個・回・本・式
-組,組,か所・個・回・本・式
-枚,枚,か所・個・回・本・式
-本,本,か所・個・回・本・式
-kg,kg,kg
-台,台,か所・個・回・本・式
-回,回,か所・個・回・本・式
+個,個,個
+組,組,組
+枚,枚,枚
+本,本,本
+kg,kg,t
+台,台,台
+回,回,回
 ﾄﾝ,t,t
 ％,％,％
-面,面,か所・個・回・本・式
-基,基,か所・個・回・本・式
+面,面,面
+基,基,基
 日,日,日
 人,人,人
-検体,検体,か所・個・回・本・式
-株,株,か所・個・回・本・式
-ｾｯﾄ,ｾｯﾄ,か所・個・回・本・式
-室,室,か所・個・回・本・式
-箇所,箇所,か所・個・回・本・式
-帖,帖,か所・個・回・本・式
+検体,体,体
+株,株,株
+ｾｯﾄ,ｾｯﾄ,ｾｯﾄ
+室,室,室
+箇所,か所,か所
+帖,帖,帖
 Ｌ,L,L
-業務,業務,か所・個・回・本・式
+業務,業務,業務
 利権者,人,人
-棟,棟,か所・個・回・本・式
-部,部,か所・個・回・本・式
-点,点,か所・個・回・本・式
+棟,棟,棟
+部,部,部
+点,点,点
 月,月,月
-1,個,か所・個・回・本・式
-１工事,工事,か所・個・回・本・式
-脚,脚,か所・個・回・本・式
+１工事,工事,工事
+脚,脚,脚
 台月,台日,台日
 m,m,m
-一式,一式,か所・個・回・本・式
-ﾕﾆｯﾄ,ﾕﾆｯﾄ,か所・個・回・本・式
-張,張,か所・個・回・本・式
-POT,POT,か所・個・回・本・式
-軒,軒,か所・個・回・本・式
-鉢,鉢,か所・個・回・本・式
-畳,畳,か所・個・回・本・式
-件,件,か所・個・回・本・式
-対,対,か所・個・回・本・式
-鉄本,鉄本,か所・個・回・本・式
-鉄,鉄,か所・個・回・本・式
+一式,一式,一式
+ﾕﾆｯﾄ,ﾕﾆｯﾄ,ﾕﾆｯﾄ
+張,張,張
+POT,POT,POT
+軒,軒,軒
+鉢,鉢,鉢
+畳,畳,畳
+件,件,件
+対,対,対
+鉄本,体,体
+鉄,鉄,鉄
 基日,基日,基日
-人月,人日,人日
+人月,人月,人日
 台日,台日,台日
-箱,箱,か所・個・回・本・式
-巻,巻,か所・個・回・本・式
-型,型,か所・個・回・本・式
+箱,箱,箱
+巻,巻,巻
+型,型,型
 F,F,F
+建新pot,POT,POT
+1個,個,個

routes/predict.py

@@ -21,6 +21,7 @@ from mapping_lib.sub_subject_and_name_data_mapper import SubSubjectAndNameDataMa
 from mapping_lib.abstract_similarity_mapper import AbstractSimilarityMapper
 from mapping_lib.name_and_abstract_mapper import NameAndAbstractDataMapper
 from mapping_lib.unit_mapper import UnitMapper
+from mapping_lib.standard_name_mapper import StandardNameMapper
 
 from config import UPLOAD_DIR, OUTPUT_DIR
 from models import (
@@ -236,6 +237,18 @@ async def predict(
             print(f"Error processing UnitMapper: {e}")
             raise HTTPException(status_code=500, detail=str(e))
 
+        try:
+            # Standard name mapping
+            if sentence_service.df_standard_name_map_data is not None:
+                standard_name_mapper = StandardNameMapper(
+                    df_map_data=sentence_service.df_standard_name_map_data
+                )
+                df_output_data = standard_name_mapper.map_data(df_output_data)
+
+        except Exception as e:
+            print(f"Error processing StandardNameMapper: {e}")
+            raise HTTPException(status_code=500, detail=str(e))
+
         # Create output columns and ensure they have proper values
         # Add ID column if not exists
         if "ID" not in df_output_data.columns:
@@ -288,7 +301,7 @@ async def predict(
         # 出力_標準単位 mapping - use unit mapper result
         if "出力_標準単位" in df_output_data.columns:
             df_output_data["出力_標準単位"] = df_output_data["出力_標準単位"]
-        
+
         # 出力_集計用単位 mapping - use unit mapper result
         if "出力_集計用単位" in df_output_data.columns:
             df_output_data["出力_集計用単位"] = df_output_data["出力_集計用単位"]

services/sentence_transformer_service.py

@@ -134,6 +134,7 @@ class SentenceTransformerService:
         self.df_abstract_map_data = None
         self.df_name_and_subject_map_data = None
         self.df_sub_subject_and_name_map_data = None
+        self.df_standard_name_map_data = None
 
     def load_model_data(self):
         """Load model and data only once at startup"""
@@ -249,6 +250,14 @@ class SentenceTransformerService:
                     f"Loaded name and subject map data: {len(self.df_name_and_subject_map_data)} entries"
                 )
 
+            # Load standard name map data
+            standard_name_map_file = os.path.join(DATA_DIR, "standardNameMapData.csv")
+            if os.path.exists(standard_name_map_file):
+                self.df_standard_name_map_data = pd.read_csv(standard_name_map_file)
+                print(
+                    f"Loaded standard name map data: {len(self.df_standard_name_map_data)} entries"
+                )
+
         except Exception as e:
             print(f"Error loading map data: {e}")