住所処理機能を改善し、47都道府県のリストを追加。テキストから都道府県名を抽出する関数を実装し、前処理の流れを更新。Gradioタブに新しい機能を追加し、ユーザーが住所を入力できるようにした。

app.py

@@ -37,6 +37,17 @@ VECTOR_SEARCH_COLLECTION_NAME_V2 = os.environ.get('VECTOR_SEARCH_COLLECTION_NAME
 MILVUS_CLIENT = MilvusClient(uri=VECTOR_SEARCH_ENDPOINT, token=VECTOR_SEARCH_TOKEN)
 print(f"Connected to DB: {VECTOR_SEARCH_ENDPOINT} successfully")
 
+# 47都道府県のリスト
+prefs = [
+    '北海道', '青森県', '岩手県', '宮城県', '秋田県', '山形県', '福島県',
+    '茨城県', '栃木県', '群馬県', '埼玉県', '千葉県', '東京都', '神奈川県',
+    '新潟県', '富山県', '石川県', '福井県', '山梨県', '長野県', '岐阜県',
+    '静岡県', '愛知県', '三重県', '滋賀県', '京都府', '大阪府', '兵庫県',
+    '奈良県', '和歌山県', '鳥取県', '島根県', '岡山県', '広島県', '山口県',
+    '徳島県', '香川県', '愛媛県', '高知県', '福岡県', '佐賀県', '長崎県',
+    '熊本県', '大分県', '宮崎県', '鹿児島県', '沖縄県'
+]
+
 # ----------------------------
 #  Download mt_city_all.csv
 # ----------------------------
@@ -82,7 +93,6 @@ for lg_code in tqdm(lg_codes):
 #  Download mt_rsdtdsp_rsdt_prefXX.csv
 # ------------------------------------
 pref_codes = list(set([('%06d' % lg_code)[0:2] for lg_code in lg_codes]))
-print('pref_codes', len(pref_codes))
 
 for pref_code in tqdm(pref_codes):
     rsdt_url = f'https://catalog.registries.digital.go.jp/rsc/address/mt_rsdtdsp_rsdt_pref{pref_code}.csv.zip'
@@ -185,22 +195,19 @@ def remove_filler(input_text: str) -> str:
 
     return cleaned_text
 
+def remove_left_of_pref(text):
+    for pref in prefs:
+        pref_index = text.find(pref)
+        if pref_index != -1:
+            return text[pref_index:]  # 都道府県名の位置から右側の文字列を返す
+    return text  # 都道府県名が見つからない場合は元のテキストを返す
+
 def preprocess(input_text):
-    output_text = replace_circle(input_text)
+    output_text = remove_left_of_pref(input_text)
+    output_text = replace_circle(output_text)
     output_text = remove_filler(output_text)
     return output_text
 
-# 47都道府県のリスト
-prefs = [
-    '北海道', '青森県', '岩手県', '宮城県', '秋田県', '山形県', '福島県',
-    '茨城県', '栃木県', '群馬県', '埼玉県', '千葉県', '東京都', '神奈川県',
-    '新潟県', '富山県', '石川県', '福井県', '山梨県', '長野県', '岐阜県',
-    '静岡県', '愛知県', '三重県', '滋賀県', '京都府', '大阪府', '兵庫県',
-    '奈良県', '和歌山県', '鳥取県', '島根県', '岡山県', '広島県', '山口県',
-    '徳島県', '香川県', '愛媛県', '高知県', '福岡県', '佐賀県', '長崎県',
-    '熊本県', '大分県', '宮崎県', '鹿児島県', '沖縄県'
-]
-
 class InferenceEndpointErrorCode(Enum):
     INVALID_STATE = 400
     SERVICE_UNAVAILABLE = 503
@@ -276,7 +283,7 @@ def get_addresses_with_parcel(pref, county, city, ward, oaza_cho, chome, koaza):
     lg_code = get_lg_code(pref, county, city, ward)
     parcel_city_file = TARGET_DIR / 'parcel' / f'mt_parcel_city{lg_code:06d}.csv'
     if not os.path.exists(parcel_city_file):
-        raise gr.Error('Too many lg_code')
+        raise gr.Error('Not found: ', parcel_city_file)
     parcel_city_df = pd.read_csv(parcel_city_file)
 
     cities = parcel_city_df['city'].fillna('')
@@ -296,6 +303,9 @@ def get_addresses_with_parcel(pref, county, city, ward, oaza_cho, chome, koaza):
     koaza_mask = koazas == koaza
     parcel_city_df_filtered = parcel_city_df[city_mask & town_mask & koaza_mask]
 
+    if len(parcel_city_df_filtered) == 0:
+        return [pref + county + city + ward + oaza_cho + chome + koaza]
+
     cities = parcel_city_df_filtered['city'].fillna('')
     wards = parcel_city_df_filtered['ward'].fillna('')
     oaza_chos = parcel_city_df_filtered['oaza_cho'].fillna('')
@@ -314,59 +324,8 @@ def get_addresses_with_parcel(pref, county, city, ward, oaza_cho, chome, koaza):
             cities, wards, oaza_chos, chomes, koazas, prc_num1s, prc_num2s, prc_num3s
         )
     ]
-
-pref_names = [
-    '北海道',
-    '青森県',
-    '岩手県',
-    '宮城県',
-    '秋田県',
-    '山形県',
-    '福島県',
-    '茨城県',
-    '栃木県',
-    '群馬県',
-    '埼玉県',
-    '千葉県',
-    '東京都',
-    '神奈川県',
-    '新潟県',
-    '富山県',
-    '石川県',
-    '福井県',
-    '山梨県',
-    '長野県',
-    '岐阜県',
-    '静岡県',
-    '愛知県',
-    '三重県',
-    '滋賀県',
-    '京都府',
-    '大阪府',
-    '兵庫県',
-    '奈良県',
-    '和歌山県',
-    '鳥取県',
-    '島根県',
-    '岡山県',
-    '広島県',
-    '山口県',
-    '徳島県',
-    '香川県',
-    '愛媛県',
-    '高知県',
-    '福岡県',
-    '佐賀県',
-    '長崎県',
-    '熊本県',
-    '大分県',
-    '宮崎県',
-    '鹿児島県',
-    '沖縄県'
-]
-
 def get_pref_code(pref):
-    return pref_names.index(pref) + 1
+    return prefs.index(pref) + 1
 
 def get_addresses_with_rsdtdsp(pref, county, city, ward, oaza_cho, chome, koaza):
     pref_code = get_pref_code(pref)
@@ -387,6 +346,9 @@ def get_addresses_with_rsdtdsp(pref, county, city, ward, oaza_cho, chome, koaza)
 
     rsdtdsp_df_filtered = rsdtdsp_df[city_mask & town_mask & koaza_mask]
 
+    if len(rsdtdsp_df_filtered) == 0:
+        return [pref + county + city + ward + oaza_cho + chome + koaza]
+
     cities = rsdtdsp_df_filtered['city'].fillna('')
     wards = rsdtdsp_df_filtered['ward'].fillna('')
     oaza_chos = rsdtdsp_df_filtered['oaza_cho'].fillna('')
@@ -463,10 +425,48 @@ def normalize_address(query_address):
 # =========================
 #  Gradio tabs definition
 # =========================
+examples = [
+        '私の住所は京都府京都市右京区太秦青木元町４－１０です。',
+        '京都府京都市右京区太秦青木元町４－１０',
+        '京都府京都市右京区太秦青木元町４－１０ダックス101号室',
+        '京都府宇治市伊勢田町名木１－１－４ダックス101号室',
+        '東京都渋谷区道玄坂1-12-1',
+        '私の住所は東京都渋谷区道玄坂1-12-1です。',
+        '私の住所は東京都しぶや道玄坂1の12の1です。',
+        '東京都渋谷区道玄坂1の12の1で契約しています。',
+        '秋田県秋田市山王四丁目1番1号です。',
+        '東京 墨田区 押上 １丁目１',
+        '三重県伊勢市宇治館町',
+        '住所は 030-0803 青森県青森市安方１丁目１−４０になります。',
+        '東京都大島町差木地 字クダッチ',
+        '前橋市大手町１丁目1番地１',
+        '東京都渋谷区表参道の3の5の6。',
+        '琉球圏尾張町3の5の6に住んでます。',
+        '3254987の場所です。',
+        '大阪府でした。',
+        '1940923の東京都渋谷区道玄坂一丁目。渋谷マークシティウェスト23階です。',
+        '名前は山田太郎です。',
+        'はい。名古屋、あ、愛知県名古屋市南里2の3の4だと思います。',
+        'ー',
+        '少し待ってください。',
+]
+
 def create_endpoint_test_tab():
+    def create_remove_left_of_pref_tab():
+        with gr.Tab("remove_left_of_pref"):
+            in_tb = gr.Textbox(label='インプット', placeholder='テキストを入力してください')
+            gr.Examples(examples=examples, inputs=[in_tb])
+            out_tb = gr.Textbox(label='アウトプット')
+            exe_button = gr.Button(value='実行', variant='primary')
+            exe_button.click(
+                fn=remove_left_of_pref,
+                inputs=[in_tb],
+                outputs=[out_tb],
+            )
     def create_replace_circle_tab():
         with gr.Tab("replace_circle"):
             in_tb = gr.Textbox(label='インプット', placeholder='テキストを入力してください')
+            gr.Examples(examples=examples, inputs=[in_tb])
             out_tb = gr.Textbox(label='アウトプット')
             exe_button = gr.Button(value='実行', variant='primary')
             exe_button.click(
@@ -477,6 +477,7 @@ def create_endpoint_test_tab():
     def create_remove_filler_tab():
         with gr.Tab("remove_filler"):
             in_tb = gr.Textbox(label='インプット', placeholder='テキストを入力してください')
+            gr.Examples(examples=examples, inputs=[in_tb])
             out_tb = gr.Textbox(label='アウトプット')
             exe_button = gr.Button(value='実行', variant='primary')
             exe_button.click(
@@ -487,6 +488,7 @@ def create_endpoint_test_tab():
     def create_preprocess_tab():
         with gr.Tab("preprocess"):
             in_tb = gr.Textbox(label='インプット', placeholder='テキストを入力してください')
+            gr.Examples(examples=examples, inputs=[in_tb])
             out_tb = gr.Textbox(label='アウトプット')
             exe_button = gr.Button(value='実行', variant='primary')
             exe_button.click(
@@ -497,6 +499,7 @@ def create_endpoint_test_tab():
     def create_compare_two_addresses_tab():
         with gr.Tab("compare_two_addresses"):
             in_tb1 = gr.Textbox(label='住所1 (顧客が発言した住所)', placeholder='住所を入力してください')
+            gr.Examples(examples=examples, inputs=[in_tb1])
             in_tb2 = gr.Textbox(label='住所2 (CRM 内に格納されている住所)', placeholder='住所を入力してください')
             out_tb = gr.Textbox(label='アウトプット')
             exe_button = gr.Button(value='実行', variant='primary')
@@ -508,6 +511,7 @@ def create_endpoint_test_tab():
     def create_normalize_address_tab():
         with gr.Tab("normalize_address"):
             in_tb = gr.Textbox(label='住所', placeholder='住所を入力してください')
+            gr.Examples(examples=examples, inputs=[in_tb])
             out_tb = gr.Textbox(label='アウトプット')
             exe_button = gr.Button(value='実行', variant='primary')
             exe_button.click(
@@ -525,41 +529,67 @@ def create_endpoint_test_tab():
                 inputs=[in_tb],
                 outputs=[out_tb],
             )
+    def create_vector_search():
+        def f(query_address, top_k):
+            with measure('preprocess'):
+                preprocessed = preprocess(query_address)
+            with measure('vector_search'):
+                hits = vector_search(preprocessed, top_k=top_k)
+            return pd.DataFrame(hits, columns=['Top-k', '類似度', '住所', '都道府県', '郡', '市区町村', '政令市区', '大字・町', '丁目', '小字'])
+        with gr.Tab("vector_search"):
+            in_tb = gr.Textbox(label='住所', placeholder='住所を入力してください')
+            gr.Examples(examples=examples, inputs=[in_tb])
+            top_k_input = gr.Slider(minimum=1, maximum=100, step=1, value=5, label='検索数top-k')
+            out_df = gr.Dataframe(label="アウトプット", wrap=True)
+            exe_button = gr.Button(value='実行', variant='primary')
+            exe_button.click(
+                fn=f,
+                inputs=[in_tb, top_k_input],
+                outputs=[out_df],
+            )
+    def create_get_addresses_with_parcel_tab():
+        def f(query_address):
+            with measure('preprocess'):
+                preprocessed = preprocess(query_address)
+            with measure('vector_search'):
+                hits = vector_search(preprocessed, top_k=1)
+            with measure('split_address'):
+                splits = {
+                    'pref': hits[0][3],
+                    'county': hits[0][4],
+                    'city': hits[0][5],
+                    'ward': hits[0][6],
+                    'oaza_cho': hits[0][7],
+                    'chome': hits[0][8],
+                    'koaza': hits[0][9],
+                }
+            with measure('get_addresses_with_parcel'):
+                addresses = get_addresses_with_parcel(
+                        splits['pref'], splits['county'], splits['city'], splits['ward'],
+                        splits['oaza_cho'], splits['chome'], splits['koaza'])
+            return pd.DataFrame(addresses, columns=['住所'])
+        with gr.Tab("get_addresses_with_parcel"):
+            in_tb = gr.Textbox(label='住所', placeholder='住所を入力してください')
+            gr.Examples(examples=examples, inputs=[in_tb])
+            out_df = gr.Dataframe(label="アウトプット", wrap=True)
+            exe_button = gr.Button(value='実行', variant='primary')
+            exe_button.click(
+                fn=f,
+                inputs=[in_tb],
+                outputs=[out_df],
+            )
 
     with gr.Tab("関数テスト"):
+        create_normalize_address_tab()
         create_compare_two_addresses_tab()
+        create_get_addresses_with_parcel_tab()
+        create_vector_search()
+        create_remove_left_of_pref_tab()
         create_replace_circle_tab()
         create_remove_filler_tab()
         create_preprocess_tab()
-        create_normalize_address_tab()
         create_split_address_tab()
 
-examples = [
-        '私の住所は京都府京都市右京区太秦青木元町４－１０です。',
-        '京都府京都市右京区太秦青木元町４－１０',
-        '京都府京都市右京区太秦青木元町４－１０ダックス101号室',
-        '京都府宇治市伊勢田町名木１－１－４ダックス101号室',
-        '東京都渋谷区道玄坂1-12-1',
-        '私の住所は東京都渋谷区道玄坂1-12-1です。',
-        '私の住所は東京都しぶや道玄坂1の12の1です。',
-        '東京都渋谷区道玄坂1の12の1で契約しています。',
-        '秋田県秋田市山王四丁目1番1号です。',
-        '東京 墨田区 押上 １丁目１',
-        '三重県伊勢市宇治館町',
-        '住所は 030-0803 青森県青森市安方１丁目１−４０になります。',
-        '東京都大島町差木地 字クダッチ',
-        '前橋市大手町１丁目1番地１',
-        '東京都渋谷区表参道の3の5の6。',
-        '琉球圏尾張町3の5の6に住んでます。',
-        '3254987の場所です。',
-        '大阪府でした。',
-        '1940923の東京都渋谷区道玄坂一丁目。渋谷マークシティウェスト23階です。',
-        '名前は山田太郎です。',
-        'はい。名古屋、あ、愛知県名古屋市南里2の3の4だと思います。',
-        'ー',
-        '少し待ってください。',
-]
-
 def create_digital_agency_tab():
     with gr.Tab("デジ庁API"):
         with gr.Row():