Update detection_ja.sh

detection_ja.sh

@@ -1,17 +1,22 @@
 #!/bin/bash
 
-# 処理対象の拡張子
-extensions="js|mjs|jsx|json|txt|html|htm"
+# 対象拡張子
+extensions="js|mjs|jsx|json|txt|html|htm|json5|md|css"
 
 # 一時ファイル
 TMP_RESULT=$(mktemp)
 
-# ファイルを検索してループ処理
+# 検出処理
 find . -type f -regextype posix-extended -regex ".*\.($extensions)$" | while read -r file; do
-    # 日本語っぽい文字列の抽出
-    matches=$(grep -oE '[^[:space:][:cntrl:]]*[\p{Script=Hiragana}\p{Script=Katakana}\p{Script=Han}a-zA-Z]*[\p{Script=Hiragana}\p{Script=Katakana}\p{Script=Han}]+[^[:space:][:cntrl:]]*' "$file" | \
+    # UTF-8 に変換して読み取り（iconvで変換、読めなければスキップ）
+    content=$(iconv -f UTF-8 -t UTF-8 "$file" 2>/dev/null)
+    if [[ -z "$content" ]]; then
+        continue
+    fi
+
+    matches=$(echo "$content" | grep -oE '[^[:space:][:cntrl:]]*[\p{Script=Hiragana}\p{Script=Katakana}\p{Script=Han}a-zA-Z]*[\p{Script=Hiragana}\p{Script=Katakana}\p{Script=Han}]+[^[:space:][:cntrl:]]*' | \
         perl -CSD -pe '
-            # 日本語と英語が混じった文を記号やスペースで分割
+            # スペースや記号で分割（日本語のまとまりを維持）
             s/([^\p{Han}\p{Hiragana}\p{Katakana}a-zA-Z]+)/\n/g;
             s/^\s+|\s+$//g;
         ' | grep -P '[\p{Hiragana}\p{Katakana}\p{Han}]' | sort | uniq)
@@ -22,13 +27,12 @@ find . -type f -regextype posix-extended -regex ".*\.($extensions)$" | while rea
             escaped=$(echo "$line" | sed 's/"/\\"/g')
             echo "  \"$escaped\": []," >> "$TMP_RESULT"
         done
-        # 最後のカンマを削除してオブジェクトを閉じる
         sed -i '$ s/,$//' "$TMP_RESULT"
         echo "}," >> "$TMP_RESULT"
     fi
 done
 
-# 最後のカンマを削除してJSON風に整形して出力
+# JSON出力
 if [[ -s "$TMP_RESULT" ]]; then
     echo "{"
     sed '$ s/,$//' "$TMP_RESULT"
@@ -37,5 +41,4 @@ else
     echo "{}"
 fi
 
-# 一時ファイル削除
 rm "$TMP_RESULT"