Update app.py

app.py

@@ -283,67 +283,109 @@ def llm_to_process_image_simple(risk_level, image_path, point1, point2, threshol
     return save_dir + debug_image_path
 
 
-import asyncio
-async def llm_to_process_image_simple_auto(risk_level, image_path, point1, point2, thresholds=None):
-    print(risk_level, image_path, point1, point2, thresholds)
-    print('point1,point2', point1, point2)
-    GEMINI_API_KEY=os.getenv('GEMINI_API_KEY')
-    # 画像処理のロジックをここに追加
-    Objectdetector = ObjectDetector(API_KEY=GEMINI_API_KEY)
-    debug_image_path='/test_llm.jpg'
-    response=Objectdetector.detect_auto(image_path)
-    print(response["objects_to_remove"])
-    Objectdetector.prompt_objects=response["objects_to_remove"]
-     # 個人情報流出に関する事例を検索し、上位2件のクリーンなコンテンツを取得
-    scraper = WebScraper(headless=True) 
-    personal_breach_docs = asyncio.run(await scraper.get_processed_documents(
-        search_query="個人情報流出 事例 SNS", 
-        num_search_results=10
-    ))
-    print(personal_breach_docs)
-    Objectdetector.text=personal_breach_docs["cleaned_html_content"]
-    # 画像の読み込みとRGB変換
-    print(f"Objectdetector.prompt_objects: {Objectdetector.prompt_objects}")
-    image = cv2.imread(image_path)
-    image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) 
-    mask_llm = np.zeros(image.shape[:2], dtype=np.uint8)
-    llm_results = Objectdetector.detect_objects(image_path)
-    print(f"llm_results: {llm_results}")
-    for result in llm_results:
-            bbox=result['box_2d']
-            x1, y1 = int(bbox[1]* image.shape[1]), int(bbox[0]* image.shape[0])
-            x2, y2 = int(bbox[3]* image.shape[1]), int(bbox[2]* image.shape[0])
-            mask_llm[y1:y2, x1:x2] = 255  # テキスト領域をマスク
-    p1_x, p1_y = int(point1[0] * image.shape[1]), int(point1[1] * image.shape[0])
-    p2_x, p2_y = int(point2[0] * image.shape[1]), int(point2[1] * image.shape[0])
-    x_min, y_min = max(0, min(p1_x, p2_x)), max(0, min(p1_y, p2_y))
-    x_max, y_max = min(image.shape[1], max(p1_x, p2_x)), min(image.shape[0], max(p1_y, p2_y))
-    mask_llm[y_min:y_max, x_min:x_max] = 0  # 範囲を黒に設定
-    save_dir = "./saved_images"
-    os.makedirs(save_dir, exist_ok=True)
-    debug_image_pil = Image.fromarray(mask_llm)
-    debug_image_pil.save(save_dir + debug_image_path)
-    return save_dir + debug_image_path,response
+# ObjectDetector と WebScraper は非同期対応が必要です。
+# 仮のクラス定義（実際のあなたのクラスに置き換えてください）
+class ObjectDetector:
+    def __init__(self, API_KEY):
+        self.API_KEY = API_KEY
+        self.prompt_objects = []
+        self.text = ""
+
+    async def detect_auto(self, image_path):
+        print(f"Detecting objects automatically for {image_path}")
+        await asyncio.sleep(0.1) # 非同期処理のシミュレーション
+        return {"objects_to_remove": ["人", "車"]} # 例の戻り値
+
+    async def detect_objects(self, image_path):
+        print(f"Detecting specific objects for {image_path}")
+        await asyncio.sleep(0.1) # 非同期処理のシミュレーション
+        return [
+            {'box_2d': [0.1, 0.1, 0.3, 0.3]}, # 例のバウンディングボックス (y1, x1, y2, x2)
+            {'box_2d': [0.5, 0.5, 0.7, 0.7]}
+        ]
+
+class WebScraper:
+    def __init__(self, headless):
+        self.headless = headless
+
+    async def get_processed_documents(self, search_query, num_search_results):
+        print(f"Scraping for: {search_query}")
+        await asyncio.sleep(0.1) # 非同期処理のシミュレーション
+        return {"cleaned_html_content": "個人情報漏洩に関するクリーンなコンテンツの例。"}
 
+async def llm_to_process_image_simple_auto(risk_level, image_path, point1, point2, thresholds=None):
+    print(f"リスクレベル: {risk_level}, 画像パス: {image_path}, point1: {point1}, point2: {point2}, しきい値: {thresholds}")
+    print(f"point1, point2: {point1}, {point2}")
 
+    GEMINI_API_KEY = os.getenv('GEMINI_API_KEY')
 
+    # 画像処理のロジックを追加
+    Objectdetector = ObjectDetector(API_KEY=GEMINI_API_KEY)
 
+    # デバッグ用の画像パスを定義。保存時にファイル名として使われます。
+    debug_image_name = "masked_image.jpg" # デバッグ画像名を具体的に
+    debug_image_path = os.path.join("./saved_images", debug_image_name)
 
+    # 非同期メソッドをawaitで呼び出す
+    response = await Objectdetector.detect_auto(image_path)
+    print(f"削除対象オブジェクト: {response['objects_to_remove']}")
+    Objectdetector.prompt_objects = response["objects_to_remove"]
 
+    # 個人情報流出に関する事例を検索し、クリーンなコンテンツを取得
+    scraper = WebScraper(headless=True)
+    # ここでasyncio.run()は不要。単にawaitする
+    personal_breach_docs = await scraper.get_processed_documents(
+        search_query="個人情報流出 事�� SNS",
+        num_search_results=10
+    )
 
+    print(f"取得したドキュメント: {personal_breach_docs}")
+    Objectdetector.text = personal_breach_docs["cleaned_html_content"]
 
+    # 画像の読み込みとRGB変換
+    print(f"Objectdetector.prompt_objects: {Objectdetector.prompt_objects}")
+    image = cv2.imread(image_path)
 
+    # 画像の読み込みに失敗した場合のハンドリング
+    if image is None:
+        print(f"エラー: {image_path} から画像を読み込めませんでした。")
+        return None, {"error": "画像を読み込めませんでした"}
 
+    image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
+    mask_llm = np.zeros(image.shape[:2], dtype=np.uint8)
 
+    # 非同期メソッドをawaitで呼び出す
+    llm_results = await Objectdetector.detect_objects(image_path)
+    print(f"LLM検出結果: {llm_results}")
 
+    for result in llm_results:
+        bbox = result['box_2d']
+        # バウンディングボックスの座標を画像サイズに変換し、範囲内に収める
+        x1, y1 = int(bbox[1] * image.shape[1]), int(bbox[0] * image.shape[0])
+        x2, y2 = int(bbox[3] * image.shape[1]), int(bbox[2] * image.shape[0])
 
+        x1, y1 = max(0, x1), max(0, y1)
+        x2, y2 = min(image.shape[1], x2), min(image.shape[0], y2)
 
+        mask_llm[y1:y2, x1:x2] = 255 # テキスト領域をマスク
 
+    # 指定された2点間の領域を黒く設定
+    p1_x, p1_y = int(point1[0] * image.shape[1]), int(point1[1] * image.shape[0])
+    p2_x, p2_y = int(point2[0] * image.shape[1]), int(point2[1] * image.shape[0])
 
+    x_min, y_min = max(0, min(p1_x, p2_x)), max(0, min(p1_y, p2_y))
+    x_max, y_max = min(image.shape[1], max(p1_x, p2_x)), min(image.shape[0], max(p1_y, p2_y))
 
+    mask_llm[y_min:y_max, x_min:x_max] = 0 # 範囲を黒に設定
 
+    save_dir = "./saved_images"
+    os.makedirs(save_dir, exist_ok=True) # 保存ディレクトリが存在しない場合に作成
 
+    debug_image_pil = Image.fromarray(mask_llm)
+    mask_save_path = os.path.join(save_dir, debug_image_name) # 保存パスを構築
+    debug_image_pil.save(mask_save_path)
 
+    return mask_save_path, response