Spaces:
Sleeping
Sleeping
File size: 14,641 Bytes
5459b92 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 |
# -*- coding: utf-8 -*-
"""
Script para baixar um vídeo do YouTube, extrair frames, analisar com GPT-4o e contar aves.
"""
import os
import subprocess
import cv2
import base64
import time
from openai import OpenAI # Importa a classe OpenAI
import json
import re
# --- Configurações (Substitua os placeholders) ---
VIDEO_URL = "https://www.youtube.com/watch?v=L1vXCYZAYYM" # Substitua pela URL do vídeo do YouTube
OUTPUT_DIR = "./video_analysis_output" # Diretório para salvar o vídeo e os frames
FRAME_INTERVAL_SECONDS = 3 # Intervalo entre frames a serem extraídos
OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")
GPT_MODEL = "gpt-4o" # Modelo GPT a ser usado (certifique-se que é o correto para análise de imagem)
PROMPT_TEXT = "Quantas aves existem nesta imagem? Responda apenas com o número." # Prompt para o GPT-4o
RESULTS_FILE = os.path.join(OUTPUT_DIR, "analysis_results.json")
VIDEO_FILENAME = "downloaded_video.mp4"
VIDEO_PATH = os.path.join(OUTPUT_DIR, VIDEO_FILENAME)
# Verifica se a chave da API foi definida
if OPENAI_API_KEY == "SUA_CHAVE_API_OPENAI_AQUI":
print("AVISO: A chave da API OpenAI não foi definida. Por favor, edite o script e insira sua chave.")
# Considerar sair do script ou lançar um erro se a chave for essencial para a execução completa
# exit(1)
# Verifica se a URL foi definida
if VIDEO_URL == "URL_DO_SEU_VIDEO_AQUI":
print("AVISO: A URL do vídeo não foi definida. Por favor, edite o script e insira a URL desejada.")
# exit(1)
# --- Funções ---
def create_output_directory():
"""Cria o diretório de saída se não existir."""
if not os.path.exists(OUTPUT_DIR):
os.makedirs(OUTPUT_DIR)
print(f"Diretório criado: {OUTPUT_DIR}")
def retirar_sufixo_codec_arquivo(directory) -> None:
for filename in os.listdir(directory):
# Procura padrão como ".f123" antes da extensão
new_filename = re.sub(r'\.f\d{3}(?=\.\w+$)', '', filename)
if new_filename != filename:
old_path = os.path.join(directory, filename)
new_path = os.path.join(directory, new_filename)
os.rename(old_path, new_path)
print(f"Renomeado: {filename} → {new_filename}")
def download_video(url, output_path):
"""Baixa o vídeo do YouTube usando yt-dlp."""
print(f"Baixando vídeo de {url} para {output_path}...")
try:
# Comando yt-dlp para baixar o melhor formato mp4
command = [
'yt-dlp',
'-f', 'bestvideo[ext=mp4]+bestaudio[ext=m4a]/best[ext=mp4]/best',
'-o', output_path,
url
]
result = subprocess.run(command, check=True, capture_output=True, text=True)
print("Download concluído com sucesso.")
retirar_sufixo_codec_arquivo(OUTPUT_DIR)
# print(result.stdout) # Descomente para ver a saída do yt-dlp
return True
except subprocess.CalledProcessError as e:
print(f"Erro ao baixar o vídeo: {e}")
print(f"Saída do erro: {e.stderr}")
return False
except FileNotFoundError:
print("Erro: O comando 'yt-dlp' não foi encontrado. Certifique-se de que ele está instalado e no PATH do sistema.")
print("Você pode instalá-lo com: pip install yt-dlp")
return False
def extract_frames(video_path, output_dir, interval_sec):
"""Extrai frames de um vídeo em intervalos específicos."""
print(f"Extraindo frames de {video_path} a cada {interval_sec} segundos...")
if not os.path.exists(video_path):
print(f"Erro: Arquivo de vídeo não encontrado em {video_path}")
return []
cap = cv2.VideoCapture(video_path)
if not cap.isOpened():
print(f"Erro ao abrir o arquivo de vídeo: {video_path}")
return []
fps = cap.get(cv2.CAP_PROP_FPS)
if fps == 0:
print("Erro: Não foi possível obter o FPS do vídeo. Usando FPS padrão de 30.")
fps = 30 # Valor padrão caso a leitura falhe
frame_interval = int(fps * interval_sec)
total_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
print(f"Vídeo FPS: {fps:.2f}, Intervalo de frames: {frame_interval}, Total de frames: {total_frames}")
extracted_frames_paths = []
frame_count = 0
saved_frame_index = 5 # o importante nunca começa no inicio, é um deslocamento inicial para iniciar depois da introdução
while True:
# Define a posição do próximo frame a ser lido
# Adiciona frame_interval para pegar o frame *após* o intervalo de tempo
target_frame_pos = saved_frame_index * frame_interval
if target_frame_pos >= total_frames:
break # Sai se o próximo frame alvo estiver além do final do vídeo
cap.set(cv2.CAP_PROP_POS_FRAMES, target_frame_pos)
ret, frame = cap.read()
if not ret:
print(f"Não foi possível ler o frame na posição {target_frame_pos}. Pode ser o fim do vídeo ou um erro.")
break # Sai se não conseguir ler o frame
# redimensiona o frame (custo chamada)
frame = cv2.resize(frame, (1280, 720))
# Calcula o timestamp em segundos
timestamp_sec = target_frame_pos / fps
# Salva o frame
frame_filename = f"frame_{saved_frame_index:04d}_time_{timestamp_sec:.2f}s.png"
frame_path = os.path.join(output_dir, frame_filename)
try:
cv2.imwrite(frame_path, frame)
extracted_frames_paths.append(frame_path)
print(f"Frame salvo: {frame_path} (Timestamp: {timestamp_sec:.2f}s)")
saved_frame_index += 1
except Exception as e:
print(f"Erro ao salvar o frame {frame_path}: {e}")
# Continua para o próximo intervalo mesmo se um frame falhar
# Segurança para evitar loop infinito caso algo dê errado com a lógica de posição
if saved_frame_index > (total_frames / frame_interval) + 2:
print("Aviso: Número de frames salvos parece exceder o esperado. Interrompendo extração.")
break
cap.release()
print(f"Extração de frames concluída. Total de frames salvos: {len(extracted_frames_paths)}")
return extracted_frames_paths
# --- Atualização do Bloco Principal ---
# (Remover a linha print anterior sobre próximas etapas e adicionar a chamada da nova função)
def encode_frame_to_base64(frame_path):
"""Codifica um arquivo de imagem (frame) para base64."""
try:
with open(frame_path, "rb") as image_file:
return base64.b64encode(image_file.read()).decode('utf-8')
except FileNotFoundError:
print(f"Erro: Arquivo de frame não encontrado em {frame_path}")
return None
except Exception as e:
print(f"Erro ao codificar o frame {frame_path} para base64: {e}")
return None
def analyze_frame_with_gpt4o(client, base64_image, prompt):
print("NAO CHAMAR AINDA")
return
"""Envia um frame codificado em base64 para a API GPT-4o e retorna a análise."""
print(f"Enviando frame para análise no {GPT_MODEL}...")
headers = {
"Content-Type": "application/json",
"Authorization": f"Bearer {OPENAI_API_KEY}"
}
payload = {
"model": GPT_MODEL,
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": prompt
},
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{base64_image}"
}
}
]
}
],
"max_tokens": 100 # Ajuste conforme necessário para a resposta esperada
}
try:
# Verifica se a chave da API é o placeholder
if OPENAI_API_KEY == "SUA_CHAVE_API_OPENAI_AQUI":
print("AVISO: Chave da API OpenAI não configurada. Pulando análise.")
return {"error": "API key not configured."}
# Cria o cliente OpenAI dentro da função para garantir que use a chave mais recente
# (embora seja definida globalmente, isso pode ser útil se a chave for atualizada dinamicamente no futuro)
# client = OpenAI(api_key=OPENAI_API_KEY)
response = client.chat.completions.create(
model=payload["model"],
messages=payload["messages"],
max_tokens=payload["max_tokens"]
)
# Extrai o conteúdo da resposta
analysis_result = response.choices[0].message.content.strip()
print(f"Análise recebida: {analysis_result}")
# Tenta converter a resposta para um inteiro (contagem de aves)
try:
bird_count = int(analysis_result)
return {"bird_count": bird_count, "raw_response": analysis_result}
except ValueError:
print(f"Aviso: Não foi possível converter a resposta '{analysis_result}' para um número inteiro.")
return {"error": "Failed to parse bird count from response.", "raw_response": analysis_result}
except Exception as e:
print(f"Erro ao chamar a API OpenAI: {e}")
return {"error": str(e)}
def save_results_to_json(results_list, output_file):
"""Salva a lista de resultados da análise em um arquivo JSON."""
print(f"Salvando resultados da análise em {output_file}...")
try:
with open(output_file, 'w', encoding='utf-8') as f:
json.dump(results_list, f, ensure_ascii=False, indent=4)
print(f"Resultados salvos com sucesso em: {output_file}")
return True
except Exception as e:
print(f"Erro ao salvar os resultados em JSON: {e}")
return False
# --- Atualização do Bloco Principal ---
# (Adicionar inicialização do cliente OpenAI e o loop de análise)
if __name__ == "__main__":
create_output_directory()
extracted_frames = []
analysis_results_list = []
# Inicializa o cliente OpenAI (se a chave estiver definida)
openai_client = None
if OPENAI_API_KEY != "SUA_CHAVE_API_OPENAI_AQUI":
try:
openai_client = OpenAI(api_key=OPENAI_API_KEY)
print("Cliente OpenAI inicializado.")
except Exception as e:
print(f"Erro ao inicializar o cliente OpenAI: {e}. As chamadas de API serão puladas.")
else:
print("Chave da API OpenAI não configurada. As chamadas de API serão puladas.")
# Etapa 1: Baixar o vídeo
video_downloaded_or_exists = False
if VIDEO_URL != "URL_DO_SEU_VIDEO_AQUI":
if download_video(VIDEO_URL, VIDEO_PATH):
print(f"Vídeo salvo em: {VIDEO_PATH}")
video_downloaded_or_exists = True
else:
print("Falha no download do vídeo. Pulando etapas dependentes.")
elif os.path.exists(VIDEO_PATH):
print(f"URL não fornecida, mas vídeo encontrado em {VIDEO_PATH}. Tentando processar.")
video_downloaded_or_exists = True
else:
print("URL do vídeo não fornecida e vídeo local não encontrado. Pulando download e extração.")
# Etapa 2: Extrair frames
if video_downloaded_or_exists:
extracted_frames = extract_frames(VIDEO_PATH, OUTPUT_DIR, FRAME_INTERVAL_SECONDS)
else:
print("Pulando extração de frames pois o vídeo não está disponível.")
# Etapa 3 e 4: Codificar e Analisar Frames
if extracted_frames and openai_client:
print(f"\nIniciando análise de {len(extracted_frames)} frames com {GPT_MODEL}...")
for frame_path in extracted_frames:
print(f"\nProcessando frame: {frame_path}")
# Extrai timestamp do nome do arquivo, se possível
timestamp_str = "unknown"
try:
# Exemplo: frame_0000_time_0.00s.png
parts = os.path.basename(frame_path).split('_')
if len(parts) >= 4 and parts[2] == 'time':
timestamp_str = parts[3].replace('s.png','')
except Exception:
pass # Mantém 'unknown' se o parsing falhar
# Codifica o frame
base64_image = encode_frame_to_base64(frame_path)
if base64_image:
# Analisa o frame com GPT-4o
# analysis_result = analyze_frame_with_gpt4o(openai_client, base64_image, PROMPT_TEXT)
result_entry = {
"frame_path": frame_path,
"timestamp_approx_sec": timestamp_str,
"analysis": f' pulado frame {frame_path}' #analysis_result
}
analysis_results_list.append(result_entry)
# Pausa opcional para evitar rate limiting
time.sleep(1) # Pausa de 1 segundo entre as chamadas
else:
print(f"Falha ao codificar o frame {frame_path}. Pulando análise.")
analysis_results_list.append({
"frame_path": frame_path,
"timestamp_approx_sec": timestamp_str,
"analysis": {"error": "Failed to encode frame to base64."}
})
print("\nAnálise de todos os frames concluída.")
elif not extracted_frames:
print("Nenhum frame foi extraído. Pulando etapa de análise.")
elif not openai_client:
print("Cliente OpenAI não inicializado (verifique a API Key). Pulando etapa de análise.")
# Próxima etapa: Compilar resultados
print(f"\nPróxima etapa a ser implementada: Compilação dos resultados ({len(analysis_results_list)} análises) em um relatório.")
# ... (código anterior para inicialização, download, extração, análise) ...
# Etapa 5: Compilar e Salvar Resultados
if analysis_results_list:
print(f"\nCompilando {len(analysis_results_list)} resultados da análise...")
if save_results_to_json(analysis_results_list, RESULTS_FILE):
print("Compilação e salvamento dos resultados concluídos.")
else:
print("Falha ao salvar os resultados da análise.")
else:
print("Nenhum resultado de análise para compilar.")
print("\n--- Processo de Análise de Vídeo Concluído ---")
print(f"Verifique o diretório '{OUTPUT_DIR}' para os frames extraídos (se aplicável).")
print(f"Verifique o arquivo '{RESULTS_FILE}' para os resultados da análise (se aplicável).")
print("Lembre-se de substituir os placeholders para URL_DO_SEU_VIDEO_AQUI e SUA_CHAVE_API_OPENAI_AQUI no script.")
|