Update README.md
Browse files
README.md
CHANGED
|
@@ -1,10 +1,50 @@
|
|
| 1 |
---
|
| 2 |
title: VideoAvatar
|
| 3 |
-
emoji:
|
| 4 |
colorFrom: red
|
| 5 |
colorTo: pink
|
| 6 |
sdk: gradio
|
| 7 |
-
sdk_version:
|
| 8 |
app_file: app.py
|
| 9 |
-
pinned:
|
| 10 |
-
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
---
|
| 2 |
title: VideoAvatar
|
| 3 |
+
emoji: 🧑🎤
|
| 4 |
colorFrom: red
|
| 5 |
colorTo: pink
|
| 6 |
sdk: gradio
|
| 7 |
+
sdk_version: 4.12.0
|
| 8 |
app_file: app.py
|
| 9 |
+
pinned: true
|
| 10 |
+
---
|
| 11 |
+
|
| 12 |
+
# 🎥 VideoAvatar - IA de Sincronización Labial con Audio Personalizado
|
| 13 |
+
|
| 14 |
+
Este proyecto permite grabar audio directamente desde el navegador, transcribirlo con modelos `Whisper`, generar una respuesta con `OpenAI GPT-4`, sintetizar voz con `gTTS` y generar un video sincronizado usando `Wav2Lip` en su versión optimizada con OpenVINO.
|
| 15 |
+
|
| 16 |
+
## 🧠 Flujo de trabajo:
|
| 17 |
+
|
| 18 |
+
1. Grabación de voz desde el navegador.
|
| 19 |
+
2. Transcripción automática usando `openai/whisper-large`.
|
| 20 |
+
3. Generación de respuesta con GPT-4 (`langchain` + `OpenAI API`).
|
| 21 |
+
4. Conversión texto → voz (`gTTS`).
|
| 22 |
+
5. Procesamiento final de video con sincronización labial (`Wav2Lip` + OpenVINO).
|
| 23 |
+
|
| 24 |
+
## 🗂 Estructura
|
| 25 |
+
|
| 26 |
+
- `app.py`: punto de entrada para Spaces.
|
| 27 |
+
- `src/`: módulos de procesamiento.
|
| 28 |
+
- `assets/`: contiene videos y audios.
|
| 29 |
+
- `results/`: salidas del sistema (audio TTS, video final, transcripción).
|
| 30 |
+
|
| 31 |
+
## ✅ Requisitos
|
| 32 |
+
|
| 33 |
+
Declarados en `requirements.txt`. Incluye:
|
| 34 |
+
- `gradio`
|
| 35 |
+
- `transformers`
|
| 36 |
+
- `torch`
|
| 37 |
+
- `librosa`
|
| 38 |
+
- `soundfile`
|
| 39 |
+
- `gtts`
|
| 40 |
+
- `openvino`
|
| 41 |
+
- `opencv-python-headless`
|
| 42 |
+
- `python-dotenv`
|
| 43 |
+
|
| 44 |
+
## 🚧 Notas
|
| 45 |
+
|
| 46 |
+
> Este proyecto requiere que los modelos `.xml` de OpenVINO estén preconvertidos y accesibles. Si se ejecuta fuera de Hugging Face, asegúrate de usar `convert_models.py` y tener los modelos en `models/`.
|
| 47 |
+
|
| 48 |
+
---
|
| 49 |
+
|
| 50 |
+
¿Deseas que lo genere automáticamente en un archivo para que lo agregues al repo (`README.md`) o prefieres copiarlo tú manualmente?
|