UD03 · EX5 — Prototipo de asistente virtual¶

Esta práctica propone la creación de un prototipo del sistema de traducción que permite recibir órdenes en un idioma y ejecutarlos en otro idioma. Por ejemplo, el usuario podría decir "open the door" y el sistema respondería "abre la puerta". Este prototipo se basará en el uso de modelos de HugginFace previamente entrenados para la traducción y la síntesis de voz.

Buscar modelos previamente entrenados¶

El primer paso es buscar modelos previamente entrenados para las tareas solicitadas. Investigue Huggingface para seleccionar modelos que mejor satisfagan las necesidades del prototipo.

Cuando haya seleccionado los modelos, modifique las siguientes variables para incluirlas en el prototipo:

!!! Tres trampas técnicas de este ejercicio

- **Cargar el audio**: `asr("OpenTheDoor.wav")` puede fallar con
  `ffmpeg was not found` si tu entorno no tiene `ffmpeg` instalado (el contenedor de la unidad
  no lo trae). Alternativa sin `ffmpeg`: carga el audio tú mismo con `librosa` o `soundfile`
  y pásaselo al *pipeline* como diccionario `{"array": ..., "sampling_rate": ...}`.
- **La frecuencia de muestreo**: Whisper espera **16.000 Hz**, y `OpenTheDoor.wav` no está a
  esa frecuencia. Si la cargas con `librosa.load(ruta, sr=16000)`, el propio `librosa` la
  remuestrea al vuelo.
- **La traducción**: en las versiones recientes de `transformers`, `pipeline("translation",
  model=...)` **ya no existe** como tarea genérica. Para un modelo Marian como
  `Helsinki-NLP/opus-mt-en-es`, usa directamente `AutoTokenizer` +
  `AutoModelForSeq2SeqLM.generate(...)`. Necesitarás además `pip install sentencepiece`.

Implementación del prototipo¶

Una vez que se seleccionan los modelos previamente entrenados, implementa el prototipo.Para hacer esto, puede seguir los siguientes pasos:

1. Cree una función que, dada una orden de voz, lo transforme en texto (Automatic Speech Recognition ASR). Para hacer esto, puede usar el modelo MODELO_VOZ_A_TEXTO previamente seleccionado. Como ejemplo, puede usar el siguiente archivo de voz: OpenTheDoor.wav.

2. Crea una función que, dado un texto y un idioma, lo traduce al español (machine translation). Para hacer esto, puede usar el modelo MODELO_TRADUCCION seleccionado anteriormente. Como ejemplo, puede usar el siguiente pedido en texto: "Abra la puerta".

3. Crea una funció que, donat un text, el sintetitzi en veu (Text to speech). Per fer-ho pots utilitzar el model MODEL_TEXT_A_VEU seleccionat anteriorment. Com a exemple pots utilitzar el text "abre la puerta".

4.- Une las tres funciones anteriores en una sola función que, dada una voz y un idioma, lo transforma en texto, lo traduce en otro idioma y la sintetizando en la voz. Como ejemplo, puede usar el siguiente audio de voz: OpenTheDoor.wav.