Stable Diffusion: Riffusion

En nuestros artículos anteriores, exploramos las fascinantes capacidades de la Difusión Estable para generar imágenes cautivadoras. Sin embargo, es importante señalar que esta potente red neuronal generativa tiene aún más que ofrecer.

Riffusion es un modelo de Difusión Estable para la creación y edición de música. Con Riffusion, puedes generar un espectrograma de un segmento musical deseado y transformarlo sin esfuerzo en un fragmento musical. Instalemos Riffusion en un servidor LeaderGPU y probémoslo en acción.

Requisitos previos

Empieza por actualizar el repositorio de caché de paquetes y los paquetes instalados:

sudo apt update && sudo apt -y upgrade

No olvides instalar los controladores Nvidia mediante el comando autoinstall o manualmente, siguiendo nuestra guía paso a paso:

sudo ubuntu-drivers autoinstall

Reinicia el servidor:

sudo shutdown -r now

Para crear un entorno virtual, los desarrolladores sugieren utilizar una herramienta llamada Anaconda. También puedes usar venv, de la que hablamos en el tutorial de utilidades del sistema Linux. Descarga el script de instalación de Anaconda usando curl:

curl --output anaconda.sh https://repo.anaconda.com/archive/Anaconda3-5.3.1-Linux-x86_64.sh

Hazlo ejecutable:

chmod +x anaconda.sh

Y ejecuta:

./anaconda.sh

Responde SÍ a todas las preguntas, excepto a la última (instalar Microsoft VSCode). A continuación, vuelve a iniciar sesión en la consola SSH y crea un nuevo entorno virtual con Python v3.9:

conda create --name riffusion python=3.9

Activa el nuevo entorno virtual:

conda activate riffusion

Si desea utilizar formatos de música distintos de wav, es necesario instalar también el conjunto de bibliotecas FFmpeg:

conda install -c conda-forge ffmpeg

Instalar Riffusion

Clona el repositorio de Riffusion:

git clone https://github.com/riffusion/riffusion.git

Abra el directorio descargado:

cd riffusion

Hagamos algunos cambios en el archivo de requisitos. Esto evita errores con la compatibilidad de la antorcha:

nano requirements.txt

Buscar y corregir versiones de paquetes:

diffusers==0.9.0
torchaudio==2.0.1

Guarde los cambios y proceda a preparar un entorno virtual. El siguiente comando instala todos los paquetes necesarios:

python -m pip install -r requirements.txt

Por último, puede abrir un "patio de recreo". Se trata de una sencilla interfaz web que le ayudará a conocer mejor las características de Riffusion:

python -m riffusion.streamlit.playground

Abre tu navegador favorito e introduce la dirección http://[SERVER_IP]:8501/

Prueba una zona de juegos

Ahora, puedes crear música utilizando indicaciones de texto y cambiando los demás parámetros:

Además, puedes hacer algunas cosas complicadas, como dividir el audio en componentes separados. Por ejemplo, puedes extraer la voz de Bohemian rhapsody de Queen:

Recuerda que éste es sólo un ejemplo de cómo utilizar Riffusion. Creando tu propia aplicación, puedes conseguir resultados mucho más cautivadores. Los potentes servidores de LeaderGPU se encargarán de los cálculos.

Véase también:

• Stable Diffusion: Generación de caras repetibles
• Stable Diffusion: LoRA selfie
• Stable Diffusion: Qué es ControlNet