Neste tutorial, exploramos o Microsoft VibeVoice no Colab e construímos um fluxo de trabalho prático completo para reconhecimento de fala e síntese de fala em tempo real. Configuramos o ambiente do zero, instalamos as dependências necessárias, verificamos o suporte para os modelos VibeVoice mais recentes e, em seguida, percorremos recursos avançados, como transcrição com consciência do locutor, ASR (Automatic Speech Recognition) guiado por contexto, processamento de áudio em lote, geração expressiva de texto para fala (Text-to-Speech) e um pipeline de fala para fala (Speech-to-Speech) de ponta a ponta. À medida que avançamos no tutorial, interagimos com exemplos práticos, testamos diferentes predefinições de voz, geramos áudio de longa duração, lançamos uma interface Gradio e entendemos como adaptar o sistema para nossos próprios arquivos e experimentos. Copiar Código Copiado Use um navegador diferente! !pip uninstall -y transformers -q !pip install -q git+https://github.com/huggingface/transformers.git !pip install -q torch torchaudio accelerate soundfile librosa scipy numpy !pip install -q huggingface_hub ipywidgets gradio einops !pip install -q flash-attn --no-build-isolation 2>/dev/null || echo "flash-attn opcional" !git clone -q --depth 1 https://github.com/microsoft/VibeVoice.git /content/VibeVoice 2>/dev/null || echo "Já clonado" !pip install -q -e /content/VibeVoice print("="*70) print("IMPORTANTE: Se esta é a sua primeira execução, reinicie o runtime agora!") print("Vá para: Runtime -> Reiniciar runtime, então execute a partir da CÉLULA 2.") print("="*70) import torch import numpy as np import soundfile as sf import warnings import sys from IPython.display import Audio, display warnings.filterwarnings('ignore') sys.path.insert(0, '/content/VibeVoice') import transformers print(f"Versão Transformers: {transformers.__version__}") try: from transformers import VibeVoiceAsrForConditionalGeneration print("VibeVoice ASR: Disponível") except ImportError: print("ERRO: VibeVoice não disponível. Por favor, reinicie o runtime e execute a Célula 1 novamente.") raise SAMPLE_PODCAST = "https://huggingface.co/datasets/bezzam/vibevoice_samples/resolve/main/example_output/VibeVoice-1.5B_output.wav" SAMPLE_GERMAN = "https://huggingface.co/datasets/bezzam/vibevoice_samples/resolve/main/realtime_model/vibevoice_tts_german.wav" print("Configuração completa!") Preparamos o ambiente completo do Google Colab para o VibeVoice instalando e atualizando todos os pacotes necessários. Clonamos o repositório oficial do VibeVoice, configuramos o runtime e verificamos se o suporte especial para ASR está disponível na versão do Transformers instalada. Também importamos a
Fonte: MarkTechPost
Publicado em 2026-04-13