Um Guia Abrangente de Implementação do ModelScope para Busca de Modelos, Inferência, Fine-Tuning, Avaliação e Exportação

Neste tutorial, exploramos o ModelScope através de um fluxo de trabalho prático e completo que roda sem problemas no Colab. Começamos configurando o ambiente, verificando dependências e confirmando a disponibilidade da GPU para que possamos trabalhar com o framework de forma confiável desde o início. A partir daí, interagimos com o ModelScope Hub para pesquisar modelos, baixar snapshots, carregar datasets e entender como seu ecossistema se conecta com ferramentas familiares como o Hugging Face Transformers. À medida que avançamos, aplicamos pipelines pré-treinados em tarefas de NLP e visão computacional, então fazemos fine-tuning de um classificador de sentimento no IMDB, avaliamos seu desempenho e o exportamos para deployment. Através deste processo, construímos não apenas uma implementação funcional, mas também uma compreensão clara de como o ModelScope pode apoiar a pesquisa, experimentação e fluxos de trabalho de AI orientados à produção. Copiar Código Copiado Use um navegador diferente!pip install -q addict simplejson yapf gast oss2 sortedcontainers requests !pip install -q modelscope transformers>=4.37.0 datasets torch torchvision \ accelerate scikit-learn sentencepiece Pillow matplotlib evaluate optimum[exporters] import torch, os, sys, json, warnings, numpy as np warnings.filterwarnings("ignore") import addict; print(" addict OK") print(f"PyTorch: {torch.version}") print(f"CUDA available: {torch.cuda.is_available()}") if torch.cuda.is_available(): print(f"GPU: {torch.cuda.get_device_name(0)}") import modelscope print(f"ModelScope: {modelscope.version}") DEVICE = 0 if torch.cuda.is_available() else -1 from modelscope import snapshot_download from modelscope.hub.api import HubApi api = HubApi() print("\n Procurando por modelos 'bert' no ModelScope Hub...\n") try: models = api.list_models(filter_dict={"Search": "bert"}, sort="StarCount") for i, m in enumerate(models): if i >= 5: break print(f" • {m.get('Name', m.get('id', 'N/A'))}") except Exception as e: print(f" (A busca no Hub pode estar indisponível fora da China — {e})") model_dir = snapshot_download( "AI-ModelScope/bert-base-uncased", cache_dir="./ms_cache", ) print(f"\n Modelo baixado para: {model_dir}") print(" Arquivos:", os.listdir(model_dir)[:8]) from modelscope.msdatasets import MsDataset print("\n Carregando o dataset 'imdb'...\n") try: ds = MsDataset.load("imdb", split="train") print(f" Tamanho do dataset: {len(ds)} amostras") sample = next(iter(ds)) print(f" Chaves: {list(sample.keys())}") print(f" Prévia do texto: {sample['text'][:120]}...") print(f" Rótulo: {sample['label']} (0=n