Este módulo detalha os requisitos de rede especializados para cargas de trabalho de IA em comparação a aplicativos da web tradicionais. Abordamos as demandas específicas de largura de banda e latência de cada etapa do pipeline, da ingestão à inferência, e analisamos as arquiteturas de rede "alinhadas aos trilhos" dos tipos de máquina A3 e A4 com GPU do Google Cloud, projetados para maximizar o "Goodput".

Este módulo detalha estratégias para migrar conjuntos de dados massivos para a nuvem de forma eficiente. Abordamos o uso do Cross-Cloud Network e do Cloud Interconnect para estabelecer pipelines de alta largura de banda e descrevemos as práticas recomendadas de configuração, como habilitar Jumbo Frames (MTU), para reduzir o overhead do protocolo e otimizar a capacidade de processamento.

Este módulo detalha o papel crucial das redes de baixa latência no treinamento de modelos distribuídos. Abordamos a necessidade do acesso direto e remoto à memória (RDMA, na sigla em inglês) para a sincronização de gradientes, os benefícios da arquitetura de descarregamento Titanium do Google na liberação de recursos de CPU e as opções de topologia necessárias para escalonar clusters sem gargalos.

Este módulo detalha os desafios de rede específicos da inferência com IA generativa, como tráfego intermitente e conexões de longa duração. Abordamos a otimização do tempo até o primeiro token usando o GKE Inference Gateway e o direcionamento de "Profundidade da fila", além de tratar das práticas recomendadas para a confiabilidade da rede e o Identity and Access Management (IAM).

Links para todos os módulos no PDF do estudante