TERA

Gestão e transformação digital Notícia

Ai2 reformula agendamento de clusters de GPU

Saiba como a Ai2 reestruturou o agendamento de clusters de GPU com orçamentos transparentes para priorizar pesquisas de alto impacto.

Leve este artigo com você
Compartilhar nas redes
LinkedIn ↗X ↗WhatsApp ↗Telegram ↗Facebook ↗

Capa do artigo: Ai2 reformula agendamento de clusters de GPU

Se você acompanha a gestão de infraestrutura de inteligência artificial, saiba que a equipe da Ai2 reformulou o agendamento de clusters de GPU, que são agrupamentos de unidades de processamento gráfico interconectadas, conforme detalhado nesta publicação da Hugging Face.

Os problemas da fila antiga

O instituto opera milhares de chips NVIDIA H100, B200 e B300 divididos em agrupamentos de 88 a 1024 processadores para cerca de 150 pesquisadores internos. Como você pode notar nesse cenário, a demanda por capacidade superava a oferta em duas a três vezes.

No sistema anterior baseado em prioridades, as tarefas podiam recusar a preempção, que é a interrupção programada de um processo para ceder espaço a outro. Isso incentivou a reserva indevida de máquinas ociosas e fez todas as requisições adotarem prioridade alta.

Com isso, você via os níveis inferiores sem acesso a recursos, enquanto engenheiros de plantão perdiam tempo negociando o desligamento manual de máquinas com falhas.

Nova divisão e orçamentos transparentes

Para corrigir essas distorções, a equipe adotou orçamentos de tempo de GPU, alocação hierárquica justa e contratos de divisão temporal. Você percebe que essa transição transformou disputas operacionais caso a caso em um processo administrativo transparente.

O gerenciamento agora segue uma pirâmide com quatro métricas: disponibilidade física, ocupação do tempo disponível, impacto dos projetos escolhidos e taxa de utilização da capacidade ao longo de cada ciclo de processamento.

Fontes consultadas

Datas de consulta registradas no momento da verificação. Informações de terceiros podem mudar depois disso.