Groq levanta US$ 650 milhões e se reinventa após acordo bilionário com a Nvidia
A fabricante de chips de IA Groq anunciou nesta segunda-feira (22) uma nova rodada de investimentos de US$ 650 milhões , confirmando…
Tag: inferencia
10 publicações encontradas
Ferramentas Server-Side para Agentes de IA: Arquitetura, Latência e Quando Migrar
Todo agente de IA eventualmente encontra o mesmo problema estrutural: o modelo consegue raciocinar, mas não consegue agir sem ferramentas. Alguém precisa…
AWS SageMaker AI agora suporta payloads inline na inferência assíncrona
A AWS anunciou uma atualização importante para o Amazon SageMaker AI Async Inference: agora é possível enviar os payloads de inferência diretamente…
AWS acelera carregamento de modelos LLM e amplia janelas de contexto com GPUDirect e Amazon FSx for Lustre
Para quem trabalha com grandes modelos de linguagem (LLMs) em instâncias GPU da AWS, o tempo de carregamento do modelo na memória…
Novos Blocos de Construção AWS para Treinamento e Inferência de Foundation Models
Infraestrutura de Computação, Rede e Armazenamento para Foundation Models na AWS A AWS lançou uma arquitetura robusta de blocos de construção que…
Desafios e Métricas para Avaliação de Desempenho de LLMs: Insights de Legare Kerrison e Cedric Clyburn
Contexto e importância da avaliação de LLMs O avanço das Large Language Models (LLMs) tem impulsionado a adoção de aplicações de inteligência…
Amazon Bedrock lança Model Distillation para otimizar buscas semânticas em vídeo com Amazon Nova
A Amazon Web Services (AWS) anunciou um avanço significativo para quem trabalha com buscas semânticas em vídeos: a técnica de Model Distillation…
TurboQuant: Compressão Avançada da Google para Cache KV em Modelos de Linguagem Extensos
Desafio da Memória em Modelos de Linguagem com Janelas de Contexto Longas O avanço dos modelos de linguagem de grande porte (LLMs)…
CoreWeave aposta na inferência para expandir seu papel no mercado de neoclouds
A CoreWeave, empresa inicialmente focada em GPU-as-a-service e com forte ligação à Nvidia, está passando por uma nova transformação estratégica ao…
Maximizando o Poder das GPUs: Eficiência Revolucionária com vLLM Co-localizado no TRL
Nos últimos anos, o avanço da Inteligência Artificial tem exigido cada vez mais recursos computacionais robustos, especialmente GPUs (Unidades de…