Modelo NEXUS para dados tabulares agora disponível no Amazon SageMaker JumpStart

O que é o modelo NEXUS e por que ele importa para dados tabulares

O NEXUS, desenvolvido pela Fundamental, é um modelo fundamental (foundation model) especialmente criado para a predição de dados estruturados em tabelas, como aquelas encontradas em planilhas, sistemas ERP, CRM e bancos relacionais. Diferente dos modelos tradicionais e dos grandes modelos de linguagem (LLMs), que são voltados para texto, o NEXUS foi pré-treinado em bilhões de tarefas reais envolvendo dados tabulares, o que lhe confere uma compreensão nativa e robusta para analisar números, categorias, datas e até textos não estruturados sem a necessidade de engenharia manual de features.

Desafios dos métodos tradicionais para dados tabulares

Atualmente, a construção de modelos preditivos para dados tabulares enfrenta limitações significativas:

Tempo e esforço: equipes de ciência de dados podem levar de 3 a 6 meses para desenvolver, treinar e colocar em produção um modelo para um caso de uso específico.
Trade-off entre qualidade e quantidade: é comum haver um equilíbrio difícil entre a qualidade das predições e a quantidade de dados processados.
LLMs não determinísticos: grandes modelos de linguagem geram respostas diferentes para a mesma consulta e perdem contexto numérico durante a tokenização, o que prejudica a precisão em dados estruturados.

Inovações do NEXUS para análise de dados tabulares

Arquitetura determinística: resultados consistentes e reproduzíveis para cada predição individual.
Compreensão nativa de tabelas: manipula dados numéricos, categóricos, datas e textos sem necessidade de processamento manual.
Raciocínio não sequencial: avalia relações multidimensionais complexas entre colunas, por exemplo, para prever churn de clientes considerando múltiplos fatores simultaneamente.
Invariância a permutações: reconhece que a ordem das colunas não altera o significado dos dados.
Capacidade para bilhões de linhas: processa grandes volumes sem truncamento ou amostragem.
Raciocínio entre esquemas: conecta dados relacionados entre diferentes tabelas automaticamente.
Limpeza de dados autônoma: faz predições mesmo com entradas incompletas.

Como usar o NEXUS no Amazon SageMaker JumpStart

A integração do NEXUS com o Amazon SageMaker AI permite que empresas implantem rapidamente um modelo de base para dados tabulares em um ambiente gerenciado, seguro e escalável. O fluxo básico para usar o NEXUS no SageMaker é:

Assinar e implantar: assine o pacote do modelo NEXUS no AWS Marketplace e implante-o como um endpoint gerenciado no SageMaker, usando instância ml.p5en.48xlarge (com 8 GPUs NVIDIA H200).
Instalar SDK: instale o Fundamental Python SDK para conectar-se ao endpoint. O SDK oferece uma API compatível com scikit-learn com estimadores NEXUSClassifier e NEXUSRegressor.
Enviar dados para Amazon S3: o SDK serializa os dados tabulares e os envia para um bucket S3 na sua conta AWS.
Treinar o modelo: execute clf.fit(X_train, y_train). O NEXUS realiza automaticamente limpeza e engenharia de features, dispensando pipelines manuais.
Gerar predições: use clf.predict(X_test) para predições determinísticas ou clf.predict_proba(X_test) para estimativas probabilísticas. Os resultados são armazenados no bucket S3.

Todo o processamento ocorre em um endpoint isolado, single-tenant e com a segurança da infraestrutura AWS, adequado para dados sensíveis de empresas.

Casos de uso empresariais para o NEXUS

O NEXUS pode ser aplicado em diversos setores para acelerar a geração de insights e decisões baseadas em dados tabulares:

Financeiro: detecção de fraudes, modelagem de risco de crédito, conformidade regulatória.
Saúde: seleção de pacientes para ensaios clínicos, descoberta de medicamentos, estratificação de risco hospitalar.
Manufatura e cadeia de suprimentos: manutenção preditiva, previsão de demanda, análise de risco de fornecedores.
Varejo e e-commerce: previsão de churn, precificação dinâmica, análise de abandono de carrinho.

Vantagens de executar NEXUS no Amazon SageMaker AI

Agilidade: containers e scripts pré-construídos aceleram a implantação.
Eficiência de custos: infraestrutura gerenciada reduz custos operacionais.
Escalabilidade: suporta datasets em escala de petabytes.
Conformidade: atende a normas como GDPR, HIPAA e SOC 2.
Aprendizado contínuo: integração nativa com Amazon SageMaker Pipelines para re-treinamento automático.
Multiplexação: múltiplas operações de fit e predict em um único endpoint, otimizando recursos.

Parceria estratégica entre Fundamental e AWS

A Fundamental firmou uma parceria estratégica com a AWS para facilitar a adoção do modelo NEXUS em escala empresarial, oferecendo:

Integração nativa via AWS Marketplace.
Execução em ambiente seguro e compliance da AWS.
Suporte dedicado de arquitetos de soluções AWS para implementação.

Como começar a usar o NEXUS

Para iniciar, acesse o Amazon SageMaker JumpStart, pesquise por "Fundamental NEXUS" e escolha entre o modelo base (pré-treinado com mais de 10 bilhões de linhas tabulares) ou variantes específicas para setores como finanças, saúde e manufatura.

Também é possível experimentar o notebook gerenciado no JupyterLab do SageMaker AI para testar o modelo com seus próprios dados.