Subquadratic afirma ter resolvido o gargalo matemático dos transformers — e tem benchmarks independentes para provar
Startup de Miami afirma ter resolvido o gargalo da atenção densa em transformers. Modelo SubQ seria 56x mais rápido e processa 12x…
Tag: atenção-esparsa
2 publicações encontradas
MiniMax lança MSA: atenção esparsa treinada em modelo de 109B parâmetros com 3 trilhões de tokens
A MiniMax acaba de lançar o MSA (MiniMax Sparse Attention) , um novo mecanismo de atenção esparsa que resolve um dos gargalos…