OpenAI Lança LifeSciBench: Benchmark com 750 Tarefas Avalia Modelos de IA em Pesquisas Reais de Biociências
A OpenAI acaba de lançar o LifeSciBench , um benchmark ambicioso com 750 tarefas desenvolvidas para avaliar modelos de IA em cenários…
Tag: benchmark
32 publicações encontradas
OpenAI lança LifeSciBench: benchmark com 750 tarefas para avaliar IA em ciências da vida
A OpenAI acaba de anunciar o LifeSciBench , um novo benchmark projetado para medir a capacidade de sistemas de IA em apoiar…
ITBench-AA: Benchmark Revolucionário Avalia Modelos de IA em Tarefas de Engenharia de Confiabilidade de Sistemas Empresariais
Em uma parceria entre a Artificial Analysis e o IBM Research, foi lançado o ITBench-AA, o primeiro benchmark focado em avaliar modelos…
Microsoft MDASH: Plataforma de IA para Auditoria Automática de Vulnerabilidades em Larga Escala
Desafios da Segurança em Grandes Bases de Código Com o crescimento exponencial de sistemas complexos, como o Windows, Hyper-V e Azure, a…
Parameter Golf: Lições da competição que avançou a pesquisa em IA assistida
Desafio e objetivo do Parameter Golf O Parameter Golf foi uma competição inovadora que reuniu mais de 1.000 participantes e recebeu mais…
SocialReasoning-Bench: Avaliando a Capacidade de Agentes de IA em Defender os Interesses dos Usuários
Por que avaliar o raciocínio social em agentes de IA? À medida que agentes de inteligência artificial assumem tarefas mais complexas em…
Novo Benchmark MNW da Microsoft e Parceiros Amplia Detecção de Deepfakes em Meio à Evolução da IA Generativa
Com a rápida evolução da inteligência artificial generativa, identificar se uma imagem, áudio ou vídeo é real ou falso tornou-se um desafio…
Avaliações de IA: o novo gargalo computacional que desafia pesquisadores e indústria
O aumento exponencial dos custos em avaliações de IA Nos últimos anos, a avaliação de modelos de inteligência artificial (IA) tem se…
ReasoningBank: Aprendizado Contínuo para Agentes Inteligentes a partir de Experiências
O desafio do aprendizado contínuo em agentes inteligentes Agentes baseados em inteligência artificial têm se tornado cada vez mais fundamentais para…
VAKRA: Novo Benchmark da IBM para Avaliação Avançada de Agentes de IA em Ambientes Corporativos
A IBM Research, em parceria com a Hugging Face, lançou o VAKRA, um benchmark inovador que avalia a capacidade de agentes de…
Muse Spark: O Novo Modelo de IA da Meta que Coloca Zuckerberg na Vanguarda da Inteligência Artificial
O Desafio da Meta em Reposicionar Sua IA Em um movimento estratégico para retomar protagonismo no cenário da inteligência artificial, a Meta…
ALTK-Evolve: Aprendizado Contínuo para Agentes de IA com Memória de Longo Prazo
O problema do "estagiário eterno" em agentes de IA Imagine um cozinheiro que decorou todos os livros de receita, mas esquece as…