Pular para o conteúdo
Igor FerreiraVoltar ao laboratório

Descritivo do Projeto

laya-tema, o roteador de temas da Mesa

Ajuste fino em CPU do Laya multilíngue (Apache 2.0) para escolher qual dos 9 temas da Mesa dos 28 atende a uma pergunta, com calibração medida e abstenção abaixo de um limiar de confiança.

Papel
Autor, projeto pessoal
Período
2026
Situação
em andamento
  • Machine learning e dados
  • Python
  • Laya multilingual
  • safetensors

Evidências

  • 85% de acerto no final trancado (ECE 0,08)

    108 perguntas, avaliadas uma única vez em 11 de outubro de 2026. Na mesma prova, a regra de palavra-chave acertou 50%.

    Medido.

  • 96,9% de acerto cobrindo 59% das perguntas

    Limiar de confiança τ = 0,8. O τ foi fixado depois de ver o final, então a próxima versão precisa de um final novo.

    Medido.

Limites

Os conjuntos foram escritos e rotulados por subagentes diferentes, e os rótulos ainda não passaram por revisão humana. Perguntas sem palavra-chave são o ponto fraco e o próximo dado de treino.