- KoHalluLens é um projeto que expandiu para o coreano o HalluLens, do Facebook Research, e avaliou de forma sistemática as alucinações de LLMs com base em um conjunto de testes em coreano recém-gerado a cada vez.
- Este benchmark divide as alucinações em
- “falar algo que não corresponde aos fatos” (factuality issue) e
- “fingir que sabe algo que não sabe” (hallucination)
- Também apresenta critérios claros de classificação entre Extrinsic Hallucination (inconsistência com as informações de treinamento) e Intrinsic Hallucination (inconsistência com o contexto de entrada).
- Enquanto benchmarks existentes carregavam o risco de data leakage, a extrinsic hallucination do HalluLens passou a permitir avaliações mais confiáveis ao usar um novo conjunto de testes a cada avaliação.
- O KoHalluLens expandiu isso para um conjunto de avaliação em coreano e, por meio de hospedagem via API, passou a permitir que qualquer pessoa avalie diretamente as alucinações do seu próprio modelo sem precisar de recursos computacionais separados.
Ainda não há comentários.