Apêndice C — EAGLES
Apêndice do Capítulo 14
C.1 EAGLES
Receita de sete passos para avaliação de sistema de PLN, proposta pelo grupo de trabalho EAGLES em 1999.1
Por que esta avaliação está sendo feita?
Qual é o propósito desta avaliação? Todas as partes envolvidas têm o mesmo entendimento do propósito?
O que exatamente está sendo avaliado? Trata-se de um sistema ou de um componente? De forma isolada ou em um contexto específico? Quais são os limites do sistema?
Elaboração de um modelo de tarefa
Identificar todos os papeis e agentes relevantes.
Para que o sistema será usado?
Quem vai usá-lo? O que vão fazer com ele? Como são essas pessoas?
Definição de características do nível máximo de qualidade
- Quais aspectos do sistema serão avaliados? São todos igualmente importantes?
Produção de requisitos detalhados para o sistema sob avaliação, com base nos itens 2 e 3
- Para cada aspecto que foi identificado como importante, é possível encontrar uma medida válida e confiável de como o objeto avaliado performa nesse aspecto? Caso negativo, os aspectos precisam ser subdivididos de forma válida em sub-atributos que possam ser mensuráveis. Este ponto deve ser repetido até que se atinja um ponto onde todos os atributos são mensuráveis.
Definição das métricas a serem aplicadas ao sistema para os requisitos produzidos no item 4
Tanto a medida quanto o método para se obter essa medida precisam ser definidos para cada atributo.
Para cada atributo mensurável, o que vai ser considerado uma pontuação boa, satisfatória ou insatisfatória dado o modelo da tarefa do item 2? Quais são os pontos de corte?
Geralmente, um atributo tem mais de um sub-atributo. Como os valores dos diferentes sub-atributos serão combinados em um valor para o nível acima de modo a refletir sua importância relativa (novamente, dado o modelo da tarefa)?
Projeto da execução da avaliação
Desenvolvimento de materiais de teste para dar suporte ao teste do sistema em si.
Quem exatamente vai conduzir as diferentes medições? Quando? Em quais circunstâncias? Que forma terá o resultado final?
Execução da avaliação
Fazer as medições.
Comparar com as pontuações pré-definidas como satisfatórias.
Resumir os resultados em um relatório de avaliação, conforme o item 1.