Avaliação universal de IR
Content
Medidas de "relevância"
A avaliação do IR (Recuperação de informações) começa sempre que um usuário envia uma consulta (termo de pesquisa) para um banco de dados. Se o usuário puder determinar a relevância de cada documento no banco de dados (relevante ou não relevante), para cada consulta, o conjunto completo de documentos é naturalmente dividido em quatro subconjuntos distintos (mutuamente exclusivos): documentos relevantes que são recuperados, Documentos não relevantes que são recuperados, documentos relevantes que não são recuperados e não documentos relevantes que não foram recuperados. Esses quatro subconjuntos (de documentos) são denotados pelas letras A, B, C, D, respectivamente, e são chamadas de variáveis Swets, nomeadas após o inventor.
Além das definições da Swets, quatro métricas de relevância também foram definidas: a precisão refere -se à fração de documentos relevantes que são recuperados (a/(a+b)), e o recall refere -se à fração de documentos recuperados que são relevantes (a /(a+c)). Essas são as métricas relevantes mais usadas e bem conhecidas encontradas na literatura de avaliação de RI. Duas métricas menos usadas incluem as consequências, ou seja, a fração de documentos não relevantes que são recuperados (b/(b+d)) e a falta, que se refere à fração de documentos relevantes que não são recuperados (c/( C+D)) Durante qualquer pesquisa.
Técnicas universais de avaliação de IR
A avaliação universal de IR aborda as possibilidades e as relações matemáticas entre as quatro métricas de relevância, recordação, precipitação e falta, denotadas por P, R, F e M, respectivamente. Um aspecto do problema envolve encontrar uma derivação matemática de um conjunto completo de pontos universais de avaliação de IR. O conjunto completo de 16 pontos, cada um um quádruplo da forma (p, r, f, m), descreve todos os possíveis resultados universais de infravermelho. Por exemplo, muitos de nós tiveram a experiência de consultar um banco de dados e não recuperar nenhum documento. Nesse caso, a precisão assumiria a forma indeterminada 0/0, o recall e as consequências seriam zero, e a falta seria qualquer valor maior que zero e menor que um (assumindo uma mistura de documentos relevantes e não relevantes foram no banco de dados, nenhum dos quais foi recuperado). Esse ponto universal de avaliação de IR seria assim indicado por (0/0, 0, 0, M), que representa apenas um dos 16 possíveis resultados universais de infravermelho.
A matemática da avaliação universal de IR é um assunto bastante novo, uma vez que as métricas de relevância P, R, F, M não foram analisadas coletivamente até recentemente (na última década). Muitas das bases teóricas já foram formuladas, mas novas idéias nessa área aguardam descoberta. Para uma análise matemática detalhada, uma consulta no banco de dados do ScienceDirect para a "avaliação universal de IR" recupera vários artigos relevantes revisados por pares.