Introdução
Qualquer processo ou sistema de informação com vistas à gestão da informação
é implantado e mantido por uma organização que espera controlar o retorno
dos investimentos, em termos da sua eficiência e eficácia no atendimento às
necessidades informacionais de seus usuários e dos benefícios relacionados
aos resultados e ganhos que os justifiquem. Entretanto, como evidencia
Arouck (2001, p. 9), “Enquanto o valor dos custos para
implantação de sistemas de informação é de fácil estabelecimento, os
benefícios oriundos destes são difíceis de avaliar e medir”.
A avaliação das atividades de informação é um mecanismo de monitoramento do
processo de gestão da informação em uma perspectiva interdisciplinar.
Todavia, para funcionar como um recurso de gestão, esse processo avaliativo
tem seus limites e enigmas. Entre esses enigmas estão as constatações
levantadas por Meadow e Yuan (1997), de que não é possível
segmentar ou dividir a base de conhecimento de uma pessoa e identificar o
item de informação, ou qual mensagem específica contribuiu para construção
de um novo conhecimento. A mudança na base de conhecimento ocorre como em um
processo e, portanto, provavelmente nunca poderemos medir exatamente qual o
impacto que uma determinada informação tem no conjunto de conhecimento de
uma determinada pessoa. Por esse motivo, Menou (1999) faz
advertência em defesa de uma combinação de métodos para medir o impacto
informacional, argumentando que os estudos precisam estar baseados em
observações amplas, permanentes e eficazes.
No entanto, ao mesmo tempo em que é importante construir processos
informacionais com uma adequada estrutura de organização, representação,
disseminação e recuperação de informações, é também tão importante saber
como as pessoas interagem com os sistemas, como os usuários se comportam
enquanto buscam informações, para que fins e como a informação é utilizada
e, principalmente, o seu impacto no uso, mesmo reconhecendo os limites de
qualquer processo avaliativo. A existência das informações, por si só, não
garante vantagens a uma organização. O que importa é a sua utilização e o
efeito da informação sobre o estado de conhecimento do receptor, em uma
decisão que a pessoa tomou, ou sobre o resultado da decisão tomada.
Portanto, avaliar as atividades de informação, aqui compreendidas como um
conjunto de funções específicas dos processos e dos sistemas informacionais
de uma organização, é uma espécie de controle, que tem o usuário como
elemento chave no que diz respeito ao julgamento sobre a sua qualidade. O
uso efetivo das informações representa, assim, a legitimidade do processo.
Na gestão, de uma maneira geral, a dimensão avaliação envolve elementos bem
determinados de controle que, de alguma forma, podem interagir ou se
relacionar, e para os quais um gestor volta sua atenção, no interesse de
saber como se comportam em relação aos níveis de desempenho previamente
estabelecidos. Um processo avaliativo poderá ter, segundo esse ponto de
vista, a abrangência ou escopo que o gestor definir, em função de seu
propósito de observação e controle. A ação de avaliação, nessa perspectiva,
é a atividade que acompanha e verifica se o processo, serviço ou produto de
informação atende aos parâmetros e aos objetivos estabelecidos pelo gestor.
Na literatura corrente, encontra-se o modelo de avaliação de
DeLone e McLean (1992), mais centrado no sistema de informação, e,
também, o modelo de Seddon (1997), enfocando resultados econômicos e
análises do custo - benefício da construção de um sistema de informação.
Particularmente para os propósitos deste estudo, ao mesmo tempo em que se
pretende oferecer uma visão mais ampla e interdisciplinar do processo
informacional, as dimensões do processo avaliativo aqui apresentadas
(Figuras 1 e 2) não
pretendem ser exaustivas e, mesmo representando aspectos importantes da
realidade informacional, não esgotam as possibilidades de sua observação e
controle, como recurso de gestão. O escopo avaliativo foi delineado em
uma perspectiva interdisciplinar, por meio de uma exaustiva revisão teórica
no campo da Ciência da Informação, abrangendo outras disciplinas como a
tecnologia da informação e a gestão organizacional, prenunciando a
necessidade de se empreender o processo com foco em análises quantitativas e
qualitativas.
Na revisão da literatura sobre avaliação das atividades de informação,
emergem algumas diretrizes, aqui denominadas “dimensões”, cada qual
com uma perspectiva única, mas que, tomadas em seu conjunto, salientam tanto
suas limitações como suas contribuições ao processo avaliativo.
Apresenta-se, assim, um modelo para entender melhor como opera o processo
informacional e como é possível controlar seus resultados em diferentes
ângulos: na usabilidade do sistema físico; na recuperação das informações
previamente organizadas e representadas para esse fim; e, finalmente, no
impacto informacional resultante do processo de uso das informações.
Fundamentos teóricos da avaliação das atividades de informação
Do ponto de vista epistemológico deste estudo, cuja referência é a avaliação
das atividades de informação, inicia-se com discussões sobre os termos
intimamente relacionados ao limite desse escopo de análise: dados,
informação e conhecimento. O maior problema ao avaliar o processo
informacional são as múltiplas definições desses termos, e, em especial, da
palavra “informação” (Meadow; Yuan, 1997).
Meadow e Yuan (1997) destacam que a diferença entre dados
e informações depende do receptor, de modo que dados são informações
potenciais. Assim, seguindo a lógica desses autores, se a estrutura da base
do conhecimento do destinatário não é alterada, retroativamente a mensagem
ou a informação é considerada um dado. Mas, se de um jeito ou de outro, a
base do conhecimento é alterada, o conhecimento foi construído pela
interpretação da informação. Porém era a mesma mensagem, em qualquer caso.
Dessa forma, os dados podem ter pouco ou nenhum significado, mas a
informação tem sentido ou significado para um receptor. O conhecimento, em
última análise, é a acumulação e integração das informações recebidas e
processadas pelo receptor. Assim, o conhecimento aumenta ou muda como
resultado do recebimento e do processamento de novas informações. Seguindo
esse ponto de vista, para ser informação, a mensagem tem que ser recebida e
entendida. Um dado não é uma informação até que seja transmitido e
compreendido pelo destinatário. Da mesma maneira, quem vai definir se é dado
ou informação, é o usuário, dependendo do estado de conhecimento dele sobre
o assunto em questão.
O significado ou efeito da mensagem pode variar de acordo com o
destinatário, portanto, se é dado, ou se é informação, não é fixo, pois é
uma questão individual e contextual. Taylor (1986) já
dizia que o valor não é inerente nem encontra-se implícito na informação,
pois a informação só tem valor em um contexto, não obstante, é o usuário
quem atribui valor à informação. Desse ponto de vista, uma informação não
desencadeia direta e instantaneamente uma saída, nem provoca uma decisão.
Ela muda o estado do conhecimento e o estado do novo conhecimento
desencadeia a decisão. Nessa perspectiva, informação é um processo (Buckland,
1991), pois quando alguém é informado, o que ele conhece muda, um novo
conhecimento é construído como resultado do recebimento a informação.
Assim, os pressupostos teóricos, resgatados na literatura para fundamentar o
escopo e a abrangência da avaliação das atividades de informação, manifestos
no modelo ora proposto (Figuras 1 e 2),
estão constituídos na equação fundamental de Brookes
(1980); no estado anômalo do conhecimento investigado por
Belkin (1980); nas condições relacionadas à complexidade das tarefas, ao
conhecimento prévio e à estrutura do problema em questão investigadas por
Byström e Järvelin (1995) e, posteriormente, por
Vakkari (1999); na abordagem de sense-making de
Dervin (1998, 2003); na descrição das características
construtivistas do processo de busca elaborada por Kuhlthau
(1991); no processo interativo de recuperação da informação postulado por
Ingwersen (1992); e nos julgamentos de relevância e do
impacto informacional estudados por Cosijn e Ingwersen
(2000), Meadow e Yuan (1997) e Saracevic
(1996).
A construção do conhecimento, na perspectiva desses pesquisadores, é um
processo dinâmico, efetivado em uma sequência de eventos, em que a própria
necessidade de informação inicial do usuário vai se modificando na medida em
que novas informações são recuperadas e, assim, novas buscas vão sendo
realizadas, com vistas a atender a uma demanda concreta. Eles argumentam que
as pessoas constroem sua visão de mundo assimilando e acomodando novas
informações com o que já sabem ou o que já tenham experimentado, por meio de
um processo sistêmico e constante, direcionado ao contexto. O julgamento da
relevância tem se constituído em um dos aspectos centrais da recuperação,
tornando o estudo do referido fenômeno o foco central em várias áreas do
conhecimento e, acentuadamente, na ciência da informação, como fazem
referência as pesquisas de Cosijn e Ingwersen (2000),
Cronin (1990), Ingwersen (1992, 1996),
Järvelin e Kekäläinen (2002), Saracevic
(1996) entre outros. Inicialmente, os estudos se concentraram nas
manifestações de relevância a partir do sistema, e evoluíram para abordagens
centradas na perspectiva do usuário.
Nessa perspectiva, Ingwersen (1996) desenvolveu uma
abordagem cognitiva de recuperação de informação interativa, cujo modelo é
composto por três elementos – sistemas, usuários e meio ambiente: (a) o
sistema abarca os objetos informacionais (artigos, imagens, vídeos entre
outros documentos, armazenados em uma base de dados), que são organizados e
representados de várias formas para fins de sua recuperação; (b) o usuário,
motivado por uma necessidade de informação (pode ser um problema a resolver
ou uma tarefa a executar), busca a informação, transformado-a em uma questão
que é aceitável para o algoritmo do sistema; (c) o ambiente
socio-organizacional fornece o contexto ou o quadro situacional,
influenciando as atividades do usuário. Saracevic
(1996), por sua vez, formulou as diversas manifestações de relevância dentro
de um sistema de atributos de relevância que se movimentam em diferentes
dimensões no processo de busca e recuperação de informações. Partindo do
pressuposto de que a relevância está enraizada na cognição humana,
Saracevic (1996) identifica os seus atributos, como
características próprias e peculiares que a distinguem.
A partir da identificação dos atributos de relevância,
Saracevic (1996) desenvolveu um modelo de avaliação do processo
informacional denominado de manifestações de relevância. Essas manifestações
de relevância movimentam-se em um espectro, a partir de uma abordagem
orientada ao sistema para uma abordagem orientada ao usuário e ao seu
contexto social. Este último traz as contribuições de Cosijn e Ingwersen
(2000) que, a partir do modelo de atributos e manifestações de relevância de
Saracevic (1996), substituíram a relevância
motivacional/afetiva pela noção de relevância sociocognitiva, devido às suas
propriedades sociais e culturais.
No modelo desses pesquisadores, essas manifestações de relevância são
dispostas em uma matriz em relação aos atributos de relevância que, por sua
vez, operam em diferentes dimensões. A relevância, nessa abordagem, se
manifesta nela mesma e em diferentes níveis, ao mesmo tempo em que possui
atributos e manifesta esses atributos de diferentes formas, enquanto um
usuário busca informações. Por conseguinte, nenhuma relevância pode ser
observada isoladamente, ela existe em um sistema interativo em diferentes
níveis. Segundo esses autores, a eficácia da recuperação da informação
depende da eficácia da interação de várias manifestações de relevância em um
sistema de atributos de relevâncias. A relevância pode ser caracterizada em
diferentes níveis de manifestação, e pode-se estudar o seu comportamento e
os seus efeitos dentro e entre os estratos.
O escopo da avaliação
Como se pode verificar no modelo aqui proposto (Figura 1), as dimensões de
usabilidade, de recuperação e de impacto informacional, nas suas aplicações
identificadas de uma grande variedade de campos disciplinares, permitem
vislumbrar características essenciais das atividades de informação, de forma
a gerar um entendimento mais completo do processo, mesmo sendo uma
representação simplificada.
Figura 1 - Dimensões de avaliação das atividades de informação.
Fonte: Elaborado
pelos autores, com base nas teorias e modelos propostos na literatura.
Segundo Sayão (2001, p. 83), “ os modelos apresentam
uma analogia, sempre que possível, mas nem sempre desejável, com o objeto
real”. Aqui, as dimensões refletem o escopo do processo de avaliação,
decorrente de uma necessidade de avaliá-lo e monitorá-lo.
A dimensão impacto informacional
Uma primeira dimensão, denominada de impacto informacional, diz respeito às
mudanças na base de conhecimento dos usuários e aquelas no nível
organizacional ou social, decorrentes, entre outros fatores, do uso de
informação. Na mesma lógica, Menou (1999) relaciona o
impacto informacional às mudanças nas habilidades das pessoas para
satisfazer suas necessidades, em função do uso que qualquer recurso
informacional proporciona. Funda-se, portanto, no pressuposto de que as
pessoas empreendem ações de mudanças ao mesmo tempo em que desenvolvem
habilidades para satisfazer suas necessidades informacionais. A
informação tem seu valor diretamente proporcional à sua possibilidade
prática de mediadora do conhecimento. O conteúdo e o significado da
informação a ser buscada serão atribuídos pelo usuário e, portanto, estão
ancorados tanto ao seu conhecimento prévio sobre o assunto em questão,
quanto ao contexto em que ela, a informação, será inserida (Vakkari,
1999).
Assim, na esfera das organizações, pode-se inferir que o impacto
informacional configura-se pela mudança na habilidade das pessoas face aos
seus problemas e, também, nas formas como essas mudanças se materializam no
espaço organizacional: nos novos produtos ou serviços, novas estratégias,
novos processos de trabalho e de gestão, bem como nos impactos financeiros e
sociais resultantes. Considerando ser a função principal do processo
de gestão da informação prover o usuário com informações adequadas e
específicas ao problema suscitado, a avaliação, consequentemente, busca
verificar se o processo atingiu seu objetivo. Cronin
(1990) observa que o valor de uso da informação tem relação direta com a
utilização final que se fará com a informação. Segundo o que se
verifica, a dimensão impacto informacional, nas organizações, aponta para
dois aspectos: de um lado, pretende avaliar a atividade ou ação de buscar
informação e o uso que é dado à informação fornecida; e, de outro, quais os
resultados desse uso para um indivíduo, um grupo ou uma organização. Um
deles refere-se ao papel ativo dos usuários que utilizam e atuam no âmbito
dos sistemas de informação, no que diz respeito às suas necessidades e aos
seus propósitos informacionais. E o outro, constitui, em última análise, o
insumo básico da mensuração do desempenho organizacional.
Observações de Menou (1999) propõem que o escopo de
análise da dimensão impacto informacional deve comparar uma situação
inicial, antes do acesso da informação, e outra situação posterior ao uso.
Por tudo isso, os estudos de impacto precisam estar baseados em observações
permanentes, realizadas por meio de uma combinação de métodos e medidas,
entre as quais Menou (1999) destaca os estudos
longitudinais. Em linhas gerais, a dimensão impacto informacional consiste
em observar e avaliar as atividades de informação em uma variedade de
contextos, a serem explorados pelos aspectos que neles habitam e por suas
características gerais, de modo que os retratem. Avaliar o processo
informacional é, portanto, função da gestão, que relaciona o uso da
informação com ação e resultados, e com o processo de busca.
Mudanças no estado de conhecimento do gestor organizacional são, na
perspectiva de avaliação das atividades de informação, indicadores de
impacto. O impacto é o que acontece depois que um destinatário recebe e, de
alguma maneira, age sobre a informação. Da mesma forma que há distinção
entre receber uma informação e compreender o conteúdo da mensagem, medir o
impacto informacional é, de natureza igual, constituído pela capacidade de
reconhecer qual a mudança que a informação causou, e fazer uma distinção
entre as informações que têm e as que não têm tal efeito.
A dimensão recuperação de informação
Outra dimensão diz respeito à organização e representação, ao armazenamento
e à recuperação de informação. Questões dessa ordem têm incentivado estudos
em diferentes áreas do conhecimento, como o desenvolvimento de modernas e
complexas tecnologias de recuperação de informação para otimizar os
processos de busca dos usuários. Geralmente envolvendo problemas
informacionais dos mesmos, suas incertezas, angústias e demais
características dos processos de busca de informação que, popularizados como
Sistemas de Recuperação de Informação (SRIs),
têm como função principal disponibilizar informações relevantes, a partir de
consultas efetuadas pelos usuários.
Entretanto, prover informações relevantes aos usuários significa, antes de
tudo, promover e preservar um patamar de acordo entre usuário e sistema, no
que diz respeito à linguagem utilizada, ao sistema de classificação adotado
e a melhor representação dos conteúdos. Classificar e relacionar o conteúdo
informacional e criar linguagens específicas ao contexto visa, por último,
otimizar a recuperação, de acordo com as necessidades e os ambientes
específicos. Assim, a esfera de atuação da dimensão recuperação da
informação abarca o processo de interação entre usuário e sistema dentro de
um determinado contexto, para identificar a que o usuário atribui relevância
e como a relevância se manifesta em situações de busca de informação.
Relevância diz respeito aos processos cognitivos dos usuários e aos seus
conhecimentos e necessidades de informação, ancorados ao contexto. Com base
em Schamber, Eisenberg e Nilan (1990), parte-se do
pressuposto de que o significado de relevância é dependente da percepção do
usuário, da sua necessidade informacional e da sua situação particular ao
tentar estabelecer o que realmente é relevante e/ou importante, enquanto
busca por informação.
O julgamento do usuário acerca da relevância e de suas manifestações têm
importância substancial na avaliação do processo informacional, uma vez que
o escopo de avaliação, como observado por Saracevic
(1996), vai além das atividades informacionais orientadas ao sistema.
Abrange todo o ciclo social, desde a construção, comunicação até o uso das
informações (Le Coadic, 2004); cobre os paradigmas físico,
cognitivo e social (Capuro, 2003) e, ainda, evidencia o
caráter multidimensional e dinâmico do processo de recuperação de
informação. Conforme os usuários se movem por meio dos níveis de
necessidades informacionais, ou conforme o estágio da busca por informação,
os seus julgamentos de relevância podem mudar, refletindo o grau de
compreensão de um determinado problema.
A dimensão usabilidade
A terceira dimensão – usabilidade - é um atributo que se ajusta,
particularmente, ao paradigma físico da informação, e diz respeito à
acuidade na transmissão dos símbolos de comunicação. Por conseguinte, as
bases da dimensão usabilidade estão no trabalho pioneiro de
Shannon e Weaver (1949), cujo modelo matemático de comunicação se
concentrou, entre outros, no nível técnico de um sistema informacional,
especificamente com transmissão de símbolos ou caracteres de um ponto para
outro.
Disso resulta que os atributos dos sistemas devem ser avaliados da
perspectiva do usuário, no que diz respeito ao julgamento sobre a eficiência
com que o sistema utiliza os recursos disponíveis para prover as suas
necessidades. Assim, centrados nos usuários dos sistemas informacionais, os
indicadores de usabilidade examinam se o manuseio de um sistema é fácil e
rápido de aprender, dificilmente esquecido, se não provoca erros
operacionais, se a linguagem é de fácil assimilação, se o sistema oferece
alto grau de satisfação e resolve eficientemente as tarefas para as quais
ele foi projetado (Ferreira; Leite, 2003). Em síntese, o
objetivo é analisar a interação entre usuário e tecnologia, visando tornar
os recursos mais amigáveis e a informação acessível ao uso.
O que avaliar, como avaliar
No modelo proposto, cada dimensão poderá representar e justificar o que está
sendo avaliado por meio da seleção de um conjunto de indicadores, os quais
sintetizam um conjunto de informações, representando apenas o significado
essencial dos aspectos analisados (Palácio, 2004). A
função dos indicadores é concentrar características e agrupar critérios para
explicar e fazer compreender os elementos do universo do processo
informacional, compondo uma visão a ser representada nas dimensões relativas
ao impacto informacional, à busca e recuperação das informações e à
usabilidade do sistema, conforme a Figura 2.
Figura 2 – As dimensões e seus indicadores de avaliação
Fonte: Elaborado pelos autores, com base nas teorias e
modelos propostos na literatura.
Tais considerações possibilitam selecionar e organizar indicadores em cada
dimensão relativa à sua tarefa de análise, permitindo consultá-los e
compará-los com relação às suas características e às suas especificidades.
Indicadores da dimensão impacto informacional
São indicadores derivados e direcionados ao contexto organizacional e,
em um sentido, têm a ver com o julgamento de relevância dos gestores
organizacionais; em outro sentido, como esses julgamentos se refletem no
âmbito da organização. A relevância (Saracevic, 1996;
Cosijn; Ingwersen, 2000) se manifesta na capacidade do
usuário de utilizar informações de forma significativa para o uso e inclui a
interação com o ambiente organizacional onde ele atua. Os critérios de
sucesso estão diretamente relacionados com a utilidade na tomada de decisão
e com a redução da incerteza, uma vez que se configuram como informações
apropriadas para a resolução de um determinado problema, em um determinado
contexto, influenciando nas atividades dos usuários. Essa dimensão, conforme
a Figura 2, contempla duas categorias de indicadores:
indicadores de mudança na base do conhecimento do usuário e indicadores de
mudança organizacional.
Indicadores de mudança na base do conhecimento do usuário
A mudança na base de conhecimento do usuário, diretamente relacionada com a
sua competência cognitiva (Saracevic, 1996), é examinada
pela relação entre o estado de conhecimento do usuário e a informação
recuperada, em dois aspectos principais:
a) processo decisório: investiga-se a mudança na forma como o gestor se comporta no processo decisório, examinando como e/ou quanto ele usa e manipula informações no momento em que uma decisão precisa ser tomada. Tal estudo pode ser empreendido pela análise das principais decisões tomadas em um período delimitado de tempo, por meio de entrevistas com os gestores e de análise documental. Assim, é possível examinar se as informações disponibilizadas pelo sistema foram usadas no processo decisório.
b) processo de busca: examina-se a extensão da busca, contemplando o número de vezes e horas de acesso, quais recursos específicos de um determinado sistema são acessados e/ou usados, e qual foi o contexto que determinou a busca de informação. As solicitações e demandas por informações lançadas ao sistema podem ser registradas, permitindo um acompanhamento, passo a passo, de cada evento. Quando um gestor de determinada área lança as questões de pesquisa, o sistema pode guardar o login, dia, hora, item, setor onde atua, para cada consulta realizada. A partir daí, o impacto poderá ser mensurado na evolução das aplicações usadas, por exemplo: na redução do tempo e do custo de uma transação particular realizada por meio do uso dos recursos de um determinado sistema; nas habilidades dos gestores no tratamento de seus problemas organizacionais; e na sua autonomia no processo de busca de informações.
Indicadores de mudança
organizacional
Diretamente relacionado à relevância situacional (Saracevic,
1996) ou sociocognitiva (Cosijn; Ingwersen, 2000), os
indicadores de mudanças organizacionais causadas no todo ou em parte pela
disponibilidade e uso da informação medem a capacidade do usuário de
utilizar informações de forma significativa em um determinado ambiente.
Examinam a relação entre uma situação percebida, tarefa ou problema a ser
resolvido e a utilidade da informação recuperada e percebida pelo usuário,
em dois aspectos principais: a) melhorias e/ou inovações: em um
período de tempo determinado, examinam-se quais melhorias e/ou inovações
foram implantadas, verificando, por meio de diferentes técnicas de coleta de
dados, se as informações produzidas pelo sistema foram decisivas nas
conclusões dos gestores. b) resultados financeiros: com base nas
melhorias e/ou inovações introduzidas, examinam-se os resultados financeiros
decorrentes. Vide exemplo ilustrativo no Quadro 1.
Quadro 1 – Exemplos de indicadores de melhorias e/ou inovações e os resultados financeiros decorrentes.
Fonte: Elaborado pelos autores, com base nas teorias e
modelos propostos na literatura.
Verifica-se, nos exemplos apresentados, que um gestor provoca alterações e
mudanças organizacionais, ou produz conhecimento, quando recebe uma
informação com sentido para resolver determinado problema ou se inteirar
sobre uma determinada situação em um contexto específico. A ideia básica é a
de que haverá criação de conhecimento, ou uma mudança organizacional,
somente se a informação disponibilizada for percebida e aceita pelo gestor.
Indicadores da dimensão recuperação de informações
Em primeiro lugar, os indicadores de recuperação estão diretamente
relacionados à organização e representação da informação, e caracterizam-se
pela relação entre o tema da questão e a avaliação da informação recuperada,
ou ainda por uma relação entre um assunto expresso em uma consulta e o
assunto coberto pelos objetos informacionais recuperados. Para
Saracevic (1996), a atinência (aboutness) é o
principal critério ou a medida de sucesso desses indicadores. Essa relação,
entretanto é, em grande medida, dependente do sistema de recuperação
adotado, uma vez que o resultado da busca está diretamente relacionado com a
política de entrada de dados no sistema, a indexação e a competência do
usuário no processo de busca e recuperação de informações relevantes. Por
outro lado, a base de conhecimento (Belkin, 1980), o
conhecimento prévio do usuário, bem como a complexidade das tarefas a serem
empreendidas (Byströn; Järvelin, 1995;
Vakkari, 1999) têm relação direta com esses indicadores, pois
informações recuperadas são assimiladas e comparadas com o que já é
conhecido, por meio de análises interativas. Essa dimensão,
conforme a Figura 2, contempla duas categorias de
indicadores: indicadores de revocação e indicadores de precisão.