Métodos de evaluación
Los métodos más difundidos para evaluar programas de I+D son
la revisión de la calidad basada en el juicio de pares investigadores (peer review), a lo que ya se ha hecho
referencia, además de la revisión de la relevancia (pertinencia) y el punto de
referencia (benchmarking). En términos generales, los métodos de evaluación de
la I+D se basan en:
a) opiniones de otros científicos de igual o mayor
reconocimiento profesional que los sujetos evaluados (juicio de pares),
b) juicios de valor de expertos en aplicaciones y
desarrollos tecnológicos, así como usuarios de los resultados de la I+D,
c) indicadores objetivos (por ejemplo, la
bibliometría) y
d) una combinación de estos sistemas.
Es importante señalar que la multiplicidad de criterios
implica necesariamente la multiplicidad de actores, ya que del mismo modo que
los no científicos están incapacitados para opinar acerca de la calidad
científica de una propuesta, los pares científicos no serían, de por sí, los más
adecuados para opinar acerca de su utilidad práctica. Ahora bien, el método
mixto tiene el problema de que requiere una definición acerca del papel de sus
protagonistas y el peso relativo de los criterios de evaluación. Esto plantea
la necesidad de modelos organizativos de la evaluación distintos a los
tradicionales, que se integran exclusivamente por miembros reconocidos de la
comunidad científica: los pares. Los nuevos modelos organizativos difieren
fundamentalmente en que la constitución de los comités es heterogénea por la
inclusión de otros roles. Todo esto lleva al concepto de complejidad
(multiplicidad de perspectivas legítimas, no linealidad, emergencia de los
problemas, organización, multiplicidad de escalas, incertidumbre).
La inclusión de nuevos actores en los procesos de
investigación científica puede ser interpretada como una democratización del
conocimiento, ya que ahora se hace necesario incluir a quienes pueden opinar
sobre aspectos de su interés. Adicionalmente, cierta parte del conocimiento se
presenta en nuevos contextos. En este sentido, se puede afirmar que la ciencia
moderna está renovando su localización social en un contexto enriquecido. La
tendencia actual es hacia el diseño de procesos de evaluación que combinen
diversos métodos. En general, se puede establecer la siguiente tipología:
·Juicio
de pares directo: evaluación del valor científico
hecha por especialistas de la misma disciplina.
Juicio
de pares modificado: evaluación de pares con la inclusión
de otros actores, en forma adaptada a la necesidad de ampliar los criterios a
considerar.
· Juicio
de pares indirecto: evaluación realizada en base a la
utilización de opiniones de pares emitidas inicialmente con otros propósitos.
· Juicio
Indirecto: evaluación realizada mediante la utilización de
indicadores bibliométricos (publicaciones, frecuencia de citas, calidad de
citas y citas asociadas) y otros indicadores que tomen en cuenta premios,
congresos y financiamientos obtenidos anteriormente para I+D, entre otros.
Métodos utilizados para evaluar I+D
Métodos
|
Pros
|
Contras
|
|
Análisis Bibliométrico
|
Cuantitativo.
Útil sobre bases
agregadas para evaluar calidad de ciertos programas y campos.
|
Las mediciones son
sólo cuantitativas. No es útil en todos los programas y campos. Las
comparaciones entre campos y países son difíciles. Pueden ser artificialmente
influenciados.
|
|
Tasa de retorno económico
|
Cuantitativo.
Muestra los
beneficios económicos de la I+D
|
Mide sólo beneficios
financieros, no beneficios sociales (tales como el mejoramiento de la calidad
de la salud). El tiempo transcurrido entre la I+D y el beneficio económico es
frecuentemente largo. No es útil en todos los casos.
|
|
Revisión por pares
|
Método de fácil
comprensión.
Permite evaluar la
calidad de la investigación y a veces otros factores. Una parte importante de
los programas financiados con fondos federales evalúan la calidad con este
método.
|
Se focaliza
principalmente sobre la calidad de la investigación. Otros elementos son
secundarios. Generalmente sirve para evaluar proyectos, no programas. Gran
diversidad entre las diferentes agencias. Reparos contra el uso de redes de
“viejos”. Los resultados dependen del nivel de quienes se involucren en el
proceso evaluador.
|
|
Estudio de casos
|
Permite comprender
los efectos de los factores institucionales, técnicos y organizacionales que
influyen en el proceso de I+D.
Ilustra acerca de
todos los tipos de beneficio del proceso de investigación.
|
Casos aislados, no
comparables entre programas. Focalizar la evaluación sobre casos puede
acarrear dificultades para evaluar los beneficios de una programación.
|
|
Análisis retrospectivo
|
Útil para
identificar vínculos entre programas de I+D e innovaciones en períodos largos
de inversión en I+D.
|
No es útil para
evaluación de corto plazo, debido a que el intervalo entre la I+D y sus
resultados prácticos es largo.
|
|
Punto de referencia (benchmarking)
|
Herramienta de
comparación entre países y programas.
|
Puede ser focalizado
sobre campos, no sobre programaciones.
|
Fuente: Evaluating
Federal Research Programs; National Academy Press; Washington, 1999.
Todos los métodos tienen ventajas y desventajas que deben
ser tomadas en cuenta en el diseño del proceso de evaluación. En el juicio de
pares existe un cierto peligro de subjetividad (prejuicios o intereses) y en el
juicio indirecto basado en la bibliometría el peligro de una seudo objetividad
y el posible estímulo a ciertas disfuncionalidades tales como la compulsión a
la publicación (publish or perish).
En algunas disciplinas inciden las tradiciones en materia de difusión de los
conocimientos, ya que ésta no siempre se produce por medio de revistas
acreditadas en las bases de datos sobre las que se elaboran los indicadores.
Ventajas y dificultades de la evaluación
de pares
En 1990 el Comité Asesor de los Consejos de Investigación de
Inglaterra encargó a una comisión el estudio de las ventajas e inconvenientes
del juicio de pares, debido a que se registraban muchas críticas acerca de su
funcionamiento, por parte de un importante sector de la comunidad científica.
El documento elaborado es conocido como “Informe Boden sobre la Evaluación por
Pares” a la que definía como: “un sistema por el cual la excelencia intelectual
o importancia de una pieza de trabajo es juzgada por investigadores que se
desempeñan en el mismo campo, o en un campo próximo”. Afirmaba también que no
existen alternativas prácticas al juicio de los pares para la evaluación de la
investigación básica. Sin embargo, propuso una lista de requisitos necesarios
que deben ser cubiertos por cualquier sistema basado en pares. Estos requisitos
cubren aspectos tales como la elección de los pares, la transparencia en sus
prácticas y la retroalimentación en sus decisiones.
“El juicio de los pares puede ser considerado como
central para la función de una comunidad académica cuyo trabajo está sometido a
los comentarios y a la crítica de los pares académicos como una obligación
profesional” (Boden, 1990).
La práctica de la revisión por pares o evaluación por pares
es una forma de autorregulación de la comunidad científica. Si bien es cierto
que la autorregulación tiene amplias raíces en las estructuras profesionales,
en este caso se produce la particularidad de que sus consecuencias (en términos
de aprobación o desaprobación de proyectos) comprometen al gobierno en
decisiones de financiamiento. Se ha observado que en un mundo en el que la
autorregulación está siendo crecientemente puesta en tela de juicio, basar el
proceso de evaluación sobre ella es una posición de débil defensa. Sin embargo,
el gobierno inglés, como sostén financiero de la ciencia básica, ha reconocido
esta capacidad a la evaluación por pares ya desde 1918, cuando se adoptó lo que
se conoce como el “Principio Haldane” surgido de las recomendaciones formuladas
por el Comité del mismo nombre.
“El nivel científico y tecnológico de todas las
propuestas de investigación recomendadas para su apoyo por parte del estado
está garantizado por la asistencia constante de un Consejo Asesor integrado por
un pequeño número de eminentes científicos con un coordinador administrativo”.
(Haldane, 1918)
También las empresas y las instituciones privadas que
financian y apoyan la I+D han profesado idéntico respeto por el juicio de los
pares. Sin embargo, el método de la revisión o evaluación por pares ha
comenzado a ser discutido en forma creciente. A lo largo del debate suscitado,
el juicio de pares como método de evaluación no fue invalidado, aunque se
destacó que varios aspectos de su aplicación práctica merecen revisión. En
realidad, los científicos no pueden cuestionarlo porque hacerlo sería poner en
tela de juicio su propio protagonismo. Muy por el contrario, sólo reclaman el
derecho de que sus juicios sean reconocidos como verdaderos. El debate, por lo
tanto, ha estado centrado en algunos aspectos operativos y conceptuales. Por
ejemplo, en la descripción de las prácticas de investigación de los Consejos de
Investigación abundan los términos como “excelencia”, “calidad” y
originalidad”, pero no se definen criterios que puedan hacerlos operacionales.
Esto significaría que los pares reconocen esos atributos pero no pueden
anticipar qué es lo que buscan cuando se abocan a una evaluación.
En 1993, el Libro Blanco de la Ciencia, la Ingeniería y la
Tecnología reabrió en el Reino Unido la discusión bajo la perspectiva de la
relación entre el juicio de los pares y la política científica del gobierno. Se
afirmaba:
“En el futuro, las decisiones acerca de las
prioridades para el financiamiento deben estar más claramente orientadas hacia
el encuentro con las necesidades del país y con el fortalecimiento de la
capacidad nacional para generar riqueza”. (Libro Blanco de la Ciencia, la
Ingeniería y la Tecnología, 1993)
Este punto de vista causó preocupación en la comunidad
científica, en el sentido de que la primacía de la opinión de los pares fuera
desafiada. Sin embargo, muchos sectores académicos habían comenzado a ser
críticos por lo que percibían como un sesgo conservador en la evaluación por
pares que favorecen las formas de investigación familiares y seguras, frente a
las innovadoras y riesgosas. En efecto, desde el punto de vista de la relación
de la ciencia con la sociedad, el método de evaluación por pares es congruente
con lo que se conoce como el “modelo lineal”, según el cual el conocimiento se
transfiere a la sociedad a partir de la investigación básica, pasando por la
aplicada y por el desarrollo experimental. Desde un punto de vista vinculado
con la tecnología, este modelo es también conocido como visión “ofertista” ya
que su aplicación económica y social se basa en la oferta de conocimientos
generados por la comunidad científica.
Tanto la visión “ofertista” como el “modelo lineal” han sido
puestos en tela de juicio, aunque no descartados por completo, durante los
últimos años. También el papel excluyente de la comunidad científica aparece
cuestionado por la emergencia de nuevas formas de producción del conocimiento
científico. Estas transformaciones afectan a los procesos de evaluación y al
juicio de pares como método fundamental.
En la literatura sobre metodologías de evaluación se
contrapone a veces la evaluación por pares y la “evaluación de mérito”. Esta
última excede el concepto de valor científico y es definida en función de
criterios tales como la oportunidad representada por los conocimientos a
adquirir, su permeabilidad o capacidad de penetración en distintos
campos, la aplicabilidad a problemas concretos y la explotabilidad
de los resultados. Pero si teóricamente se distinguen, en la práctica no
siempre es fácil hacerlo. En la investigación académica la evaluación por pares
juega un papel relevante, pero la observación demuestra que se utilizan
criterios cada vez más amplios; por ejemplo, en los formularios que los consejos
de investigación ingleses envían a los evaluadores se requiere su opinión
acerca de la aplicabilidad de los proyectos. En la evaluación de proyectos de
ingeniería ambos tipos de criterio tienen igual importancia. En cambio, en la
investigación orientada por criterios estratégicos la evaluación de mérito
tiene más importancia que la evaluación por pares.
Crisis del sistema de pares
A pesar de su consenso originario, el método de la
evaluación por pares está siendo revisado y discutido en forma creciente. La
evaluación basada en el juicio de pares corresponde al modelo de la
investigación académica disciplinaria, pero éste no es el único factor de
estructuración de la actividad científica ni es tampoco el único marco de
relaciones sociales en el que se construye el conocimiento.
Desde una óptica más vinculada con el conocimiento
tecnológico, muchas voces cuestionan la pertinencia del juicio de pares para
evaluar los proyectos orientados al desarrollo tecnológico y la innovación.
Desde una visión no lineal y más interactiva de la ciencia también se reclaman
otros procedimientos de evaluación.
En 1966 Derek de Solla Price mostraba que la ciencia se
había expandido de un modo exponencial en los tres siglos anteriores, pero que,
de seguir con tal tendencia, en cien años más “habría dos científicos por cada
mujer, hombre, niño o perro en la población” (Solla Price, 1973).
Efectivamente, la tasa de crecimiento se detuvo aunque la competencia por los
recursos se volvió más dura, sometiendo a presión al juicio de pares como
método de base para la asignación de recursos.
“La creciente limitación de recursos está
produciendo una elevación en el rango mínimo de selectividad en el
financiamiento de proyectos. Por ello se requieren distinciones cada vez más
finas entre propuestas que son, más o menos, igualmente meritorias. Esto
conduce a que se produzca un agobio insoportable sobre el sistema del juicio de
pares. Esto ha conducido a una crisis en el sistema de juicio de pares”
(Informe Boden sobre la evaluación por pares, 1990).
Las principales objeciones que se le formulan remiten tanto
a los factores internos como a los externos. Ellas son:
Sobreexigencia. La creciente limitación de recursos
está produciendo una elevación en el rango mínimo de selectividad en el
financiamiento de proyectos. Por ello se requieren distinciones cada vez más
finas entre propuestas que son, más o menos, igualmente meritorias. Esto
conduce a que se produzcan decisiones arbitrarias en el establecimiento de los
órdenes de prioridad.
Fatiga.
En conexión con el problema anterior, el incremento de los objetos a evaluar
(proyectos, artículos, informes de investigadores y grupos) genera gran presión
sobre los evaluadores, reduce su espíritu de colaboración y afecta la calidad
de su trabajo.
Corrupción.
El sistema tiene cierta vulnerabilidad frente a la corrupción, derivada del
hecho de que generalmente las personas más calificadas para juzgar el mérito de
un investigador son, precisamente, sus más cercanos competidores. Con cierta
frecuencia se recogen en la literatura denuncias sobre plagio y aprovechamiento
indebido de información obtenida durante el proceso de evaluación.
Imprecisión.
En la descripción de las prácticas de evaluación abundan los términos como
“excelencia”, “calidad” y originalidad”, pero a menudo no se definen criterios
que puedan hacerlos operacionales. Esto significa que los pares reconocen esos
atributos pero no pueden anticipar qué es lo que buscan cuando se abocan a una
evaluación, lo cual es un serio problema para el establecimiento de reglas de
juego creíbles. Según la experiencia de la National Science Foundation, los
jueces convergen en los extremos (proyectos excelentes o muy malos), pero
divergen en los casos intermedios, en los que la aplicación de criterios netos
de “excelencia”, “calidad” y originalidad” es más compleja.
Sesgo
conservador. La
evaluación por pares suele privilegiar las concepciones tradicionales sobre las
innovadoras. Fomenta la ciencia “normal”, frente a la revolución de los
paradigmas. Favorece las formas de investigación familiares y seguras, frente a
las innovadoras y riesgosas. Con frecuencia, la evaluación está contaminada por
prejuicios (por ejemplo, frente a proyectos poco ortodoxos).
Imparcialidad.
En comunidades científicas pequeñas o en la evaluación de proyectos que
requieren grandes inversiones, los jueces frecuentemente son parte y su
imparcialidad se ve afectada. En comunidades científicas pequeñas, además, el
secreto con respecto al nombre de los evaluadores es relativo y puede dar
lugar, o bien a juicios de compromiso, o bien a arbitrariedades e impunidad.
Límites
frente a la heterogeneidad. En el marco de las políticas de
estímulo a la vinculación, los procesos de evaluación atañen a proyectos que
incluyen esencialmente aspectos económicos y tecnológicos. En estos proyectos
prevalece la evaluación de resultados e impactos. El método de evaluación
exclusivamente a cargo de pares no resulta adecuado porque en él participan
solamente los científicos. La evaluación de proyectos correspondientes al “modo
2” no puede quedar limitada al juicio de los pares, ya que éstos son incapaces
de dar cuenta de la heterogeneidad de actores y aspectos –científicos y no
científicos- involucrados (Gibbons et al, 1997).
Cuando los proyectos se enmarcan en las prioridades de la
política científica, se plantean inmediatamente los problemas de la
interdisciplina y a la aplicación de los criterios no académicos en la
evaluación (tales como los criterios de prioridad política).
El papel de los no–pares
Una de las preocupaciones acerca del método de juicio de
pares se centra en el papel que el equipo administrativo (en oposición a los
investigadores activos) puede desempeñar en el proceso de evaluación. En los
organismos científicos de corte tradicional, este papel es casi nulo y se
reduce a los procedimientos administrativos más básicos. En cambio, a medida
que las decisiones relativas a la ciencia han sido reconocidas como más
complejas se fue haciendo necesario incluir nuevos actores en el proceso. El
papel de los equipos de apoyo a la evaluación ha ido transformándose en
consonancia con ello, adquiriendo un perfil más técnico y desempeñando un
protagonismo mayor.
Un ejemplo de esto surge de la experiencia del Engineering
and Physical Sciences Research Council (EPSRC) de Inglaterra. En este Consejo,
la clave del proceso de evaluación es el “área de programación”. Hay dieciséis
áreas de programación, cada una de ellas gestionada por un “administrador de
programa”, quien es un empleado a tiempo completo del EPSRC. En este sistema el
administrador de programa tiene formación científica pero no es considerado un
“par” por los investigadores que solicitan financiamiento. Sin embargo, el
administrador de programa es responsable ante la Dirección Ejecutiva por el
logro de los objetivos que se asignan a su área de programación.
El procedimiento adoptado por el EPSRC es uno de los que ha
suscitado más comentarios. Lo más característico de este modelo es el papel de
los administradores de programa ya que, si bien éstos no están directamente
involucrados en formular los juicios de valor (el acto de la evaluación),
tienen una gran influencia en la totalidad del proceso. El papel que se asigna
al administrador de programa en la elaboración de la propuesta de
financiamiento es considerado excesivo por muchos de los que opinan; por este motivo,
los defensores del procedimiento argumentan que en ningún caso se violenta la
decisión de los jueces.
En el Biotechnology and Biological Sciences Research Council
(BBRC), el procedimiento es parecido pero no existe la figura del administrador
de programa. En su lugar, funcionan comités temáticos. Sin embargo, se ha
propuesto incorporar administradores de programa con la función de seleccionar
los pares de una base de datos, en consulta con los miembros del comité
temático. En el Welcome Trust (institución que financia investigación médica),
miembros “senior” pueden seleccionar los pares y actuar como adjuntos al
Presidente de los comités que otorgan financiamiento. Los no pares, por lo
tanto, habitualmente desempeñan una variedad de papeles en la conducción de los
procesos de revisión por pares.
El Economic and Social Research Council (ESRC) de Inglaterra
dispone también de un procedimiento de evaluación de los programas de
financiamiento a la investigación. Debido a las dificultades de medir el
impacto de la investigación en ciencias sociales, el ESRC cuenta con un sistema
de evaluación integral que busca captar diferentes aspectos de los programas
mediante los que ofrece financiamiento, que exceden los indicadores meramente
bibliográficos. En particular, el ESRC cuenta con un Comité Evaluador conformado
por ocho miembros, de los cuales siete son externos al Consejo, compuesto por
investigadores, académicos, funcionarios públicos y representantes de empresas.
El rol del Comité Evaluador consiste en evaluar el impacto
de los proyectos del ESRC en función de los objetivos estratégicos definidos.
Los proyectos que forman parte de un programa deben presentar un reporte final
de 5000 palabras, tres meses después de la finalización del proyecto. Estos
reportes son evaluados según una escala de cuatro niveles (Sobresaliente, Bien,
Problemático y No aceptable) por pares evaluadores independientes, que realizan
a su vez un informe.
Además, el director del programa realiza un reporte anual en
el cual queda constancia de los proyectos que no están funcionando de forma
correcta y el comité evaluador realiza un expediente de cada programa, dos o
tres veces al año. La tarea final de evaluación queda a cargo de un evaluador
externo independiente, que procede en dos etapas. En la primera, revisa todos
los resultados generados por el programa: el texto del proyecto aprobado, el
reporte del investigador, los comentarios de los relatores independientes y el
informe del director del programa. Además, puede entrevistar a quienes
obtuvieron financiamiento para obtener más información sobre su participación
en el programa. En segundo lugar, recopila datos por medio de cuestionarios de
usuarios no académicos de los resultados. A partir de estas dos fuentes,
realiza un informe de hasta 10.000 palabras que se envía al comité evaluador.
En resumen, los profesionales de la gestión científica (no
pares) no se limitan a tareas administrativas básicas, sino que ejercen un rol
de conducción estructural, control de sesgos y moderación en el proceso de
revisión. Se ha señalado que el sistema de administradores de programa y, en
general, el mayor protagonismo desempeñado por los no pares tiene ventajas por
cuanto resuelve problemas de eficiencia y ejecutividad en el proceso de
evaluación, al tiempo que facilita la consideración de aquellos proyectos con
múltiples dimensiones. Sin embargo, genera nuevos problemas que deben ser
atendidos. En general, este método puede resultar muy útil si el administrador de programa (o figura
equivalente) acierta al buscar asesoramiento de expertos cuando se constituye
el panel; los nombres de los miembros del panel son de
dominio público; hay cierta continuidad en los paneles, para que
los criterios sean consistentes y no mudables (la rápida rotación puede crear
desconcierto en los solicitantes) y los investigadores tienen confianza en la
transparencia, en particular cuando se eligen pares adicionales para aclarar,
completar o corregir las primeras evaluaciones cuando se perciben
incongruencias.
En la National Science Foundation se emplea un sistema de
este tipo y, como garantía para neutralizar posibles arbitrariedades, se
realiza un monitoreo constante del proceso de evaluación mediante comités
visitantes. Esto equivale a realizar una “evaluación de la evaluación”,
práctica cuya generalización resulta muy recomendable.
Los métodos bibliométricos y sus
enemigos
Los indicadores bibliométricos se obtienen a partir de
registros de publicaciones científicas contenidos en distintas bases de datos.
Permiten analizar la calidad y cantidad de la producción de un investigador o
de un conjunto de ellos (por ejemplo, los integrantes de un proyecto o de un
departamento, en el caso de evaluaciones institucionales). También permiten
estudiar las redes de producción científica a través de coautorías, identificar
tendencias de investigación mediante el rastreo de temáticas y observar la
repercusión de los trabajos científicos a través de las citas que reciben en
las publicaciones de otros autores.
Entre las herramientas bibliométricas más difundidas se
encuentran los índices de impacto, que miden la repercusión de las
publicaciones a partir del análisis de las citas que reciben. Estos
indicadores aportan información sobre el peso relativo de una determinada
revista en comparación con otras pertenecientes a la misma categoría. Los más
famosos son los que están basados en la Web of Science (WOS) o en Scopus.
En el primer caso, el Journal Impact Factor (JIF) expresa el promedio de citas
que reciben los artículos de una publicación durante un cierto período de
tiempo y se publica anualmente en la base de datos Journal Citation Reports
(JCR). En el otro caso, el Scimago Journal Rank (SJR) da cuenta del promedio de
citas recibidas pero las pondera según el prestigio de las publicaciones de las
que proceden.
En 2005 el físico argentino Jorge Hirsch de la Universidad
de California propuso un indicador conocido como índice-h, que mide
simultáneamente la productividad y el impacto de la producción científica de un
investigador, de una revista o de una institución. El índice mide la cantidad
de trabajos publicados por un autor con igual o mayor número de citas y se
caracteriza por su facilidad de cálculo. Se lo considera apropiado para medir
trayectorias profesionales consolidadas y puede ser consultado o calculado en
bases de datos que proporcionen información sobre las citas recibidas por los
trabajos. Sin embargo, es muy resistido en algunos sectores de la comunidad
científica porque reduce la trayectoria y calidad de un investigador a un único
número matemático, lo que genera distorsiones e incentivos perversos en la
evaluación académica. También premia mucho la trayectoria y puede ser injusto
en la comparación para investigadores más jóvenes.
Desde 2022 una base de datos de acceso abierto (OpenAlex) desafía
la preponderancia de las bases de datos comerciales y sus medidas de impacto
asociadas. Ofrece en forma gratuita ventajas en términos de cobertura,
inclusión y accesibilidad, ya que indexa cientos de millones de documentos
académicos, autores, instituciones y las conexiones entre ellos. Se trata de
una base de datos que recoge trabajos de investigación desde múltiples fuentes.
Lo interesante es que cubre algunos de los huecos peor representados en bases
de datos comerciales (publicaciones en lengua no inglesa, áreas como
humanidades o editores de países en desarrollo). La plataforma es
mantenida por OurResearch, un equipo sin ánimo de lucro con larga experiencia
en el desarrollo de herramientas que favorecen la ciencia abierta.
Al mismo tiempo, en los últimos años se han ido
incrementando las resistencias a los métodos cuantitativos en los procesos de
evaluación (Gómez Caridad y Bordon, 1997). Un punto de inicio se expresa en
la Declaración de San Francisco sobre la Evaluación de la Investigación conocida
por su sigla en inglés como DORA. La iniciativa surgió en 2012 durante la
reunión anual de la Sociedad Estadounidense de Biología Celular en San
Francisco. La atención que recibió fue creciendo y desde 2018 se convirtió en
una iniciativa mundial que abarca todas las disciplinas académicas e involucra
a todos los actores clave del sistema académico global, incluidos
investigadores, financiadores, editores, academias, sociedades profesionales e
instituciones que realizan investigación.
El objetivo principal de DORA es eliminar el uso del factor
de impacto de las revistas como métrica principal para evaluar la calidad del
trabajo de científicos individuales. En su lugar, propone juzgar la
investigación por su propio mérito intrínseco. En otras palabras, aspira a una
valoración global del personal investigador basada en una mirada más holística
acerca de sus aportaciones científicas y técnicas que incluya el impacto social
y económico y los logros realizados a lo largo de su trayectoria investigadora.
Este enfoque pretende facilitar la igualdad en la valoración de los méritos de
las mujeres y de los más jóvenes.
En el mismo sentido en 2022 irrumpió en escena una coalición
internacional de organizaciones científicas denominada CoARA que pretende una
reforma sistémica de la evaluación de la investigación sobre la base de los
principios de diversidad, inclusividad y apertura facilitando el aprendizaje
mutuo entre todos aquellos que se comprometan a mejorar las prácticas de
evaluación de la investigación.
Un grupo de expertos e instituciones de la coalición
redactaron el Acuerdo Sobre la Reforma de la Evaluación de la
Investigación (The Agreement on Reforming Research Assessment) que ha
sido suscripto por varios centenares de organizaciones a escala mundial. Sus
firmantes se comprometen a reconocer la diversidad de resultados, prácticas y
actividades de la investigación respetando las diferencias disciplinarias y las
distintas etapas de la carrera profesional maximizando la apertura y la
inclusividad en ciencia. Esto requiere basar la evaluación principalmente en
juicios cualitativos, para lo cual la revisión por pares es fundamental,
apoyada por el uso responsable de métricas. La coalición fue impulsada
inicialmente por Science Europe, la Asociación Europea de Universidades (EUA) y
la Comisión Europea. La secretaría de la coalición está a cargo de la
Fundación Europea de la Ciencia - Science Connect (ESF-SC).
Tanto DORA como CoARA (y otras similares) plantean, sin
embargo, una dificultad que es la sobrecarga del sistema de pares, a lo que ya
se ha hecho referencia. En defensa del uso de los indicadores bibliométricos se
puede argumentar que constituyen el caso ya mencionado “juicio indirecto de
pares” ya que la publicación de un artículo científico en una revista de
categoría supone que ha sido ya evaluado en su calidad.
En este contexto, el mundo de la publicación científica ha
sido permeado en forma creciente por las grandes bases de datos y más
recientemente por la inteligencia artificial. Sin embargo, lejos de
constituirse en un universo caótico, la multiplicidad de opciones contrasta con
la identificación precisa de autores y textos.
El Digital Object Identifier o
Identificador de Objeto Digital (DOI) es un código alfanumérico único y
permanente que se asigna a publicaciones digitales (como artículos científicos,
libros o conjuntos de datos) para identificarlas en Internet, garantizando su localización
permanente. Es administrado -aunque no en forma exclusiva- por Crossref,
una organización global sin fines de lucro formada por editores académicos
cuya función principal es proporcionar una infraestructura digital abierta que
conecta publicaciones de investigación. En forma simétrica,
el Identificador Abierto de Investigador y Colaborador (ORCID, por su
sigla en inglés) es un código alfanumérico que identifica de manera
única a científicos y otros autores académicos.
Otra iniciativa es el proyecto
denominado OpenCitations que fuera establecido en 2010 y tiene como
misión principal colaborar en el desarrollo de infraestructura para la ciencia
abierta global recopilando y publicando abiertamente metadatos
precisos y completos que describan las publicaciones académicas del mundo y las
citas académicas que las vinculan. También busca preservar el acceso continuo a
esta información mediante archivos seguros legibles tanto por humanos como por
máquinas, interoperables, bajo licencias abiertas sin costo y sin restricciones
para el análisis y la reutilización de terceros.
Como se ve, una constante en este proceso es la mayor
injerencia de la tecnología en la evaluación explorando en bases de datos bibliométricos.
A esto se agrega la influencia de la inteligencia artificial en el análisis de
la información y el temor de que los evaluadores humanos sean reemplazados por
algoritmos. A esto se hará referencia en la tercera entrega.
La autoevaluación
En el desarrollo de un proceso de evaluación institucional se
suele incluir una etapa previa de autoevaluación que suele ser un elemento de
gran importancia, ya que permite la participación plena de evaluadores y evaluados,
favoreciendo la internalización de los resultados. La autoevaluación no
sustituye el juicio evaluador de los árbitros externos, sino que está referida
a aspectos complementarios. Lo propio de la autoevaluación es abordar el examen
de ciertos aspectos que iluminen aquellos rasgos del funcionamiento de la
institución que inciden sobre la calidad, orientación, utilidad social y
racionalidad institucional de la investigación científica y tecnológica
desarrollada.
Enfoque de la autoevaluación
El desarrollo de la autoevaluación tiende a cubrir objetivos
específicos en la evaluación institucional. Se trata de un ejercicio de
participación y de toma de conciencia por parte de los actores involucrados;
esto es, tanto los propios investigadores y tecnólogos, como los responsables
de la gestión de la I+D y su transferencia, así como las autoridades que en
cada nivel de la organización participan del proceso de toma de decisiones en
esta materia.
No es un cometido a priori necesario de la autoevaluación la
obtención de la información básica, tal como los listados de grupos, proyectos,
recursos (incluyendo los obtenidos de otras fuentes, como las agencias
nacionales, la cooperación internacional y la contratación por terceros) y
resultados (tales como publicaciones, patentes, convenios, y desarrollos). Es
deseable que la información requerida para el análisis de los ejes de la
autoevaluación, particularmente aquella dirigida a la elaboración de indicadores,
sea generada previamente como insumo a partir de bases de datos institucionales
y de un conjunto de indicadores básicos. En cambio, es un cometido de la
autoevaluación el análisis grupal de aquellos indicadores comparativos del
desempeño del grupo frente a otros de la misma institución o externos a ella.
Lo que distingue al proceso de autoevaluación no es la producción de
información objetiva, sino la expresión de las valoraciones subjetivas y de la
percepción que los protagonistas tienen de los procesos que los involucran.
La materia propia de la autoevaluación es la capacidad de
producción y transferencia del conocimiento científico en aquellos ejes que
denotan principalmente el sistema de relaciones interno en la práctica de la
investigación, la toma de decisiones, la gestión de la I+D y la vinculación con
sectores externos a la institución evaluada. En la tradición de la política
científica contemporánea se mencionan cuatro cuestiones centrales que
determinan la eficacia y utilidad social de un sistema de investigación
científica y tecnológica, tanto sea en la escala de un país o de una
institución:
a) la orientación de la investigación
en función de determinados objetivos de naturaleza científica o de utilización
social,
b) la efectiva transferencia del acervo de
conocimientos para su aplicación por parte de actores sociales,
económicos y políticos,
c) los instrumentos y procedimientos más
apropiados para gestionar y estimular la producción de conocimientos, así como
su transferencia,
d) el estímulo de las vocaciones científicas y la formación
de jóvenes investigadores.
Un concepto central de este enfoque es el del “acervo de
conocimientos”, entendido como el conjunto de las capacidades cognitivas de la
institución y su aptitud para dar respuesta a determinadas demandas sociales.
No se trata de un concepto estático ni de un “inventario” de conocimientos
disponibles, sino que es dinámico y complejo, ya que contiene elementos
referidos a la calidad de los conocimientos producidos, a su proximidad
relativa con respecto al horizonte alcanzado por la disciplina científica o la
rama tecnológica de que se trate, a la idoneidad de los investigadores y
tecnólogos que se desempeñan en ella, a las diversas líneas de investigación y
su relación entre sí y a la práctica de la investigación interdisciplinaria.
Incluye también, como variable próxima, el sistema de relaciones de los grupos
de la institución con la comunidad científica y los centros tecnológicos de
alto nivel, en el país y en el exterior.
Es conveniente centrar la actividad sobre aquellos aspectos
que, por sus características, son adecuados a la naturaleza y alcances de la
autoevaluación como reflexión participativa. Tales aspectos son los referidos a
la percepción de los actores involucrados acerca de la capacidad de investigación,
del proceso de toma de decisiones, de la demanda y de las estrategias seguidas
en el contexto de los intereses (de los propios investigadores y de la
institución) y los condicionamientos externos. Asimismo, es necesario prestar
atención a la perspectiva de los participantes acerca de cómo se vincula la
investigación con la formación de científicos y tecnólogos. Finalmente, el
ejercicio se presta al análisis de las fortalezas y debilidades, tanto de los
propios grupos de investigación científica y tecnológica, como de la
institución en su conjunto.
Ejercicio de autoevaluación
El ejercicio de autoevaluación consiste normalmente en una
serie de reuniones abiertas a la participación de los investigadores,
tecnólogos y gestores de la investigación. Es recomendable que las reuniones se
lleven a cabo en círculos de inclusión creciente. Las reuniones deberán tener
el formato más adecuado a la naturaleza de las cuestiones a considerar, así
como a las características de la institución en proceso de evaluación. En las
reuniones de autoevaluación se suele presentar como insumo para el debate la
información producida en la etapa previa, referida a proyectos, tamaño y
composición de los grupos, normativas e indicadores. El trabajo de los grupos
tiene como objetivo manifestar la perspectiva de los participantes con relación
a los ejes de la capacidad científica y tecnológica, la inserción social y el
proceso de toma de decisiones.
El ejercicio de autoevaluación consistirá así en un examen
de las prácticas frecuentes de investigación en la institución, tratando de
determinar las tendencias predominantes en materia de la constitución de
equipos interdisciplinarios, particularmente en el abordaje de ciertos
problemas que por sus características así lo demandarían. Es interesante que se
reflexiones sobre las barreras que obstaculizan la investigación
interdisciplinaria, las que frecuentemente tienen origen en la estructura
burocrática de la investigación, en la cultura de la institución y en los
sistemas que premian y castigan la labor de los investigadores.
a) Estimación de la capacidad científica y tecnológica
La autoevaluación juega un papel importante en la estimación
de la capacidad científica y tecnológica de una institución. Esto implica la
realización de un juicio de valor acerca de la capacidad y articulación de los
grupos, su producción y la práctica de la investigación interdisciplinaria. Es
verdad que este eje se ajusta en gran medida a procedimientos de evaluación
externa, ya que la estimación de varios de los criterios mencionados requiere
la intervención de pares evaluadores, pero la reflexión de los participantes que
surge de una autoevaluación es un aporte fundamental. Además de las opiniones
cualitativas, se suelen utilizar indicadores cuantitativos y ciertas pautas
normativas relacionadas con el tamaño y estructura óptimos de los grupos. Esta
información, en caso de existir, debería estar a disposición de quienes participan
en las reuniones de autoevaluación con el objeto de que puedan expresar sus
valoraciones con relación a dicho material.
El campo de la autoevaluación en este eje es el de la
opinión de los actores involucrados acerca de la información disponible, así
como la discusión de estrategias deseables que tiendan a consolidar o corregir
los aspectos de fortalezas y debilidades del grupo que hayan sido señalados.
Otros campos son especialmente propicios a la autoevaluación, tales como el
relativo a la vinculación interna y externa del propio grupo. En este sentido,
el proceso de autoevaluación debe ser un elemento que favorezca la
autoconciencia y cohesión de los grupos. Otro aspecto especialmente propicio a
la autoevaluación es el “mapa” de los grupos, en términos de cobertura de temáticas
afines y complementarias, así como su articulación en la práctica.
El abordaje de problemas complejos requiere en forma
creciente la práctica de la investigación interdisciplinaria, no sólo entre
disciplinas afines, sino también entre campos cognitivos distantes como
resultado de la especialización e institucionalización disciplinaria. El
abordaje de determinados problemas de gran importancia para la sociedad reclama
un esfuerzo conjunto por parte de disciplinas de los campos de las ciencias
exactas, sociales y humanidades e, incluso, de las artes. En este sentido, la
práctica de la investigación interdisciplinaria puede ser tomada como un
indicador de la madurez de un sistema científico y de su capacidad para dar
respuesta a problemas de cierta envergadura que surjan en el entorno social, en
sentido amplio. A la inversa, la práctica exclusiva de la investigación
orientada por problemas de las propias disciplinas puede ser un factor
limitante de la capacidad de respuesta de la institución de I+D frente a
problemas surgidos en la compleja relación de la sociedad con la naturaleza.
b) Estimación de la inserción social
En este eje, los criterios tradicionalmente usados son la
importancia social del tema, su valor económico, el desarrollo de capacidades o
experiencia, los resultados potencialmente aplicables y la probabilidad de
éxito en el logro de resultados, además de los planes de diseminación de los
conocimientos y la transferencia a aplicaciones prácticas. El eje se ajusta
tanto a procesos de evaluación externa como a la autoevaluación. Se suelen
utilizar también indicadores cuantitativos, tales como el número de patentes
registradas, el número de convenios de investigación contratada, la
transferencia de conocimientos y los recursos externos generados, entre otros.
La pertinencia o relevancia social de los proyectos de I+D puede surgir de la
aplicación de prioridades establecidas en alguna instancia de política
científica, o bien de la demanda de agentes externos a la institución. Esta
información debe ser un insumo a disposición de los participantes en las
reuniones de autoevaluación.
Frecuentemente, la relevancia social de la investigación es
determinada casi exclusivamente a partir de percepciones de los propios grupos
involucrados acerca de lo que es socialmente relevante. En este caso, la
percepción del grupo puede corresponderse con la realidad o no, en cuyo caso la
efectiva transferencia hacia potenciales usuarios se vería dificultada y
eventualmente no se concretaría. El juicio acerca de esta dimensión es propio
de la autoevaluación y está estrechamente vinculado con el análisis de los
procesos de toma de decisión. Es conveniente que en el proceso de
autoevaluación se discuta acerca del ajuste en la previsión del posible interés
o impacto social, así como de la existencia, en los planes de trabajo, de
actividades de difusión social de los conocimientos adquiridos.
c) Proceso de toma de decisiones
Los enfoques actuales de la evaluación en ciencia y
tecnología toman en cuenta muy especialmente los procesos de decisión que
conducen a la apertura de campos, líneas y proyectos de investigación. Este eje
ofrece pocas dimensiones apropiadas para la aplicación de indicadores
cuantitativos y pautas normativas establecidas a priori, pero es una materia
muy sensible para las experiencias de autoevaluación. Para ello se debe
reflexionar participativamente acerca de cómo funciona en la práctica el
proceso de toma de decisiones en materia de investigación científica y
tecnológica. Tal análisis merece un abordaje desde múltiples niveles:
a) El primero remite a la instancia de decisión en
la estructura de gobierno de la institución así como los criterios tomados en
cuenta.
b) El segundo nivel de abordaje analiza las
relaciones de la institución con los organismos del sistema de ciencia y
tecnología, a partir de sus propios espacios de actuación –en particular los
mecanismos de coordinación del sistema- bajo la perspectiva de identificar cómo
las líneas de I+D son influenciadas o determinadas por tales organismos.
c) El tercer nivel examina el grado de
participación de diferentes actores en la definición de la estrategia de I+D
adoptada por la institución y el modo en que son tomadas en cuenta las demandas
surgidas del entorno social.
Como resultado del análisis en los tres niveles mencionados el
ejercicio de la autoevaluación permitiría describir el proceso de toma de
decisiones en materia de la estrategia institucional de I+D, predicando acerca
de su eventual coherencia, integración y articulación con otros componentes o
ámbitos de decisión.
Referencias
BODEN, Margaret (1990); Peer Review: Report of a Working Party of the
Advisory Board for the Research Councils. Advisory Board for the Research
Councils. Londres, Inglaterra.
CHANCELLOR OF THE DUCHY OF LANCASTER (1993); Libro Blanco de la Ciencia,
la Ingeniería y la Tecnología - Realising our potential: a strategy for
science, engineering and technology. HMSO, London.
COMMITEE ON SCIENCE, ENGINNERING, AND PUBLIC POLICY (1999), Evaluating
Federal Research Programs, National Academy Press, Washington.
GÓMEZ CARIDAD, Isabel y
BORDON GANGAS, María (1997), 'Limitaciones en el uso de los indicadores
bibliométricos para la evaluación científica', en: Política Científica N°
46, Madrid.
HALDANE, John Scott (1918); Report of the Machinery of Government
Committee (The Haldane Report). Ministry of Reconstruction. Command Paper
Cd. 9230. London.
NATIONAL ACADEMY PRESS (1999); Evaluating Federal Research Programs;
Washington.