Gaceta Ide@s CONCYTEG, Año 2, Núm. 28, 16 de noviembre de 2007
retroalimenten el diseño de políticas para la
Los instrumentos del evaluador de
política científica y tecnológica:
hacia la construcción de
metodologías adecuadas a la
realidad latinoamericana
ciencia y la tecnología con mayor capacidad
de incidir en el desarrollo integral de la
sociedad en que vivimos.
Este llamado se justifica ante la
Marco Aurelio Jaso Sánchez *
creciente incorporación de herramientas de
evaluación e indicadores que han sido
populares en otros países (Europa y Estados
A través de este artículo pretendo llamar la
Unidos por ejemplo) y que se han vuelto
atención sobre la importancia de diseñar
práctica común en países como México, sin
metodologías adecuadas para la evaluación
la necesaria reflexión sobre su pertinencia
de las políticas y programas de fomento a la
ante las características institucionales de las
investigación, el desarrollo tecnológico y la
innovación
(I+D+i)
en
México
comunidades de innovación e investigación
y
latinoamericanas.
Latinoamérica. Solamente de esta manera se
desenvolvimiento,
modalidades más tradicionales, por ejemplo,
los
podría
resultados o el impacto de los esfuerzos en
repercutir
considerar las fortalezas y limitaciones de
combinarlas
conforme
Solamente
en
el
en
significativas,
agravamiento
sino
de
la
Con tales miras, abordaré en una
primera parte las especificidades de la
y lo más interesante: aspirar a desarrollar
propias.
poco
traducirse
nuestras regiones y países.
a
nuestras realidades regionales y nacionales;
herramientas
solamente
problemática sistémica y estructural en
las herramientas disponibles para saber
y
no
evaluaciones
esta área. En esta búsqueda es necesario
adaptarlas
la
bibliométricos y evaluación por pares en sus
indicadores empleados para evaluar la
el
con
aplicación predominante de indicadores
puede dotar de significado y utilidad a los
pertinencia,
Continuar
evaluación de las políticas de fomento a la
así
I+D+i, bosquejando la evolución de los
podremos contar con evaluaciones útiles que
modelos
de
evaluación
para
estas
actividades. Con estas bases me introduciré
*
Doctor en Políticas de Ciencia y Tecnología por
la Universidad de Manchester, Inglaterra.
Profesor Titular “A” de tiempo completo del
Departamento de Estudios Institucionales,
UAM-Cuajimalpa. Candidato a Investigador
Nacional
del
Sistema
Nacional
de
Investigadores.
Correo-e:
mjaso@correo.cua.uam.mx.
en el planteamiento de finalidades y
requisitos que deberían estar presentes en
las metodologías de evaluación en países
latinoamericanos
32
con
características
Gaceta Ide@s CONCYTEG, Año 2, Núm. 28, 16 de noviembre de 2007
similares a las de México. Habiendo hecho
queremos
este breve análisis, podremos ponderar las
deberíamos asignar a las evaluaciones?; b)
ventajas y desventajas de los indicadores
¿bajo qué enfoque teórico y conceptual
bibliométricos y la evaluación por pares.
debemos conducir las evaluaciones?; c) ¿qué
Finalmente,
las
se va a evaluar?; d) ¿quién debería evaluar?,
conclusiones algunas líneas de trabajo para
e) ¿cómo se utilizarían los resultados de las
desarrollar metodologías adecuadas a las
evaluaciones? y f) ¿con qué herramientas?
puntualizaré
en
características de nuestros países.
evaluar
y
cuántos
recursos
Cada una de estas preguntas amerita
su propio espacio de discusión y propuestas;
sin embargo, he elegido concentrarme en la
última dada la creciente familiaridad de la
La evaluación de las políticas de
I+D+i
comunidad
académica
y
tecnológica
mexicana con la evaluación por pares y el
Entre los evaluadores hay un amplio
uso de algunos indicadores bibliométricos
consenso con relación a los objetivos de la
(tales como el conteo de publicaciones, citas
evaluación: ofrecer retroalimentación sobre
e impacto); así como por los riesgos que se
una actividad planeada y sus consecuencias,
corren en caso de continuar instrumentando
ya sean éstas intencionadas o no. Es una
evaluaciones
actividad fundamentalmente práctica que en
apoyadas
en
indicadores
tradicionales sin la mejora continua de sus
los últimos años ha venido desarrollando
metodologías.
bases teóricas. (Arnold y Balázs, 1998) Se
Si bien la experiencia acumulada en
trata en definitiva de un campo en
la evaluación de programas públicos brinda
desarrollo que ha ganado popularidad. Sin
lecciones
embargo, a pesar del uso tan cotidiano que
de
aplicación
general,
la
evaluación de programas enfocados al
ha cobrado el término evaluación, tanto en
fomento de la I+D+i requiere un marco
la gestión pública como en la privada (ya sea
propio en la medida en que la comprensión
en la normatividad o en su práctica), se
de cómo se produce y distribuye el
corre el riesgo de que se continúen
conocimiento pone el acento en aspectos
practicando evaluaciones sin la necesaria
característicos
reflexión y acuerdo entre las dependencias
de
la
dinámica
de
investigación y desarrollo tecnológico de
de gobierno, el sector privado, el sector
áreas industriales específicas. Esto implica
educativo y la sociedad en general, acerca de
enfrentar retos como los siguientes: a)
aspectos fundamentales como: a) ¿para qué
33
Gaceta Ide@s CONCYTEG, Año 2, Núm. 28, 16 de noviembre de 2007
dinámicas
económicas
diferenciadas,
b)
e
industriales
altos
niveles
primeras
de
técnicas
bibliométricas
(Papaconstantinou y Polt, 1997).
incertidumbre, c) interacción de múltiples
En
una
segunda
etapa,
la
actores, d) factores y efectos intangibles
sofisticación del desarrollo tecnológico e
(aprendizaje,
vinculaciones
innovativo ocurrido en las décadas de 1960
transferencia
de
trayectorias
informales,
conocimientos),
científicas
y
e)
a 1980, en conjunción con el surgimiento de
tecnológicas
estudios empíricos y teóricos sobre el
específicas, entre los más sobresalientes.
cambio tecnológico, llevó a revalorar otras
La relevancia de tales aspectos no ha
facetas de la innovación 1 y revalorar la
sido siempre clara. La comprensión del
importancia de la demanda. Estos elementos
fenómeno innovativo a lo largo del siglo XX
favorecieron dejar de lado la visión lineal en
y
favor
principios
del
XXI
ha
evolucionando
con
sus
consecuentes
repercusiones
en
el
venido
desarrollo
de
una
visión
sistémica.
En
consecuencia, los programas revaloraron
de
nuevos
metodologías y herramientas de evaluación.
actores
y
desarrollaron
instrumentos de intervención acordes, como
la vinculación, las redes, las instituciones
puente, los parques industriales y los
estímulos fiscales, entre otros. Estos nuevos
Desarrollo histórico de los métodos
de evaluación
enfoques e instrumentos de intervención
plantearon
En una primera etapa, posterior a la
conocimiento
tecnológico; asumiendo que el apoyo a la
se
traduciría
retos
a
los
de los pares científicos, y apelan al
visión lineal del desarrollo científico y
básica
propios
evaluadores, trascendiendo las competencias
Segunda Guerra Mundial, se desarrolló una
investigación
sus
y
habilidades
de
áreas
económicas, tecnológicas y sociales, en aras
en
de capturar las interacciones sistémicas y
desarrollo tecnológico y económico. El
flujos de conocimiento entre las diversas
consecuente florecimiento de apoyo a la
esferas involucradas. Los esquemas de
investigación básica se tradujo en la
evaluación por pares y los indicadores
creación de institutos y las metodologías de
bibliométricos
evaluación se enfocaron en la evaluación del
también
comenzaron
sofisticarse.
desempeño de la comunidad científica a
través de la revisión por pares y las
1
34
Como la investigación aplicada, el desarrollo de
prototipos, el proceso de la manufactura en su
conjunto, la mercadotecnia.
a
Gaceta Ide@s CONCYTEG, Año 2, Núm. 28, 16 de noviembre de 2007
iniciada
comportamiento y desempeño de los actores
aproximadamente a finales de la década de
(adicionalidad); g) incorporar nuevos actores
1990 y que persiste hasta el día de hoy, ya es
en
evidente el enérgico despunte de sectores
democráticas y transparentes.
En
una
tercera
etapa,
el
diseño
de
evaluaciones
más
Es claro para la comunidad de
clave como las TICs, los nuevos materiales,
la nanotecnología y la biotecnología que
evaluadores
apuntalan la competitividad de industrias,
evaluación disponibles resultan insuficientes
regiones y países. En consecuencia, las
para satisfacer las anteriores demandas, de
políticas han aspirado a fortalecer la
manera que se han abierto promisorias
planeación
líneas de investigación.
estratégica,
la
inteligencia
tecnológica, definir áreas prioritarias, nichos
específicos
e
incentivar
que
las
herramientas
de
Estos son algunos de los elementos
capacidades
que los tomadores de decisión y los
cognoscitivas y adaptativas que permitan a
evaluadores de política de innovación en
los actores adecuarse con gran rapidez a su
México y Latinoamérica deberían tomar en
entorno.
cuenta para sintonizar las metodologías con
El reto para los evaluadores se ha
las demandas de los tiempos actuales, y
traducido en incorporar la evaluación de
simultáneamente afinar las herramientas de
manera más clara dentro de un esquema de
evaluación
planeación estratégica, a la vez que se señala
características institucionales de nuestros
la necesidad de evaluar: a) la rapidez de los
países.
en
consonancia
con
las
procesos de aprendizaje, b) la capacidad no
solo de construir redes, sino también de
desarticularlas, c) la capacidad de las
A qué debe aspirar la evaluación de la
política de I+D+i en México y
Latinoamérica
organizaciones en general y las empresas
para reorientarse dentro de trayectorias con
mayores oportunidades, d) la capacidad para
Los objetivos generales de le evaluación
anticipar e incidir en la orientación del
La
cambio
movilidad
abordado y comparado los niveles de
interinstitucional del capita humano y los
esfuerzo y desempeño entre nuestros países
consecuentes flujos de conocimiento, f)
en materia de inversión, formación de
identificar la contribución real de los
recursos humanos, producción científica
programas públicos a los cambios en el
(analizada a través de publicaciones y
tecnológico,
e)
la
35
mayoría
de
las
evaluaciones
han
Gaceta Ide@s CONCYTEG, Año 2, Núm. 28, 16 de noviembre de 2007
patentamiento)
y
balanza
tecnológica.
De
esta
caracterizado
el
esfuerzo
comercial
manera
de
Los enfoques pertinentes
han
Ha sido práctica común en las evaluaciones,
distintas
sustentar buena parte de su diagnóstico en
instituciones y disciplinas, documentando la
indicadores
brecha que separa nuestras comunidades o
usualmente conocidos en la literatura
sistemas de innovación del desempeño que
especializada como “first order outputs” que
se registra en los países más desarrollados;
constituyen resultados inmediatos derivados
lo cual, ciertamente nos brinda importantes
de los proyectos o programas (sujetos o
elementos de referencia. Es necesario, sin
entidades
embargo, subir el nivel de análisis y
generados,
considerar
derramas
que
si
para
los
países
fácilmente
cuantificables,
beneficiadas,
productos
prototipos
comercializados,
económicas
generadas,
desarrollados es importante medirse con
publicaciones
respecto a los demás, para los países en vías
capacitados,
de desarrollo es crucial saber si los
resultados no esclarecen en qué medida los
programas que se implementan le están
programas han contribuido al logro de los
permitiendo en efecto acortar la brecha que
objetivos
los
avanzados.
implícitos y explícitos en lo programas, pero
Adicionalmente, ante demandas apremiantes
que no obstante su generalidad justifican el
de salud, alimentación, educación, provisión
financiamiento público de los mismos. Por
de servicios básicos, y bajo muy escasos
lo
recursos financieros, resulta indispensable
metodologías e indicadores que trasciendan
saber si se está invirtiendo en las áreas de
la observación de lo que es relativamente
mayor potencial a través de los programas
más fácil de cuantificar en aras de capturar
más efectivos, eficientes y con los menores
los impactos más profundos incorporando
costos. Necesitamos afrontar la pregunta
elementos cualitativos en las metodologías,
sobre si los programas de fomento a la
y así capturar mejor elementos intangibles
I+D+i están contribuyendo de manera
relacionados con el comportamiento, el
tangible a revertir la perjudicial distribución
aprendizaje, la adaptación, las vinculaciones
del ingreso en nuestras economías.
informales y el desarrollo de capacidades de
separa
de
los
más
resultantes,
etc.).
de
anterior,
Sin
política
hay
estudiantes
embargo,
más
que
estos
generales
desarrollar
innovación en general. (Jaso-Sánchez, 2007)
36
Gaceta Ide@s CONCYTEG, Año 2, Núm. 28, 16 de noviembre de 2007
Qué hay que incorporar a la observación
tienen que desarrollar metodologías de
Conectividad.- Con respecto a algunas
evaluación que capturen este tipo de
características estructurales de muchas de
vinculaciones.
las economías latinoamericanas, en las
Producción diferenciada.- Ha sido
cuales se observa un insuficiente desarrollo
práctica común evaluar el desempeño y la
de actores clave, una fuerte desarticulación
productividad a través del número de
entre las IES, los institutos de investigación,
publicaciones
los centros públicos de investigación y
especializadas, internacionales, arbitradas,
desarrollo tecnológico, las empresas y otras
indexadas. Si bien esto pudiera reflejar
organizaciones sociales, resulta importante
adecuadamente el trabajo y la calidad de
que la evaluación aborde de qué manera los
ciertas áreas o disciplinas (física, química y
programas
biomédicas entre las más idóneas), las
implementados
hasta
el
y
citas
revistas
momento han contribuido a revertir el
distintas
aislamiento de las organizaciones y la falta
campos de aplicación presentan productos
de trabajo coordinado. Todavía hace falta
diferenciados que se diseminan por canales
responder
que
la
pregunta
sobre
si
los
no
disciplinas,
en
siempre
especialidades
son
los
y
journals
programas están permitiendo una mayor
internacionales. De esta manera, el análisis
vinculación
de
basado en las bases de datos internacionales
investigadores y tecnólogos con otros
donde se observan las publicaciones, sus
actores sociales y con organizaciones del
citas y el impacto de las revistas, refleja de
exterior de sus países.
manera muy diferente el trabajo de la
de
las
Vinculaciones
comunidades
informales.-
Las
comunidad de agrónomos que el de la
peculiaridades del desarrollo institucional en
comunidad de astrofísicos, por poner un
México y otros países latinoamericanos
ejemplo. Por lo tanto, la evaluación de la
resaltan la importancia de las vinculaciones
productividad y el desempeño debe ser
informales como mecanismos de interacción
sensible a los productos representativos de
para
la
las diversas comunidades, y a sus canales
innovación; por lo tanto, las evaluaciones
habituales de difusión, que en muchos casos
que observan las redes a través de contratos,
no
convenios, coautorias, citas, pierden de vista
aplicados
este elemento fundamental de los procesos
tecnológicos, ya sea a empresas o a
de I+D+i latinoamericano. Por lo tanto se
comunidades rurales.
el
desarrollo
tecnológico
y
37
son
publicaciones
o
sino
transferencia
desarrollos
de
paquetes
Gaceta Ide@s CONCYTEG, Año 2, Núm. 28, 16 de noviembre de 2007
es relevante, sean estos investigadores,
Integración de recursos locales y
actores
sociales.-
Dado
el
tradicional
empresarios,
funcionarios
públicos,
descuido de la promoción del desarrollo
organizaciones ciudadanas o representantes
rural, integral y sustentable; y el actual
de comunidades rurales organizadas.
interés de muchas comunidades, gobiernos
locales,
regionales
y
nacionales
por
aprovechar el potencial de sus recursos
Ventajas y desventajas de la
evaluación por pares e Indicadores
bibliométricos
naturales y culturales (aprovechando el
conocimiento
tradicional
sobre
las
propiedades medicinales de la biodiversidad,
Evaluación por pares
por ejemplo), resulta pertinente evaluar si
Se
los actuales programas están contribuyendo
establecido por la comunidad científica para
a eslabonar las distintas áreas de la ciencia y
juzgar la calidad de la investigación
la tecnología y a los actores necesarios para
(Merton, 1968) y ha sido introducido en la
articular a los dueños de los recursos
arena de la política de I+D+i. Si bien se
(comunidades indígenas, la mayoría de las
trata de un mecanismo originalmente
veces), con los investigadores, productores,
concebido para evaluar la calidad, la
reguladores, comercializadores, etc. que
originalidad y la relevancia tanto de
propicien el fortalecimiento de sistemas de
artículos como de proyectos, éste método
innovación sectoriales en los cuales los
comenzó a ser valorado como una forma
actores que anteriormente eran relegados se
válida de juzgar la investigación que podría
incorporen como sujetos clave.
ser meritoria de apoyo público. La OCDE
trata
del
método
tradicionalmente
Incorporación de nuevos actores en
(1987) lo justifica argumentando que la
el diseño de las evaluaciones.- La evaluación
valoración de ciertos aspectos en la ciencia
de la política de I+D+i en nuestros países
solo puede ser realizada por aquellos que
debe dejar de ser de la incumbencia
son
exclusiva de los científicos, especialistas y
desarrollo
algunos funcionarios públicos. Para que los
investigación, sus agendas de investigación
resultados de las evaluaciones tengan una
y sus practicantes.
utilidad social real y su implementación sea
Sin
suficientemente
cognitivo
embargo,
conocedores
del
del
de
la
campo
objetividad
y
más factible, deben de incorporar desde su
confiabilidad de este mecanismo ha sido
diseño a los actores sociales para los cuales
puesta en tela de juicio por algunas
38
Gaceta Ide@s CONCYTEG, Año 2, Núm. 28, 16 de noviembre de 2007
investigaciones y las declaraciones de los
de ser especialmente cautos para robustecer
propios
lo evaluación por pares tradicional con otras
científicos;
ante
lo
cual
la
alternativas y modalidades.
comunidad de evaluadores ha hecho un
esfuerzo por distinguir bajo qué condiciones
funciona mejor y en qué circunstancias
La evaluación bibliométrica
disminuye su utilidad.
La bibliometría es una disciplina que si bien
Este método suele proveer buenas
evaluaciones
cuando
hay
se comenzó a desarrollar a finales de 1960
suficientes
ha
sido
explotada
abundantemente
y
recursos económicos, mientras que cuando
popularizada a partir de los 1980. Consiste
hay pocos aumentan las posibilidades de que
básicamente en el estudio cuantitativo de
la competencia introduzca sesgos. Así
información
también,
procedencia, coautoría, tópico, disciplina,
cuando
se
cuenta
con
una
comunidad de investigadores amplia, las
personal
pequeñas
compromete
evaluación
la
los
Los
interacción
juicios.
intra-disciplinaria
es
(autor,
análisis temporal, citas, etc.)
evaluaciones son más confiables, pues en las
comunidades
bibliográfica
evaluadores
de
políticas
y
actividades de I+D+i se han apoyado en la
La
bibliometría como herramienta para la
otra
obtención de indicadores ya que una buena
condición para su buen funcionamiento,
parte
pues su éxito radica en la especialización y
tecnológica puede ser observada a través de
enfrentaría graves problemas para evaluar
publicaciones y patentes; además de que el
temas en las fronteras de su disciplina de
desarrollo de la informática ha facilitado la
especialización o fuera de ellas. Es muy útil
compilación de grandes bases de datos y la
cuando se trata de evaluar el mérito
aplicación de las matemáticas para el manejo
académico
de
de indicadores cuantitativos. Esto que
conocimiento, mientras que se volvería
constituye una fortaleza para el desarrollo
imprecisa al evaluar las implicaciones
de esta herramienta permite identificar
industriales, económicas o sociales.
algunas de sus limitaciones, pues solamente
de
una
nueva
pieza
de
la
producción
científica
y
Por estas razones, los encargados de
observa aquella fracción del trabajo de
tomar decisiones de política de I+D+i en
investigación que se difunde a través de
países en vías de desarrollo, donde se
publicaciones específicas y que es capturado
conjugan
por las bases de datos de revistas indexadas.
la
escasez
de
recursos
y
comunidades científicas pequeñas, deberían
39
Gaceta Ide@s CONCYTEG, Año 2, Núm. 28, 16 de noviembre de 2007
Por estas razones es importante
economía de tiempo y comodidad en
identificar sus fortalezas y debilidades. Los
indicadores
especialistas han señalado las siguientes
radica en que sustituye los insumos de
ventajas. Esta herramienta funciona mejor
análisis provenientes de análisis cualitativos,
en la medida en que hay investigación
los cuales son indispensables para proveer
académica involucrada, de preferencia de
una visión más completa de la dinámica de
naturaleza básica y pierde efectividad en la
I+D+i. Además, los diferentes tipos de
medida en que hay más investigación
productos, canales de difusión y hábitos de
aplicada. Funciona bien en la medida en que
publicación de las distintas disciplinas,
los campos de conocimiento están bien
campos y países, dificulta el análisis
identificados y desarrollados lo cual se
bibliométrico. Varios autores acusan un
traduce en bases de datos específicas y
problema de subrepresentación en las bases
representativas. Funciona adecuadamente
de datos, las cuales subrepresentan regiones
conforme se amplia el nivel de agregación y
y publicaciones de acuerdo a su idioma. El
se comparan grandes comunidades (a nivel
análisis de citas necesita todavía ser afinado,
nacional
que
pues no hay una correspondencia exacta
escalas
entre el número de citas y la calidad de la
regionales más pequeñas o al nivel de
investigación. Es necesario por tanto, que
instituciones o departamentos. Cuando los
numerosos indicadores bibliométricos como
niveles de agregación son amplios, algunos
las citas y el factor de impacto sean
autores han ilustrado que los análisis
respaldados por elementos teóricos más
bibliométricos coinciden con otros análisis
sólidos.
por
disminuye
ejemplo)
su
mientras
efectividad
para
bibliométricos
tradicionales
(evaluación por pares y estudios de caso).
(Nederhoff
y
van
Adicionalmente,
especialistas
la
comunidad
de
Conclusiones
Los elementos anteriores apuntan a la
desarrollar indicadores bibliométricos más
necesidad de desarrollar en México y otros
precisos
países de Latinoamérica, una comunidad
para
trabajando
1993).
para
y
está
Raan,
dotarlos
de
mayor
significado.
comprometida
con
el
desarrollo
de
Los principales riesgos de que los
metodologías de evaluación, que consideren
tomadores de decisión, los evaluadores y los
no solamente los últimos adelantos en la
mismos pares dependan por motivos de
comprensión del fenómeno innovativo, sino
40
Gaceta Ide@s CONCYTEG, Año 2, Núm. 28, 16 de noviembre de 2007
que de manera indispensable complementen
las
herramientas
de
evaluación
e
indicadores, adecuando las herramientas de
evaluación por pares y bibliométricas de
acuerdo a las realidades institucionales de
nuestros países. Este esfuerzo debe conducir
al diseño de metodologías propias que
permitan
observar
características
particulares como la formación de redes, las
vinculaciones informales y la integración de
actores y recursos naturales que han
quedado fuera de las políticas tradicionales
de industrialización y cambio tecnológico.
Bibliografía
1. Arnold, E. y Balázs, K. (1998) Methods
in the Evaluation of Publicly Funded Basic
Research. A Review for OECD, Brighton,
Technopolis.
2. Jaso-Sánchez, M. (2007) Evaluation of
Research Collaboration in the Mexican
Phyto-Pharmaceutical
Sector,
Tesis
doctoral, University of Manchester,
Manchester, Reino Unido.
3. Merton, R. K. (1968) “The Matthew
Effect in Science”, en Science, New
Series, 159(3810): 56-63.
4. Nederhof A.J. y van Raan A.F.J. (1993)
“A bibliographic analysis of six
economics
research
groups:
A
comparison with peer review”, en
Research Policy, 22: 353-368.
5. OCDE (1987) Evaluation of research. A
selection of current practices. Paris: OECD.
6. Papaconstantinou, G., y Wolfang, P.
(1997) “Policy Evaluation in Innovation
and Technology: An Overview”, en
OECD Policy Evaluation in Innovation
and Technology. Towards Best Practices,
OECD Conference Report, 26-27 de
junio.
41