Escribir es re-escribir. Un análisis de contenidos de los informes realizados a los artículos no publicados en Infancia y Aprendizaje EMILIO SÁNCHEZ*, JESÚS NICASIO GARCÍA** Y PABLO DEL RÍO* *Universidad de Salamanca;**Universidad de León Resumen En este artículo nos hemos propuesto analizar las razones que motivan la no aceptación de los artículos enviados a la revista y, al mismo tiempo, la labor que, al respecto, llevan a cabo los revisores. Para ello hemos creado un sistema de análisis capaz de desentrañar todos los contenidos de los informes de evaluación que aluden a cuatro tareas diferentes que hemos identificado en la labor de los revisores: evaluar, apoyar, sugerir y clarificar. Con ese sistema se han analizado 50 informes de evaluación que corresponden a los 25 primeros artículos que fueron no aceptados para publicación en el presente periodo de la revista. Respecto del análisis de las objeciones, presentamos las frecuencias de 95 objeciones diferentes organizadas en 24 categorías y en 6 apartados. Y respecto del análisis de la labor de los revisores, se presenta un análisis de los recursos retóricos empleados, los diferentes estilos que hemos identificado y un análisis de las tareas no evaluativas que también están presentes en los informes. Entendemos que este análisis puede propiciar una doble toma de conciencia que motive una reflexión en la comunidad académica sobre el proceso de evaluación en sí y sobre el modo de acometerlo. Palabras clave: Artículos no aceptados, tareas, recursos retóricos y estilos de los revisores. Writing as rewriting: A content analysis of peer reviews of non-accepted papers submitted to Infancia y Aprendizaje Abstract The paper analyses the reasons that motivate the non-acceptance of articles sent to the journal and, in this respect, also the work carried out by referees. To do so, we have designed a system of analysis capable of explaining the content of peer reviews. We have thus identified four different tasks in the work of referees: To assess, support, suggest, and clarify. 50 reports have been analysed using this system, corresponding to the first 25 papers rejected for publication in the journal’s current period. First, we analysed the reasons for not accepting articles: the frequencies of 95 different objections, organised into 24 categories, and grouped under 6 headings are provided. Second, we analyse the rhetoric resources employed by referees, and describe the different styles identified. Finally, we analyse non evaluative tasks also present in peer reviews. We feel that this analysis could favour a double awareness in the academic community, promoting a reflection on: 1) the assessment process itself, and 2) the way it is undertaken. Keywords: Non-accepted papers, referees’ tasks, rhetoric resources, referees’ evaluation style. Agradecimientos:Agradecemos los comentarios críticos y sugerencias diversas que nos ofrecieron los tres revisores de este artículo y también los efectuados por nuestros colegas Javier Rosales, Ricardo García y Gerardo Prieto. Correspondencia con los autores: Emilio Sánchez. Facultad de Psicología. Departamento de Psicología Evolutiva y de la Educación. Avda. de la Merced, 109-131; 37005-Sal amanca. e-mail: esanchez@gugu.usal.es. Jesús Nicasio García. Facultad de Educación. Departamento de Filosofía y Ciencias de la Educación. Campus de Vegazana, s/n. 24071-Le ón. e-mail: dfcjgs@unileon.es. Pablo del Río. Facultad de Ciencias Sociales. Departamento de Comunicación Audiovisual. Campus Unamuno, s/n. 37071-Sal amanca. e-mail: prio@gugu.usal.es Original Recibido: Septiembre, 2001. Aceptado: Noviembre, 2001. © 2002 by Fundación Infancia y Aprendizaje, ISSN: 0210-370 2 Infancia y Aprendizaje, 2002, 25 (1), 5-35 6 A lo largo de los últimos años venimos apreciando un notable incremento de originales que llegan a la revista (superan los sesenta cada año) que, como ocurre en todas las revistas con criterios de calidad homologados, son sometidos a un exigente proceso de revisión a cargo de dos expertos seleccionad os por uno de los editores asociados de la revista. El hecho que motiva estas páginas es que una buena parte de esos trabajos no son aceptados para publicaci ón (véanse las cifras que se ofrecen en la editorial de este mismo número), y el resto sufre en el transcurso del proceso una considerable transformación. De hecho ni uno sólo —en el período que hemos analizado— ha llegado a publicarse sin introducir algún tipo de cambio en la versión inicial. De ahí que, como reza el título de este trabajo, escribir sea en realidad un proceso de revisión, crítica, optimización y mejora progresivas; un proceso, en suma, de reescritura. El sentido de este artículo es hacer público lo que suele quedar en la trastienda de este complejo proceso. Esto es, tanto las razones que motivan la no aceptación como el tipo de labor que llevan a cabo los revisores. La toma de conciencia sobre esa doble actividad —de autoría y de revisión— que aquí intentamos propiciar puede ser a nuestro modo de ver positiva, aunque conlleva, también, algunos riesgos. Por lo que a los beneficios se refiere, merece la pena reseñar, en primer lugar, el más obvio de todos: el que se deriva de ofrecer de forma ordenada las razones que motivan la no aceptación o el cuestionamie nto de los trabajos. Es bien cierto que contamos con el precedente de las normas APA (1994) y de las normas específicas que la propia revista ofrece a los autores. No obstante, y sin negar el valor de esas fuentes, cabe la posibilidad de que resulten poco operativas para los autores, especialmen te en el caso de aquéllos que cuenten con poca experiencia, pues tales normas pueden ofrecer a los interesados un “ideal” demasiado abstracto y lejano. Abstracto, en el sentido de que constituyen recomendaciones (especialment e las que ofrece la revista) que quizás no proporcionen claves suficientement e poderosas y precisas para los procesos de elaboración y revisión de los trabajos. Lejano, en el sentido de que pueden reclamar competencias excesivas para las posibilidad es inmediatas de algunos autores o autores noveles. En ese sentido, el proceso de evaluación puede y, a nuestro juicio, debe, tener un valor formativo, que ayude a extender a toda la comunidad académica criterios de calidad cada vez más elevados. En segundo lugar, creemos que el análisis de la actividad de los revisores nos permitirá ofrecer una descripción que motive una toma de conciencia colectiva en la que cada cual pueda objetivar sus preferencias y, al hacerlo, explorar la posibilidad de enriquecer su modo de obrar. ¿Qué tareas se acometen en la revisión? ¿Qué marcos de referencia se emplean? ¿Cuáles son los estilos más comunes de revisión? ¿Qué recursos específicos pueden facilitar la comunicación con los autores? Estas son algunas de las preguntas que intentaremos contestar en lo que sigue. En tercer lugar, podríamos ayudar a extender una convicción muy importante: que necesitamos evaluación externa y que la necesitamos todos. Ahora bien, y aun cuando escribir es, como ya se ha comentado, reescribir (un proceso recursivo y progresivo de mejora —Elbow, 1988; 2000; Kellogg, 1994; Sorenson, 1997— , de toma de conciencia y de re-pensamiento —Wong, 1999; Wray, 1998—) no hay razón para que esa labor, de por sí exigente, sea más incómoda de lo necesario. En una palabra, el rigor con el que hay que emprender el proceso de evaluación no está reñido con el reconocimiento del otro (del autor), y de esa dualidad de funciones (control y reconocimiento) habremos también de hablar en estas páginas. 7 Debemos, finalmente, resaltar que somos conscientes de alguno de los riesgos del trabajo que aquí presentamos. El más notorio es que el hecho de describir un comportamiento (el de los autores y revisores en este caso) suele interpretarse como una prescripción del mismo. Intentaremos, para evitarlo, emprender dos acciones diferentes. Por un lado, reiterar a lo largo de sus páginas que ésta no es nuestra intención (aunque seguramente el riesgo no podrá ser conjurado por esas insistentes advertencias). Por otro, indicar con claridad cuando, a la luz de los datos recogidos, cabe ofrecer una sugerencia concreta; algo que haremos en contadas ocasiones. Quisiéramos, en todo caso, subrayar que las descripciones que nos proponemos realizar deben tomarse como espejos desde los que reflexionar, y no como un conjunto de normas que hubiera que adoptar (salvo en los casos en los que nos pronunciamos expresamente a favor de alguna medida concreta y que son recogidos en el decálogo que ofrecemos en la discusión). Un segundo riesgo del que somos igualmente conscientes es que los autores interpreten de un modo muy lineal y tajante las razones de la no aceptación que iremos identifican do. Sobrará advertir que la no aceptación se produce por una acumulación de objeciones (¡la media por revisión es de casi 16!), pero es que, además, muchas de ellas, tomadas en sí mismas, podrían no serlo si no tuviéramos en cuenta el resto del trabajo. Dado que esta información complementaria sobre cada uno de los trabajos no puede trasladarse a estas páginas, hemos de aceptar que muy probablemente se malinterpreten algunas de las evidencias reunidas, al menos si se toman una por una. Confiamos, no obstante, en que estos riesgos se vean compensados por los beneficios a los que también hemos aludido. En definitiv a, en lo que sigue ofreceremos dos análisis diferentes. El primero, centrado en los motivos que conducen a la no aceptación de los artículos; el segundo, respecto del modo empleado por los revisores para llevar a cabo la tarea de evaluación encomendada. En los dos ámbitos, intentaremos ofrecer ejemplos ilustrativos de las cuestiones más relevantes. Antes, dedicaremos un apartado a clarificar la metodología que se ha utilizado . METODOLOGÍA Para alcanzar estos objetivos, hemos empleado el Análisis de Contenidos (AC), un método procedente de campos tan lejanos como la arqueología (Gardin, 1980) y la comunicación de masas (Bardin, 1977; Wimmer y Dominick, 1994). El AC permite levantar un inventario de repertorios culturales y comunicativos, estableciendo, en primer lugar, taxonomías y tipicidades, desde las que proceder a la identifica ción de concurrenci as, covariacione s y pautas estructurales con las que categorizar los fenómenos, calcular factores, e inferir procesos y sistemas de causalidad . El AC combina habitualmente los acercamientos etic (categorías del investigador) y emic (categorías presentes en el corpus cultural). Es más frecuente basarse en las primeras en la tradición sociológica de los análisis (Krippendorf, 1990; López-Aranguren , 1994) y más en las segundas en las tradiciones etnográficas y semiológicas. Aquí adoptamos una perspectiva integradora (del Río, 1996), realizando primero un pre-análisis emic, (de abajo a arriba, guiado por el corpus cultural) y también en la etapa del pre-análisis una construcción teórica de categorías etic. La combinación de ambas se aplica sobre el corpus completo de casos en el análisis propiamente dicho. 8 Muestra de informes de revisión de artículos Para poder identifica r las regularidad es que presentan tanto el modo de trabajar de los revisores como las objeciones por ellos formuladas, hemos tomado como base los primeros 25 informes negativos efectuados durante este periodo, lo que supone, dado que cada artículo es evaluado por dos revisores anónimos, el análisis de 50 revisiones diferentes. Un número, a nuestro modo de ver, aceptable y, en todo caso, sumamente representativo del periodo actual. De manera más concreta, hemos analizado toda la documentación relativa a los trabajos que han sido considerados como no publicables, lo que incluye dos categorías: los trabajos no aceptados para publicación en su versión actual y los que son rechazados sin dar la posibilidad de una nueva versión. Los revisores son 50 expertos en los temas respectivos, y son autores de publicaciones, por lo que poseen la experiencia de la autoría, aunque su grado de experiencia en tareas de evaluación de artículos es variable. Procedimiento del análisis de contenido y categorías El análisis se ha realizado en dos fases que corresponden a los dos objetivos del artículo. En la primera examinamos las causas que justifican la no aceptación. Y en la segunda, los contenidos de los informes que nos permiten analizar la labor de los revisores. Codificación de las causas de “no aceptación” (tarea evaluadora) Etapa 1. Pre-análisis 1. En primer lugar, se realizó un pre-análisis para establecer las categorías del análisis propiamente dicho, para ello se descompuso una parte de los casos (8 de las 50 revisiones) en proposiciones; la mayor parte de ellas (véase más adelante) expresaban, como cabía esperar, objeciones al trabajo. El resto de los contenidos, esto es, los que no contienen objeciones, fueron igualmente analizados pero han servido, como hemos venido insistiendo, para el segundo de nuestros objetivos: caracteriza r el trabajo de los revisores (véase su tratamiento en el apartado reservado al respecto). 2. En segundo lugar, se agruparon aquellas proposiciones-objeciones que tenían un significad o equivalente , creando para cada agrupación de proposiciones-objeciones una formulación más inclusiva a la que denominamos indicadores. Esos indicadores se crearon por consenso entre los tres autores. Etapa 2. Análisis 3. En tercer lugar, y una vez establecidos esos indicadores, se analizaron los demás informes de evaluación. En los casos en los que aparecían objeciones que no encajaban en los indicadores primitivos, se añadían literalmente al sistema. Estas “nuevas” proposiciones-objeciones fueron ulteriormente reconvertidas en indicadores siguiendo lo establecido en el punto anterior, esto es, por consenso. El número total de indicadores encontrados ha sido de 95 (cfr., Figura 1). 4. Los indicadores se agruparon en apartados que responden a la lógica de elaboración de los trabajos: introducción, metodología, resultados, y conclusiones. A estos cuatro apartados se añadieron otros dos. Uno en el que agrupamos todos 9 los indicadores que cuestionan globalmente el trabajo y otro reservado a cuestiones formales. 5. Finalmente, se procedió a identificar dentro de cada apartado ciertas regularidades entre sus numerosos indicadores. De esta manera, se agruparon los indicadores en un limitado y manejable número de categorías que respondían a algún criterio racional y trataban de hallar grandes líneas estructurales de los procesos de autoría y revisión (cfr., Figura 1). Así, en el primer apartado que afecta a la visión general de los artículos se construyeron cuatro categorías que tienen que ver con el formato, la relevancia, la legibilidad y la consistencia. En el segundo apartado, de la introducción, diferenciamos cuatro categorías: problemas en la precisión de los objetivos, en la claridad teórica, en la documentación y en la coherencia. En el tercer apartado, metodología se establecieron seis categorías, identificadas como problemas con la muestra, las hipótesis, las variables, el diseño, los instrumentos/programas y el procedimiento. En el cuarto apartado, dedicado al análisis y resultados, se agruparon los indicadores en dos categorías: visibilidad de los datos y tratamiento estadístico. El quinto apartado es el de discusión y conclusiones, e incluye cinco categorías que agrupan a los indicadores, relativas a problemas en la coherencia (en la discusión), por inferencias injustificadas, por incompletud (no completo), en la profundidad o en las consecuencias . Y por último, los problemas en los aspectos formales se clasifican en tres categorías, en que los indicadores se agrupan en citas y referencias, en títulos y anexos y en redundancia y valoraciones. En las tablas I a VI respectivas por apartados se incluyen los 95 indicadores precisos de las causas de no aceptación de artículos, agrupados en las categorías respectivas. Es importante subrayar que al analizar un informe de evaluación con este sistema lo que se computa es la presencia o ausencia de cada indicado r. Por tanto, si una objeción se expresa reiteradamen te, sólo se contabiliza una vez. Obviamente, una vez sabido cuáles son los indicadores mencionados en cada revisor, es posible establecer el número de menciones que recibe cada categoría o cada apartado. Ofrecemos a continuaci ón un ejemplo del procedimient o seguido. En primer lugar, presentamos el listado de las proposiciones de una de las revisiones que en este caso es el siguiente. Listado de proposiciones que revelan objeciones: P1: No sigue la estructura de ninguno de los tipos de artículos que admite la revista. P2: El artículo carece de indicaciones de su organización. P3: La revisión no sigue las pautas habituales (distinguir entre distintos modelos o perspectivas, compararlas entre sí, defender alguna de ellas). P4: La revisión de los conceptos centrales es superficial (no se adentra en los modelos y únicamente se citan su existencia). p5: No se documenta con referencias las afirmaciones sobre autores e ideas. P6: No hay conexión entre la revisión y las propuestas que se desarrollan. p7: Se afirma haber realizado (una síntesis entre distintas alternativas), sin haberlas realmente efectuado. p8: No se clarifica cuál es el procedimiento seguido (se mencionan los principios pero estos no se desarrollan). P9: No se clarifica cómo se llevó a cabo el procedimiento (por ejemplo, el papel de cada uno de los participantes ni cómo los participantes adquirieron las competencias necesarias para serlo). p10: Referencias bibliográficas. • desajustes referencias y citas • no se siguen las normas para las referencias. Es fácil apreciar, en primer lugar, que algunas de estas objeciones-propo siciones aparecen reiteradamente y se repiten, a veces, con otras palabras en la misma revisión (por ejemplo p8 y p9) o en otras revisiones. Esta fue la razón para agrupar las distintas objeciones en expresiones más abstractas que 10 las originales, los denominados indicadores. Así, la proposición p8 y p9 pueden reflejar un mismo significado que es recogido en una formulación más inclusiva, en este caso: “Procedimiento: falta información precisa”; de la misma manera, p1 da lugar al indicador “Género impreciso”, que puede servirnos para computar cualquier objeción que aluda a que un determinado artículo no se ajusta a los tipos de artículos aceptables para la revista. Estos indicadores figurarán en las distintas tablas (cfr., Tablas I a VI) que acompañan el análisis de las objeciones de cada uno de los apartados y constituyen las categorías terminales del sistema y la base de todos los cómputos que serán realizados. Además, es evidente que los indicadores se relacionan con distintos apartados. Algunos tienen que ver con la introducción, por ejemplo, p4 y p5; otros, afectan a la metodología (p8 y p9) y otros, por poner un último ejemplo, a las cuestiones formales (p10). Y hay, además, objeciones que tienen un carácter global, en el sentido de que cuestionan el trabajo como un todo, es el caso de los indicadores que se derivan de p6 o p1. Finalmente, esos indicadores de cada apartado se incluyen en alguna de las categorías del mismo. De esta manera, el sistema de análisis que se empleó para analizar las cincuenta revisiones de los 25 artículos (dos revisores por artículo) se sintetiza en la figura 1 y se detalla en las tablas I a VI ya referidas. Tal y como puede verse en la figura 1 se han identificado seis apartados, 24 categorías y 95 indicadores posibles, con una aparición efectiva de 783 causas que señalan en total entre los 50 revisores. La coincidencia media entre cada par de revisores, en torno al artículo evaluado, es relativamente grande. Por ejemplo, la probabilidad de que los dos revisores coincidan en los seis apartados generales es del 81% (véase Anexo). De manera más concreta, si un revisor hace una objeción correspondiente al apartado introducción, hay una probabilidad de un 81% de que el otro revisor también lo haga en ese mismo apartado. Este grado de coincidencia disminuye, como cabe esperar, cuando se consideran las categorías de cada apartado. Así, en el caso de las correspondientes a la visión general se alcanza un 66%; en las cuatro categorías de introducción se observa un 58%; en las seis categorías de metodología , un 69%; las dos categorías de análisis y resultados , un 64%; las cinco categorías de discusión y conclusiones, un 57%; y por último, en las tres categorías de aspectos formales: el 83 %. Es importante subrayar que el sistema permite codificar todas las ideas contenidas en las 50 revisiones que expresan objeciones, y que tienen que ver con la tarea evaluadora. Es decir, permiten identificar las causas de no aceptación organizadas en indicadores , las categorías que incluyen a los indicadores y los apartados más generales en donde se incluyen las categorías. Codificación de los contenidos que no contienen objeciones Además de las objeciones, los informes contienen otras muchas ideas que también fueron analizadas por el mismo procedimien to que el resto de los contenidos y agrupadas, finalmente, en torno a cuatro aspectos. Por una parte, respecto de los marcos que utilizan los revisores para hacer el análisis de los artículos. Por otra, el análisis de los recursos retóricos que utilizan los revisores en sus informes. Además, analizamos la actitud de los revisores cuando emiten sus escritos. Y, por último, hemos hecho un estudio de las tareas adicionales a las de poner de relieve las limitacione s del trabajo. FIGURA 1 Tarea evaluadora de los 50 revisores (25 artículos): razones de “no aceptación de artículos” (cómputo de 783 indicadores agrupados en apartados y subapartados-categorías) Causas no aceptación (ip:95; air: 783; 100%) Visión General (ip: 17; air: 144; 18%) Introducción (ip: 18; air: 204; 26%) Análisis y resultados (ip: 12; air: 89; 11%) Metodología (ip: 22; air: 180; 23%) Discusión y Conclusiones (ip: 19; air: 146; 19%) Formato (ip: 6; air: 51; 6,5%) Aspectos formales (ip: 7; air: 20; 2,5%) Consecuencias (ip: 4; air: 19; 2,5%) Muestra (ip: 5; air: 45; 6%) Visibilidad de los datos (ip: 9; air: 61; 8%) Diseño (ip: 2; air: 17; 2%) Tratamiento estadístico (ip: 3; air: 28; 3,5%) Coherencia en la Discusión (ip: 3; air: 28; 3,5%) Redundancia y Valoraciones (ip: 2; air: 7; 1%) Profundidad (ip: 7; air: 38; 5%) Precisión en los Objetivos (ip: 4; air: 34; 4%) Relevancia (ip: 6; air: 29 4%) Legibilidad (ip: 3; air: 34; 4%) Documentación completa (ip: 6; air: 62; 8%) Claridad Teórica (ip: 5; air: 67; 8,5%) Instrumentos (ip: 4; air: 55; 7%) Hipótesis (ip: 5; air: 10; 1%) Coherencia (ip: 3; air: 41; 5%) Variables (ip: 4; air: 30; 4%) Procedimiento (ip: 2; air: 23; 3%) Citas y referencias (ip: 3; air: 8; 1%) Inferencias injustificadas (ip: 3; air: 43; 5,5%) Completivo (ip: 2; air: 18; 2%) Título y anexos (ip: 2; air: 5; 0,5%) Esquema con los apartados y categorías de cada apartado. Tras la denominación de cada categoría, agrupadas en los seis apartados, se incluyen el número total de indicadores posibles (ip), las apariciones de indicadores efectivamente referidos por los evaluadores (air) y el porcentaje respecto del total aparecidos (redondeados) (%). 11 Consistencia (ip: 3; air: 30; 4%) 12 ANÁLISIS Y COMENTARIOS Con el propósito de no distanciar la presentación de los datos (que son voluminosos) de los comentarios que suscitan, se ha procedido a la presentación conjunta, combinando en un único apartado lo que, en un artículo de investigaci ón habitual, suele organizars e en dos: el dedicado a la presentación de los resultados y el correspondiente a la discusión. Dejaremos los comentarios más globales para las conclusiones. En todo caso, seguiremos el orden ya anunciado. Primero, procederemos en relación con las “razones de no aceptación de artículos” —relevantes especialmente para los autores—, para después centrarnos en el análisis de los revisores. 1. Razones de la no aceptación de artículos: Diálogo con los autores Tal y como se muestra en la figura 1, las objeciones se reparten de forma relativamente equitativa en los distintos apartados. En todo caso, destaca el número de objeciones que aluden a problemas en la introducción, que es el apartado que recibe más comentarios críticos (el 26% del total). También merece la pena subrayar el número total de objeciones realizadas, exactamente, 783, lo que supone una media de casi 16 objeciones semánticamente diferentes en cada revisión, con una amplitud que va desde 6 causas que un revisor apunta, hasta 31 causas de otros dos (cfr. Tabla IX). Una cifra que consideramos elevada y que indica que las revisiones tienden a ser concienzuda s. Igualmente, da la impresión de que el número de causas que cada revisor incluye tiene mucho que ver con la forma de organizar el informe, así los informes que centran la evaluación en torno a los problemas nucleares suelen contener menos causas, pero no por ello menos importantes. Las objeciones, según apartados, son, por orden de importancia tras las relativas a la introducción, las de la metodología (23% del total), discusión y conclusiones (19 % del total), visión general (18% del total), análisis y resultados (11% del total) y aspectos formales (2,5% del total). Razones globales Un buen número de objeciones, exactamente el 18% del total, o 144 indicadores (cfr., Tabla I), cuestionan aspectos globales del trabajo y suelen conducir a la no aceptación del mismo (cfr., Figura 1). El análisis de todos los indicadores que tienen este rasgo de globalidad lleva a diferenciar cuatro categorías de problemas: en el formato (6,5% del total), en la consistencia (4% del total), en la relevancia (4% del total) y en la legibilidad (4% del total). La mayor parte de ellos se explican por sí solos, pero merece la pena detenerse en alguno de ellos. Formato Así, respecto del formato, cabe resaltar una objeción muy común a los artículos encuadrable s en la categoría informe de investigaci ón: que no se ajuste al formato estándar, esto es, una introducción que plantee y justifique el problema que ha de tratarse, la metodología desarrollada para abordarlo, los resultados alcanzado s y la discusión de los mismos según el marco de interpretación expuesto en la introducción y las hipótesis derivadas del mismo. Naturalmente, el problema es 13 TABLA I Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan a la visión general del artículo PROBLEMAS EN VISIÓN GENERAL (VG): N Revisores revisores) % (sobre los50 10 20 36 23 6 6 72 46 12 12 1 5 51 2 10 6,5% (de 783) 10 4 4 20 8 8 9 2 29 18 4 4% (de 783) 3 6 17 14 34 34 28 4% (de 783) 7 18 14 36 5 10 30 4% (de 783) 144 18% (de 783) FORMATO 1. Género impreciso: no se encuadra en ninguno de los tipos de artículos previstos: informe de investigación, intervención, revisión, etc 2. Organización (suma de 2.1 a 2.4) 2.1. Organización confusa. Falta articulación del informe. 2.2. No se siguen los apartados de informe de investigación 2.3. Necesidad de ajustar títulos de subapartados para que reflejen mejor de lo que tratan. Mejorar la estructuración y claridad 2.4. Sobran apartados no esenciales o no relacionados con el núcleo del objetivo 3. Falta hilo argumental: mera colección de ideas Total formato RELEVANCIA 1. El objetivo no es relevante porque no se justifica teóricamente su relevancia. 2. Resultados previsibles, se aportan pocos conocimientos nuevos 3. Falta una perspectiva psicológica (se opta por una perspectiva lingüística, o matemática, o física) o basada en el desarrollo psicológico 4. Reflexión teórica poco actual. Enfoque teórico no relevante en la actualidad 5. No es posible valorar el método, al no concretarse los objetivos Total relevancia LEGIBILIDAD 1. Redacción y estilo confuso; tablas inexistentes; poner resultados en apartados; difícil leer gráficos, etc. Necesidad de mejorar la comunicabilidad del informe. 2. Necesidad de mayor esfuerzo de redacción y composición del artículo 3. Necesidad de precisión terminológica. Total legibilidad CONSISTENCIA 1. No hay conexión entre lo Revisado y lo Realizado. No se desarrolla el objetivo 2. En la Discusión o en los resultados se apela a nociones y trabajos no presentados en la Introducción . En los resultados aparecen variables no informadas en la metodología. En la introducción se explica el programa en vez de su fundamentación teórica, que debiera figurar en Metodología. 3. No se justifica desde el marco teórico la selección de instrumentos o categorías que luego adoptan. Total consistencia Totales visión general (VG) que toda esa información puede estar en el trabajo, pero distribuida de una manera que no se ajusta a lo “esperado”. Otra objeción, algo diferente, es la falta de articulaci ón global del trabajo y la confusión resultante. La manifestación más clara de todo ello es la presencia de un estilo enumerativo, en el que se tiende a acumular mucha información sin que se introduzca expresamente un orden o esquema previo. Una posible sugerencia para paliar esta objeción es que los autores anticipen el esquema organizativ o que van a seguir. Por ejemplo: “El artículo está organizado de la siguiente manera...”. 14 Una tercera objeción es que el artículo se quede a medio camino entre una revisión y un informe de investigaci ón, o que no constituya realmente una revisión de un campo de estudio ni una reflexión crítica sobre el mismo, sino, por ejemplo, comentarios más o menos ordenados sobre un tema. Pensemos en el caso de un revisor que aduce que un determinado artículo “...no se puede encuadrar en ninguno de los tratamientos propios de la revista; ni es un informe de investigación, ni es un informe de intervención, ni es un artículo de revisión propiamente dicho” Relevancia Una segunda categoría de problemas globales que conducen frecuentement e a la no aceptación es la de no encontrar suficiente relevancia al trabajo. En general, los revisores reconocen la relevancia potencial de los trabajos (esto es, el problema planteado es visto como social o educativamente relevante), y su ajuste con la línea editorial de la revista; lo que quiere decir que Infancia y Aprendizaje tiene una imagen nítida al menos para los autores (y los revisores). La queja tiene que ver con la ausencia de relevancia teórica. Obviamente, esto depende de que se apele a modelos solventes que justifiquen tanto la definición del problema como las variables o los indicadores elegidos. Por tanto, parece que no basta con seleccionar un contenido relevante, sea, por ejemplo, el caso de la escritura argumentativa, pues también deben serlo los indicadores seleccionados y, si estos no lo son (valga, como ejemplo, que se tomen únicamente indicadores del tipo “número de palabras utilizadas ”), los revisores interpretan que el trabajo no es relevante. Una cuestión más espinosa es el problema de la actualidad del marco empleado, otra de las razones frecuentemen te aducidas para no aceptar un trabajo. Hemos de entender que el criterio de la actualidad está al servicio del de la relevancia (no siempre son relevantes referencias de “última hora” y no siempre pierden actualidad las referencias históricas). Es decir, se entiende que la actualidad es un modo —¡no el único!— de conseguir dar relevancia al trabajo y no un atributo que proporciona ese valor por sí mismo. Legibilida d Además, los problemas de legibilidad tienen que ver con una redacción descuidada, con confusiones en la terminología utilizada (uso de varias expresiones para un mismo concepto, por ejemplo) o con un tratamiento de tablas y figuras confuso. Consistencia Por último, un grupo de problemas se relacionan con la falta de consistencia entre las distintas partes del trabajo. En este caso, el trabajo puede adoptar el formato estándar pero los revisores hacen ver que se aprecia una desconexión entre el marco teórico y las tareas desarrollada s o, como parece más común (un 32% cfr., Tabla I), entre los sistemas de interpretaci ón que se emplean en la discusión y los presentados en la introducción. La labor de los revisores es en este caso especialmente relevante para hacer ver a los autores esa falta de continuidad que puede pasar desapercibida a estos últimos. Hay que entender al respecto que en el apartado de la Discusión los autores pueden centrarse en encontrar un sentido a los resultados, lo que les puede llevar a nuevas conexiones que, por ser las últimas, pueden ser la más valoradas pero, quizás, con el riesgo de que puedan per- 15 der su relación con lo planteado inicialmente. Por supuesto, se sobreentiende que la discusión puede invocar cuestiones no previstas en la introducción pero esto debe tener una dimensión limitada y, cuando se haga, conviene advertirlo expresamente. Menos justificado es que no aparezca una conexión clara entre las categorías de análisis empleados, las tareas afrontadas o los procedimien tos desarrollados y el marco teórico, una cuestión que a juicio de los revisores ocurre con alguna frecuencia . Más notorio es el caso de los trabajos en los que apenas si se constata un hilo entre las teorías y evidencias que se revisan y las investigacione s que se realizan. Aquí puede ocurrir que los autores den la impresión de que invocan un marco teórico muy general que inspira pero no dirige el trabajo. En todo caso, resulta muy evidente que en las revisiones analizadas de Infancia y Aprendizaje se espera que haya una adecuada documentación de los precedentes teóricos y empíricos del trabajo que justifique los pasos dados para definir el problema y para acometerlo (véase más adelante lo referido a Objetivos). En resumen, las razones globales afectan tanto a la forma (legibilidad , formato) como al fondo (consistencia y relevancia). Los problemas de consistencia y forma suelen dar lugar a rechazar únicamente la versión actual del trabajo, en la espera de que las mejoras solicitadas permitan valorarlo contando con evidencias más firmes, mientras que la ausencia de relevancia teórica suele dar lugar a no aceptación definitiva. Esto quizás ayude a los autores a conocer las categorías valorativas que guían a los revisores de la revista. En cualquier caso, es importante reseñar que los revisores se ven en la necesidad de asumir una decisión que en muchos casos es realmente muy difícil: saber cuándo en un artículo no “está todo lo que debe estar”, pero se vislumbre “en potencia” lo que se echa de menos, y cuándo, por el contrario, no parecen existir esos elementos y reclamarlos en los informes llevaría a una prolongación agónica del proceso. Es imposible garantizar que ese juicio sea siempre correcto, pero al menos podría considerarse una virtud el hacer más transparente la racionalida d que guía la elaboración del informe. Razones ligadas al Apartado Introducción Respecto de la Introducción, hay un buen número de objeciones (204, lo que constituye un 26 % del total). Se han agrupado estas objeciones en algunas categorías específicas (cfr., Tabla II). Como en el caso anterior, nos limitaremos a glosar las más relevantes una vez hemos dejado expuesto el porcentaje de menciones de cada uno de los indicadores . Objetivos En primer lugar, los revisores se quejan de un conjunto de problemas que tienen que ver con la precisión del objetivo que se persigue. En muchos casos, ese objetivo sólo se llega a percibir con nitidez al finalizar la lectura del artículo. En otros casos, hay una formulación del objetivo por acumulación, esto es, se presenta un conjunto amplio de posibles objetivos sin que se pueda llegar a apreciar cuál es la diferencia entre ellos ni, por tanto, lo que realmente se persigue. Por supuesto, el objetivo puede estar en el texto pero no tan visible como sería necesario. Quizás, los autores desean subrayar todas las implicaciones del trabajo, lo que les lleva a una introducción excesivamente amplia e imprecisa. Una buena idea es que los autores se hagan esta pregunta que se recomienda en el manual de la APA (1994): ¿cómo hacer ver desde el principio al lector lo que se quiere resolver en el trabajo? Probablemente, 16 TABLA II Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan a la introducción del artículo PROBLEMAS EN INTRODUCCIÓN (I): Enfoque y planteamiento N Revisores % (sobre los 50 revisores) 12 22 17 1 4 34 24 44 34 1 8 4% (de 783) 21 16 2 25 42 32 4 50 3 67 6 8,5% (de 783) 17 34 7 17 14 34 41 5% (de 783) 35 31 70 62 4 1 14 10 2 62 8 2 28 20 4 8% (de 783) 204 26% (de 783) PRECISIÓN EN LOS OBJETIVOS 1. No se define cuál es el problema específico que se persigue –Problema inespecífico 2. Objetivo inespecífico (suma de 2.1 a 2.3) 2.1. No se define cuál es el objetivo específico que se persigue 2.2. Objetivo no enunciado 2.3. Falta explicitar el propósito antes de la revisión Total objetivos CLARIDAD TEÓRICA 1. No se desarrollan en profundidad los conceptos clave 2. Marco teórico confuso. Poca elaboración del marco teórico. 3. No se ilustran los modelos con aplicaciones concretas 4. No se selecciona adecuadamente la información revisada. Se habla de lo que no se debe y no se habla de lo que se debe 5. Se abordan demasiados temas Total claridad teórica COHERENCIA 1. Los autores no exponen cuál es el punto de vista adoptado. El trabajo carece de un marco teórico preciso. No se revisan los argumentos en contra. 2. Falta justificar enfoque y lo que se espera de él 3. No se organiza la introducción (según perspectivas, modelos, polémicas), estilo enumerativo, telegráfico Total coherencia DOCUMENTACIÓN COMPLETA 1. Revisión y referencias (suma 1.1 y 1.2) 1.1. No se revisan los trabajos específicamente vinculados con el objetivo específico, pero sí los de carácter general 1. 2. Referencias inapropiadas. Referencias excesivamente generales 2. Diferenciar las ideas originales de la exposición de las ideas de otros 3. No se documentan con referencias las afirmaciones sostenidas en el trabajo 4. Referencias muy poco actuales. Faltan referencias claves. 5. No se justifica la ausencia de precedentes. Total documentación Total introducción (I) el acierto de muchos artículos reside en que consiguen hacer visible lo que persiguen apenas se ha avanzado unos pocos párrafos. Por supuesto, ese objetivo específico sólo encuentra su sentido en un marco más general, pero el objetivo del artículo no puede ser resolver, valga el ejemplo, el problema de la didáctica de las matemáticas, sino entender la incidencia de una determinada variable educativa en la adquisición de un determinado concepto. Otra ilustración podría ser plantear el problema global de la relación entre clima social y familiar y la adaptación personal y social, cuando el estudio se centra de hecho en cuestiones específicas de la resolución de conflictos familiares en la etapa de la adolescencia. Sería de esto último, si los ejemplos valen, de lo que habría que hablar cuanto antes. 17 En ese mismo sentido, un amplísimo número de revisores señalan que no se consideran los precedentes inmediatos de lo que se quiere hacer y que de esta manera resulta muy difícil comparar los resultados obtenidos o la metodología empleada con otros estudios. Una consecuenci a de esta reflexión es que el encontrar un objetivo específico puede conseguirse remitiéndose a los precedentes que de forma más concreta se relacionan con el trabajo. La ausencia de los mismos, salvo que se advierta y que se justifique adecuadament e su probable inexistencia , es interpretado como una señal de inmadurez. Por ejemplo, los revisores advierten de que los autores de un trabajo en el que se proponen, valga como ejemplo, estudiar el papel de la conciencia fonológica en la lectura de niños con síndrome de Down, emprenden una revisión general del campo de estudio (por ejemplo la lectura), sin hacer una revisión de los trabajos que han abordado el mismo problema específico que se intenta acometer en el trabajo (la conciencia fonológica en niños con síndrome de Down). Consecuentemente, se quejan los revisores, los datos no pueden compararse con los de ningún otro estudio y es difícil valorar el interés o relevancia del trabajo (lo que nos remite al problema de relevancia tratado en el apartado anterior). Parece absurdo exigir a los autores que citen siempre, los haya o no, precedentes inmediatos, pero parece ser útil al lector aclarar cuándo no los hay y subrayar la necesidad de correr el riesgo (relativo, por supuesto) que supone la ausencia de precedentes. Claridad teórica Este primer grupo de objeciones suele llevar acompañadas otras ligadas a la falta de claridad. Los indicadores de esta categoría se explican por sí mismos, pero de entre ellos destaca uno que no sería muy difícil de resolver: la introducción considera muchas cuestiones sin detenerse con el suficiente detalle en los conceptos que articular ían el trabajo. Consecuencia: falta de claridad en el marco teórico. Algunos evaluadores hablan, por ejemplo, de una revisión tipo Manual, cuando lo que se necesita es una revisión que tome en consideración el eje creado por un problema específico que se quiere resolver y que lleva a ciertas hipótesis (si el trabajo las requiere) u objetivos específicos que guían el trabajo. Una ilustración de esto último, es el alto grado de coincidenci a en cada evaluador entre las categorías de objetivos y de claridad teórica, un 56%. Un tercer problema que despierta la atención de los revisores es que no se desarrollen con suficiente profundidad y claridad los conceptos claves. Se habla de ellos, dice algún revisor, pero sin desarrollarlos. En parte esto es consecuenci a de no partir de un objetivo preciso. Otros revisores se quejan de que se habla de demasiadas cosas y urgen a los autores a seleccionar las que sean relevantes respecto del objetivo específico que se persiga. Coherencia en la introducción Un tercer tipo de problemas tiene más bien que ver con la articulación o coherencia de lo que se dice. En este caso, los revisores suelen apuntar que no hay un esquema claro de la revisión. Entre otros: revisar los distintos enfoques, ordenar en el tiempo las distintas propuestas, partir de un cierto número de dimensiones para identificar los puntos de continuidad o discontinuidad entre las distintas alternativas. Algo así como: “hay tres grandes cuestiones que han suscitado discusiones en los últimos años: a... b... c... Por lo que se refiere a a... Por lo que se refiere a b... “. 18 Además, se espera que los autores se pronuncien respecto del marco que se va a utilizar o al menos sobre el modo como se va a utilizar el marco revisado. Documentación completa Finalmente, y aunque es a todas luces una cuestión menor, los evaluadores de Infancia y Aprendizaje suelen esperar que los autores documenten sus afirmaciones apelando a las fuentes adecuadas. De esta manera no suele aceptarse que se atribuya una idea a un autor y no se advierta la fuente. Es interesante destacar que la mayor parte de las objeciones consignadas en este apartado tienden a ser resolubles, salvo de nuevo las más ligadas a la relevancia teórica (esto es, la precisión de los objetivos). De esta manera, y dada la frecuencia de menciones a lo considerado en este apartado sería de sumo interés que los autores leyeran lo expuesto en este apartado. Muy probablement e, como conclusión, podríamos centrar la atención en estas tres cuestiones: 1) la introducción debe centrarse en clarificar a los lectores el problema que se va a intentar resolver (es lo que muchas veces aparece con más claridad en la discusión, pues “el problema” es justamente lo que los autores necesitan clarificar en ese apartado final). Pero claro, en muchas ocasiones los autores han de concluir el artículo para saberlo, de ahí que escribir sea reescribir ; 2) los autores deben contextualizar ese problema clarificando especialmente los conceptos de los que depende la comprensión y el sentido de ese problema, el resto de las cuestiones, por interesantes que puedan resultar, podrían quedar en un segundo plano; 3) esa exploración de los conceptos clave puede verse facilitada si se hace una revisión ordenada de los marcos o perspectivas empleadas . Por supuesto, en mayor o menor grado, todos los autores podrían mejorar la introducción a sus artículos (de hecho hay obras magníficas que ilustran de forma precisa cómo hacerlo, cfr., por ejemplo, Sorenson, 1997). Ahora bien, ¿cómo renunciar a exponer cuestiones que, en sí mismas, son tan importantes? ¿cómo saber cuál es el punto justo de clarificación que se necesita? La respuesta, quizás, la pueda encontrar mejor el otro que uno mismo. Y es, justamente, por ello por lo que la evaluación es tan necesaria, puesto que juega un papel regulador que, cuando el que escribe va asumiendo esta función, se transforma en autorreguladora (cfr., para esta cuestión por ejemplo Graham y Harris, 2000 a y b). Una recomendación muy evidente a la luz de lo expuesto es reservar siempre un tiempo suficiente para remitir el original a otros colaboradores y colegas antes de darlo por terminado. Razones del apartado Metodología Un tercer grupo de objeciones tiene que ver, como ya vimos en su momento, con la metodología (180 indicadores o el 23% de todas las causas de no aceptación de artículos —cfr., Tabla III—). En este caso, las objeciones son igualmente previsibles y en algún caso, como las ligadas a los problemas de diseño, muy difícilmente comentables en el limitado espacio de estas páginas. Muestra Los problemas ligados a la muestra son de tres tipos. El más común es que no se ofrecen todos los datos que serían necesarios; los autores no informan con sufi- 19 TABLA III Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan a la metodología del artículo PROBLEMAS EN METODOLOGÍA (M): N Revisores % (sobre los 50 revisores) 27 16 11 54 32 22 15 30 0 15 0 30 45 6% (de 783) MUESTRA 1. No se definen apropiadamente las características de las muestras (suma de 1.1 y 1.2) 1.1. Participantes-Criterios de configuración de las muestras poco claros 1.2. Participantes-Se desconocen datos importantes o relevantes de las muestras (curso x conglomerados, etc) 2. La muestra no es apropiada para obtener los datos relativos a los objetivos del trabajo [Participantes-Errores en la configuración. Falta una muestra esencial (ej., de zurdos).] 3. Tamaño apropiado para los análisis de datos (potencia, análisis factorial, etc.) 4. Representatividad de la muestra (procedimiento apropiado de muestreo, características de la muestra que avalan la representatividad, etc.). No representatividad de la muestra Total muestra HIPÓTESIS 1. No reflejan los problemas derivados de la revisión teórica. No están bien articuladas con la introducción, y por tanto no están adecuadamente justificadas 1 2 2. No están bien definidas operacionalmente, de forma que es difícil su contrastación. Se plantean como preguntas abiertas sin que se vislumbre el compromiso de ponerlas a prueba 0 0 3. Los objetivos de un trabajo no se circunscriben necesariamente a la contrastación d 9 18 hipótesis. La finalidad puede ser la mera descripción de un fenómeno, no la puesta a prueba de unos supuestos (suma de 3.1 y 3.2) 3.1. No aparecen con suficiente claridad. No aparecen. (cuando debieran aparece 9 18 porque no es una mera descripción) 3.2. Las hipótesis se adivinan en la discusión 0 0 4. Un criterio importante ha de ser la relevancia teórica, práctica o social de los objetivos y/o hipótesis (falta) 0 0 Total hipótesis 10 1% (de 783) VARIABLES 1. No están bien definidas operacionalmente 2. Su número es excesivo. No se presentan de forma ordenada 3. Carecen de relevancia teórica. No se justifican psicológicamente. 4. No son adecuadas para contrastar las hipótesis Total variables 16 4 10 0 30 32 8 20 0 4% (de 783) 6 12 11 22 17 2% (de 783) 41 82 DISEÑO 1. No aparece clara la modalidad metodológica del trabajo (experimental, selectiva observacional). Las limitaciones nucleares del artículo tienen que ver con el diseño metodológico 2. El diseño no es apropiado. Validez: Ausencia de grupo de control. Orden de aplicación de instrumentos inadecuado o no controlado. No medidas previas. Diseño no especificado Total diseño INSTRUMENTOS 1. Los instrumentos (materiales o programas) seleccionados no se describen con rigor (suma de 1.1 y 1.2) 20 1.1. Instrumentos y materiales y programas: Indicadores de las variables mal definidos. Diferenciar medidas más sensibles. Desequilibrio entre la evaluación y lo codificado y utilizado en la investigación. 1.2. Instrumentos y materiales y programas: No se describen con claridad las tareas y/o instrumentos. No se hace una descripción concreta de un programa. No se describen con claridad las categorías utilizadas. 2. Los instrumentos (materiales o programas) no son los más apropiados (insuficiente validez y fiabilidad, adaptación inadecuada a la población de interés) (suma de 2.1 y 2.2) 2.1 Faltan medidas relevantes o importantes para el estudio. Sesgos en cuanto selección de tareas (insuficientes) 2.2. Los instrumentos son poco adecuados según la definición de las variables. Total instrumentos 15 30 26 52 14 28 7 14 7 55 14 7% (de 783) 22 44 1 2 23 3% (de 783) 180 23% (de 783) PROCEDIMIENTO 1. No se describe con precisión. Falta información precisa (participantes, contextos roles instruccionales, horas de evaluación) 2. No es adecuado (sensible a variables extrañas). Tratamiento experimental intervención muy reducido (excesivamente breve o muy limitado) Total procedimiento Total metodología (M) ciente claridad de los criterios, de las características (procedenci a, sexo, edad, origen), lo que lleva a los revisores a hacer sugerencias frecuentes de clarificaci ón. En segundo lugar, que la muestra es insuficiente para alcanzar los objetivos. Y, en tercer lugar, que hay problemas en la configuración (cómo se ha seleccionad o, cómo se han asignado a grupos, etc). Hipótesis De igual manera, las hipótesis pueden no ser expuestas con suficiente detalle. Más relevante es que estén desconectada s con el marco teórico de la introducción (un ejemplo más de falta de consistencia comentada en el primer apartado). En ese sentido, los revisores suelen recomendar que los autores revisen la introducción atendiendo a la naturaleza de las hipótesis. Es justamente esa relación que en ellas se precisa lo que debe ser justificado , clarificad o conceptualm ente y revisado en la introducción. Lo cierto es que en ocasiones el lector puede apreciar cuál es la hipótesis cuando el autor se adentra en interpretar que los datos no cuadran con ellas. Variables Cualquier investigación requiere una definición operativa y precisa de las variables, seleccionan do el número adecuado a los objetivos del estudio, que presenten relevancia teórica o que sean adecuadas para contrastar las hipótesis. Los revisores refieren (32%) casos en los que no están bien definidas o que carecen de relevancia teórica (20%). Diseño Son varias las causas de modificación o no aceptación de artículos que identifican los revisores en relación con el diseño metodológico, desde la no aparición clara de la modalidad metodológica del trabajo (12%) a no ser apropiados (22%). La planificaci ón previa de cualquier investigación obliga a definir el diseño más 21 adecuado para los objetivos que se persiguen. Los autores han de ser conscientes de que la publicaci ón del artículo también tiene que ver con una explicación del diseño que permita valorar los datos y las posibles interpretaci ones. Instrumentos Es una categoría, la de instrumentos (programas, materiales, sistemas de categorías), de cierta importancia, pues es referida por el 82% de los revisores que señalan que no se describen con rigor, o que no son apropiados, un 28%. Cuando se utilizan sistemas de categorías esta objeción es especialmente importante, puesto que al tratarse de instrumentos ad hoc para la investigación no suele existir conocimiento previo de ellas (distribución comercial). Procedimiento El apartado dedicado al procedimiento suele merecer un buen número de comentarios críticos. Muchos de ellos hacen ver que la información es insuficien te para entender lo que realmente se ha hecho, esto es, los pasos dados para configurar la muestra, para diseñar o desarrollar la tarea, para recoger los datos. Los autores pueden pensar que eso se deduce fácilmente de los datos y de los distintos comentarios realizados, pero en muchas ocasiones resulta vital entender el proceso seguido para comprender el modo de operar con los datos y las conclusiones extraídas de ellos. Eso es lo que suele ocurrir con el apartado dedicado al procedimiento de intervención, en el que apenas si se comentan únicamente los principios rectores de lo que se hace pero no lo que realmente se hace. Quizás simplemente lo que ocurre es que no es fácil describir verbalmente un procedimiento y resulta más sencillo apelar a los principios que los organizan, pero los lectores necesitan saber en qué consistió exactamente el procedimiento para poder valorar los resultados obtenidos, y si cabe para poder hacer una replicación de la investigaci ón. Una vez más debemos destacar la necesidad de una lectura ajena al grupo de investigaci ón para evitar esos errores de interpretaci ón, y tomar conciencia del lector, es decir, de la audiencia (Wong, 1999; Wray, 1998). De igual manera, la presentación de las tareas o de los sistemas empleados para extraer los datos pertinentes no siempre son suficientemen te clarificado s lo que despierta la necesidad de pedir aclaracione s y modificacio nes. Razones del apartado de análisis y resultados Hay dos categorías en este apartado, que representa el 11% del total u 89 razones de no aceptación (cfr., Tabla IV). Los indicadores que se agrupan en la categoría visibilidad de los datos, que incluye básicamente razones de no presentación de forma exhaustiva de los datos requeridos por los objetivos o las hipótesis y de que no se presentan de forma ordenada y clara —no se resumen parsimoniosamente los datos en tablas y gráficos, o las tablas y los gráficos no están bien identificados de acuerdo a las normas APA— (con 61 indicadores referidos o el 8% del total). Y la otra categoría se refiere al tratamiento estadístico de los datos, que agrupa los indicadores, básicamente, relativos al hecho de que los análisis estadísticos no son apropiados para los datos obtenidos (nivel de medida, incumplimiento de supuestos, tamaño de las muestras), con una presencia de 28 indicadores referidos que representan el 3,5% del total. 22 Los revisores alegan que un artículo ha de revirsarse, en lo que atañe a este apartado, cuando hay problemas de análisis de datos (insuficie nte o inapropiado ) o cuando hay problemas en la presentación de los mismos. TABLA IV Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan al análisis y resultados del artículo PROBLEMAS EN ANÁLISIS Y RESULTADOS (AR) N Revisores % (sobre los 50 revisores) 39 78 11 22 11 4 0 6 7 22 22 8 0 12 14 44 6 6 10 12 12 20 61 8% (de 783) 28 56 21 42 6 1 28 12 2 3,5% (de 783) 89 11% (de 783) VISIBILIDAD DE LOS DATOS 1. No se presentan de forma exhaustiva los datos requeridos por los objetivos o las hipótesis (faltan datos relevantes) (suma de 1.1 a 1.6) 1.1. No hay ajuste entre los datos y los objetivos (o no hay presentación sistemática de todos ellos) 1.2. No se presentan datos de todas las variables. No hay datos de conjunto 1.3. No se proporcionan los materiales de los que se obtienen los datos 1.4. No se ofrecen las puntuaciones directas cuando son relevantes 1.5. Se presentan datos sin clarificar su origen ni su relación con el texto 1.6. Apenas si se presentan resultados. No se presentan los resultados 2. No se presentan de forma ordenada y clara (resumir parsimoniosamente los datos en tablas y gráficos, las tablas y gráficos no están bien identificados de acuerdo a las normas APA) (suma 2.1 a 2.3) 2.1. Necesidad de presentar de forma ordenada y clara los resultados 2.2. No se explican en el texto los datos de las tablas. 2.3. Incluir gráficos o tablas ilustrativos de los datos. Incluir contrastes estadísticos en gráficos o tablas. Total visibilidad TRATAMIENTO ESTADÍSTICO 1. Los análisis estadísticos no son apropiados para los datos obtenidos (nivel de medida incumplimiento de supuestos, tamaño de las muestras).(suma de 1.1 a 1.3) 1.1. Sistema de análisis estadístico Inadecuado. Confuso. Carece de rigor. Necesidad de análisis adicionales. Sólo se hace análisis intragrupos. Se dice que se hacen análisis pero no se presentan. 1.2. No se especifica el tratamiento dado a los datos 1.3. Se comparan puntuaciones directas y no estandarizadas. Total tratamiento estadístico Total análisis y resultados (AR) Razones del apartado de Discusión En la discusión hemos encontrado varias categorías de problemas (con 146 indicadores referidos o el 19% del total —cfr., Tabla V—). El primero de ellos insiste en la cuestión de la coherencia. Coherencia En este caso, los problemas se evidencian en el momento en el que los revisores no ven una relación precisa entre las hipótesis-resultados-interpretaciones (el 52% de los revisores lo refieren, cfr., tabla V). Dicho en otras palabras, lo que se espera es que se parta de un recordatorio de las hipótesis para adentrarse en los resultados y de ahí a las interpretacione s que se juzguen necesarias. Un artículo 23 inmaduro suele mostrar alguna fisura en este eje básico. Algunos ejemplos pueden hacer ver la importancia que conceden los revisores a este apartado. Ejemplo 2 A: “... tal vez debería de existir una mayor relación entre estas conclusiones y el marco teórico inicial del artículo y, entre estas conclusiones y los resultados reales que se han obtenido en la investigaci ón. En definitiva señalar que la información que en el artículo se nos ofrece no nos permite compartir las conclusiones que los autores exponen, no por incorrectas sino por falta de información más precisa” Ejemplo 24 B: “... en la discusión no se atiende apenas al segundo objetivo, pues no se abordan los resultados obtenidos en el grupo experimental en relación a los obtenidos en los grupos de control, antes y después del tratamiento”. Un aspecto más específico es que se mezcle la presentación de los resultados con su interpretaci ón, cuando justamente la división del artículo en los dos apartados de resultados y discusión conlleva el evitar cualquier mezcla de ambos. Es el caso extremo de un artículo en dos apartados (introducci ón y desarrollo) en que se ‘mezclan’ todos los apartados, y es el caso de un informe con un apartado único para resultados y discusión pero sin justificar la razón del mismo (por ejemplo, tratarse de un estudio cualitativo o exploratorio donde no hay contrastes de hipótesis, como el caso del presente trabajo). Inferencias injustifica das Un segundo apartado tiene que ver con la impresión de que se hacen inferencias a partir de datos que no las justifican. En ese sentido, conclusiones demasiado tajantes son comúnmente destacadas (32% de los revisores) También es relativamente común advertir de que los autores ofrecen recomendaciones que, aunque sean en sí mismas razonables, no están justificada s por el estudio presentado. No completo Hemos agrupado aquí un conjunto de indicadores que tienen como elemento común el de que no se lleguen a examinar todos los datos y por tanto todas las implicacion es de los mismos. Profundidad Otra queja relacionada tiene que ver con la profundidadde la reflexión. Se trata de una queja difícil de definir sin apelar a ejemplos concretos. Esencialment e, se trata de pedir algo más que una constatación de los resultados alcanzados. Esos resultados deben ser interpretados desde las teorías de partida y debe hacerse apelando a las cuestiones más específicas desarrollada s en el trabajo. Por ejemplo, si en un experimento de corte instrucciona l se entrena a los participant es en una capacidad dándoles dos o más dietas o tratamientos instruccionales diferentes, se trata de no limitarse a constatar que uno ha sido mejor que otro, y aventurarse en una interpretación de las implicaciones psicológicas que tienen las diferentes dietas. En otras palabras, no bastará con decir o constatar que hubo un mayor efecto en el tratamiento A respecto del B, sino intentar interpretar o explicar de qué aspecto concreto del tratamiento A pueden depender las ventajas en él constatadas. Naturalmente, la existencia de varias argumentaciones que no se ponen en relación entre sí es otro motivo de cuestionamiento que revela falta de profundidad. 24 TABLA V Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan a la discusión y conclusiones del artículo PROBLEMAS EN DISCUSIÓN Y CONCLUSIÓNES (DC) N Revisores % (sobre los 50 revisores) 2 16 4 32 10 20 28 3,5% (de 783) 8 16 16 32 19 43 38 5,5% (de 783) 11 22 7 18 14 2% (de 783) 8 17 1 3 4 1 16 34 2 6 8 2 4 8 38 5% (de 783) COHERENCIA EN LA DISCUSIÓN 1. Se mezcla la presentación de los resultados con su interpretación y discusión 2. Falta de coherencia entre el marco expuesto en la introducción y el empleado en l discusión. Por ejemplo, no se alude a las hipótesis ni a los objetivos en la discusión. Como consecuencia no se pueden valorar los razonamientos 3. Falta de relación entre los resultados y las conclusiones. Las conclusiones no se remiten a los resultados Total coherencia INFERENCIAS INJUSTIFICADAS 1. Se asumen como diferencias significativas lo que son simplemente tendencias o diferencias entre puntuaciones. Se asumen resultados positivos (apoyo cuando son negativos. 2. Se da por bueno conclusiones no avaladas por los datos ( los sujetos tenían igual nivel de conocimientos previos, sin haber presentado los datos correspondientes ni el modo de obtenerlos) En la revisión no se apoyan las afirmaciones con investigaciones empíricas 3. Inferencias demasiado rotundas o generalizaciones excesivas Total inferencias injustificadas INCOMPLETUD 1. No se comparan los resultados y conclusiones obtenidos con los de otros trabajos. No se hace referencia a los argumentos en contra. 2. No utilizan datos en la reflexión que pudieran explicar los resultados. Total incompletud PROFUNDIDAD 1. Poca relevancia de las reflexiones. No se profundiza en las cuestiones nucleares. 2. Quedan sin resaltar datos importantes. Falta profundizar en reflexiones esenciales 3. Ausencia de reflexiones originales en un artículos de revisión 4. No dan una explicación psicológica de las diferencias obtenidas 5. Falta reflexión entre los resultados y las pruebas realizadas. 6. No se hace una valoración cualitativa ante datos cualitativos o cuantitativa ante datos cuantitativos 7. Argumentaciones contradictorias. Se utilizan argumentos a favor, que en realidad lo son en contra Total profundidad CONSECUENCIAS 1. Falta un apartado de conclusiones. No pueden considerarse como tales. Necesidad de mejorar este apartado 2. No se hacen ver las aplicaciones de lo desarrollado en el trabajo. 3. No se reconocen las limitaciones de la investigación. 4. No se dan sugerencias para investigaciones futuras Total consecuencias 6 12 8 4 1 19 16 8 2 2,5% (de 783) Total discusión y conclusiones (DC) 146 19% (de 783) 25 Consecuencias Es otra categoría de objeciones que puede ser alegada por los revisores, si bien no es demasiado común (19 indicadores o un 2,5% del total). Así, cuando advierten de la ausencia de ese apartado o cuando comentan que el que aparece en el texto no es tal. Hemos de entender que ese apartado puede ser especialmen te indicado en el caso de que la discusión haya sido muy extensa o cuando se quiera hacer ver las posibles aplicacion es o consecuenci as de lo tratado. TABLA VI Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan a los aspectos formales del artículo PROBLEMAS EN LOS ASPECTOS FORMALES (AF) N Revisores % (sobre los 50 revisores) 4 4 4 8 8 1% (de 783) 4 1 5 8 2 0,5% (de 783) 1. Reiteración de las mismas ideas. 2. Suprimir las propias valoraciones, reducir metáforas Total redundancia y valoraciones 4 3 7 8 6 1% (de 783) Total aspectos formales (AF) 20 2,5% (de 783) CITAS Y REFERENCIAS 1. No sigue las normas de la APA en las referencias 2. Citar originales y no traducción 2 3. Excesiva inclusión de citas literales 2 Total citas y referencias TÍTULO Y ANEXOS 1. El título es más ambicioso que el contenido, o no se ajusta bien al contenido 2. Los materiales podrían adjuntarse en un anexo Total título y anexos REDUNDANCIA Y VALORACIONES Razones en el apartado de aspectos formales Si bien no constituyen causas de no aceptación de artículos, es claro que las cuestiones referidas tienen cierta importancia y facilitan la comunicabili dad y la lectura comprensiva del mismo. Tiene que ver con la conciencia de los procesos mecánicos, que diría Wray (1998) o Wong (1999), pero que afectan a los procesos sustantivos de los artículos, y es en este sentido en el que hay que entender las objeciones de los revisores (20 indicadore s o el 2,5% del total —cfr., Tabla VI—). Hemos agrupado todo este grupo de objeciones en tres categorías de problemas: en relación con citas y referencias, con el título y anexos o con la redundanciao reiteración de las mismas ideas 2. Sobre la labor de los revisores: Diálogo con los revisores Como ya hemos advertido en distintos momentos, al mismo tiempo que intentamos desentrañar las razones contenidas en los informes de evaluación elaborados por los revisores, encontramos un buen número de proposiciones y comentarios que tienen que ver más, aunque no siempre, como enseguida 26 veremos, con el propio revisor que con el artículo revisado. Al analizar todas esas proposiciones que no suponían objeciones, entendimos que una buena parte de ellas tenían que ver con otras tareas no evaluativas que los revisores asumían, es lo que denominaremos en lo sucesivo tareas espontáneas de los revisores. Además, otro buen número de elementos tenían una función retórica, esto es, parecían dedicados a clarificar lo que se quería decir y no tanto a decir o exponer nuevas ideas. También, en muchos otros casos se trataba más que de juicios sobre el trabajo, de argumentos que sostenían esos juicios o, en muy pocos casos, diálogos o conversaciones encubiertas con el autor o autores. Esto nos llevó a diferenciar estilos o actitudes diferentes en los distintos evaluadores. Finalmente, otro buen número de elementos tenían que ver con el modo de organizar la propia revisión. De esta manera, agrupamos todos los comentarios que no suponían objeciones en estos cuatro apartados: 1. Las tareas no-cuestionadoras asumidas por los revisores 2. Las actitudes adoptadas. 3. Los sistemas empleados para dar orden y organizar la revisión. 4. Los recursos usados para esclarecer la intención de la revisión El análisis de este material puede ayudarnos a estudiar la labor del revisor y suscitar, como señalábamos anteriormente, una toma de conciencia colectiva en la que cada cual pueda objetivar sus preferencias y, al hacerlo, si llega el caso, explorar la posibilidad de enriquecer su modo de hacer las revisiones. Tareas no-cuestionadoras Hemos visto que los revisores pueden asumir tres diferentes tareas además de la de exponer sus objeciones: apoyar al autor, destacando aspectos que son de interés o que son valorados como relevantes, prometedores o interesantes , clarificar conceptos que parecen relevantes o sugerir alternativas precisas y viables a las objeciones realizadas. Es de destacar que estamos hablando de revisiones en las que se rechaza el artículo, de ahí que se asuma que deberán predominar los juicios frente a las felicitaciones, pero es que, como mencionábamos más arriba, la cuestión es si es posible conseguir que sin perder el rigor podamos hacer nuestra vida más agradable. En la tabla VII adjunta presentamos el porcentaje de las proposiciones o argumentos dedicados a cada una de esas tareas. Como puede apreciarse, la totalidad de los revisores advierte elementos positivos en el trabajo. Es muy común que esto ocurra en el inicio de la revisión, en la que se destaca la relevancia social o potencial del trabajo, el esfuerzo realizado. También, y en contra de nuestra apreciación inicial, ocurre lo mismo en un 50% de los casos durante el desarrollo de la evaluación. Sin duda algo en principio más difícil de hacer, puesto que el énfasis se está poniendo en justificar un juicio adverso. Como editores no tenemos ninguna duda de que los revisores actúan con un indudable compromiso con la tarea, por eso, y desde esa seguridad, quizás sea el momento de hacer ver la necesidad de subrayar esa otra dimensión de la evaluación: el reconocimiento del otro. Hemos tenido la paciencia de contar cada una de las menciones en las que se destaca el valor del trabajo y el total es de 129, lo que supone una media de 2, 58 comentarios positivos por revisión ¿Es esta cifra razonable? ¿Cabe alguna reflexión al respecto?. Por supuesto, hablamos de reconocer al otro, y no de actos de mera cortesía (aun cuando ésta no debería ser despreciada). 27 TABLA VII Tareas asumidas espontáneamente por los revisores: apoyar, sugerir, clarificar TAREAS N Revisores % (sobre los 50 revisores) APOYAR 1. Recoger Méritos AL PRINCIPIO DEL INFORME: ANTES 2. Recoger Méritos durante la argumentación.: DURANTE 3. Recoger Méritos AL FINAL DEL INFORME: FINAL Total recoger méritos (Relevancia, interés, novedoso) f 35 26 11 43 70 52 22 86 1. Se proporcionan sugerencias precisas. Ejemplificar las sugerencias 22 2. Sugerir ampliar el equilibrio entre apartados 3 Sugerencias: alternativas terminológicas más precisas 18 3. Sugerencias de mejora metodológica 13 4. Sugerencias de clarificación de conceptos. No se justifica la pertinencia psicológica 5. Sugerencias de estructuración según apartados y subapartados. 3 Total sugerir 63 44 6 36 26 4 6 % (f)a 54 41,86 58 44,96 17 13,17 129 100 SUGERIR 8 CLARIFICAR 1. Se clarifican conceptos 2. Se clarifica el enfoque actual (frente al “arcaico”) Total clarificar a 14 3 17 28 6 Se trata de los 129 argumentos de apoyo o reconocimiento de méritos identificados en los informes escritos de los revisores. Además, los revisores asumen otras dos tareas muy importantes. Clarificar conceptos (algo poco frecuente) que a su juicio lo requieren y sugerir medidas factibles que podrían mejorar el trabajo. Dejamos a los lectores que valoren las cifras encontradas (cfr., Tabla VII). Actitudes o estilos de los revisores Una buena parte de los contenidos de muchos revisores puede interpretarse como si reflejaran una actitud ante la evaluación. Es el caso de las argumentaciones que en sí mismas no encajan dentro de las categorías hasta ahora identifica das o de las apelaciones a los autores (“entiendo que los autores pueden pensar:..”). En este caso más que realizar cómputos hemos optado por utilizar su presencia como indicadores de actitudes o estilos, lo que nos ha permitido diferenciar tres muy diferentes. El primero, que denominamos evaluativo, consiste en exponer el juicio crítico que merecen las distintas dimensiones del artículo. Con esa actitud, el revisor asume esencialmente la necesidad de hacer ver al autor los aspectos que se objetan o que parecen discutibles o revisables. Hemos entendido que un 70% de los revisores tienden a adoptar este estilo. Un ejemplo de este tipo de revisión podría adoptar el siguiente tono: “No se clarifica el marco teórico adoptado...... Se echa en falta una revisión actualizada.... El artículo no está bien estructurado..... El método es adecuado a los objetivos que se persiguen........” 28 El segundo estilo lo hemos denominado argumentativo, pues en él los revisores desplazan el acento de los juicios a los argumentos que el propio revisor sigue en el proceso de valoración. Es muy difícil trasladar a estas páginas un ejemplo real, por lo que ofrecemos un modo característico de proceder que corresponde a este estilo. “Si he comprendido bien, el objetivo del trabajo consiste en…Entiendo por ello, que la división que se hace en la introducción podría no reflejar con claridad el cometido perseguido. Al leer la primera parte se tiene la impresión (o al menos esa es la que he tenido) de que se nos va a hablar de… (referencia breve al texto..) Mientras que al leer el segundo apartado (de nuevo referencia al texto..), la impresión es más bien que únicamente se va a tratar de... Entiendo por ello que el lector puede quedar confundido desde el principio y que podría ser más eficaz admitir de entrada…” Por supuesto, los argumentos conducen a ciertos juicios, pero éstos, como quizás quede claro en el ejemplo, parecen supeditados a la validez de aquéllos. A veces da la impresión de que el revisor entiende que los autores podrían contraargumentar y que el juicio o valoración específica que él revisor hubiera hecho quedaría condicionada a esa hipotética contra-argumentaci ón de los autores. A nuestro juicio, un 26% de los revisores se sitúan en esta categoría. El tercer estilo es claramente minoritario, únicamente parece definir la labor de dos revisores. Lo hemos denominado dialógico, pues lo que en el estilo argumentativo se vislumbra (esto es, la posibilidad de una contra-argumentación), en éste otro se manifiesta de forma expresa. De esta manera, el autor es convocado al texto, bien asumiendo lo que aquél puede llegar a pensar en torno a lo que se le dice o bien invitándole expresamente a ofrecer su visión una vez conocida la repercusión que han tenido sus palabras. “Quizás los autores puedan razonar que esta objeción (que se acaba de exponer y argumentar) no es tan decisiva, pues lo importante es…(se expone el posible pensamiento atribuido a los autores). No obstante, la cuestión a considerar es si, con la información presentada, es posible entender o no la diferencia entre las dos categorías expuestas (..). En todo caso, cabe admitir que …” Por supuesto, los juicios son sugeridos como hipótesis y quedan en suspenso con la expectativa de que sea el propio autor quien los elabore de forma definitiva. Es inevitable que se entienda que un estilo es mejor que otro. Pero de nuevo y aunque algunos son más elaborados, de ello no se desprende que sean mejores, pues, en parte, la actitud adoptada depende del artículo evaluado. Poco cuesta pensar, en este sentido, que algunos trabajos requieren que el revisor precise sus objeciones, asegurándose de que no haya duda alguna al respecto. Otros pueden suscitar interrogantes al propio revisor, ante los cuales, sólo pueda exponer sus argumentos. Finalmente, es posible que los problemas objeto de análisis admitan varias perspectivas y el revisor, asumiendo este hecho, se adentre en considerar simultáneamente la suya y la que atribuye expresamente a los autores, suscitando una conversación encubierta con ellos (Sánchez, 1996). Mijail Bajtin (1930 y Bakhtin, 1986) y James Wertsch (1991) dentro de su modelo dialógico de análisis de las producciones textuales, nos enseña a tratar de desvelar las “voces” que habitan en todo texto. Un revisor puede adoptar un papel y una voz de “la ciencia” y dirigir su escrito a “la Revista”. Ambas voces se agigantan y el autor que recibe el informe percibe su papel de objeto evaluado y juzgado, pero no de interlocutor. En otros casos, sin embargo, se aprecia que el revisor, sin cambiar en absoluto el contenido objetivo del análisis —e incluso sin alterar las críticas recogidas— redacta su texto dirigiéndose ostensiblemente al autor como interlocutor “de pleno derecho”. 29 Finalmente, hemos identificado algunos recursos que emplean los revisores para dar orden a la revisión y los hemos agrupado en categorías. En una de ellas, nos limitamos a considerar el modo como se organiza la propia revisión, en la otra, un relatorio de algunos recursos más específicos. Organización de la revisión Las revisiones pueden estar organizadas de diferentes modos. El más sencillo de todos es, obviamente, seguir las pautas que ofrece la propia revista (este es claramente minoritario, sólo un revisor lo sigue —cfr., Tabla VIII—), pero hemos encontrado otros muchos sistemas. Algunos autores siguen, con mayor o menor rigor, la lógica de la investigaci ón científica: justificaci ón, metodología, análisis de los resultados y de la discusión (el 16%). Otros emplean sistemas menos precisos: cuestiones de contenido y formales (32%), etc. En la tabla VIII adjunta figuran los sistemas que hemos identificado y la presencia de cada uno de ellos en el total de las cincuenta revisiones. TABLA VIII Marcos que utilizan los revisores para hacer el análisis de los artículos MARCOS ¿Desde dónde hacen el análisis los evaluadores? N Revisores % (sobre los 50 revisores) 1 8 1 16 26 a 2 16 2 32 52 9 20 5 34 a 18 40 10 68 Marco Externo: Pautas sugeridas por la revista I&A Lógica de investigación Asuntos mayores vs., menores Formal vs., contenido Total marco externo Marco Interno: Lógica del artículo (Contraejemplo: no es “lógica investigación”) Marco Ad hoc Listado de limitaciones Total marco interno a: La presencia de más de 50 (los revisores) se debe a que en algún caso cabía la adscripción a más de una categoría, por lo que se computó presente en ambas (en aras de mayor información sobre los marcos utilizados por los revisores). Se ilustra esto en el anexo 1, en el que se recogen numerosos ejemplos indicando el revisor respectivo. Como puede observarse, el orden más habitual es emplear un sistema que se adapta a las peculiaridades de cada trabajo (68%), bien sea a su lógica interna (18%), bien sea a lo que hemos denominado, marco ad hoc (40%). Ilustraremos esto con dos ejemplos. Ejemplo 1 (revisor 16 B): El revisor (16 B) inicia el informe con un reconocimiento de méritos, seguido de un breve resumen del artículo objeto de comentario. A continuaci ón se focaliza en el núcleo del artículo y con los propios argumentos del autor los va contraponien do y evidenciand o las limitacione s y contradicciones (de gran interés y con un estilo dialógico). Tras lo cual hace una serie de sugerencias de re-escritura del artículo y de revisión en profundidad . Ejemplo 2 (revisor 8 A): El revisor estructura el informe en dos grandes apartados. El primero en torno al siguiente enunciado “Con objeto de mejorar la comunicabilidad del informe... modificarse” en donde queda claro el propósito 30 de la revisión (la mejora de la comunicabilidad del artículo), lo que exige cambios. Seguidamente va explicando las cuestiones a modificar: la exposición teórica, el material y el procedimient o, el análisis sobre las categorías y los resultados. Y el segundo apartado se enuncia: “como detalles de orden menor”, e incluye cuestiones relativas al planteamiento, y a la reelaboración del trabajo (es decir, que ha de ser re-escrito). De nuevo, no deseamos hacer creer que un marco es mejor que otro (esto es especialmente evidente si consideramos que el sistema empleado depende también de las características específicas del artículo que se revisa), pero nos ha parecido de interés mostrar los marcos que realmente se emplean. Sería, en todo caso especialmente erróneo que se interpretara que una revisión que consiste en un listado de limitaciones es necesariamente inferior a otra que se somete a un orden explícito. Hemos hablado de la necesidad de facilitar la vida de los autores, creemos que éste es el momento de evitar complicar innecesariamente la de los revisores. Recursos retóricos Entendemos por recursos retóricos aquellos que hacen transparente la mente del revisor al autor a quien se dirige la evaluación. De esta manera el revisor no sólo dice ciertas cosas, sino que muestra algún empeño en clarificar lo que él quiere decir. Así puede ocurrir respecto de la intención que anima el escrito, el orden que se adoptará, las preferencia s que el propio revisor tiene respecto de los distintos comentarios... No hemos querido hacer una exposición exhaustiva y nos hemos centrado en los recursos más evidentes, como son: Iniciar la revisión con un resumen en el que el revisor hace ver cuál ha sido la comprensión del artículo y desde la que se va a proceder a la revisión. Da la impresión de que con este recurso se crea un puente con los autores y una objetivación de la intersubjetividad alcanzada. El 46% de los revisores utiliza este recurso de resumir partes concretas del artículo, y el 60% el de resumir el artículo. Un segundo recurso es el de advertir con claridad cuáles son los comentarios más relevantes, de este modo el revisor no sólo se compromete a decir ciertas cosas sino a mostrar su conciencia sobre lo que dice. Un tercer recurso es anticipar y tematizar las objeciones o comentarios, que de nuevo no sólo organizan la evaluación sino que clarifica el sentido (hay que referir que el 58% de los revisores usan este recurso). Un cuarto tiene que ver con la ilustración apelando al propio texto, y que tiene por misión la ejemplific ación precisa (en página tal, párrafo cual, apartado equis, y que lo hacen el 86% de los revisores) de la objeción, comentario o sugerencia de cambio. Y por último, un recurso consistente en hacer comentarios previos a la evaluación propiamente del artículo, lo que permiten enmarcarlo (el 12% de los revisores lo hacen). CONCLUSIONES Nos proponíamos presentar un análisis sistemático de las objeciones que los revisores suelen esgrimir en sus informes de evaluación con el fin de esclarecer cómo son valorados los trabajos que llegan a Infancia y Aprendizaje. En nuestra 31 intención, ese análisis debe conducir a una toma de conciencia crítica, y no tanto a una colección de normas más o menos justificada s. No obstante, ha sido inevitable que hayamos recalado en algunos aspectos en los que hay una apreciabl e coincidencia entre los revisores y que suelen determinar el curso del proceso de evaluación. Una buena manera de iniciar estas conclusiones consiste precisamente en retomar de forma ordenada estas sugerencias para la escritura de originales: Formato: Parece muy conveniente adoptar un formato reconocible. En el caso de un informe de investigación ese formato es el siguiente: introducción que plantee y justifique el problema que ha de tratarse, la metodología desarrollada para abordarlo, los resultados alcanzados y la discusión de los mismos según el marco de interpretación expuesto en la introducción y las hipótesis derivadas del mismo. Organización:. También puede ser oportuno que los autores anticipen el esquema organizativo que van a seguir en el trabajo. Por ejemplo: “El artículo está organizado de la siguiente manera...”. Objetivo: Es igualmente relevante que los autores se hagan esta pregunta que se recomienda en el manual de la APA (1994): ¿cómo hacer ver desde el principio al lector lo que se quiere resolver en el trabajo? Objetivo específico: También conviene conectar el trabajo con sus precedentes inmediatos, lo que puede permitir comparar sus resultados con los ya obtenidos y justificar su relevancia potencial. Salvo claro está que no haya tales precedentes, en cuyo caso conviene advertirlo. Claridad del marco teórico: Parece necesario desarrollar con suficiente profundidad y claridad los conceptos claves relacionados con el objetivo específico del trabajo; lo que supone seleccionar aquéllos que se relacionan directamente con él y dan sentido a las decisiones adoptadas. . Coherencia en la introducción teórica: Resulta útil emplear algún esquema para efectuar la revisión teórica: según enfoques, según la evolución histórica, según ciertas dimensiones…. Se espera igualmente que los autores se pronuncien respecto del marco que se va a utilizar o al menos sobre el modo como se va a utilizar el marco revisado. Consistencia: A la luz de los expuesto parece muy importante cuidar al máximo la continuidad lógica entre el objetivo que se persigue, el marco teórico que lo justifica, las hipótesis y variables contenidas en ellas, los instrumentos y procedimientos empleados y la discusión. Detallar . Conviene detallar el procedimiento seguido, y en ese sentido es necesario no confundir la exposición de los principios que rigen un determinado procedimiento con la descripción del procedimiento en sí. Profundidaden la discusión: Puede ser útil diferenciar entre constatar los resultados obtenidos y explicarlos (teóricamente), parece que los revisores esperan que, si resulta factible, se hagan las dos labores. Documentación: Se espera que los autores acrediten las afirmaciones e ideas aludiendo a las referencias que las justifican. Entendemos, naturalmente, que ese esclarecimient o no puede evitar la necesidad de una evaluación. Hay, al respecto, un dato que puede ser muy elocuente: es común que esos mismos revisores cuyo trabajo nos ha servido para preparar el decálogo, se encuentren, cuando actúan como autores, con evaluaciones de sus trabajos en las que se les reclama justamente lo que ellos mismos echan en falta en los trabajos de los demás. Y aquí no ha de verse contradicci ón o inconsecuen cia alguna; pues, como es bien sabido, resulta más sencillo supervisar a los demás que a uno mismo (Vygotski dixit). Hemos de aceptar, pues, que haya siempre alguna distancia entre lo que uno quiere decir y lo que realmente ha dicho, y entre lo que uno pretende haber demostrado y lo que realmente ha podido demostrar. De ahí la necesidad del otro; y no de un otro cualquiera, sino de un otro distante, a quien se ha responsabili zado expresamente de garantizar que un determinado trabajo no sólo reúne la calidad necesaria, sino toda la calidad que potencialmente encierra. Elbow (1998; 2000) diría que no basta con que, en una primera fase, te evalúen los escritos los ‘amigos’, sino que han de evaluarte también y ulteriormente los ‘enemigos’. De hecho, en muchas ocasiones, los autores pueden sentir que no han sido comprendidos por un determinado revisor, lo que será cierto en más de un caso, pero el 32 hecho de constatar esa incomprensión puede motivar la introducción de cambios que, quizás no sean los solicitados, pero sí son cambios que mejoran el artículo. Esta necesidad de evaluación requiere como contrapartida algunas garantías. En primer lugar, los autores deben tener la seguridad de que lo que se cuestiona son “algunos” aspectos de “un” determinado trabajo y no a ellos como tales. En ese sentido, y puesto que queremos dar apoyo a esa cultura de evaluación, debemos animar a los autores y a los revisores a considerar la importancia de preservar un equilibrio entre la necesidad de ejercer un control (que, como ya hemos visto, es a todas luces indispensable —no hay ningún modelo de instrucción en composición escrita que no enfatice especialmente los procesos de revisión: Elbow, 1998; 2000; Sorenson, 1997; Graham y Harris, 2000 a y b; o la propia APA, 1994—) y la de garantizar un reconocimien to al otro (que también lo es). Alguno de los datos ofrecidos respecto de la labor de los revisores pueden interpretarse en este sentido. En todo caso, resulta en este punto muy conveniente mostrar que “todos”, probablemente sin excepción, hemos recibido informes críticos. Dado que es inviable ofrecer datos concretos, como editores de esta revista sólo podemos dar fe a los lectores, que eso es lo que ocurre realmente. De esta manera, la no aceptación definitiva de un trabajo no puede interpretarse como si con ello se cerrara la puerta de la revista, sino como una experiencia que permite conocer su nivel de exigencia y utilizar esa percepción para la preparación de nuevos trabajos. Hay, además, algunos comentarios de menos entidad, pero que juzgamos relevantes. En primer lugar, es necesario llamar la atención sobre la necesidad de cuidar los aspectos formales. Por supuesto, los autores hacen un esfuerzo tan importante al elaborar sus trabajos que resulta comprensible que esas cuestiones se consideren poco menos que despreciables cuando no arbitrarias. Eso afecta a las citas, que si nos atuviéramos a los datos de la tabla VI, parecería un problema casi inexistente (sólo el 8% de los revisores lo refieren). No obstante, debemos advertir que lo que reflejan las tablas son los comentarios de los revisores, en realidad muy poco propensos a descender a esos detalles. La realidad es que apenas hay artículo al que no deba requerírsele un mayor cuidado con las citas, tarea ‘ingrata’ que requiere paciencia y dedicación (merecida por otra parte) de los editores. No quisiéramos terminar sin hacer ver que más allá de los posibles beneficios , llamémosles inmediatos, que pueda reportar el estudio realizado, subyace nuestra convicción de que el proceso de revisión de originales de los órganos científicos sólo es legítimo en la medida en que sea transparente y se base en criterios y actividades compartidas y dialogadas de la comunidad de creadores científicos. Confiamos en que se hayan leído estas páginas como un modo de plantear este problema y de ofrecer algún elemento concreto para propiciar el debate. Referencias AMERICAN PSYCHOLOGICAL ASSOCIATION (1994). Publication Manual of the American Psychological Association (Fourth Edition). Washington, DC: American Psychological Association (11th printing 1999). BAKHTIN, M. (1986). Speech genres and other late essays. En C. Emerson & M. Holquist (Eds.), Speech genres and other late essays. Austin: University of Texas Press. BAJTÍN , M. (1930). El marxismo y la filosofía del lenguaje. Trad. española: La Habana y Buenos Aires: Nueva Visión, 1976, bajo el título El signo ideológico y la filosofía del lenguaje, y con el seudónimo de Volosinov. BARDIN, L. (1977). L’analyse de contenu. Paris: PUF. (Trad. cast. Madrid: Akal, 1986). DEL RÍO, P. (1996). Psicología de los medios de comunicación (capítulo 12). Madrid. Síntesis. ELBOW, P. (1998). Writing without Teachers.New York: Oxford University Press (2nd Edit.) 33 ELBOW, P. (2000). Everyone can Write. Essays toward a hopeful theory of Writing and Teaching Writing. New York: Oxford University Press. GARDIN, J. C. (1980). Archaelogical Constructs. Cambridge, UK: Cambridge University Press. GRAHAM, S. & HARRIS, K. (2000a). Writing Development: Introduction to the special issue. Educational Psychologis, 35, 1, 1. GRAHAM, S. & HARRIS, K. (2000b). The role of self-regulation and transcription skills in writing and writing development.Educational Psychologist, 35 (1), 3-12. HAYES, J. & NASCH , J. (1996). On the nature of planning in writing. En M. Levy & S. Ransdell (Eds.), The science of writing: theories, methods, individual differences and applications (pp. 29-55). Mahwah, NJ: Lawrence Erlbaun Associates, Inc. KELLOGG, R. T. (1994). The Psychology of Writing. New York: Oxford University Press. RIPPENDORF K , K. (1990). Metodologías de análisis de contenido. Teoría y práctica. Barcelona: Paidós. LÓPEZ-ARANG UREN, E. (1994). El análisis de contenidos. En M. García Ferrando, J. Ibáñez y F. Alvira (Comps.), El análisis de la realidad social. Métodos y técnicas de investigación (pp 461-492). Madrid: Alianza. SÁNCHEZ, E (1996). Los textos como una evaluación encubierta. Infancia y Aprendizaje, 75, 85-96. SORENSON, S. (1997). Student Writing Handbook. New York, NY: MacMillan. WERTSCH , J. V. (1991). Voices of the mind. Cambridge MA: Harvard University Press. WIMMER, R. D. & DOMINICK, J. R. (1994). Mass Media Research, an introduction. Belmont, CA: Wadsworth Publishing Co. WONG, B. Y. L. (1999). Mecatognition in Writing. En R. Gallimore, C. Bernheimer, D. MacMillan, D. Speece y S. Vaughn (Eds.), Developmental perspectives on children with high incidence disabilities (pp. 183-198). Papers in honor of Barbara K.Keogh. Mahwah, NJ: Erlbaum. WRAY, D. (1998). Literacy & awareness. London: Hodder & Stoughton. (Orig. 1994). Extended Summary The present study analyses the reasons that motivate the non-acceptance of articles received at the journal, and the type of work undertaken by referees when reviewing them. The intention behind this double aim is to bring out into the open what usually remains in the dark in order to help both authors and referees in their work. Indeed, to make clear a process that quite probably can never be absolutely fair, but that nevertheless should be regulated as much as possible. On this basis, we have analysed 50 peer reviews, corresponding to the first 25 papers rejected for publication in the journal’s current period. Our analysis involved a detailed study of each review using a system specifically designed for this task. With this system, examination of the grounds for objection yielded 95 reasons grouped under 24 categories, and 6 headings: Overall reasons, problems with the introduction, methodology, results, discussion, and, finally, formal problems. Apart from the specific results—the frequencie s of all the results are given in relation to totals in different Tables—we were also interested in showing the importance of some indicators and categories (e.g., consistency, relevance, conceptual clarity, etc.), and their significanc e in referees’ decision taking process. In addition, we have tried to illustrate with some brief examples the most frequent or relevant objections. With respect to the second aim of our study, we have analysed referees’ work, examining the following in some detail: 1) The framework used in the review: if they employ the journal’s framework, that of research logic, or another ad hoc framework for each article; 2) predominant styles: evaluative, argumentative, and dialogic: 3) rhetoric resources employed: recapitulat ion, preface, summary; and, 4) as a result, the type of task adopted: support the authors, clarify concepts, or make suggestions. We feel that the present analysis may provoke a collective reflection based on this double awareness, in order to clarify the rules, more or less implicit, that regulate referees work. In this sense, we support the need for a greater balance between the different tasks involved, particularly with respect to two of them: evaluation and recognition. 34 Anexo Resumen de las causas de no aceptación de artículos, en función de los revisores Artículos REVISOR 1º 1º 2º 2º 3º 3º 4º 4º 5º 5º 6º 6º 7º 7º 8º 8º 9º 9 10 10º 11º 11º 12º 12º 13º 13º 14º 14º 15º 15º 16º 16º 17º 17º 18º 18º 19º 19º 20º 20 21º 21º 22º 22º REV01A REV01B REV02A REV02B REV03A REV03B REV04A REV04B REV05A REV05B REV06A REV06B REV07A REV07B REV08A REV08B REV09A REV09B REV10A REV10B REV11A REV11B REV12A REV12B REV13A REV13B REV14A REV14B REV15A REV15B REV16A REV16B REV17A REV17B REV18A REV18B REV19A REV19B REV20A REV20B REV21A REV21B REV22A REV22B Visión Introducción Metodología Análisis y Discusión y Aspectos Sumas General resultados Conclusiones formales totales 2 4 1 0 1 1 2 3 1 2 1 0 0 0 5 3 0 0 6 1 3 3 0 1 5 8 3 2 1 7 6 3 1 2 2 7 5 3 4 4 3 5 3 4 8 4 4 0 3 3 1 7 1 4 4 2 3 1 5 3 0 1 9 1 1 1 3 1 9 9 2 5 4 5 3 7 6 8 5 6 5 4 5 6 2 5 0 9 2 3 5 6 5 1 0 6 4 7 3 5 5 2 3 4 5 2 0 0 8 5 7 6 5 5 2 0 4 9 0 1 0 2 5 2 0 0 0 0 4 7 3 3 3 0 2 2 3 2 3 5 1 0 3 1 4 2 2 2 0 1 0 0 2 3 4 2 3 2 0 1 0 2 0 0 0 0 2 0 0 0 0 0 1 5 4 1 2 1 2 3 1 3 1 5 1 2 4 1 8 6 0 4 2 3 3 2 6 1 3 6 0 1 2 0 1 6 6 2 3 3 4 5 1 3 2 2 4 8 3 3 1 1 0 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 1 2 1 0 1 0 1 1 0 0 0 2 0 0 0 0 0 1 1 0 1 1 0 0 1 0 18 13 14 11 13 10 7 27 8 15 15 10 20 11 15 18 7 7 19 6 22 13 19 16 23 26 10 9 11 31 16 13 10 15 18 21 12 10 12 14 14 30 14 21 35 23º 23º 24º 24º 25º 25º REV23A REV23B REV24A REV24B REV25A REV25B Totales Media por revisor N 50 Coincidencias (+) Coincidencia (-) No coincidencia % coincidenciaa 5 7 2 2 7 3 144 2,88 6 6 6 5 4 2 204 4,08 6 8 4 3 6 7 180 3,6 6 4 3 4 1 3 89 1,78 3 6 1 2 3 2 146 2,92 0 0 0 1 0 0 20 0,6 50 20 50 22 50 18 50 14 50 22 50 4 2 0 3 5 0 12 3 88% 3 88% 4 84% 6 76% 3 88% 16 64% 27 31 16 17 21 17 793 15,86 Media: 81,33% a: El cálculo de la coincidencia entre los pares de 50 revisores se hace a partir de cada uno de los 25 artículos y en cada apartado (eso mismo se hace para cada categoría, pero por razones de espacio sólo se incluyen los resultados en el texto pero no en tablas detalladas). Se computa la presencia de coincidencia (+) si ambos revisores identifican causa/s en el apartado (sin considerar el número) puesto que se trata de valoraciones cualitativas (informes escritos). También se da coincidencia (-) cuando ambos revisores no refieren ninguna causa. Sobre estos dos cómputos se calculan los porcentajes de coincidencia (%) en relación con los 50 revisores posibles. El resto serían no coincidencias, y el porcentaje resultante sería el resto.