Artigos Científicos

La Enseñanza Recíproca en las Aulas: Efectos Sobre la Comprensión Lectora en Estudiantes de Primaria

Gema Pascual; et al

12 de agosto de 2014

Psykhe vol.23 no.1 Santiago mayo 2014

PSYKHE 2014, Vol. 23, 1, 1-12 

La Enseñanza Recíproca en las Aulas: Efectos Sobre la Comprensión Lectora en Estudiantes de Primaria

 

Reciprocal Teaching in the Classroom: Its Effects on Elementary School Students´ Reading Comprehension

 

Gema Pascual*, Edurne Goikoetxea**, Silvia Corral**, Marta Ferrero** y Visitación Pereda**

* Universidad Católica de Temuco

** Universidad de Deusto


El objetivo del estudio fue investigar los efectos de un programa basado en la Enseñanza Recíproca (Palincsar & Brown, 1984) sobre la comprensión lectora, hábitos lectores y fluidez de 239 alumnos de clase media-baja de 3º a 6º de primaria (entre 8 y 13 años, 49% mujeres) de 5 escuelas públicas de Vizcaya y de Álava, en España, seleccionadas intencionadamente. El diseño fue cuasi-experimental pre y postest, con grupo control, asignando aleatoriamente las aulas enteras o divididas a cada grupo, según la conveniencia de cada escuela. El grupo experimental (n = 135) fue entrenado durante 12 sesiones de 50 minutos una vez a la semana, mientras el grupo control (n = 104) recibía la enseñanza de lengua tradicional durante el mismo período. Los resultados revelan que la intervención tuvo efectos positivos en la comprensión lectora, medida a través de tareas de resumen y de recuerdo, pero no logró efectos en los hábitos lectores y en la fluidez. Las implicaciones para la investigación y para la práctica son discutidas, como la flexibilidad del programa y su aplicación por parte de estudiantes universitarios.

Palabras clave: lectura, comprensión, enseñanza recíproca, fomento de la lectura, métodos de enseñanza


The aim of the study was to investigate the effects of a Reciprocal Teaching-based program (Palincsar & Brown, 1984) on the reading comprehension, reading habits, and fluency of 239 purposively selected lower-middle class students from 3rd to 6th grade (8 to 13 years of age, 49% females) from 5 public schools of Vizcaya and Álava, Spain. A pre and posttest quasi-experimental design with control group was used, randomly assigning whole or split classrooms to each group, for the convenience of each school. The experimental group (n = 135) engaged in 12 50-minutes weekly training sessions, while the control group (n = 104) was exposed to traditional language teaching during the same period. Results show that the intervention had positive effects on reading comprehension, measured by summary and recall tasks, but no effects on fluency and reading habits. The implications for research and practice are discussed, such as the program´s flexibility and its implementation by university students.

Keywords: reading, comprehension, reciprocal teaching, literacy enhancement, teaching methods


 

La comprensión profunda del material escrito es una destreza que requiere un extraordinario esfuerzo y tiempo para su desarrollo, pues en ella están involucrados procesos complejos de nivel superior y altas exigencias de memoria y pensamiento, desde extraer las ideas frase a frase, relacionarlas con el conocimiento previo disponible y mantener algunas ideas en la memoria de trabajo mientras se avanza con las siguientes frases, hasta construir una representación o modelo mental del texto, que constituye la meta última (Kintsch, 1998). La importancia de la comprensión es clave, pues es la destreza cognitiva que permite el paso de la lectura como descifrado a la lectura como fuente de aprendizaje. Por ello, la aspiración actual de que todos los estudiantes alcancen un alto dominio de la lengua escrita no es un desafío cualquiera y sugiere que el entrenamiento explícito en la mejora de la comprensión se extienda a toda la educación primaria y más allá.

Sin embargo, la realidad muestra que la enseñanza de la comprensión lectora es a menudo descuidada en las aulas, ya que ocupa poco tiempo del horario escolar (Cerrillo, 2005; National Reading Panel [NRP], 2000) y de la formación del profesorado en la universidad (Martín, 2008), formación que además no considera la evidencia científica (Sánchez, García, De Sixte, Castellano & Rosales, 2008).

Los datos del rendimiento en comprensión lectora a nivel internacional y nacional no son positivos. Por ejemplo, en España los resultados de informes como PIRLS y PISA (para 10 y 15 años, respectivamente), que evalúan la competencia lectora, muestran que los estudiantes están por debajo del promedio de otros países. Esta tendencia se observa desde los años 90, tanto en textos narrativos como expositivos y tanto en procesos de obtención de información directa como en procesos de interpretación, integración y evaluación (Martín, 2008).

Con respecto al hábito lector, en el contexto español los estudios muestran que leer está por debajo de jugar, hacer deporte o ver la televisión, ocupando entre un 5 y un 8% del tiempo libre de una muestra de niños de primaria y jóvenes de 1º de secundaria (Marchamalo, 2004) y que del 55% de escolares entre 6 y 12 años que afirma gustarle la lectura, solo un 8% seguirá manteniendo esta actitud entre los 12 y 16 años (Fundación Bertelsman, 2004, citado en Cerrillo, 2005). Ante esta realidad, la escuela desempeña un papel crucial ya que, junto con la familia, es uno de los principales ámbitos de influencia en la creación de hábitos lectores (Cerrillo, 2005).

Una de las intervenciones que ha mostrado mayor eficacia para mejorar la comprensión lectora es la Enseñanza Recíproca (en adelante ER), procedimiento desarrollado por Palincsar y Brown (1984). Esta metodología propone un proceso en el que durante la lectura el profesor, a través del modelado y del pensamiento en voz alta en un contexto de diálogo rico y significativo, va enseñando de manera explícita y flexible a los estudiantes cuatro estrategias de comprensión y monitoreo (resumir, preguntar, clarificar y predecir), hasta que realizan el proceso por sí mismos y son capaces de liderarlo.

Las cuatro estrategias exigen al estudiante activar el conocimiento previo relevante. En concreto, resumir le exige centrarse en lo más importante, evitando los aspectos secundarios; además, es una forma de comprobar si ha entendido el texto. A menudo se capacita enseñando las reglas para resumir: selección, integración y generalización (Kintsch & van Dijk, 1978). Preguntar le exige centrarse también en las ideas importantes y sirve para revisar su comprensión. Se ha capacitado enseñando claves como quién, qué, dónde, cuándo y por qué.Clarificar las palabras o partes confusas del texto le exige evaluar de manera crítica la lectura y analizar su compatibilidad con su conocimiento previo y su sentido común. Predecir le exige adentrarse en el futuro, construyendo inferencias y valorándolas. Es importante destacar que en este proceso la meta no son las estrategias en sí mismas, sino llegar al significado del texto en ese contexto de diálogo y realizando esas actividades (Palincsar & Brown, 1984).

Los fundamentos de la ER radican en Brown, Bransford, Ferrara y Campione (1983), quienes muestran que las habilidades cognitivas para aprender de los textos se pueden entrenar, en Anderson (1978), quien recalca el rol clave del conocimiento previo, y especialmente en Vygotsky (1991), de cuya obra surgen tres de los principios de la ER, que Greenway (2002) describe así:

1. Los orígenes de todos los procesos cognitivos superiores son primero sociales. Así la ER se da en un contexto de relación interpersonal.

2. La zona de desarrollo próximo es la distancia entre el nivel de desarrollo actual, determinado por la capacidad de resolver un problema solo, y el nivel de desarrollo potencial, logrado cuando un adulto o par ayuda en la resolución del problema. Así, en la ER el alumno recibe un andamiaje temporal y ajustado de acuerdo a sus necesidades, a medida que adquiere más responsabilidad en su aprendizaje y que es capaz de realizarlo solo, autorregulándose y autoevaluándose (Palincsar & Brown, 1984).

3. Las actividades deben ser contextualizadas y holísticas. Así, en la ER el estudiante se involucra en la empresa completa y en un contexto donde la lectura es necesaria para un objetivo real.

Un análisis más profundo de la ER indica que es una metodología flexible, de fácil acomodo en el aula y que ha mostrado ser beneficiosa en diferentes condiciones, tales como: nivel (desde 4º de primaria hasta adultos; en 3º de primaria faltan datos), número de sesiones (6 a 100; media y moda 20), número de estrategias (2, 4 o 10), tamaño del grupo (2 a 23), entrenador (investigador o profesor) o enfoque (enseñanza de las estrategias antes o durante la enseñanza recíproca), usando mayormente textos expositivos, aunque falta información sobre su puesta en práctica (Rosenshine & Meister, 1994). Esta falta de acuerdo universal sobre su puesta en marcha también es señalada por Greenway (2002), concretando que aún no están claras cuáles estrategias son las más significativas. No obstante, pareciera que el rol principal puede estar más en los procesos cognitivos involucrados, en la búsqueda del sentido del texto con el apoyo de un adulto o par (Rosenshine & Meister, 1994) o en el tiempo de lectura en el que los lectores se enganchan con múltiples estrategias (Hacker & Tenent, 2002), que en el número o el tipo de estrategias.

La ER puede ser aplicada usando toda la clase en las primeras sesiones y grupos de aproximadamente seis estudiantes con diferentes habilidades lectoras (buenas, medias y pobres) y/o parejas con similares habilidades lectoras para las posteriores, recomendándose que sea usada con todo tipo de textos, especialmente textos reales, y que al inicio sean narrativos para mantener la motivación (Palincsar, David & Brown, 1989, citado en Hacker & Tenent, 2002). Estudios recientes muestran que en grupos pequeños los estudiantes tienen más oportunidades de practicar el uso de las estrategias de lectura (Spörer, Brunstein & Kieschke, 2009).

Otros elementos de la ER que juegan un rol clave son el diálogo, la responsabilidad, la autorregulación y la preparación del profesor. Estudios recientes avalan que los enfoques que promueven situaciones de interacción y discusión abierta entre el profesor y los alumnos son muy eficaces (Block, Parris, Reed, Whiteley & Cleveland, 2009). No obstante, muchos estudios revelan que existen dificultades para lograr un diálogo rico y significativo, que es clave, por varias razones (e.g., conocimiento inadecuado, malas interpretaciones entre los participantes), proponiendo la enseñanza previa de habilidades discursivas básicas (Hacker & Tenent, 2002). Respecto de la responsabilidad, el profesor debe asegurar que todos los alumnos asuman el rol de liderar la ER, por ejemplo, rotando regularmente el rol durante la clase (Hacker & Tenent, 2002). La ER exige a los estudiantes procesos de autorregulación constante, esto es, usar, aplicar y evaluar las estrategias, procesos clave en la comprensión y posible razón del éxito de la ER (Zimmerman, 1998). Respecto de la preparación previa del profesor, los estudios demuestran que es posible capacitarles en estrategias de comprensión, con una enseñanza extensiva formal, preferiblemente antes de entrar en servicio, aunque quedan algunas interrogantes, como los componentes del entrenamiento que son los más efectivos (NRP, 2000).

Los efectos de la ER se han mostrado sobre medidas de comprensión lectora, especialmente sobre medidas desarrolladas por el experimentador, porque son similares a las usadas durante la capacitación (Greenway, 2002). Recuerdo y resumen son dos de las medidas más sensibles y más frecuentemente usadas (Kintsch, 1998). En menor grado, algunos estudios han encontrado efectos sobre habilidades de nivel inferior, como el reconocimiento de palabras, explicándose por una mayor exposición a palabras escritas (Johnson-Glenberg, 2000). También se ha encontrado un efecto de la ER sobre el hábito lector (lectura independiente y recreativa), medido con cuestionarios, entrevistas estructuradas, registros diarios y medidas de tipo indirecto, como el reconocimiento de autores y títulos (Allen, Cipielewski & Stanovich, 1992). Hacker y Tenent (2002) evaluaron el hábito lector con cuestionarios a estudiantes y padres: los estudiantes reconocieron que el programa les ayudó a ser mejores lectores (85%) y que leyeron más libros durante el año (70%) y los padres notaron que sus hijos aumentaron el interés por la lectura (84%) y leían más a menudo (87%). Aún no se han estudiado los efectos de la ER sobre la fluidez (capacidad de leer de manera rápida, exacta y con adecuada entonación), pero sí se ha encontrado una relación significativa del hábito lector y la fluidez con la comprensión lectora, especialmente en los primeros años (NRP, 2000; para un estudio amplio en español véase Marchant, Lucchini & Cuadrado, 2007; para fluidez véase Anderson, Wilson & Fielding, 1988; para hábitos lectores véase Leppänen, Aunola & Nurmi, 2005).

La ER ha sido investigada en primaria, principalmente en lengua inglesa (Johnson-Glenberg, 2000; Rosenshine & Meister, 1994; Spörer et al., 2009), y en menor medida en español (Pascual & Goikoetxea, 2003, en 3º y 4º de primaria y con textos expositivos; Soriano, Chebaani, Soriano & Descals, 2011, en 4º de primaria y con textos expositivos; Soriano, Vidal-Abarca & Miranda, 1996, en 5º de primaria y con textos expositivos).

En el estudio que reportamos investigamos los efectos de un programa basado en la ER sobre la comprensión lectora, pero también sobre otras variables poco o nada analizadas, como los hábitos lectores y la fluidez. Constituyó una novedad el hecho de que el programa fuera aplicado por estudiantes universitarios que recibieron una capacitación breve y sencilla. Usamos literatura narrativa: cuentos y novelas infantiles. Aplicamos el programa en 13 aulas y cuatro cursos a la vez, siendo uno de ellos 3º de primaria, para cuyo nivel falta información en la literatura sobre la eficacia de la ER. Además, nuestro estudio se añade a los pocos realizados hasta el momento en lengua castellana y aporta algunos ejemplos para su puesta en práctica en el aula.

Las hipótesis que guiaron nuestro estudio fueron:

1. El programa mejora la comprensión lectora, medida a través de la inclusión de más ideas principales y menos ideas secundarias en recuerdo y en resumen de textos, tanto narrativos como expositivos, considerados de manera conjunta.

2. El programa mejora los hábitos lectores.

3. El programa mejora la fluidez lectora, medida a través del número de palabras leídas por minuto y la lectura correcta atendiendo a los signos de puntuación.

Método

Realizamos un estudio piloto con 175 alumnos de primaria. Empleamos un diseño cuasi-experimental con grupo control y tomamos medidas de fluidez y de comprensión lectora no estandarizadas (ideas principales y secundarias en el recuerdo y en el resumen) en el pretest y en el postest. El análisis estadístico lo realizamos a través de un análisis de covarianza (ANCOVA) con las medidas del pretest como covariables. El estadístico de Levene demostró que podíamos suponer homogeneidad de las varianzas en la medida de fluidez (0,31, p = 0,948), pero no en la medida de ideas principales de recuerdo (2,75, p = 0,005), ideas secundarias de recuerdo (3,17, p = 0,001), ideas principales de resumen (5,92, p < 0,001) e ideas secundarias de resumen (2,61, p = 0,008). Para corregir la heterocedasticidad de las varianzas empleamos un enfoque de F conservadora, descartando la hipótesis nula si el valor de F en el ANCOVA era igual o superior al valor de F conservadora con 1 / n-1 grados de libertad. El ANCOVA reveló que los grupos capacitados con el programa rindieron mejor que el grupo control en las medidas de comprensión no estandarizadas. Específicamente, el grupo experimental (M = 2,09, DE = 2,12, n = 111) incluyó más ideas principales que el control (= 1,42, DE = 1,82, = 64) en recuerdo, F(1, 175) = 5,41, p= 0,021, h2 = 0,033, 95% ICs [1,427, 2,364] y [0,504, 1,714], respectivamente. También el grupo experimental (= 1,61, DE = 2,02, = 111) incluyó más ideas principales que el control (= 1,22, DE = 1,64, = 64) en resumen, F(1, 175) = 3,96, p = 0,048, h2 = 0,024, 95% ICs [1,357, 2,211] y [0,619, 1,722], respectivamente, y menos ideas secundarias (M = 1,87, DE = 1,91, n = 111) que el control (M = 2,69, DE = 2,23, n = 64) en resumen, F(1, 175) = 12,63, p < 0,001, h2 = 0,073, 95% ICs [1,799, 2,969] y [2,829, 4,299], respectivamente.

Sin embargo, no hubo diferencias entre el grupo experimental (= 109,75, DE = 42,24, = 52) y el control (= 91,66, DE = 33,98, = 46) en medidas de fluidez, F(1, 98) = 1,989, p = 0,162, ni en las ideas secundarias incluidas por el grupo experimental (= 2,07, DE = 1,50, = 111) y el control (= 2,00, DE = 1,73, = 64) en recuerdo, F(1, 175) = 3,06, p = 0,082.

Tras esta experiencia llevamos a cabo el estudio que describimos a continuación.

Diseño

Utilizamos un diseño cuasi-experimental con pre y postest, con grupo control. Es decir, los estudiantes no pudieron ser asignados aleatoriamente a los grupos. Las aulas enteras o divididas, según la conveniencia de cada colegio, fueron aleatoriamente asignadas al grupo experimental o control. El tamaño de la clase varió desde 13 hasta 25 estudiantes.

Participantes

Participaron 239 alumnos (135 grupo experimental y 104 grupo control) de 3° a 6° de primaria (entre 8 y 13 años, 49% mujeres), procedentes de cinco escuelas públicas que atendían a familias de clase media-baja de cuatro municipios de Vizcaya y de Álava, en España (ver Tabla 1 para más características). Las escuelas participantes en el programa tenían bibliotecas escolares integradas en el Programa de Actividades Complementarias y Extraescolares del Departamento de Educación, Universidades e Investigación del Gobierno Vasco, creado en 1996, y colaboraban en la formación práctica de estudiantes universitarios. Los profesores responsables de esas bibliotecas escolares, que ejercían como tutores del practicum de dichos estudiantes, fueron los encargados de invitar intencionadamente a las direcciones de sus respectivas escuelas a participar en el programa de lectura compartida. Todas las escuelas invitadas aceptaron participar, sumando niños de uno o más cursos. Las escuelas que participaron tenían distintos modelos lingüísticos de escolarización: Modelo A, donde todas las materias se enseñaban en castellano, Modelo B, donde todas las materias se enseñaban en euskera, excepto lenguaje y matemáticas que se enseñaban en castellano, y Modelo D, donde todas las materias se enseñaban en euskera. Con los estudiantes del Modelo D las evaluaciones y las intervenciones se realizaron en euskera.

Las aulas con las que cada escuela decidió participar fueron aleatoriamente asignadas al grupo experimental o al grupo control, con la única restricción de que cada escuela estuviera igualmente representada en el grupo de tratamiento.

Las comparaciones para conocer la equivalencia inicial de los grupos mostraron que los alumnos no diferían significativamente ni en edad, F(1, 239) = 0,083, p = 0,77, ni en vocabulario (Test de Vocabulario en Imágenes Peabody; Dunn & Dunn, 1959), F(1, 493) = 1,05, = 0,30, ni en inteligencia no verbal (Matrices del Test Breve de Inteligencia de Kaufman; Kaufman & Kaufman, 1990), F(1, 385) = 1,44, = 0,23 (ver medias y desviaciones típicas en Tabla 1).

Tabla 1

Características de los Participantes Según Condición

Materiales e Instrumentos

Por un lado, empleamos textos cortos (40 palabras aproximadamente) para entrenar las estrategias en las primeras sesiones. Algunos los tomamos de Baumann (1990) y otros los creamos para resaltar la búsqueda de las ideas importantes empleando las tres reglas para resumir y el uso de clases de preguntas. Por otro lado, empleamos novelas o cuentos elegidos por los profesores tutores del aula, de un listado de 26, atendiendo a las preferencias literarias de sus estudiantes. Predominaron los libros de aventura, ya que este parece ser el género literario que más éxito tiene entre los jóvenes lectores (Federación de Gremios de Editores de España, 2007).

Las medidas que realizamos fueron:

Comprensión lectora. Según correspondiera por lengua y por nivel educativo, se aplicó grupalmente la subprueba de comprensión de las pruebas estandarizadas: (a) Batería de Evaluación de los Procesos Lectores de Niños de Primaria (PROLEC-primaria; Cuetos, Rodríguez & Ruano, 1996), (b) Lehen Hezkuntzako Haurren Irakurtzeko Prozesuen Ebaluazioa (PROLEC-euskera; Cuetos, Rodríguez & Ruano, 2000) o (c) Evaluación de los Procesos Lectores en Secundaria (PROLEC-secundaria; Ramos & Cuetos, 1999; test dirigido a 5º y 6º de primaria y a secundaria). Esta prueba mide la comprensión lectora, es decir, si el niño es capaz de extraer el significado de un texto y relacionarlo con sus conocimientos. El PROLEC para primaria incluye la tarea de leer dos textos narrativos y dos expositivos y contestar cuatro preguntas por texto, dos literales y dos inferenciales. Las instrucciones al examinado son que lea atentamente los textos que se le presentan y que responda luego a varias preguntas sobre ellos. Para la puntuación se usó el manual correspondiente. En nuestra muestra la consistencia interna de esta prueba en castellano, evaluada con alfa de Cronbach, fue de 0,85 y de la prueba en euskera, 0,91.

También se aplicaron de manera grupal pruebas no estandarizadas: recuerdo de ideas principales y secundarias y resumen de ideas principales y secundarias sobre dos textos del PROLEC y un texto expositivo de creación propia (“Las 3-R”, 504 palabras). Las instrucciones al examinado fueron que leyera atentamente los textos que se le presentaban, que escribiera lo que recordara de la lectura y que realizara un resumen de la misma. Para la puntuación de las pruebas, primero, se descompusieron los textos en ideas principales e ideas secundarias, con ayuda de dos expertos; segundo, se elaboró un guión con ejemplos de ambos tipos de ideas; y tercero, se puntuaron las dos medidas con el guión. Un tercio de los protocolos de resumen y de recuerdo fue puntuado por dos jueces de manera independiente y ciega. La confiabilidad interjueces fue 0,93.

Fluidez. Se aplicaron las subpruebas de velocidad lectora y signos de puntuación del PROLEC anteriormente mencionadas, según correspondiera por lengua y nivel educativo. Esta prueba mide si el niño es capaz de realizar las pausas y las entonaciones que le indican los signos de puntuación. Esta destreza es importante para conseguir una lectura comprensiva. Además, permite conocer el número de palabras leídas de un texto en una unidad de tiempo. En este estudio medimos el número de palabras correctamente leídas en los primeros 30 segundos y luego extrapolamos al minuto. La prueba incluye un texto corto (97 palabras en la versión original de primaria en castellano y 83 palabras en la versión adaptada en euskera) que incluye 10 signos de puntuaciones, tales como coma, punto seguido, signos de interrogación y signos de admiración. La prueba fue administrada de forma individual. La instrucción al examinado es que lea lo mejor que pueda el texto que se le presenta. Para la puntuación se usó el manual. En nuestra muestra la consistencia interna de esta prueba en castellano, también evaluada con alfa de Cronbach, fue 0,85 y la de la misma prueba en euskera, 0,76.

Hábitos lectores. Se aplicó un cuestionario grupal con 14 preguntas abiertas (i.e., ¿Qué haces en tu tiempo libre? ¿Qué te gustaría hacer? ¿Te gusta leer? ¿Qué te gusta leer? ¿Has leído antes un libro entero? ¿Cuál? ¿Hace cuánto que leíste un libro entero? ¿Te han leído en voz alta? ¿Quién te suele leer en voz alta? ¿Qué te gusta más: leer o que te lean? ¿Dónde sueles leer? ¿Qué día de la semana sueles leer? ¿En qué momento del día sueles leer? Dime cómo se llaman los libros que conoces. Dime cuál es el libro, historia o cuento que más te ha gustado). Dos expertos categorizaron las respuestas abiertas y se siguió el mismo procedimiento de puntuación para pruebas no estandarizadas. La confiabilidad interjueces fue 0,90.

Procedimiento

Las escuelas solicitaban participar voluntariamente en el estudio. No se requirió consentimiento informado de los padres o tutores de los participantes, porque la dirección de los centros lo asumió como una experiencia escolar más de fomento de la lectura.

Las condiciones fueron las siguientes:

Grupo experimental. La intervención fue llevada a cabo por siete estudiantes universitarios de la Universidad de Deusto que realizaban prácticas profesionales de Psicopedagogía y Pedagogía, buena parte diplomados en Magisterio o en Educación Social. Estos recibieron una capacitación de 15 horas sobre: (a) aspectos teóricos: comprensión lectora y metodología de ER y (b) aspectos prácticos: práctica supervisada sobre ER (cómo enseñar las estrategias de resumen y preguntas), preparación previa de las sesiones, cómo enganchar y entusiasmar a los alumnos durante la lectura oral y cómo dar feedback. Con ánimo de hacer una capacitación breve y sencilla, el universitario fue capacitado para trabajar con toda la clase en dos de las cuatro estrategias, resumen y preguntas, que han sido las más empleadas y potentes (Hacker & Tenent, 2002).

El programa estuvo constituido por 12 sesiones de 50 minutos, una vez a la semana. En las primeras sesiones el universitario se presentó a los estudiantes, les informó de la actividad que iban a realizar juntos, les habló de lo que exigía la lectura y les instruyó sobre cómo resumir y cómo preguntar para mejorar su comprensión. Concretamente les decía: “A partir de hoy, todos nosotros vamos a leer juntos. Cuando uno lee libros, cuentos y cómics, lo que más desea es entender y disfrutar con lo que nos cuentan. Pues bien, para poder comprender y disfrutar con un libro es muy importante que sepamos resumir y hacer preguntas de lo que hemos leído. Vamos a aprender estas estrategias”. Luego entrenaba la estrategia de resumen y de preguntas sobre textos cortos, haciendo hincapié, primero, en la enseñanza explícita de la estrategia y, luego, aplicándola sobre un texto.

Para enseñar la estrategia de resumen les decía: “Vamos a aprender a resumir lo más importante que hemos leído. ¿Sabéis qué lograremos con ello? Haremos lo que hace un periodista cuando nos cuenta las cosas que han pasado en el mundo. Nos cuenta lo más importante y así podemos estar enterados de muchas cosas. Hacer un resumen significa que contamos lo que dice el texto pero con menos palabras, sin los detalles. Se trata de que aprendamos a decir lo más importante del texto en pocas palabras. Lo que tenemos que hacer es buscar lo más importante y saber responder a ¿de qué nos habla el texto? Para esto podemos utilizar tres reglas muy útiles: selección, cuando la idea viene en el texto, integración, cuando tenemos que construir la idea con nuestras palabras, y generalización, cuando varias ideas del texto pueden ser sustituidas por una más general”.

Para la estrategia de preguntas les decía: “Ahora vamos a aprender a hacer preguntas sobre lo más importante que hemos leído. ¿Sabéis qué lograremos si aprendemos a hacer preguntas sobre lo más importante de lo que hemos leído? Nos convertimos en profesores. Así, cuando en clase nos pregunten de lo que hemos leído, nosotros ya habremos adivinado lo que nos iban a preguntar. Las preguntas pueden ser muy diferentes. Nosotros vamos a aprender seis clases, que empiezan con distintas palabras: ¿Quién? ¿Qué? ¿Dónde? ¿Cuándo? ¿Por qué? y ¿Cómo?”.

A partir de la tercera sesión y hasta la primera mitad de las sesiones, el universitario modeló las dos estrategias e invitó a los estudiantes a hacer comentarios, utilizando la novela elegida. Durante la segunda mitad de las sesiones, les invitó a liderar ellos mismos el diálogo sobre la novela y les dio feedback. El universitario procuró en la medida de lo posible la participación de todos, pero no controló el liderazgo de todos, uno por uno.

En cada sesión el universitario realizó los siguientes pasos:

1. Saludo, introducción y motivación (2-3 minutos)

2. Lectura en voz alta de la primera parte seleccionada, cuidando el ritmo (15 minutos)

3. Interrupción de la lectura para resumir (“si tuviéramos que contar a otros lo que hemos leído, ¿qué les contaríamos?”) y hacer dos preguntas de lo leído (usando las partículas: “quién, qué, dónde, cuándo, por qué, cómo”) (7-8 minutos)

4. Continuación de la lectura hasta el final (15 minutos)

5. Interrupción de la lectura para resumir y hacer y dos preguntas de lo leído (7-9 minutos)

6. Cierre, mencionando los aspectos más relevantes vividos, como buenos resúmenes o buenas preguntas planteadas por los alumnos (2-3 minutos).

Para determinar si el procedimiento se realizaba como se había establecido, se hicieron observaciones del uso de la ER por parte de los universitarios en dos ocasiones (durante las semanas 9 a 11 de la intervención), eligiendo dos aulas al azar. Los observadores fueron entrenados mediante un protocolo de observación en una sesión de una hora. El índice de confiabilidad interjueces para las conductas observadas fue de 0,92.

Grupo control. Los alumnos durante las mismas sesiones recibieron la enseñanza de lengua habitual en sus respectivas aulas por sus correspondientes profesores. No hubo contacto con ellosEn cuatro escuelas la enseñanza de lengua era impartida siguiendo el libro de texto del curso y en dos, los profesores introducían actividades diseñadas por ellos mismos para reforzar el aprendizaje de la lengua.

El estudio se prolongó por siete meses del año 2002. Ambos grupos fueron evaluados en las mismas medidas durante tres sesiones para el pretest y tres sesiones para el postest.

Análisis de Datos

La unidad de análisis fue la puntuación individual de cada estudiante. Aunque los estudiantes en la condición experimental trabajaron juntos, en la condición control no fue así. En consecuencia, la unidad de análisis no fueron los grupos sino los estudiantes.

En primer lugar, calculamos las correlaciones r de Pearson entre las medidas de comprensión y fluidez en el pretest y en el postest.

Después, realizamos un ANCOVA en el que las covariables fueron las medidas del pretest y las variables dependientes fueron comprensión lectora estandarizada, recuerdo y resumen de ideas principales y secundarias, lectura de palabras correctas por minuto y lectura de signos de puntuación.

Por último, calculamos c2 para analizar las diferencias entre los alumnos de los grupos en las frecuencias de hábitos lectores.

Resultados

Encontramos una correlación moderada entre casi todas las variables de comprensión y fluidez (véase la Tabla 2), como era de esperar en base a la literatura, que señala una fuerte relación entre fluidez y comprensión, especialmente en los primeros años (Marchant et al., 2007; NRP, 2000).

Tabla 2

Correlaciones Entre las Medidas de Comprensión y Fluidez en el Pretest y el Postest

A continuación examinamos el rendimiento de los dos grupos en las medidas de fluidez y comprensión lectora, pero antes examinamos el estadístico de Levene para evaluar la homogeneidad de las varianzas. Los resultados de la prueba de Levene nos permitieron concluir que las varianzas de los dos grupos podían considerarse iguales en lectura de palabras por minuto (0,80, p = 0,584), recuerdo de ideas principales (1,76, p = 0,095), recuerdo de ideas secundarias (2,05, p = 0,050), resumen de ideas principales (1,88, p = 0,073) y resumen de ideas secundarias (1,98, p = 0,058). Por el contrario, el requisito de homocedasticidad de las varianzas no se cumplía en signos de puntuación (14,81, p < 0,001) y en comprensión lectura estandarizada (6,19, p < 0,001). Con estas dos medidas decidimos emplear una F conservadora (con 1 / n-1 grados de libertad) en la decisión estadística, en caso de que el ANCOVA diera resultados significativos.

Como se puede observar en la Tabla 3, no hubo diferencias entre los grupos experimental y control en las medidas de fluidez estandarizadas del postest, pero sí en las medidas de comprensión, tanto estandarizada como no estandarizada, a favor del grupo experimental, incluyendo más ideas principales en su recuerdo y, aunque la diferencia fue marginalmente significativa, en su resumen. No hubo diferencias, sin embargo, en las medidas de ideas secundarias. Es de destacar, que un programa corto en el tiempo, como este, no incide en la fluidez, proceso de nivel inferior, pero sí en procesos de nivel superior.

En relación con la variable curso, las únicas medidas comparables eran las medidas no estandarizadas de comprensión lectora que fueron las mismas para todos los cursos. En estas medidas no estandarizadas no encontramos un efecto del curso ni en recuerdo de ideas principales, F(3, 239) = 0,70, p = 0,551, ni en recuerdo de ideas secundarias, F(3, 239) = 0,718, p = 0,542. Sí hubo un efecto del curso en resumen de ideas principales, siendo 6º el nivel de rendimiento superior a los restantes, F(3, 239) = 14,14, p < 0,001, η2 = 0,156, 95% ICs [1,02, 1,36], [1,23, 1,57], [1,38, 1,78] y [1,85, 2,25] en 3º, 4º, 5º y 6º, respectivamente. No hubo, sin embargo, efecto del curso en resumen de ideas secundarias, F(3, 239) = 1,76, p = 0,155.

Tabla 3

Medias (Desviaciones Típicas) de los Aciertos en las Medidas Estandarizadas 
y No Estandarizadas en el Pretest y el Postest, Según Condición

Respecto de los hábitos lectores, no observamos efectos en ninguna de las respuestas sobre gusto y frecuencia como resultado de la participación en el programa (para acceder a los resultados completos de este análisis escribir a los autores). Inclusive, hubo inconsistencia en algunas respuestas, como la referida al gusto por leer, que pasó de un alto porcentaje de niños en ambos grupos que declararon al inicio de la intervención que no les gustaba leer (36% y 35% del grupo experimental y control, respectivamente), c2(3, = 237) = 0,06, = 0,996, a un porcentaje muy bajo al final (8,5% y 9,5% del grupo experimental y control, respectivamente), c2(3, = 202) = 2,56, = 0,463. Sin embargo, a la pregunta sobre qué les gustaría hacer en su tiempo libre, un porcentaje bajo (13,3% y 7% del grupo experimental y control, respectivamente) dijo al inicio de la intervención que leer, en comparación con el 25% aproximadamente en ambos grupos a quienes les gustaría ver la TV, el 25% jugar o el 12% hacer deporte, y nuevamente al final de la intervención un porcentaje bajo (6,1% y 2,3% del grupo experimental y control, respectivamente) dijo que leer. Por ello, nuestra impresión sobre estos hallazgos es que este programa no fue suficiente para generar cambios en los hábitos lectores. Asimismo, la técnica del cuestionario abierto grupal parece no ser la más confiable con niños de primaria, pues puede dar lugar a la aquiescencia y a respuestas irreflexivas, a veces destinadas a terminar la tarea con rapidez o a satisfacer la demanda del experimentador. De hecho, los estudios sobre actitudes hacia la lectura rara vez muestran cambios tan drásticos como los revelados por la pregunta acerca del gusto por leer (McKenna, Kear & Ellsworth, 1995).

Discusión

Nuestro objetivo en este estudio fue investigar los efectos de un programa basado en la ER sobre la comprensión lectora y sobre otras variables menos analizadas, como la fluidez y los hábitos lectores, aplicado por universitarios usando novelas.

El principal resultado revela que los estudiantes que pasaron por el programa mostraron mayores ganancias que los estudiantes del grupo control en medidas estandarizadas y no estandarizadas de comprensión lectora. Los estudiantes entrenados respondieron mejor a las preguntas del test estandarizado e incluyeron más ideas principales en el recuerdo y, más débilmente, en el resumen de los textos leídos, narrativos y expositivos. Este resultado se suma a la extensa lista de estudios en inglés que muestran la eficacia de la ER en la comprensión lectora en primaria (e.g., Rosenshine & Meister, 1994; Spörer et al. 2009), y a una lista más pequeña, pero creciente, en español (Pascual & Goikoetxea, 2003; Soriano et al., 1996, 2011), mostrando, además, que es posible usarla no solo sobre textos expositivos, generalmente cortos, sino también sobre cuentos y novelas completos, y de manera masiva en 13 aulas a la vez, de 3º a 6º de primaria.

Es de destacar, sin embargo, que los tamaños del efecto fueron pequeños. Tal vez los resultados hubieran sido mayores si hubiéramos aplicado el programa en más de 12 sesiones, pues fueron menos que las 20 sesiones realizadas en la mayoría de los estudios de ER (Rosenshine & Meister, 1994) y que las 16 sesiones que señala Meloth (1990) para que emerjan diferencias significativas en el área metacognitiva.

También una mayor preparación de los universitarios pudiera haber afectado positivamente los resultados. Si bien optamos por un entrenamiento breve y sencillo por limitaciones de tiempo, la literatura aconseja un entrenamiento intenso (NRP, 2000). Es probable que esta preparación hubiera contribuido en aspectos que juegan un rol clave en la ER, como los diálogos (Block et al., 2009), por un lado, enseñándoles cómo hacer las conversaciones más ricas y significativas, pues es una tarea difícil (Hacker & Tenent, 2002), y, por otro lado, enseñándoles a hacer agrupaciones pequeñas (de seis a dos parejas), que permitan un mayor control y más oportunidades de práctica a los estudiantes (Spörer et al., 2009). En esta línea, en el futuro se hace necesario tomar medidas sobre la calidad de los diálogos (Greenway, 2002).

Aun con las limitaciones señaladas, el programa mostró beneficios y ello pudo ser porque la ER se apoya en fundamentos teóricos sólidos y porque es una metodología que exige al lector procesos de autorregulación continua (Zimmerman, 1998) y un procesamiento profundo y activo durante su lectura, esto es, dar sentido a lo que lee, tener mayor conciencia de lo que entiende y de lo que no y buscar solución ante las dificultades de comprensión (Rosenshine & Meister, 1994). Además, se trata de una metodología flexible, que no restringe las acciones del profesor; de hecho, algunos estudios encuentran que muchos profesores adaptan la ER a su estilo personal (Hacker & Tenent, 2002).

Por otro lado, y dada la relación que existe entre comprensión lectora y hábitos lectores y fluidez (Anderson et al., 1988; Leppänen et al., 2005; NRP, 2000), esperábamos que el programa tuviera efectos sobre estas variables, pero no los encontramos. En relación con los hábitos lectores, una explicación de la ausencia de resultados positivos puede estar en la técnica que utilizamos para recoger los datos (cuestionario abierto grupal), pues no parece confiable para estudiantes de estas edades, encontrándose inconsistencias en sus respuestas. Otros estudios con los primeros grados han usado entrevistas semi-estructuradas individuales (Leppänen et al., 2005) o pruebas de reconocimiento de títulos (Allen et al., 1992). Otra explicación puede estar en la dificultad para modificar la práctica de lectura con una intervención corta, pues con más tiempo sí se han encontrado efectos positivos (Hacker & Tenent, 2002). No obstante, ello no significa que a largo plazo una intervención como la que realizamos en este programa no influya en la cantidad y la calidad de la lectura, ya que los hábitos lectores dependen de varios factores y uno importante es precisamente la destreza lectora, que incluye tanto el descifrado como la comprensión (Leppänen et al., 2005). Lamentablemente, en este estudio no medimos otros cambios relacionados con la participación en el programa, tales como si la lectura y la discusión de cuentos y novelas hace que los niños se miren a sí mismos y al mundo de manera distinta. En cuanto a la fluidez, podemos atribuirlo a la intensidad del tratamiento; tal vez, hubieran sido necesarias más sesiones para observar efectos específicos en esta variable.

Como novedad, es de destacar que el programa fue aplicado por universitarios, como parte de sus prácticas profesionales. Esto pudo contribuir a una mejora en su formación inicial. Aunque no evaluamos esto de manera sistemática, la valoración de la experiencia, recogida en las reuniones periódicas de seguimiento del practicum y en un cuestionario de evaluación final, fue muy positiva, tanto para los universitarios como para los centros. Además, el estudio aporta ejemplos concretos del entrenamiento en resumen y preguntas.

Aunque las limitaciones de un estudio cuasi-experimental exigen ser cautos con las conclusiones, debido a que no hay certeza de la existencia de relaciones causales entre las variables, pocos piensan hoy que la comprensión lectora sea una habilidad que no pueda enseñarse. De hecho, este estudio muestra que, a través de intervenciones educativas poco costosas y bastante naturales en el aula, es posible mejorar esta destreza. Asimismo, los efectos observados obligan a hacer una llamada a la mejora de la formación inicial de los universitarios que trabajan en educación y a su formación continua en este campo, con el fin de trasladar al aula prácticas educativas basadas en la mejor evidencia empírica.

Referencias

Allen, L., Cipielewski, J. & Stanovich, K. E. (1992). Multiple indicators of children´s reading habits and attitudes: Construct validity and cognitive correlates. Journal of Educational Psychology, 84, 489-503. doi:10.1037/0022-0663.84.4.489

        

Anderson, R. C. (1978). Schema-directed processes in language comprehension. En A. M. Lesgold, J. W. Pellegrino, S. D. Fokkema & R. Glasser (Eds.), Cognitive psychology and instruction (pp. 67-82). New York, NY: Plenum.         

Anderson, R. C., Wilson, P. T. & Fielding, L. G. (1988). Growth in reading and how children spend their time outside of school. Reading Research Quarterly, 23, 285-303.         

Baumann, J. F. (1990). La comprensión lectora: cómo trabajar la idea principal en el aula. Madrid, España: Visor.         

Block, C. C., Parris, S. R., Reed, K. L., Whiteley, C. S. & Cleveland, M. D. (2009). Instructional approaches that significantly increase reading comprehension. Journal of Educational Psychology, 101, 262-281. doi:10.1037/a0014319

        

Brown, A. L., Bransford, J. D., Ferrara, R. A. & Campione, J. C. (1983). Learning, remembering, and understanding. En J. H. Flavell & E. M. Markman (Eds.), Handbook of child psychology, Vol. 3: Cognitive development (4ª ed., pp. 420-494). New York, NY: Wiley.         

Cerrillo, P. C. (2005). Lectura y sociedad del conocimiento. Revista de Educación, España, número extraordinario,53-61.         

Cuetos, F., Rodríguez, B. & Ruano, E. (1996). PROLEC: batería de evaluación de los procesos lectores. Madrid, España: TEA.         

Cuetos, F., Rodríguez, B. & Ruano, E. (2000). PROLEC-euskera: lehen hezkuntzako haurren irakurtzeko prozesuen ebaluazioa [PROLEC-euskera: evaluación de los procesos lectores de los niños de educación primaria] (E. Goikoetxea, S. Muniozguren & B. Calero, Adapt.). Madrid, España: TEA.         

Dunn, L. & Dunn, L. (1959). Peabody: Test de Vocabulario en Imágenes (S. Pereda, Adapt.). Madrid, España: TEA.         

Federación de Gremios de Editores de España (2007). Hábitos de lectura y compra de libros en España. Madrid, España: Autor. Extraído dehttp://www.federacioneditores.org/0_Resources/Documentos/habitos_lectura_compra_libros.zip

        

Greenway, C. (2002). The process, pitfalls and benefits of implementing a reciprocal teaching intervention to improve the reading comprehension of a group of year 6 pupils. Educational Psychology in Practice, 18, 113-137. doi:10.1080/02667360220144557

        

Hacker, D. J. & Tenent, A. (2002). Implementing reciprocal teaching in the classroom: Overcoming obstacles and making modifications. Journal of Educational Psychology, 94, 699-718. doi:10.1037/0022-0663.94.4.699

        

Johnson-Glenberg, M. C. (2000). Training reading comprehension in adequate decoders/poor comprehenders: Verbal versus visual strategies. Journal of Educational Psychology, 92, 772-782. doi:10.1037/0022-0663.92.4.772

        

Kaufman, A. S. & Kaufman, N. L. (1990). K-BIT: Test Breve de Inteligencia de Kaufman (A. Cordero & I. Calonge, Adapt.). Madrid, España: TEA.         

Kintsch, W. (1998). Comprehension: A paradigm for cognition. New York, NY: Cambridge University Press.         

Kintsch, W. & van Dijk, T. A. (1978). Toward a model of text comprehension and production. Psychological Review, 85, 363-394. doi: 10.1037/0033-295X.85.5.363

        

Leppänen, U., Aunola, K. & Nurmi, J-E. (2005). Beginning readers´ reading performance and reading habits.Journal of Research in Reading, 28, 383-399. doi:10.1111/j.1467-9817.2005.00281.x

        

Marchamalo, J. (2004). El mapa del tesoro. Anuario Sobre el Libro Infantil y Juvenil, 2004, 9-33.         

Marchant, T., Lucchini, G. & Cuadrado, B. (2007). ¿Por qué leer bien es importante?: asociación del dominio lector con otros aprendizajes. Psykhe, 16(2), 3-16. doi:10.4067/S0718-22282007000200001

        

Martín, E. (2008). El papel de la lectura en el sistema educativo. En J. A. Millán (Coord.), La lectura en España Informe 2008: leer para aprender (pp. 123-136). Madrid, España: Fundación Germán Sánchez Ruipérez/Federación de Gremios de Editores de España. Extraído dehttp://www.lalectura.es/2008/informe2008.pdf

        

McKenna, M. C., Kear, D. J. & Ellsworth, R. A. (1995). Children´s attitudes toward reading: A national survey.Reading Research Quarterly, 30, 934-956.         

Meloth, M. S. (1990). The effects of explicit instruction of third-grade low group students´ metacognitive awareness of reading lesson content and their performance on additional measures of reading ability (Tesis de Doctorado). Extraído de la base de datos de ProQuest Dissertations and Theses (UMI Nº 3356090).         

National Reading Panel (2000). Report of the National Reading Panel: Teaching children to read. Washington, DC: National Institute of Child Health and Human Development/National Institutes of Health/U.S. Department of Health and Human Services. Extraído de http://www.nichd.nih.gov/publications/pubs/nrp/Documents/report.pdf

        

Palincsar, A. S. & Brown, A. L. (1984). Reciprocal teaching of comprehension-fostering and comprehension-monitoring activities. Cognition and Instruction, 1, 117-175. doi:10.1207/s1532690xci0102_1

        

Pascual, G. & Goikoetxea, E. (2003). Resumen y formulación de preguntas: efectos sobre la comprensión lectora en niños de primaria. Infancia y Aprendizaje, 26, 439-450. doi:10.1174/021037003322553833

        

Ramos, J. L. & Cuetos, F. (1999). PROLEC-SE: evaluación de los procesos lectores en alumnos de tercer ciclo de educación primaria y secundaria. Madrid, España: TEA.         

Rosenshine, B. & Meister, C. (1994). Reciprocal teaching: A review of the research. Review of Educational Research, 64, 479-530. doi:10.3102/00346543064004479

        

Sánchez, E., García, J. R., De Sixte, R., Castellano, N. & Rosales, J. (2008). El análisis de la práctica educativa y las propuestas instruccionales: integración y enriquecimiento mutuo. Infancia y Aprendizaje, 31, 233-258. doi:10.1174/021037008784132978

        

Soriano, M., Chebaani, F., Soriano, E. & Descals, A. (2011). Enseñanza recíproca y autoobservación del uso de estrategias: efectos sobre la comprensión de textos. Psicothema, 23, 38-43.         

Soriano, M., Vidal-Abarca, E. & Miranda, A. (1996). Comparación de dos procedimientos de instrucción en comprensión y aprendizaje de textos: instrucción directa y enseñanza recíproca. Infancia y Aprendizaje, 19, 57-65. doi:10.1174/021037096763000781

        

Spörer, N., Brunstein, J. C. & Kieschke, U. (2009). Improving students´ reading comprehension skills: Effects of strategy instruction and reciprocal teaching. Learning and Instruction, 19, 272-286. doi:10.1016/j.learninstruc.2008.05.003

        

Vygotsky, L. S. (1991). Obras escogidas III (A. del Río, Trad.). Madrid, España: Visor.         

Zimmerman, B. J. (1998). Academic studying and the development of personal skill: A self-regulatory perspective.Educational Psychologist, 33, 73-86. doi:10.1080/00461520.1998.9653292

        

 

Gema Pascual, Dirección General de Docencia, Universidad Católica de Temuco, Chile; Edurne Goikoetxea,Silvia CorralMarta Ferrero y Visitación Pereda, Facultad de Psicología y Educación, Universidad de Deusto, Bilbao, España.

Gema Pascual pertenece ahora a la Facultad de Psicología y Educación, Universidad de Deusto, Bilbao, España.

La preparación de este manuscrito fue parcialmente apoyada por los Proyectos HU2010-39 e IT363-10 del Departamento de Educación, Universidades e Investigación del Gobierno Vasco.

Las autoras agradecen la entusiasta y confiada colaboración de los profesores y directores de las siguientes escuelas que participaron en el proyecto: Arizko Ikastola (Basauri), Colegio Público Andra-Mari (Getxo), Colegio Público Ángel Ganivet (Vitoria), Colegio Público Antonio Fornés (Vitoria), Colegio Público Artabe (Bilbao), Colegio Público Arteagabeitia (Baracaldo), Colegio Público Cueto (Sestao), Colegio Público Deusto (Bilbao), Colegio Público Félix Serrano (Bilbao), Colegio Público Ortuella (Ortuella), Colegio Público Romo (Getxo), Colegio Público Ruperto Medina (Portugalete), Colegio Público San Inazio (Vitoria), Colegio Público Serantes (Santurce), Colegio Público Txomin Aresti (Leioa), Colegio Público Zurbaranbarri (Bilbao), Colegio Sant George (Leioa), Colegio Ursulinas (Vitoria). Asimismo, agradecen la dedicación y el entusiasmo de los estudiantes universitarios que participaron realizando sus prácticas de licenciatura en este proyecto. Por último, agradecen especialmente la implicación de Herminio Aparicio, Coordinador del Programa de Actividades Complementarias y Extraescolares del Gobierno Vasco.

La correspondencia relativa a este artículo debe ser dirigida a Gema Pascual o Edurne Goikoetxea, Facultad de Psicología y Educación, Universidad de Deusto, Avda. de las Universidades 24, 48007 Bilbao, España. E-mail:gpascual@deusto.es y egoikoetxea@deusto.es, respectivamente.


Artigo original:

http://www.scielo.cl/scielo.php?script=sci_arttext&pid=S0718-22282014000100006&lng=es&nrm=iso&tlng=es

O portal Psiquiatria Infantil.com.br já recebeu

47.741.110 visitantes