Ana Paula Couto Zoltowski; et al
19 de janeiro de 2015
Qualidade metodológica das revisões sistemáticas em periódicos de psicologia brasileiros1
Ana Paula Couto Zoltowski; Angelo Brandelli Costa; Marco Antônio Pereira Teixeira; Silvia Helena Koller
Universidade Federal do Rio Grande do Sul
RESUMO
Buscou-se avaliar a qualidade metodológica das revisões sistemáticas (RS) publicadas em periódicos brasileiros de psicologia. Foi conduzida uma RS nas bases PePSIC e SciELO, usando as palavras-chave: "revisão" e "sistemática". Foram identificados e analisados 33 artigos através do instrumentoAssessment of Multiple Systematic Reviews (AMSTAR). A pontuação média das revisões foi 5,39 (em um escore que podia variar de 0 a 11). Houve diferença de qualidade entre as RS publicadas no SciELO e as que o foram no PePSIC, mas não foi observada diferença conforme o estrato do periódico, segundo o Qualis CAPES. Além disso, não verificou-se incremento na qualidade das publicações de 2001 a 2012. Sugere-se adoção de diretrizes por parte dos periódicos e dos autores de forma a melhorar a qualidade das RS no Brasil.
Palavras-chave: revisão sistemática, metodologia, psicologia.
ABSTRACT
The aim of this study is to measure the methodological quality of systematic reviews (SR) published in Brazilian psychology journals. It was conducted a SR in SciELO and PePSIC databases, using "review" and "systematic" as keywords. 33 articles were identified and analyzed using the Assessment of Multiple Systematic Reviews (AMSTAR). The mean value of quality was 5.39 (SD = 1.91) on a scale ranging from 0 to 11. Using criteria of Qualis CAPES, significant differences were found in the quality of RS published in SciELO compared to those published in PePSIC, but not according to the journal extract. No increase in quality was observed from 2001 to 2012. The adoption of guidelines for publication of SR is suggested, in order to improve their quality in Brazil.
Keywords: systematic review, methodology, quality.
A revisão sistemática (RS) é uma das técnicas mais robustas para avaliação e síntese da literatura em diversos campos de conhecimento. O desenvolvimento dessa metodologia deveu-se, especialmente, à Fundação Cochrane. Instituída em 1992, no Reino Unido, a fundação ajudou a disseminar estudos empregando a revisão sistemática como metodologia de referência para as pesquisas da medicina baseada em evidências (Alderson & Higgins, 2004). De maneira geral, uma revisão sistemática caracteriza-se pela aplicação de estratégias de busca, análise crítica e síntese da literatura de forma organizada, minimizando os vieses. Assim, revisar sistematicamente um problema de pesquisa implica um trabalho reflexivo, não se resumindo a uma apresentação puramente cronológica e/ou descritiva de uma temática (Fernández-Ríos & Buela-Casal, 2009).
Para ter sua validade assegurada, um artigo de RS depende basicamente da sua qualidade metodológica. Revisões de literatura tradicionais costumam adotar uma perspectiva narrativa de linguagem informal e métodos subjetivos de busca e síntese de dados, potencializando assim vieses no processo de revisão. Por outro lado, revisões sistemáticas buscam apresentar um processo formal e controlado, com critérios claros de inclusão e exclusão de estudos, a fim de explicitar aos leitores o caminho metodológico realizado (Akobeng, 2005).
Apesar de se colocar como uma metodologia robusta, nem todas as revisões sistemáticas são realizadas com a mesma qualidade. Os pesquisadores tendem a adotar diferentes métodos e critérios para identificar, analisar e sintetizar os dados, ocasionando assim uma variabilidade na maneira de conduzir uma revisão sistemática (Littell, Corcoran, & Pillai, 2008). Nesse sentido, a qualidade metodológica de uma RS representa o quão bem ela foi conduzida (Jagannath, Mathew, Asokan, & Fedorowicz, 2011). Revisões bem conduzidas aumentam a probabilidade da apresentação de resultados não-enviesados, além de serem um pré-requisito para interpretações e aplicações válidas (Shea et al., 2009).
É possível observar na literatura internacional uma preocupação crescente com a qualidade metodológica de estudos de revisão sistemática, em especial na área da saúde. Salienta-se a presença de mais de 24 instrumentos internacionais para avaliar a qualidade metodológica de revisões sistemáticas (Jagannath et al., 2011). Um dos poucos instrumentos que foram desenvolvidos de forma rigorosa e validada empiricamente é denominado Assessment of Multiple Systematic Reviews (AMSTAR), que tem apresentado boas evidências de validade de construto, concordância entre juízes e fidedignidade (Shea et al., 2009).
Apesar de mais populares e frequentes, as RS apresentam limitações metodológicas importantes. Por exemplo, uma avaliação do método e da qualidade das revisões sistemáticas relacionadas à temática da ortodontia revelou aumento do número de revisões sistemáticas; no entanto, estas tenderam a apresentar limitações quanto à estratégia de busca dos estudos e quanto à análise crítica da qualidade dos estudos incluídos (Papageourgiou, Papadopoulos, & Athanasiou, 2011). Resultados parecidos com este foram encontrados em uma avaliação das RS na área da Medicina Veterinária, indicando poucos estudos com alta qualidade metodológica (Faggion Jr., Listl, & Giannakopoulos, 2012). Soma-se a isso a constatação de que, com o passar dos anos, as RS não têm apresentado um aprimoramento significativo de qualidade que acompanhe a crescente quantidade de publicações (MacDonald, Canfield, Fesperman, & Dahm, 2010).
No Brasil, há publicações que trazem diretrizes para a realização de RS, além da apresentação de elementos importantes para a sua análise crítica (Berwanger, Suzumura, Buehler, & Oliveira, 2007; Galvão, Sawada, & Trevizan, 2004; Sampaio & Mancini, 2007). Mesmo que exista essa preocupação em orientar os autores quanto a como realizar uma revisão adequada, a avaliação da qualidade metodológica dos artigos de RS já publicados no Brasil ainda é um campo incipiente.
Um estudo buscou avaliar a apresentação textual de RS em fisioterapia publicadas em português (Padula et al., 2012). Foi adotado o instrumento Prefered Reporting Items for Systematic Reviews and Meta-Analysis (PRISMA) composto por 27 itens-guia sobre informações que devem ser claramente descritas no artigo (Liberati et al., 2009). O PRISMA é utilizado para avaliar as características de redação do estudo e não necessariamente sua qualidade metodológica. Dessa forma, os resultados apontaram que a maioria dos artigos analisados não aderiu aos critérios preconizados pelo PRISMA, indicando relatos pouco completos e transparentes. Partindo de uma preocupação semelhante, Shütz, Sant'Ana, e Santos (2011) buscaram verificar as políticas editoriais, quantificar e classificar as revisões brasileiras produzidas na área da Educação Física. Os resultados apontaram que a maioria dos artigos de revisão analisados era do tipo narrativo, sendo os artigos de RS em menor número. Entretanto, independente se narrativo ou sistemático, observou-se uma falta de normas editoriais formuladas especificamente para artigos de revisão. Tal constatação poderia resultar em queda na qualidade das publicações, visto que, muitas vezes, os critérios de análise, principalmente das revisões narrativas, são inexistentes.
Na Psicologia não foram encontrados estudos que avaliassem a qualidade do processo metodológico empregado nas RS produzidas na área, tanto no Brasil como internacionalmente. Dessa forma, o objetivo desse estudo foi mensurar a qualidade metodológica das revisões sistemáticas publicadas em periódicos brasileiros de psicologia. Especificamente, buscou-se avaliar diferenças quanto à qualidade dos artigos entre as bases de dados PePSIC e SciELO e estratos diferentes do Qualis da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), utilizando o instrumento Assessment of Multiple Systematic Reviews (AMSTAR).
Método
Trata-se de uma revisão sistemática de estudos de RS publicados em periódicos brasileiros indexados da área de psicologia.
Procedimento
Para identificar os estudos de revisão sistemática na área da psicologia no contexto brasileiro, dois juízes independentes conduziram uma revisão sistemática nas bases PePSIC (Periódicos eletrônicos em Psicologia) e SciELO (Scientific Electronic Library Online) em setembro de 2012, sem restrição de data. A base PePSIC engloba periódicos pertencentes à Psicologia e áreas afins, com artigos completos e de acesso gratuito. Já a base SciELO caracteriza-se como uma biblioteca eletrônica composta por periódicos científicos do Brasil, da América Latina e do Caribe, sendo uma base multidisciplinar. Possui textos completos e de acesso gratuito. As bases de dados acima citadas foram escolhidas por integrarem quase a totalidade da produção psicológica indexada do país.
A busca nas bases foi realizada em todos os campos utilizando a string "revisão AND sistemática". A seleção inicial resultou em 61 artigos, conforme indicado na Figura 1. Os resumos desses estudos foram analisados de acordo com os seguintes critérios de inclusão: a) ser uma revisão sistemática (autodenominada); b) ser um artigo completo; c) estar publicado em um periódico indexado na área da psicologia. Todos os periódicos indexados no PePSIC foram considerados pertinentes, pois esta é uma base específica da área da psicologia. Quanto ao SciELO, apenas os periódicos da área ciências humanas foram incluídos, uma vez que os periódicos da psicologia estão agrupados na base sob essa designação. Doze artigos não atenderam aos critérios de inclusão.
Os 49 artigos restantes foram analisados de acordo com os seguintes critérios de exclusão: a) periódico não ser brasileiro; b) periódico ser interdisciplinar ou sem foco na área psicológica. O site de cada periódico foi consultado para que se estabelecesse o seu foco de publicação. Dezesseis foram excluídos por se enquadrarem nesses critérios. Dados os critérios de inclusão e exclusão, 33 artigos foram identificados como relevantes. Não houve artigos duplicados entre as bases. Os dados desses artigos foram extraídos em uma planilha que incluía nome do estudo, ano de publicação, base proveniente, periódico de publicação e seu respectivo estrato de acordo com o Qualis CAPES 2012. Posteriormente, os estudos selecionados foram analisados por dois juízes independentes quanto a sua qualidade utilizando o instrumento Assessment of Multiple Systematic Reviews (AMSTAR) (Shea, et al., 2007; Shea, et al., 2009).
Instrumento
AMSTAR é um instrumento de avaliação da qualidade de revisões sistemáticas. AMSTAR foi construído a partir da análise e da atualização de outros instrumentos, empiricamente validado, além de ser genérico, ou seja, se presta a avaliar RS de todas as áreas (Shea et al., 2009). Em sua primeira versão o instrumento possuía 37 itens e, a partir de uma análise fatorial, 29 itens foram selecionados, compreendendo 11 fatores. A versão final da escala foi composta pelo item que mais carregou em cada fator. Os itens compreendem requisitos mínimos de uma revisão sistemática: 1) O desenho da revisão foi apresentado a priori? 2) Havia duplicação na extração de dados e seleção dos estudos? 3) Uma busca compreensiva nas bases de dados foi realizada? 4) O status da publicação (por exemplo, teses e dissertações, capítulos de livro, etc.) foi utilizado como critério de inclusão? 5) Foi fornecida uma lista dos estudos incluídos e excluídos? 6) Foram fornecidas as características dos estudos incluídos? 7) A qualidade dos estudos incluídos foi avaliada e documentada? 8) A qualidade dos estudos incluídos foi utilizada apropriadamente nas conclusões? 9) Os métodos utilizados para agrupar os achados dos estudos incluídos foram apropriados? 10) O viés de publicação foi avaliado? 11) O conflito de interesse foi descrito?
Para cada item do instrumento, há duas opções de resposta: a) "sim", caso a revisão contemple explicitamente o critério; b) "não", caso não contemple. Para cada resposta "sim", aplica-se um ponto. (Faggion et al., 2012).
Análise dos dados
A avaliação dos artigos foi realizada por dois juízes independentes. Na comparação dos resultados, em caso de divergência, buscou-se o consenso. Foram realizadas estatísticas descritivas analisando o número de publicações e a qualidade dos artigos por ano de publicação, estrato, periódico, por item do AMSTAR e base. A qualidade de cada artigo foi expressa pela soma dos itens do instrumento. Foram realizados testes t para estabelecer a diferença de qualidade entre as bases de dados e entre agrupamentos de estratos do Qualis (estratos A e B) e para a diferença da qualidade por base (SciELO e PePSIC). Além disso, foi realizado um test t para verificar diferenças de qualidade por data de publicação (períodos 2001-2006 e 2007-2011). Consideraram-se significativas as diferenças obtidas com p < 0,05.
Resultados
A qualidade média das RS revisadas foi de 5,39 (DP=1,91), com um intervalo de confiança de 95% entre 4,71 e 6,07. Dessa forma, pode-se afirmar que a qualidade das RS publicadas em periódicos brasileiros da área da psicologia é média considerando o escore máximo do instrumento (11 pontos), mesmo levando-se em consideração o intervalo de confiança. A Tabela 1 exibe os resultados das análises por itens. É possível perceber que nenhum dos itens obteve o maior escore possível (33 pontos).
Embora haja uma tendência de crescimento no número de publicações de RS em periódicos da psicologia, esta não foi acompanhada por um incremento na qualidade (ver Tabela 2). Uma análise comparando o período 2001-2006 com o período 2007-2011 mostrou não haver diferença estatisticamente significativa nas pontuações médias, t(29) = 0,77, p = 0,45. Nesta análise, optou-se por excluir o ano de 2012 por tratar-se de ano corrente, no qual ainda podem ser publicadas outras revisões.
Por outro lado, verificou-se uma diferença significativa entre as bases PePSIC, com média de 4,63 (DP=1,89), e SciELO, com média de 6,12 (DP=1,69), quanto à qualidade das RS publicadas, t(31) = 2,39, p = 0,023, d = 0,86. Uma comparação da qualidade média das revisões publicadas em periódicos A e B (conforme o Qualis CAPES) indicou existir diferença entre os estratos em favor do estrato A, embora o nível de significância observado seja um pouco superior ao critério tradicional de 5%, mas ainda inferior a 10%, t(31) = 1,81, p = 0,080 (Tabela 3). Uma análise do tamanho do efeito mostrou que a diferença observada pode ser considerada moderada (d = 0,66), o que sugere que as revistas do estrato A vêm publicando revisões de melhor qualidade do que as do estrato B.
Discussão
De forma geral, a qualidade das revisões sistemáticas publicadas na área da Psicologia no Brasil foi avaliada como média, sendo que nenhum periódico, assim como nenhum estrato do Qualis, foi avaliado com a pontuação mais alta. Tal avaliação pode ser vista como preocupante, visto que o incremento da quantidade de RS publicadas não tem sido acompanhado pelo aumento na sua qualidade metodológica. Mais preocupante ainda é averiguar que os itens do AMSTAR, instrumento utilizado neste estudo, são requisitos mínimos para a escrita de uma boa revisão sistemática.
Nenhum dos estudos revisados utilizou meta-análise como forma de agrupamento dos resultados, uma vez que a maioria das revisões retratou os resultados de forma narrativa. Mais do que apenas descrever os resultados, é importante que as futuras revisões sistemáticas utilizem formas mais robustas de análise, como testes estatísticos, instrumentos ou técnicas qualitativas consagradas na literatura (meta-análise, análises de discurso e de conteúdo, etc). Além disso, apenas 57,6% dos estudos levaram em consideração o poder dos delineamentos na análise de dados. Nesse sentido, ressalta-se que em algumas RS o tipo de delineamento (transversal, experimental, estudo de caso, etc.) foi confundido com pesquisa qualitativa e quantitativa, indicando uma dificuldade conceitual sobre metodologias de pesquisa.
Ao analisar a pontuação total por item do instrumento, observa-se que os itens 2, 10 e 11 foram os que menos pontuaram. O item 2 descreve a necessidade da presença de, no mínimo, dois juízes extratores dos dados, além da descrição de um procedimento consensual em caso de discordância entre ambos. Este item coloca-se como de especial importância no processo de realização de uma revisão sistemática, visto que a presença de mais de um juiz busca minimizar o viés da busca e da seleção dos estudos que farão parte do banco de dados (Akobeng, 2005). Por sua vez, o item 10 aponta para a avaliação do viés de publicação. Como há maior probabilidade de submissão e publicação de estudos com resultados estatisticamente significativos, em detrimento de estudos sem resultados significativos, uma RS deve levar em conta esse viés de publicação (Easterbook, Berlin, Gopalan, & Mattews, 1991). Em especial no caso de meta-análise, testes estatísticos ou gráficos podem ser utilizados para verificação desse viés. Em RS que relatam narrativamente os resultados, deve-se atentar para esse viés antes de buscar a generalização do resultado. Dessa forma, é importante que os autores considerem não apenas a estratégia de busca e de análise dos artigos, mas que avaliem criticamente sua revisão e descrevam as limitações inerentes.
Por fim, dos itens menos pontuados, encontra-se o item 11, caracterizado pela descrição do conflito de interesses, isto é, as fontes de financiamento e de suporte da pesquisa. Financiamentos diretos ou indiretos (por exemplo, bolsas de mestrado ou doutorado) devem ser apontados. Em estudos na área da saúde, principalmente envolvendo pesquisas sobre fármacos, a descrição do conflito de interesses é uma prática já estabelecida. Goldin (2006) afirmou que é de fundamental importância a clareza da relação entre pesquisadores, instituições de pesquisa, patrocinadores e órgãos reguladores, a fim de analisar a adequação ética e metodológica dos estudos para que não se perca a sua credibilidade científica.
Por outro lado, os itens mais citados relacionaram-se à descrição clara da pergunta de pesquisa e dos critérios de inclusão (item 1); a uma busca compreensiva nas bases de dados, isto é, a utilização de, no mínimo, duas bases de dados, além da inclusão dos anos pesquisados, palavras-chave e estratégia de busca (item 3); e à apresentação integrada das características dos estudos incluídos, como em uma tabela contendo informações como participantes, instrumentos, resultados etc. (item 6). No entanto, embora tenham alcançado maior pontuação entre os estudos selecionados, ressalta-se que muitos artigos não pontuaram nesses itens, considerados essenciais.
Na análise entre as bases PePSIC e SciELO, encontraram-se diferenças significativas na qualidade das RS publicadas, sendo que os artigos do SciELO demonstraram maior qualidade metodológica. Este resultado pode ser explicado pela adoção de critérios mais rigorosos do SciELO2 para admissão e permanência dos periódicos científicos na biblioteca do que a base PePSIC, levando à integração de periódicos de maior qualidade. Até o momento, SciELO e PePSIC organizam-se de forma diferenciada, sendo uma, seletiva e a outra, inclusiva. Além disso, observa-se que todos os periódicos que compuseram o banco de dados do SciELO fazem parte dos estratos A1 e A2 do Qualis da CAPES. Em conformidade com este resultado, verificou-se ainda uma tendência de diferença na qualidade média das RS quando foram comparados os estratos A e B das revistas. De acordo com o que se esperaria, as publicações do estrato A apresentaram escores mais elevados do que as do estrato B. Embora o nível de significância tenha sido um pouco acima do usual, o tamanho do efeito sugere que os estratos apresentam alguma diferenciação na qualidade das RS publicadas. Porém, deve-se considerar que a diferença pontual entre os estratos A e B foi de apenas 1,2 pontos, o que não parece representar uma distinção qualitativa marcante considerando-se que a escala pode variar de 0 a 11 pontos. Ou seja, ainda que as revistas do estrato A tendam a publicar RS de melhor qualidade do que as do estrato B, tal diferença não chega a ser muito expressiva, sendo que em ambos os casos a qualidade pode ser considerada no máximo razoável (em nenhum estrato a média chegou a 6). Por um lado, esse resultado reflete a falta de políticas editoriais claras para a publicação desse tipo de estudo. Por outro, o baixo escore alcançado em ambos os estratos, bem como a sua pequena diferenciação, pode sugerir tanto que as revistas são, de maneira geral, de nível equivalente, quanto que os critérios de classificação do Qualis podem não ser suficientemente discriminativos.
Nesse sentido, é recomendável que o corpo editorial dos periódicos integre às diretrizes de publicação dos artigos critérios mínimos para a realização de estudos de RS (Padula et al., 2012). A falta de tais indicadores não é exclusividade de estudos de revisão sistemática, já que a ausência de normas tem sido verificada também em estudos de revisão narrativa (Shütz et al., 2011). Dessa forma, parte-se do pressuposto que os pesquisadores sabem a priori como realizar estudos de revisão, o que leva a uma variabilidade na sua condução e escrita. Aliado a isso, corre-se o risco de tanto editores quanto pareceristas adotarem critérios subjetivos para avaliar a qualidade dos manuscritos recebidos. A adoção de critérios específicos e empiricamente válidos pode minimizar as dificuldades de escrita e de avaliação dos artigos.
Considerações finais
Sabe-se que a escrita de uma revisão sistemática envolve muitos desafios, especialmente no campo da psicologia, uma vez que nas ciências sociais e humanas não há uma tradição (presente nas ciências biomédicas, das quais essa metodologia de pesquisa é derivada) nessa prática. Contudo, sua importância é crucial, já que é uma ferramenta que auxilia a organizar, analisar criticamente e sintetizar resultados presentes na literatura, integrando o panorama da produção científica em uma determinada área. Dessa forma, a partir dos itens componentes do instrumento AMSTAR, sugere-se os pontos a seguir a fim de fomentar a produção de um artigo de revisão sistemática de qualidade:
a) Definição e clareza a priori da pergunta de pesquisa e dos critérios de inclusão dos estudos;
b) Busca e extração dos artigos por, pelo menos, dois juízes independentes. Informações sobre concordância ou consenso devem ser fornecidas;
c) Utilização de, ao menos, duas fontes de dados (bases eletrônicas) e descrição da data da busca e das palavras-chave;
d) Descrição dos critérios de inclusão e de exclusão, em especial a opção por incluir ou não teses, dissertações, capítulos de livro ou artigos de idiomas específicos;
e) Apresentação de uma lista (ou figura) indicando o número de artigos incluídos, excluídos e os critérios que foram levados em consideração;
f) Descrição das características dos estudos incluídos (por exemplo, em uma tabela), como participantes, ano de publicação, idade, sexo, desfechos, etc.;
g) Avaliação da qualidade dos estudos, ou seja, análise do poder de delineamento, das limitações metodológicas etc.;
h) Levar em conta a qualidade dos estudos revistos ao generalizar as conclusões;
i) Avaliação da viabilidade de se integrar estudos que, por suas características metodológicas, podem não ser comparáveis;
j) Utilização de alguma ferramenta (estatística ou narrativa) para análise dos dados;
k) Considerar os possíveis vieses na condução da RS e da sua publicação;
l) Descrição explícita dos possíveis conflitos de interesses;
m) Utilização no resumo de palavras-chave indexadas em Thesaurus para facilitar a difusão e localização da RS.
Por fim, é necessário ponderar sobre algumas das limitações deste estudo. A busca pelas RS restringiu-se a duas bases de dados, além de focar em periódicos específicos da psicologia. Sabe-se que nem todas as RS produzidas no âmbito da psicologia encontram-se em periódicos exclusivos da área; sendo assim, estudos potencialmente relevantes não fizeram parte da amostra avaliada. Nesse sentido, mesmo que tenham sido pesquisadas "revisão" e "sistemática" como palavras-chave em todos os campos, é possível que RS não tenham sido encontradas, visto que nem sempre esta informação está explicitamente colocada no texto e no resumo. Além do mais, a quantidade de artigos analisados foi relativamente baixa, dificultando o uso de testes estatísticos mais sofisticados. Contudo, foi possível descrever o panorama das revisões sistemáticas em psicologia no país através de uma amostra considerada representativa, possibilitando que se discuta a emergência de indicadores de escrita e de avaliação para esse tipo de publicação.
Referências
Akobeng, A. K. (2005). Understanding systematic reviews and meta-analysis. Archives of Disease in Childhood, 90, 845-848. http://dx.doi:10.1136/adc.2004.058230
Alderson, P., & Higgins, J. (2004). Cochrane Reviewers' Handbook 4.2.2. Chichester, UK: John Wiley & Sons, Inc.
Berwanger, O., Suzumura, E.A., Buehler, A. M., & Oliveira, J. B. (2007). Como avaliar criticamente revisões sistemáticas e metanálises? Revista Brasileira de Terapia Intensiva, 19(4),475-480.
Easterbrook, P. J., Berlin, J. A., Gopalan, R., & Matthews, D. R. (1991). Publication bias in clinical research.Lancet, 337, 867-872. http://dx.doi.org/10.1016/0140-6736(91)90201-Y
Faggion, C. M., Listl, S., & Giannakopoulos, N. N. (2012). The methodological quality of systematic reviews of animal studies in dentistry. The Veterinary Journal, 48, 140-147.http://dx.doi.org/10.1016/j.tvjl.2011.08.006
Fernández-Ríos, L., & Buela-Casal, G. (2009). Standards for the preparation and writing of Psychology review articles. International Journal of Clinical and Health Psychology, 9, 329-344.
Galvão, C. M., Sawada, N. O., & Trevizan, M. A. (2004). Revisão sistemática: recurso que proporciona a incorporação das evidências na prática da enfermagem. Revista Latino-americana de Enfermagem, 12(3), 549-556. http://dx.doi.org/10.1590/S0104-11692010000400023
Goldin, J. R. (2006). Conflitos de interesse e suas repercussões na ciência. Revista Brasileira de Psiquiatria, 28(1), 3-4. http://dx.doi.org/10.1590/S1516-44462006000100002
Jagannath, V., Mathew, J. L., Asokan, G. V., & Fedorowicz, Z. (2011). Quality assessment of systematic reviews of health care interventions using AMSTAR. Indian Pediatrics, 48, 383-385. http://dx.doi.org/10.1007/s13312-011-0080-3
Liberati, A., Altman, D. G., Tetzlaff, J., Mulrow, C., Gotzsche, P. C., Ioannidis, J. P. A., & Moher, D. (2009). The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: explanation and elaboration. PLOS Medicine, 6(7), e1000100.http://dx.doi.org/10.1136/bmj.b2700
Littell, J. H., Corcoran, J., & Pillai, V. (2008). Systematic reviews and meta-analysis. New York: Oxford University Press.
MacDonald, S. L., Canfield, S. E., Fesperman, S. F., & Dahm, P. (2010). Assessment of methodological quality of systematic reviews published in the urological literature from 1998 to 2008. The Journal of Urology, 184, 648-653.http://dx.doi.org /10.1016/j.juro.2010.03.12
Padula, R. S., Pires, R. S., Alouche, S. R., Chiavegato, L. D., Lopes, A. D., & Costa, L. O. P. (2012). Análise da apresentação textual de revisões sistemáticas em fisioterapia publicadas no idioma português. Revista Brasileira de Fisioterapia, 16(4), 281-288. http://dx.doi.org/10.1590/S1413-35552012005000040
Papageorgiou, S., Papadopoulos, M., & Athanasiou, A. (2011). Evaluation of methodology and quality characteristics of systematic reviews in orthodontics. Orthodontics & Craniofacial Research, 14, 116-137.http://dx.doi:10.1111/j.1601-6343.2011.01522.x
Sampaio, R. F., & Mancini, M. C. (2007). Estudos de revisão sistemática: um guia para síntese criteriosa da evidência científica. Revista Brasileira de Fisioterapia, 11(1), 83-89. http://dx.doi.org/10.1590/S0104-11692004000300014
Schutz, G., Sant'ana, A., & Santos, S. (2011). Política de periódicos nacionais em Educação Física para estudos de revisão/sistemática. Revista Brasileira de Cineantropometria & Desempenho Humano, 13, 313-319.http://dx.doi.org/10.5007/1980-0037.2011v13n4p313
Shea, B. J., Grimshaw, J. M., Wells, G. A., Boers, M., Andersson, N., Hamel, C., ... Bouter, L. M. (2007). Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Medical Research Methodology, 7(10). http://dx.doi.org/10.1186/1471-2288-7-10
Shea, B. J., Hamel, C., Wells, G. A., Bouter, L. M., Kristjansson, E., Grimshaw, J., ... Boers, M. (2009). AMSTAR is a reliable and valid measurement tool to assess the methodological quality of systematic reviews. Journal of Clinical Epidemiology, 62, 1013-1020. http://dx.doi.org/10.1016/j.jclinepi.2008.10.009
Endereço para correspondência:
Ana Paula Couto Zoltowski
Universidade Federal do Rio Grande do Sul
Rua Ramiro Barcelos, 2600, Porto Alegre, RS
CEP 90035-003
E-mail: ana_zoltowski@yahoo.com.br
1 Apoio: CAPES.
2 http://www.scielo.br/avaliacao/criterio/scielo_brasil_pt.htm
Apêndice: Referências revisadas
Aliane, P. P., Mamede, M. V., & Furtado, E. F. (2011). Revisão sistemática sobre fatores de risco associados à depressão pós-parto. Psicologia em Pesquisa, 5(2), 146-155.
Andrade, T. M. R., & Argimon, I. I. L. (2008). Sintomas depressivos e uso de Cannabis em adolescentes.Psicologia em Estudo, 13(3), 567-573. http://dx.doi.org/10.1590/S1413-73722008000300018
Baptista, M. N., Rueda, F. J. M., Castro, N. R., Gomes, J. O., & Silva, M. A. (2011). Análise de artigos sobre avaliação psicológica no contexto do trabalho: revisão sistemática. Psicologia em Pesquisa, 5(2), 156-167.
Barbosa, G. C., Melchiori, L. E., & Neme, C. M. B. (2011). Morte, família e a compreensão fenomenológica: revisão sistemática de literatura. Psicologia em Revista (Belo Horizonte), 17(3), 363-377.
Burato, K. R. S., Crippa, J. A. S., & Loureiro, S. R. (2009). Transtorno de ansiedade social e comportamentos de evitação e de segurança: uma revisão sistemática. Estudos de Psicologia (Natal), 14(2), 167-174.http://dx.doi.org/10.1590/S1413-294X2009000200010
Calvoso, G. G., Calvoso Junior, R., Reis, A. O. A., & Aldrighi, J. M. (2008). Prevalência de sintomas depressivos na perimenopausa. Revista Brasileira de Crescimento e Desenvolvimento Humano, 18(3), 339-345.
Cia, F., Williams, L. C. A., & Aiello, A. L. R. (2005). Influências paternas no desenvolvimento infantil: revisão da literatura. Psicologia Escolar e Educacional, 9(2), 225-233.
Coronel, M. K., & Werlang, B. S. G. (2010). Resolução de problemas e tentativa de suicídio: revisão sistemática.Revista Brasileira de Terapias Cognitivas, 6(2), 58-79.
Dias, A. M. (2010). Modelos e análises computacionais em neurociências: revisão sistemática. Estudos e Pesquisas em Psicologia, 10(2), 530-552.
Dias, A. M. (2010). Tendências do neurofeedback em psicologia: revisão sistemática. Psicologia em Estudo, 15(4), 811-820. http://dx.doi.org/10.1590/S1413-73722010000400017
Dias, A. M. (2010). Tendências em arquiteturas cognitivas. Arquivos Brasileiros de Psicologia, 62(1), 35-48.
Duarte, A. L. C., Nunes, M. L. T., & Kristensen, C. H. (2008). Esquemas desadaptativos: revisão sistemática qualitativa. Revista Brasileira de Terapias Cognitivas, 4(1).
Fávero, M. A. B., & Santos, M. A. (2005). Autismo infantil e estresse familiar: uma revisão sistemática da literatura. Psicologia: Reflexão e Crítica, 18(3), 358-369. http://dx.doi.org/10.1590/S0102-79722005000300010
Freire, S. D., & Oliveira, M. S. (2011). Auto-eficácia para abstinência e tentação para uso de drogas ilícitas: uma revisão sistemática. Psicologia: Teoria e Pesquisa, 27(4), 527-536. http://dx.doi.org/10.1590/S0102-37722011000400018
Gross, C., & Teodoro, M. L. M. (2009). A cobrança dos honorários na prática clínica por psicoterapeutas: uma revisão de literatura. Aletheia, 29, 117-128.
Henn, C. G., & Sifuentes, M. (2012). Paternidade no contexto das necessidades especiais: revisão sistemática da literatura. Paidéia (Ribeirão Preto), 22(51), 131-139. http://dx.doi.org/10.1590/S0103-863X2012000100015
Klein, V. C., & Linhares, M. B. M. (2006). Prematuridade e interação mãe-criança: revisão sistemática da literatura. Psicologia em Estudo, 11(2), 277-284. http://dx.doi.org/10.1590/S1413-73722006000200006
Klein, V. C., & Linhares, M. B. M. (2010). Temperamento e desenvolvimento da criança: revisão sistemática da literatura. Psicologia em Estudo, 15(4), 821-829. http://dx.doi.org/10.1590/S1413-73722010000400018
Kohlsdorf, M. (2010). Aspectos psicossociais no câncer pediátrico: estudo sobre literatura brasileira publicada entre 2000 e 2009. Psicologia em Revista (Belo Horizonte), 16(2), 271-294.
Lago, V. M., Amaral, C. E. S., Bosa, C. A., & Bandeira, D. R. (2010). Instrumentos que avaliam a relação entre pais e filhos. Revista Brasileira de Crescimento e Desenvolvimento Humano, 20(2), 330-341.
Levandowski, D. C. (2001). Paternidade na adolescência: uma breve revisão da literatura internacional. Estudos de Psicologia (Natal), 6(2), 195-209. http://dx.doi.org/10.1590/S1413-294X2001000200007
Munhoz, I. M. S., & Melo-Silva, L. L. (2011). Educação para a Carreira: concepções, desenvolvimento e possibilidades no contexto brasileiro. Revista Brasileira de Orientação Profissional, 12(1), 37-48.
Murta, S. G. (2005). Programas de manejo de estresse ocupacional: uma revisão sistemática da literatura. Revista Brasileira de Terapia Comportamental e Cognitiva, 7(2), 159-177.
Nunes, S. A. N., Faraco, A. M., & Vieira, M. L. (2012). Correlatos e consequências do retraimento social na infância. Arquivos Brasileiros de Psicologia, 64(1), 122-138.
Paiva, F. S., & Ronzani, T. M. (2009). Estilos parentais e consumo de drogas entre adolescentes: revisão sistemática. Psicologia em Estudo, 14(1), 177-183. http://dx.doi.org/10.1590/S1413-73722009000100021
Peres, R. S., & Santos, M. A. (2006). Relações entre a personalidade dos pacientes e a sobrevivência após o transplante de medula óssea: revisão da literatura. Psicologia em Estudo, 11(2), 341-349.http://dx.doi.org/10.1590/S1413-73722006000200013
Peres, R. S., & Santos, M. A. (2009). Personalidade e câncer de mama: produção científica em Psico-Oncologia.Psicologia: Teoria e Pesquisa, 25(4), 611-620. http://dx.doi.org/10.1590/S0102-37722009000400017
Pimentel, D., Araujo, M. G., & Vieira, M. J. (2009). Final de análise: uma revisão sistemática da literatura. Estudos de Psicanálise, 32, 51-70.
Ribas Jr., R. C., Moura, M. L. S., Soares, I. D., Gomes, A. A. N., & Bornstein, M. H. (2003). Socioeconomic status in Brazilian psychological research: I. validity, measurement, and application. Estudos de Psicologia (Natal), 8(3), 375-383. http://dx.doi.org/10.1590/S1413-294X2003000300004
Santos, M. M. R., & Araujo, T. C. C. F. (2008). Estudos e pesquisas sobre a intersexualidade: uma análise sistemática da literatura especializada. Psicologia: Reflexão e Crítica, 21(2), 267-274.http://dx.doi.org/10.1590/S0102-79722008000200012
Saraiva, L. A., & Nunes, M. L. T. (2007). A supervisão na formação do analista e do psicoterapeuta psicanalítico.Estudos de Psicologia (Natal), 12(3), 259-268. http://dx.doi.org/10.1590/S1413-294X2007000300008
Silveira, P. S., Martins, L. F., Soares, R. G., Gomide, H. P., & Ronzani, T. M. (2011). Revisão sistemática da literatura sobre estigma social e alcoolismo. Estudos de Psicologia (Natal), 16(2), 131-138.http://dx.doi.org/10.1590/S1413-294X2011000200003
Soares, R. G., Nery, F. C., Silveira, P. S., Noto, A. R., & Ronzani, T. M. (2011). A mensuração do estigma internalizado: revisão sistemática da literatura. Psicologia em Estudo, 16(4), 635-645.http://dx.doi.org/10.1590/S1413-73722011000400014
