Revista: Atlante. Cuadernos de Educación y Desarrollo
ISSN: 1989-4155

---

AVALIAÇÕES DE SISTEMAS EDUCACIONAIS NO BRASIL: ¿O QUE AS PESQUISAS INDICAM?

---

1 INTRODUÇÃO
Este artigo refere-se a um levantamento, do tipo “estado da arte”, das teses e dissertações que versam sobre as Avaliações de Sistemas, publicadas no período de 2006 a 2013, no Banco de Teses da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e da Biblioteca Digital Brasileira de Teses e Dissertações (BDTD).
A avaliação de sistema, a qual nos reportaremos, também denominada como avaliação de monitoramento, sistema de avaliação e avaliação em larga escala, é aquela que se destina às aferições realizadas pelo sistema educacional e, quando se trata das avaliações realizadas pelo poder público sobre o seu sistema de ensino, o termo mais utilizado é avaliação de sistema (BAUER, 2006, p.14).
Paralelamente às avaliações de sistemas realizadas no Brasil, também ocorrem, em muitos estados e municípios, avaliações organizadas no nível regional e local.
No presente trabalho daremos ênfase às avaliações de sistema no nível nacional, sejam, o Sistema de Avaliação da Educação Básica (SAEB), o Exame Nacional de Desempenho dos Estudantes (ENADE), que compõe o Sistema Nacional de Avaliação da Educação Superior (SINAES), o Exame Nacional do Ensino Médio (ENEM) e o Programa Internacional de Avaliação dos Estudantes (PISA). Com o objetivo de apresentar alguns indicativos das pesquisas brasileiras sobre a avaliação de sistema em teses e dissertações, realizamos a leitura dos títulos e resumos. Posteriormente, realizamos a busca dos trabalhos na íntegra, com a leitura das considerações finais/conclusões e, em algumas situações, realizamos ainda, a leitura da introdução dos trabalhos, visando destacar os indicativos e apontamentos que contribuam para a reflexão acerca das avaliações de sistemas.

2 AVALIAÇÃO DE SISTEMA NO BRASIL
Inicialmente, faremos um breve histórico sobre as avaliações de sistema no contexto nacional, adentrando posteriormente, às especificidades apontadas para os diferentes níveis da educação e das avaliações que os envolvem. Horta Neto (2007), ao realizar uma retrospectiva sobre as avaliações externas no Brasil, destaca os acontecimentos nacionais e as influências internacionais, desde o início do século XX até 2005, com as avaliações do Sistema de Avaliação da Educação Básica (SAEB).
Porém, podemos perceber que é a partir da década de 1960 que se intensificam os esforços rumo à construção de um sistema nacional de avaliação em larga escala. Dentre os vários aspectos ligados à avaliação, o referido autor destaca que, as primeiras alusões legais ao termo “qualidade da educação” se apresentam na LDB 4.024/61. Salienta que: “[...] a associação entre qualidade e os índices de produtividade do ensino, [...] só começariam a ganhar relevância no mundo todo a partir da década de 1980 na onda das reformas neoliberais” (HORTA NETO, 2007, p.2). No Brasil, o termo voltou a ser referenciado legalmente, somente na constituição de 1988. Já a LDB 9394/96, refere-se à coleta de informações e à avaliação com o objetivo de atuar sobre a qualidade de ensino. O autor conclui: “a institucionalização da avaliação como política de Estado é fruto de longo processo de estudo e experiências concretas tanto no Brasil quanto em outros países” (HORTA NETO, 2007, p.11).
Gatti (2009, p.8) corrobora destacando que a década de 1960 foi o período em que “surgiu fortemente a preocupação específica com processos avaliativos escolares”. Salienta-se que muitos profissionais receberam formação sobre o tema, inclusive alguns no exterior. Para Vianna (1978, p.69), os testes objetivos de escolaridade adquiriram significado e passaram a exercer influência na educação brasileira, a partir de meados da década de 1960. Até aquele período, existiam algumas experiências isoladas, realizadas com influência da literatura pedagógica norte-americana. Conforme Gatti (2009), a criação do Centro de Estudos de Testes e Pesquisas Psicológicas na Fundação Getúlio Vargas em 1966, que passou a desenvolver testes educacionais com elaboração de conjunto de provas objetivas de várias áreas, incluindo questionários socioeconômicos e sobre as aspirações dos alunos dos últimos anos do ensino médio, talvez tenha sido a primeira iniciativa brasileira de verificar e relacionar a aquisição do conhecimento a vários fatores externos ao ambiente escolar.
Ainda, conforme Gatti (2009), em meados da década de 1970, outra experiência com avaliação mais abrangente foi realizada, envolvendo no estudo o Brasil e outros países da América Latina, quando os alunos responderam aos exames com ênfase à compreensão de leitura e de ciências e questionários para coleta de dados e desta vez, envolvendo também, professores, diretores e escolas para responderem questionários. Reafirma, porém que, somente ao final da década de 1980 é que se retomam as preocupações com relação às avaliações no nível nacional.
Com a Constituição Federal do Brasil de 1988, volta a ser destaque o termo “qualidade” para a educação: devendo ser ministrada com base em sete princípios, dentre eles, “a garantia do padrão de qualidade” (HORTA NETO, 2007, p.2). A partir da Conferência em Educação para Todos, em Jontien na Tailândia, em 1990, a avaliação ganha relevância como política de Estado em todo o mundo. Ao buscarmos a Lei 9394/96, em seu artigo 9, inciso VI, verificamos que ela estabelece que: “é dever da União assegurar processo nacional de avaliação do rendimento escolar no ensino fundamental, médio e superior, em colaboração com os sistemas de ensino, objetivando a definição de prioridades e a melhoria da qualidade do ensino” (BRASIL, 2015, s/p).
O Brasil, além de participar do Programa Internacional de Avaliação dos Estudantes (PISA), que estabelece comparações entre os resultados apresentados por estudantes de cerca de 60 países, visando atender a legislação vigente, realiza avaliações nacionais, sendo: a) Sistema Nacional de Avaliação da Educação Superior (SINAES), formado por três componentes principais: a avaliação das instituições, dos cursos e do desempenho dos estudantes; b) Exame Nacional do Ensino Médio (ENEM) criado com o objetivo de avaliar o desempenho dos estudantes ao fim da educação básica e o Novo ENEM a partir de 2009, cujos principais objetivos são democratizar as oportunidades de acesso às vagas federais de ensino superior, possibilitar a mobilidade acadêmica e induzir a reestruturação dos currículos do ensino médio; c) Sistema de Avaliação da Educação Básica (SAEB) composto por três avaliações: Avaliação Nacional da Educação Básica (ANEB) que avalia por amostragem, alunos da rede pública e privada, apresentando os resultados nacional, por regiões e unidades da federação; Avaliação Nacional do Rendimento Escolar (ANRESC) (também denominada “Prova Brasil”) que avalia de forma censitária apenas alunos da rede pública, apresentando os resultados por escolas e estados da federação; Avaliação Nacional da Alfabetização (ANA), que avalia de forma censitária os alunos do 3º ano do ensino fundamental da rede pública, tendo sido incorporada ao SAEB em 2013.
O Plano Nacional de Educação (PNE) aprovado em junho de 2014, propõe na meta 7, estratégia 11, sobre o PISA, a melhoria do desempenho dos alunos da educação básica brasileira nas avaliações da aprendizagem do programa, que é tomado como instrumento externo de referência e reconhecido internacionalmente. Apresenta as projeções para as próximas avaliações, considerando a média dos resultados em matemática, leitura e ciências: 2015 – 438 pontos; 2018 – 455 pontos e 2021 – 473 pontos. Na Figura 1, apresentamos os dados referentes aos resultados do Brasil nas edições de 2000 a 2012 para leitura, matemática e ciências com a média direta para as três habilidades consideradas básicas.

É possível perceber um avanço nos resultados apresentados pelos estudantes brasileiros ao longo das edições do PISA até o ano de 2012. No entanto, revela-se notadamente pequeno, se considerarmos as projeções propostas para as próximas avaliações (2015 – 438; 2018 – 455 e 2021 – 473). Mais preocupante ainda, revela-se com a queda do resultado apresentado em 2015.
O PNE propõe na meta 13, estratégia 1, orientações sobre a avaliação do ensino superior (SINAES), indicando que deve: “Aperfeiçoar o Sistema Nacional de Avaliação da Educação Superior - SINAES, de que trata a Lei nº 10.861, de 14 de abril de 2004, fortalecendo as ações de avaliação, regulação e supervisão”.
Para o ENEM, o PNE propõe na meta 3, estratégia 6, conforme o texto aprovado, a universalização do exame bem como finalidades para seu uso:

Universalizar o Exame Nacional do Ensino Médio - ENEM, fundamentado em matriz de referência do conteúdo curricular do ensino médio e em técnicas estatísticas e psicométricas que permitam comparabilidade de resultados, articulando-o com o Sistema Nacional de Avaliação da Educação Básica - SAEB, e promover sua utilização como instrumento de avaliação sistêmica, para subsidiar políticas públicas para a educação básica, de avaliação certificadora, possibilitando aferição de conhecimentos e habilidades adquiridos dentro e fora da escola, e de avaliação classificatória, como critério de acesso à educação superior (BRASIL, 2014, s/p.).

Para a avaliação da educação básica, evidenciamos orientações sobre o tema em documentos nacionais, indicando a implantação de sistemas de avaliação, conforme destacado por Horta Neto (2006, p.135), a Lei Nº 10.172/01 que aprovou o Plano Nacional de Educação, no governo de Fernando Henrique Cardoso, cujo Ministro da Educação era, então, o Sr. Paulo Renato Souza, já apresentava determinações com relação à avaliação do desempenho dos alunos, orientando para o desenvolvimento de sistemas de informação e avaliação como instrumentos indispensáveis à gestão do sistema educacional e à melhoria do ensino. A lei também determinou a implantação, em todos os sistemas de ensino, com a colaboração da União, de um programa de monitoramento que utilizasse os Indicadores do Sistema de Avaliação da Educação Básica (SAEB) e dos sistemas de avaliação que viessem a ser desenvolvidos nos Estados e Municípios. Para Horta Neto, muito pouco foi realizado no sentido de atender ao que determinava a legislação vigente.
O Plano Nacional de Educação aprovado na Lei Nº 13.005/14 no governo de Dilma Rousseff, tendo como Ministro da Educação José Henrique Paim Fernandes, trata no artigo 11 sobre a qualidade da educação básica, determinando que, coordenado pela União e em colaboração com os Estados, Municípios e Distrito Federal, o SAEB deverá constituir fonte de informação para a avaliação da educação básica e para a orientação de políticas públicas para este nível. Em relação ao desenvolvimento de avaliações regionais e locais, estabelece na meta 7, como estratégia 32:

Fortalecer, com a colaboração técnica e financeira da União, em articulação com o sistema nacional de avaliação, os sistemas estaduais de avaliação da educação básica, com participação, por adesão, das redes municipais de ensino, para orientar as políticas públicas e as práticas pedagógicas, com o fornecimento das informações às escolas e à sociedade (BRASIL, 2014, s/p).

Novamente, a legislação determina a articulação entre os sistemas de avaliação, com vistas à constituição de informações às escolas e à sociedade e orientação de políticas públicas. Desta forma, não só a avaliação nacional deve ocorrer, mas também avaliações regionais e locais articuladas à nacional.
Como exemplo de atendimento à determinação legal, observamos que o mapeamento realizado em 2007 já registrava a existência de sistemas próprios de avaliação em quatorze (14) Unidades da Federação, como indicam Souza e Lopes (2010, p. 56). Atualmente, conforme apresentado em 2013 pelo Centro de Políticas Públicas e Avaliação da Educação (CAED) da Faculdade de Educação da Universidade Federal de Juiz de Fora, dezenove (19) estados possuem sistemas próprios de avaliação educacional, como demonstrado na Figura 2.

Fonte: Material apresentado às equipes dos Núcleos Regionais de Educação do Paraná pela coordenadora geral do CAED Lina Kátia Mesquita Oliveira em reunião realizada pela Secretaria Estadual da Educação do Paraná (fev. 2013) para apresentação dos resultados do Sistema de Avaliação da Educação Básica do Paraná – SAEP/2012.

O Plano Nacional de Educação, na meta 7, trata especificamente sobre a qualidade da educação básica brasileira, apresentando as projeções para o índice de desenvolvimento da educação básica (IDEB) nacional para os próximos anos, conforme demonstrado na Figura 3.

Para aduzir o desempenho nacional e o caminho a ser percorrido rumo às metas propostas, apresentamos os três últimos resultados do IDEB do Brasil. Em 2011, os anos iniciais do ensino fundamental atingiram 5,0 pontos, os anos finais do ensino fundamental atingiram 4,1 pontos e o ensino médio atingiu 3,7 pontos. Em 2013, para os anos iniciais do ensino fundamental, o IDEB cresceu dois décimos (0,2) e atingiu 5,2 pontos, ultrapassando a meta proposta para 2013 (4,9) e chegando à meta proposta para o ano de 2015. Para os anos finais do ensino fundamental, o IDEB cresceu um décimo (0,1), atingindo 4,2 pontos, enquanto o IDEB do ensino médio se manteve em 3,7 pontos. Em 2015, para os anos iniciais do ensino fundamental, o IDEB cresceu três décimos (0,3) e atingiu 5,5 pontos, atingindo a meta proposta para o ano de 2017. Já para os anos finais do ensino fundamental, embora o IDEB tenha crescido três décimos (0,3), atingindo 4,5 pontos, ainda não atingiu a meta proposta (4,7). Enquanto o IDEB do ensino médio, novamente, se manteve em 3,7 pontos.
Como percebemos, as metas propostas para os anos finais do ensino fundamental e para o ensino médio em 2013 e 2015 não foram atingidas, confirmando-se como os níveis educacionais que ainda requerem uma atenção especial.
O IDEB é constituído a partir dos dados sobre aprovação escolar, obtidos pelo Censo Escolar e as médias do desempenho nas avaliações do SAEB. As escalas de desempenho para língua portuguesa e matemática nas avaliações do SAEB são descritas por níveis que indicam o que os alunos conseguem fazer, que competências e habilidades apresentam ou necessitam apresentar. Conforme evoluem nos níveis, as habilidades e competências são mais complexas.
Para língua portuguesa do ensino fundamental anos iniciais e finais, as escalas atingem até 350 pontos, distribuídas em nove níveis e para matemática, até 425 pontos, distribuídas em doze níveis. No ensino médio, para língua portuguesa, as escalas iniciam a partir de 150 pontos para o primeiro nível, chegando a 375 ou acima, para o último, num total de seis níveis. Já para matemática, iniciam a partir de 250 pontos para o primeiro nível, chegando a 425 ou acima, para o último nível, num total de cinco níveis.
Apresentamos na figura 4, as médias de proficiência atingidas em língua portuguesa e matemática para o período de 1995 a 2011. Embora outras áreas tenham sido avaliadas em alguns dos ciclos, não foram encontrados os resultados.

Ao observarmos os dados da figura 4 é possível notar que ocorre uma oscilação, com avanços e retrocessos nas médias de desempenho ao longo dos ciclos. Considerando que o IDEB é constituído também por estas médias, para atingir as metas propostas até 2021, é necessário que as médias de desempenho também apresentem crescimento nos próximos ciclos.
Para a avaliação da alfabetização (ANA), que foi incluída no SAEB em 2013, o PNE apresenta orientações para sua institucionalização, além de outras indicações descritas na meta 5, estratégia 2, conforme segue:

Instituir instrumentos de avaliação nacional, periódicos e específicos para aferir a alfabetização das crianças, aplicados a cada ano, bem como estimular os sistemas de ensino e as escolas a criarem os respectivos instrumentos de avaliação e monitoramento, implementando medidas pedagógicas para alfabetizar todos os alunos e alunas até o final do terceiro ano do ensino fundamental (BRASIL, 2014, s/p.).

Percebe-se que todos os níveis da educação brasileira, atendendo orientações legais, tanto da LDB quanto do PNE, são contemplados com diferentes avaliações justificadas pelos mais diversos objetivos, sendo comum a todos, a melhora da efetividade da educação e o desenvolvimento de políticas públicas para a educação.

3 PANORAMA DAS PESQUISAS EM AVALIAÇÃO DE SISTEMA
O mapeamento das teses de doutorado e das dissertações de mestrado que tratam das avaliações de sistema: PISA, ENADE, ENEM, SAEB, constitui-se num estudo da produção científica brasileira, denominado “estado da arte”, o qual possibilita contribuir para o desenvolvimento do conhecimento sobre uma determinada área ou tema. Sobre pesquisas que se enquadram neste tipo de estudo, encontramos que são:

Definidas como de carácter bibliográfico, elas parecem trazer em comum o desafio de mapear e de discutir uma certa produção acadêmica em diferentes campos do conhecimento, tentando responder que aspectos e dimensões vêm sendo destacados e privilegiados em diferentes épocas e lugares, de que forma e em que condições têm sido produzidas certas dissertações de mestrado, teses de doutorado, publicações em periódicos e comunicações em anais de congressos e seminários (FERREIRA, 2002, p.258).

Também encontramos justificativas para as pesquisas sobre o “estado da arte” em Romanowski (2006), ao afirmar que faltam estudos que realizem um balanço, encaminhando para a necessidade de mapeamento que desvende e examine o conhecimento já elaborado, apontando enfoques, temas mais pesquisados e lacunas existentes.
Neste artigo, destacamos o que indicam as pesquisas realizadas em mestrados e doutorados sobre as avaliações de sistema nos diferentes níveis da educação brasileira. Para a seleção dos trabalhos para a amostra estudada, buscamos no Banco de Teses da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e da Biblioteca Digital Brasileira de Teses e Dissertações (BDTD) aqueles que tratam a temática da avaliação de sistema.
Nos trabalhos selecionados para o estudo, foi analisado, o nível de trabalho (Mestrado/Doutorado), região do Brasil e instituição em que foi desenvolvido, sistema de avaliação pesquisado, nível de ensino envolvido, área de conhecimento/disciplina e outras informações relevantes quanto aos indicativos para a pesquisa e ensino.
A princípio, para a seleção dos trabalhos analisados, foi realizada uma leitura flutuante do título, resumo e palavras-chave, visando buscar informações generalizadas sobre o material pesquisado. Ferreira (2002), ao referir-se aos trabalhos denominados “estado da arte”, a partir de análises dos resumos, relata que alguns pesquisadores tomam posições diversas. Enquanto uns utilizam-se dos resumos publicados nos catálogos das instituições para os mapeamentos a que se propõe realizar, mesmo diante de certas dificuldades ou limitações, como diferentes resumos para uma mesma pesquisa, outros preferem buscar uma única fonte, como os resumos da Associação Nacional de Pós-Graduação e Pesquisa em Educação (ANPED) e outros ainda, buscam os resumos num primeiro momento e a partir daí, buscam os trabalhos na íntegra.
Justificamos que o trabalho ora realizado, pautou-se inicialmente na busca dos resumos no Banco de Teses da CAPES e da BDTD e, posteriormente, na busca de todos os trabalhos na íntegra para a realização do mapeamento. Aqueles que tratam o tema analisado, mas que não foram encontrados na íntegra, não constituem esta amostra, possibilitando futuras pesquisas.

4 IDENTIFICAÇÃO E ANÁLISE DOS TRABALHOS DA AMOSTRA
Apresentamos o quadro, na figura 5, produzido a partir dos trabalhos selecionados para a pesquisa, contendo os códigos de identificação que utilizaremos para a discussão dos dados conforme análise realizada (nível da pesquisa – Dissertação de Mestrado (DM)/Tese de Doutorado (TD), região do Brasil e instituição em que foi desenvolvido, sistema de avaliação pesquisado, nível de ensino envolvido, área de conhecimento, ano de defesa do trabalho, autor e título). Para a organização do quadro, definimos pela ordem cronológica.

Ao analisarmos as características gerais dos 28 dos trabalhos selecionados, identificamos que 20 (71,43%) são no nível de mestrado e 08 (28,57%) são no nível de doutorado. A maioria foi desenvolvida nas regiões Centro-Oeste e Sudeste do Brasil, com destaque para São Paulo, Minas Gerais e Distrito Federal, e na região Norte não foi encontrado nenhum trabalho relacionado ao tema durante a busca realizada, conforme mostram os gráficos das figuras 6 e 7.

As Instituições de Ensino Superior nas quais foram desenvolvidos os vinte e oito (28) trabalhos da amostra, são de natureza jurídica federal, estadual e particular. Conforme indica o gráfico da Figura 7. As universidades federais são destaque, sendo responsáveis por dezoito (18) trabalhos, destes, sete (07) são da Universidade de Brasília (UnB). As instituições particulares são responsáveis por sete (07) trabalhos do total da amostra e dois (02) destes encontram-se em instituições do Distrito Federal.

Quanto aos sistemas de avaliação analisados nos trabalhos da amostra, conforme observa-se na Figura 8, destaca-se o SAEB e o ENADE. O que identificamos como “outros”, na verdade, para um dos trabalhos [DM17], trata-se indiretamente do SAEB, pois a autora analisa o IDEB em sua pesquisa. Os dados do gráfico totalizam vinte e nove sistemas citados nos trabalhos, justificamos que um dos trabalhos da amostra [DM6] pesquisou sobre dois sistemas simultaneamente (ENEM e ENADE).

As áreas do conhecimento ou disciplinas abordadas pelos trabalhos, variam conforme contempladas nas diferentes avaliações. Para o SAEB são Língua Portuguesa e Matemática. Para o PISA são Língua Materna/Portuguesa, Matemática e Ciências. Para o ENEM são Linguagens (incluindo redação), Ciências Humanas, Ciências da Natureza e Matemática. Já o ENADE, envolve os conteúdos dos diferentes cursos superiores avaliados. Desta forma, os pesquisadores, ora tratam de maneira geral o sistema, ora especificam uma ou outra área/disciplina/curso, conforme podemos perceber na Figura 9.

A partir da análise dos trabalhos, identificamos algumas características comuns às diferentes avaliações de sistemas, indicadas a seguir.

4.1 ENADE
Identificamos que nos trabalhos sobre o ENADE [DM2; 3; 6; 12; 18; 20; TD4; 6] houve a indicação de possibilidades e/ou avanços presentes no sistema de avaliação. O principal, considerado um avanço, reporta-se à mudança que o ENADE representa em relação ao Exame Nacional de Cursos (ENC) [DM3]. O ENADE contribui para a evolução da educação superior brasileira [DM20], dando sustentação à qualidade do ensino, subsidiando as reformas educacionais como principal ferramenta para a produção de mudanças nos currículos, metodologias de ensino, conceitos, práticas de formação e gestão [DM6; DM12], possibilitando a melhoria da qualidade dos cursos ofertados pelas Instituições de Ensino Superior (IES) [DM2].
Por outro lado, o sistema apresenta fragilidades que indicamos como dificuldades ou limitações, citadas pelos trabalhos, como o critério aleatório de convocação dos alunos, a periodicidade de realização do exame e, principalmente, como citado nos trabalhos [DM2; TD4], a possibilidade de boicote por parte dos alunos, sobretudo, das IES públicas federais e estaduais. A centralidade do exame [DM18; TD4], que considera apenas o desempenho dos alunos, sem que outros instrumentos avaliativos estejam articulados, além de críticas às metodologias, à finalidade, ao formato e ao método de aplicação dos exames [DM3; DM20], assim como ao uso dos resultados como forma de ranqueamento das instituições [TD6].
Uma observação presente nos trabalhos é a crítica à falta de informações sobre o exame por parte dos gestores, alunos e corpo docente [DM2; DM18]. Outra crítica refere-se à divulgação dos resultados, indicando que existe pouca divulgação junto às instituições, o modo de divulgação, que reduz os resultados à medida e regulação, apresentando os índices para determinar o ranqueamento entre as instituições [DM3; DM20] e, à forma como os conceitos estão construídos, mostrando-se incapazes de orientar gestores nas ações administrativas [DM2; TD6].
É possível perceber a convergência para a conclusão de que os resultados do ENADE isoladamente, não são capazes de responder pela avaliação de um sistema tão complexo como a educação superior, que muitas vezes não traduz a realidade das instituições avaliadas. Ainda, que não é adequado o ranqueamento das IES com base apenas no desempenho dos alunos concluintes numa única prova. Da mesma forma, não se pode afirmar que a qualidade do desempenho dos alunos no exame seja a mesma qualidade de um curso numa determinada IES [DM2; DM3; DM12].

4.2 PISA
Está presente nos trabalhos sobre o PISA [DM7; 13; 14; TD5; TD7], como indicativo de possibilidades, que esta avaliação se configura como estratégia para construir indicadores de qualidade em educação, comparáveis periodicamente, dentre os vários países participantes, permitindo a otimização de investimentos para a educação. Possibilita que gestores e agentes inseridos no processo educativo identifiquem prioridades e alternativas educacionais. Por meio da avaliação é possível identificar o que se deve esperar que os alunos aprendam dos currículos propostos e quais os fatores escolares e extraescolares que favorecem ou limitam a aquisição das competências esperadas.
Como dificuldades ou limitações do sistema, citadas nos trabalhos, percebe-se a não adesão de todos os países, impossibilitando maiores comparações. O objetivo a que se propõe o PISA, de avaliar o ensino obrigatório, não é atendido, em virtude da distorção idade-série [DM7]. Apresenta-se também, a preocupação com as informações sobre o PISA, indicando que o acesso da escola às informações sobre a avaliação é insuficiente, falta compreensão por parte dos professores sobre as questões e as teorias, não há uma discussão dos princípios teórico-metodológicos que norteiam a avaliação [DM7; TD5]. Informar o que é a avaliação, como aplicá-la e enviar os resultados, é insuficiente, não garante, no espaço escolar, o uso dos resultados para reflexão de suas práticas pedagógicas [TD5].
Foi possível identificar, nos trabalhos analisados, que o PISA atua com uma visão ampla de letramento e concepção de leitura, o que implica lidar com diferentes formas de expressão, por meio da diversidade de gêneros e formatos. Enquanto isso, na escola, não se apresenta no plano de ensino, proposta para explorar em profundidade a imensa diversidade de gêneros textuais, restringindo-se a abordagem aos textos mais comuns encontrados nos materiais didáticos [DM13; TD5; TD7].
Outro fator refere-se à formação dos professores e à carga horária de língua materna/portuguesa ofertada nos currículos escolares. Quando se compara o Brasil com países de melhor desempenho, percebe-se que a formação dos professores das séries iniciais, nestes países, passa por diferentes caminhos, desde a seleção de quem serão os futuros professores, ao longo período de estágios durante a formação, além do que, a carga horária de língua materna/portuguesa nos currículos escolares é expressivamente menor em escolas brasileiras [DM13; TD7].
Apontamentos presentes nos trabalhos sinalizam para a necessidade de aprofundar a compreensão do contexto sociocultural brasileiro na elaboração das avaliações em larga escala [TD7]. Ressalta-se a necessidade de aumentar a capacidade leitora ao longo do ensino fundamental [TD5]. A alocação do Brasil em níveis mais baixos de desempenho relaciona-se à rede de ensino, atraso escolar, nível socioeconômico, nível de escolaridade dos pais e estrutura familiar [DM7; DM14].
Em relação à divulgação dos resultados, é possível perceber, nos trabalhos analisados, que há pouca preocupação entre os países em garantir que a divulgação se efetive, existindo informações disponíveis em linhas gerais, sendo que muitas se encontram apenas em inglês ou francês e algumas em espanhol. Observa-se a falta de compreensão dos resultados por parte dos professores. Percebe-se também, a ênfase que é dada aos resultados em forma de ranqueamento entre os países [DM7; TD5].

4.3 ENEM
São apresentadas como possibilidades do ENEM pelos trabalhos analisados [DM6; 8; 9; 11; 19], a aferição das condições de formação dos concluintes do ensino médio, servindo de forma alternativa ao processo de ingresso no ensino profissionalizante e/ou superior. Tal avaliação também seria responsável pela criação de mecanismos capazes de traçar um panorama da qualidade do ensino, visando sua melhoria, além de apresentar-se como indutor do currículo do ensino médio, subsidiar as práticas docentes e reflexões pedagógicas. A estrutura da prova, que apresenta articulação por áreas e não por disciplinas, sinaliza a preocupação em minimizar as formas fragmentadas de avaliação e, em consequência, de ensino [DM11].
Como fragilidade, verificou-se a identificação da inversão de valores no ENEM, em que, por meio do exame, se pretende impulsionar mudanças no ensino ao invés de agir no sistema. O exame exerce perfil avaliativo regulador da educação básica [DM8]. Outra questão que ficou evidente está relacionada à contextualização. A noção de contextualização não avançou em relação ao Novo ENEM, os textos teóricos e metodológicos são os mesmos do ENEM original, acentuando-se nas provas o carácter mais conceitual. Muitos enunciados não suscitam a reflexão e a articulação dos saberes, cobram apenas a função instrumental de aplicação de determinado conceito ou interpretação de um texto para resolução de um problema [DM6; DM8; DM9; DM11].
Aponta-se ainda, a necessidade de uma abordagem contextualizada associada à exploração de conteúdos conceituais, cuidando-se ao contextualizar os conteúdos científicos, para não permitir que, ao invés de enriquecer a prática pedagógica nas escolas, acabem por empobrecê-la. A divulgação dos resultados do exame apresenta-se como forma de ranqueamento para as escolas [DM8].

4.4 SAEB/PROVA BRASIL
O SAEB tem como possibilidades indicadas pela análise dos trabalhos [DM1; 4; 5; 10; 15; 16; TD1; 2; 3; 8], contribuir para a revisão de políticas públicas e para a melhoria da qualidade educacional. Medir o desempenho cognitivo dos alunos, por meio de sua proficiência nos testes padronizados, como resultado de suas acepções pessoais, de seus antecedentes sociodemográficos, da estrutura e valores de sua família e sociedade onde vive, bem como os impactos desses fatores sobre o desempenho dos alunos, permite ainda, a comparação entre diferentes períodos dos resultados apresentados pelo desempenho dos alunos. Também amplia a possibilidade de estabelecer o diálogo para a concretização do regime constitucional de colaboração entre os sistemas de ensino. Permite um processo de reflexão interna nas escolas, com definição de projetos pedagógicos, a partir do reconhecimento das implicações da avaliação no processo ensino-aprendizagem. Contribui para o desenvolvimento de uma cultura avaliativa da educação brasileira, inspirando os sistemas avaliativos educacionais estaduais e contribuindo para a formação e o aperfeiçoamento de inúmeros pesquisadores e técnicos em avaliação.
A análise dos trabalhos indica como dificuldades ou limitações, a preocupação em relação à confiabilidade da comparabilidade dos resultados de um sistema de avaliação ao longo dos anos/ciclos, justificando pelas variações que ocorrem com as avaliações e pelas alterações na forma de divulgar os resultados e, principalmente, quando comparadas a outras avaliações, sejam regionais ou locais [DM1; DM4]. Indica a falta de informações nas escolas sobre diferenças entre SAEB e Prova Brasil e/ou avaliações regionais existentes [DM5].
Percebe-se nos trabalhos, a evidência de que o nível socioeconômico dos alunos, a rede de ensino, o capital cultural, a repetência, o fato de fazer dever de casa, interferem nos resultados apresentados nas provas do SAEB, assim como, os recursos, o clima acadêmico , a formação e o salário docente, o currículo, as práticas pedagógicas, as metodologias de ensino e as condições organizacionais, também estão relacionados aos resultados apresentados [DM10; TD2; TD3; TD8]. A rede privada revela resultados melhores que a pública, tanto na qualidade, quanto na equidade, havendo distinção entre alunos da rede pública e privada e também distinção nítida do ponto de vista cognitivo, em matemática e Língua Portuguesa, entre pretos e brancos e entre pretos e pardos [TD2].
Indica-se, outrossim, de que é possível perceber um declínio nos níveis médios de aprendizado dos alunos brasileiros e um aumento na participação relativa de alunos com menores resultados educacionais [TD3]. Ao responsabilizarem as escolas e os professores pelos resultados insatisfatórios dos alunos, as políticas educacionais, se desresponsabilizam pelos fatores internos que interferem na aprendizagem, contribuindo para a permanência do baixo desempenho apresentado [TD8].
A divulgação dos resultados e a sua utilização apresentam-se como uma fragilidade do sistema, pois, conforme os trabalhos, há pouca informação por parte dos gestores, que parecem conhecer insuficientemente os dados produzidos pelo SAEB para que possam utilizar os resultados [DM1; DM15]. Também são poucas as discussões acerca de como utilizar os resultados apresentados e que, para a melhor compreensão e utilização, a linguagem das divulgações deve ser adequada a diferentes públicos [DM16; TD1]. Embora os resultados permitam discussões, por si só, não são suficientes para embasar políticas educacionais de qualidade, não garantem a qualidade do ensino e nem a melhoria da educação [DM5; TD8]. A cultura de ranqueamento está muito presente na divulgação dos resultados e mostra-se como uma preocupação por parte de algumas escolas pesquisadas, que buscam treinar os alunos em vista do desempenho a ser obtido [DM1; DM5; DM15; DM16].
A partir da análise dos trabalhos, é possível indicar muitos apontamentos em relação ao SAEB, como a necessidade de revisão das matrizes de referência, maior cuidado na constituição dos testes de desempenho [TD1], explicitar e explicar melhor a metodologia da avaliação, intensificar o trabalho de convencimento dos alunos e professores sobre a importância do SAEB [DM1], superar a cultura de ranqueamento dos resultados [DM15], aprimorar os preditores presentes nos questionários do SAEB com vistas a contribuir para o aperfeiçoamento das práticas pedagógicas, gestão escolar e elaboração de políticas [DM10], apresentar informações complementares nos relatórios, além dos números, a fim de clarificar os problemas educacionais apontados pela avaliação [DM1], rever as avaliações do SAEB, sua ideologia e eficácia prática, enquanto projetos integradores de políticas educacionais. E, ainda, a avaliação que toma por base as unidades escolares (ANRESC/Prova Brasil), deveria ficar a cargo dos estados com apoio e repasse de recursos pelo governo federal, visando ao melhor aproveitamento dos resultados obtidos [DM1; DM5; TD1].

5 CONSIDERAÇÕES FINAIS
Na análise geral dos trabalhos, evidenciamos convergências comuns aos diferentes sistemas de avaliação (ENADE, PISA, ENEM, SAEB). É fato que propõem como objetivo principal, construir indicadores de qualidade da educação brasileira para subsidiar políticas educacionais com vistas à melhoria da qualidade da educação ofertada para os diversos níveis.
Souza e Lopes (2010, p. 54) corroboram com esta observação ao indicarem que, do ensino fundamental ao superior, as avaliações de sistema têm contribuído para o debate sobre a qualidade que se tem e a que se pretende alcançar para educação. Confirmam que mecanismos dessas avaliações pautam as políticas públicas educacionais no Brasil desde a década de 1990, justificadas pelo propósito de melhorias na qualidade da educação, subsidiando decisões e intervenções de gestores e profissionais que atuam nas diferentes instâncias dos sistemas e instituições educacionais. No entanto, destacam que por enfatizarem os produtos - provas e resultados, em detrimento dos processos - contextos de produção e reprodução dos saberes e contextos sociais de alunos e professores, essas avaliações vêm servindo mais ao controle e regulação que a indução de mudanças com vistas à qualidade do ensino ofertado, como se apresenta no plano do discurso.
Dias Sobrinho (2010, p. 206) também afirma que não restam dúvidas sobre a utilidade que os exames de larga escala têm como subsídio para ações dos operadores do Estado no que concerne à educação. Porém, a produção de efeitos pedagógicos significativos é comprometida, caso não possa contar com a adesão de professores e alunos, como no ENADE, por exemplo.
Os resultados do presente trabalho corroboram com esse autor, no que se refere a pouca informação ou ausência de informação por parte de gestores, corpo docente e alunos sobre os sistemas de avaliação aos quais estão submetidos, desconhecendo ou pouco conhecendo sobre as teorias e metodologias que norteiam as avaliações, ou mesmo sobre a própria avaliação.
Se almejamos por mudanças rumo à melhoria da qualidade da educação, dificilmente obteremos êxito sem a participação efetiva dos diferentes agentes envolvidos no processo. Necessitamos, antes, superar as fragilidades apontadas acima. Não há como participar do que se desconhece. Ristoff (1995, p. 49), ao reportar-se à cultura da avaliação institucional, afirma que é um processo que somente logrará êxito quando for construído coletivamente, além de contar com a intensa participação de todos os envolvidos, seja em procedimentos de implantação ou na utilização dos resultados produzidos, o que não deve ser diferente para a avaliação de sistema. Igualmente, Afonso (2010, p. 9-10) reafirma que é absolutamente decisiva a ampla formação em avaliação para professores e outros agentes educativos com responsabilidades importantes nas escolas. E que sem esta competência, somada a outras que constituem uma concepção avançada em termos profissionais, a necessidade de promover uma cultura de avaliação, presente no discurso oficial e já transformado num novo sensu comum educacional, será apenas mais um slogan ideológico.
Notadamente, o uso dos resultados, principalmente pela mídia, tem servido mais ao ranqueamento das instituições de ensino superior, unidades escolares da educação básica, estados, municípios e o próprio país perante outros, do que aos objetivos para os quais foram constituídos. Talvez os fatores que contribuem para a utilização reducionista dos resultados produzidos e que pouco têm interferido para mudanças práticas, sejam a falta de informação sobre como analisar e utilizar os dados, a valoração excessiva sobre os dados quantitativos, bem como a divulgação insuficiente dos resultados, apontados nos trabalhos. A esse respeito, Souza e Lopes (2010, p. 55) confirmam que nas avaliações em larga escala destaca-se a ênfase aos resultados, com atribuição de mérito a alunos, instituições, redes e predomínio dos dados quantitativos. Acrescentam, ainda, a divulgação dos resultados pela mídia em forma de rankings, reforçando o papel da avaliação no gerenciamento das políticas educacionais.
Ainda sobre ranqueamento a partir dos resultados, Dias Sobrinho (2010, p. 214-216) lembra que o ENADE se apresenta como papel subsidiário no sistema de avaliação em sua concepção original, portanto, não poderia dar margens a rankings, sendo a prática de ranqueamento criticada no documento que propôs o SINAES, por não contribuir para a promoção da qualidade científica e social da educação superior. Para o autor, os ranqueamentos podem produzir injustiças, injetando rivalidades entre as IES e grupos de profissionais, gerando competitividade com desvios das finalidades essenciais das práticas educacionais da educação superior e alerta que a avaliação deste nível de ensino tende para um instrumento de classificação de cursos e instituições.
Gatti (2009, p. 12-13), destaca que o SAEB vem sendo objeto de estudos e discussões, inclusive de comissões ministeriais em busca de aperfeiçoamento, para superação de problemas técnicos e problemas relativos à divulgação, disseminação e apropriação dos resultados aos gestores de diferentes níveis e aos professores. Destaca como desafio a necessidade de dar novo significado às avaliações que inicialmente tinham conotação punitiva. Porém, vê como dificuldade para tais mudanças, fatores internos e externos interpostos e contradições implicadas nos procedimentos de mudanças, tais como, ênfase muito forte dada aos melhores e piores desempenhos, valorização da mídia apenas às médias das notas obtidas em detrimentos de outros resultados. Além de pequena utilização dos dados por parte das redes, seja pela disseminação inadequada dos dados ou pela dificuldade que as redes apresentam na interpretação, análise e utilização pedagógica dos mesmos e trata a disseminação adequada dos dados como ponto nevrálgico a ser resolvido. Horta Neto (2010, p. 101), corrobora, indicando a necessidade de se desenvolver instrumentos e estratégias, com linguagem nítida, clareza e possíveis exemplos explicativos sobre as escalas e utilização dos resultados, visando levar profissionais da educação e a sociedade a se apropriarem dos dados produzidos.
Também é consenso, pela análise dos trabalhos, que somente os resultados apresentados pelas avaliações de sistema não são suficientes para traduzir a realidade da educação brasileira ou garantir a melhoria da qualidade educacional. Ao assinalar alguns traços dominantes a partir dos diversificados desdobramentos que decorrem das avaliações em larga escala, Souza (2014, p. 411), destaca o fato da interpretação dos resultados obtidos pelos alunos nas provas, ser usado como principal evidência da qualidade, seja das redes de ensino ou de instituições, revelando uma noção restrita de qualidade a ser difundida. Conforme o uso que se fizer dos resultados, para Souza e Lopes (2010, p. 55), diferentes poderão ser os significados para as instituições de ensino e para os gestores de instâncias centrais e intermediárias, responsáveis pela administração da educação, que ao tomarem decisões pautadas nesses resultados e significados construídos, tanto podem contribuir para a democratização da educação, como para intensificar desigualdades e levar à exclusão por meio de iniciativas potencializadas. Podemos ver um exemplo em Alavarse, Bravo e Machado (2013), ao detectarem o uso de resultados das avaliações externas, em municípios do Estado de São Paulo, para o pagamento de bônus por mérito para professores, comprometendo o envolvimento dos mesmos com a avaliação e os responsabilizando, quase que exclusivamente, pelos resultados dos alunos, favorecendo com tais políticas de responsabilização, a lógica da meritocracia e da culpabilização, prejudicando os princípios democráticos na organização de agentes escolares.
O mapeamento das teses e dissertações sobre as avaliações de sistema, ora apresentado, constitui-se num trabalho inicial que pretende aprofundar discussões posteriores especificamente sobre o SAEB e objetivou evidenciar apontamentos que podem contribuir para a reflexão sobre as avaliações, seus avanços, fragilidades, implicações para a qualidade da educação ofertada e melhor forma de utilização dos resultados produzidos. Desta forma, percebemos a importância das pesquisas sobre a temática e a amplitude das questões que ainda necessitam ser respondidas, podendo ser abordadas por pesquisadores em futuros trabalhos.

REFERÊNCIAS
AFONSO, Almerindo Janela. “Políticas educativas e auto-avaliação da escola pública portuguesa: apontamentos de uma experiência”. Rev. Est. Aval. Educ. [online]. 2010, vol.21, n.46, p. 343-361. ISSN 0103-6831.
ALAVARSE, Ocimar M.; BRAVO, Maria Helena e MACHADO, Cristiane. “Avaliações externas e qualidade na educação básica: articulações e tendências”. Rev. Est. Aval. Educ. [online]. 2013, vol.24, n.54, pp. 12-31. ISSN 0103-6831.
BALZAN, Newton César; DIAS SOBRINHO, José. (Orgs.) “Avaliação Institucional – Teoria e Experiência”. São Paulo: Cortez, 1995.
BAUER, Adriana. “Uso dos resultados do SARESP: O papel da Avaliação nas políticas de formação docente”. Dissertação (Mestrado em Educação). Faculdade de Educação da Universidade de São Paulo. São Paulo, 2006. 172p.
BRASIL. Lei 9.394/96, de 20 de dezembro de 1996. Estabelece as Diretrizes e Bases da Educação Nacional. Disponível em: < http://www.planalto.gov.br/ccivil_03/leis/l9394.htm > Acesso em 10jan. 2015.
_______. Lei 10861/04, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior – SINAES. Disponível em: < http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/lei/l10.861.htm > Acesso em 09 jul. 2014.
_______. Lei 13.005/14, de 25 de junho de 2014. Aprova o Plano Nacional de Educação. Disponível em: <http://www.planalto.gov.br/CCIVIL_03/_Ato2011-2014/2014/Lei/L13005.htm> Acesso em 09 jul. 2014.
BRASIL, MEC. Escalas de desempenho na Prova Brasil/SAEB. Disponível em < http://provabrasil.inep.gov.br/escalas-da-prova-brasil-e-saeb > Acesso em 02 ago. 2014.
_______. IDEB – Prova Brasil/Saeb 2007. Disponível em < http://www.educacao.salvador.ba.gov.br/site/documentos/espaco-virtual/espaco-dados-estatisticos/ideb%202007%20com%20taxas%20do%20saeb%20e%20taxas%20de%20aprovacao.pdf > Acesso em 02 ago. 2014.
_______. IDEB – Resultados e Metas. Disponível em <http://ideb.inep.gov.br/resultado/resultado/resultadoBrasil.seam?cid=2562031> Acesso em 17 jan. 2018.
_______. PORTAL INEP – ideb 2013 indica melhora no ensino fundamental. Disponível em < http://portal.inep.gov.br/web/portal-ideb/portal-ideb > Acesso em 23 dez. 2014.
BRASIL, MEC. Resultados do PISA. Disponível em: <http://portal.inep.gov.br/internacional-novo-pisa-resultados> Acesso em 14 jul. 2014.
_______. Resultados SAEB/Prova Brasil 2011. Disponível em < http://sistemasprovabrasil2.inep.gov.br/resultados/> Acesso em 02 ago. 2014.
_______. Resultados SAEB/Prova Brasil 2015. Disponível em <http://portal.inep.gov.br/artigo/-/asset_publisher/B4AQV9zFY7Bv/content/inep-apresenta-resultados-do-saeb-prova-brasil-2015/21206> Acesso em 17 jan. 2018.
_______. “SAEB – 2005 Primeiros Resultados: Médias de desempenho do SAEB/2005 em perspectiva comparada”. Brasília: DAEB/INEP, 2007.
DEMO, Pedro. “Avaliação qualitativa”. 6ª Edição, Campina, SP: Autores Associados, 1999.
DIAS SOBRINHO, José. “Avaliação e transformações da educação superior brasileira (1995 - 2009): Do Provão ao SINAES”. Revista Avaliação, Campinas, Sorocaba, SP, v.15, n.1, p.195-224, mar. 2010.
FERREIRA, Norma Sandra de Almeida. “As Pesquisas Denominadas ‘Estado da Arte’”. Rev. Educação & Sociedade, ano XXIII, nº. 79. p.257-272. Ago. 2002.
GATTI, Bernardete. “A. Avaliação de sistemas educacionais no Brasil”. Sísifo / Revista de Ciências da Educação, n. 9, mai/ago. 2009.
HORTA NETO, João Luiz. “Avaliação Externa: a utilização dos resultados do SAEB 2003 na gestão do sistema público do ensino fundamental do Distrito Federal”. Dissertação. (Mestrado em Educação). Universidade de Brasília (UnB). Brasília, 2006. 143p.
_______. “Avaliação externa de escolas e sistemas: questões presentes no debate sobre o tema”. Rev. bras. Est. pedag., Brasília, v. 91, n. 227, p. 84-104, jan./abr. 2010.
_______. “Um olhar retrospectivo sobre avaliação externa no Brasil: das primeiras medições em educação até o SAEB de 2005”. Revista Iberoamericana de Educación (ISSN: 1681-5653), 2007.
IBGE. Histórico da investigação sobre cor ou raça nas pesquisas domiciliares do IBGE. Disponível em <http://www.ibge.gov.br/home/estatistica/populacao/caracteristicas_raciais/notas_tecnicas.pdf> Acesso em 23 dez. 2014.
LIBÂNEO, José Carlos. “Didática”. São Paulo: Cortez, 1994. 2ª edição.
LUCKESI, Cipriano Carlos. “Maneiras de avaliar a aprendizagem”. Pátio. São Paulo, ano 3. n. 12. p. 7 –11, 2000.
OECD, UNESCO. FIRST RESULTS FROM PISA 2003: executive summary. Disponível em: <http://www.oecd.org/edu/school/programmeforinternationalstudentassessmentpisa/33690591.pdf> Acesso em 14 jul. 2014.
OCDE 2016, PISA 2015 Resultados Clave. Disponível em <http://www.oecd.org/pisa/pisa-2015-results-in-focus-ESP.pdf> Acesso 17 jan. 2018.
ROMANOWSKI, Joana Paulin; ENS, Romilda Teodora. “As Pesquisas Denominadas do Tipo ‘Estado da Arte” em Educação”. Diálogo Educacional, Curitiba, v.6, nº.19, p. 37-50, set./dez. 2006.
SOUZA, Sandra Maria Zákia Lian. “Concepções de qualidade da educação básica forjadas por meio de avaliações em larga escala”. Revista Avaliação, Campinas, Sorocaba, SP, v.19, n.2, p. 407-420, jul. 2014.
SOUZA, Sandra Maria Zákia Lian; LOPES, Valéria Virgínia. “Avaliação nas políticas educacionais atuais reitera desigualdades”. Revista Adusp. Dossiê Educação. Jan. 2010, p. 54-59.
TRIGO, Maria Cândida. Avaliação Educacional. Disponível em: <http://www.educacaopublica.rj.gov.br/oficinas/ed_ciencias/avaliacao/biblioteca_AvaliacaoEducacional.html> Acesso em 29 maio 2014.

VIANNA, Heraldo Marelim. “Impactos dos Testes Sobre os Sistemas e Objetivos Educacionais: A Experiência Brasileira”. Cadernos de Pesquisa, Fundação Carlos Chagas, São Paulo, SP, n. 27, p. 69-73, ago. 1978.

*Mestre em Educação (Unioeste). Professora da Secretaria de Educação do Estado do Paraná, Brasil. E-mail: zannaossucci@gmail.com
** Doutora em Educação para a Ciência (Unesp). Professora do Programa de Pós-Graduação em Educação (Unioeste, Brasil). E-mail: lourdesjustina@gmail.com

Recibido: 19/01/2018 Aceptado: 19/02/2019 Publicado: Febrero de 2018

---

Nota Importante a Leer:
Los comentarios al artículo son responsabilidad exclusiva del remitente.
Si necesita algún tipo de información referente al articulo póngase en contacto con el email suministrado por el autor del articulo al principio del mismo.
Un comentario no es mas que un simple medio para comunicar su opinion a futuros lectores.
El autor del articulo no esta obligado a responder o leer comentarios referentes al articulo.
Al escribir un comentario, debe tener en cuenta que recibirá notificaciones cada vez que alguien escriba un nuevo comentario en este articulo.
Eumed.net se reserva el derecho de eliminar aquellos comentarios que tengan lenguaje inadecuado o agresivo.
Si usted considera que algún comentario de esta página es inadecuado o agresivo, por favor, escriba a lisette@eumed.net.

---