e-ISSN: 2448-8062
ISSN: 0188-431X
1Instituto Mexicano del Seguro Social, Hospital General Regional No. 36, Centro de Documentación en Salud. Puebla, Puebla; 2Instituto Mexicano del Seguro Social, Centro Médico Nacional Siglo XXI, Coordinación de Educación en Salud, Centro Nacional de Investigación Documental en Salud. Ciudad de México, México
Introducción: estudio bibliométrico enfocado en la producción científica del personal del IMSS del estado de Puebla para analizar su desempeño y efectos durante el período 2013-2017.
Objetivo: promover e incrementar el interés por crear nuevos proyectos, tras identificar el grado actual de profesionalización de la comunidad científica y la madurez de los autores.
Metodología: se realizó un estudio cienciométrico retrospectivo, descriptivo y cuantitativo. Las variables estudiadas fueron: total de artículos publicados por año, promedio de artículos por autor, años más productivos, autores más prolíficos e índice de colaboración.
Resultados: el IMSS Puebla registró una producción científica de 170 documentos, con mayor índice en publicaciones de artículos originales. El año más productivo fue el 2017. Se contabilizaron 160 autores firmantes y el índice de colaboración fue de 9.7.
Conclusiones: este trabajo intenta alentar a los autores poblanos a incrementar su producción científica para contribuir a la proyección nacional e internacional.
Palabras clave: Indicadores Bibliométricos; Investigación; Publicación Periódica
Introduction: This is a bibliometric study focused on the scientific production of the IMSS personnel of the State of Puebla, to analyze their performance and impact during the period 2013-2017.
Objective: To promote and increase interest in creating new projects, identifying the current level of professionalization of the scientific community and the maturity of the authors.
Methods: A retrospective-descriptive-quantitative scientometric study was performed. The variables studied were: total articles published per year, average articles per author, most productive years, most prolific authors, and the collaboration index.
Results: The IMSS Puebla registered a scientific production of 170 documents, with the highest index in publications of original articles. The most productive year was 2017. 160 signatory authors were counted, and the collaboration rate was 9.7.
Conclusions: This work tries to motivate the authors from Puebla to create goals tending to increase their scientific production, to contribute to the national and international projection.
Key words: Bibliometric Indicators; Research; Periodical
La Organización para la Cooperación y el Desarrollo Económico (OCDE) definió la bibliometría como una herramienta mediante la cual puede observarse el estado de la ciencia y la tecnología, ya sea de un país o una institución, o bien de investigadores individuales, a través de la producción global de publicaciones científicaa en un grado de especialización.1 La bibliometría, mediante sus indicadores, se centra precisamente en el cálculo y el análisis de los valores cuantificables del consumo y la producción científica.2,3
Es difícil valorar los resultados de las investigaciones científicas, por lo que se necesitan métodos de análisis para identificar los distintos aspectos de la capacidad investigadora. Se pueden definir como indicadores bibliométricos los parámetros utilizados en el proceso evaluador de cualquier actividad. Se emplea un conjunto de éstos para poner en relieve una faceta del objeto de la evaluación,4 al identificar a autores y grupos de investigación, así como el consumo de información, cantidad y citas de los artículos publicados, factor de impacto, entre otros.5
El uso de indicadores bibliométricos para analizar la actividad investigadora de un equipo científico, un área o un país se basa en la presuposición de que las publicaciones científicas son un resultado esencial de dicha actividad. Un nuevo conocimiento adquiere valor cuando se da a conocer y se difunde, ya que es así como progresa la ciencia.6
El análisis de las publicaciones científicas puede contribuir a identificar artículos, líneas de investigación y autores de influencia.7 Los análisis bibliométricos de la producción científica son necesarios para valorar el estado actual de la investigación.8
Con base en lo anterior, las instituciones académicas, las agencias de financiamiento y los científicos en general se muestran cada vez más interesados en el empleo de los análisis de las citas para evaluar la calidad de la investigación y la productividad de los investigadores. Comprender las características inherentes a los estudios citados con más frecuencia puede ayudar a los investigadores que desean publicar a reforzar sus líneas de investigación.9 Al analizar el número de firmas por artículo se puede delinear el grado de profesionalización de la comunidad científica y la madurez de los autores.10
Los estudios bibliométricos en el área de la biomedicina, ciencias de la salud o áreas afines son de gran apoyo para desarrollar un análisis puntual de la producción científica para proporcionar información a los investigadores sobre las tendencias pasadas, actuales o futuras.11
Este estudio analiza la producción científica del personal del Instituto Mexicano del Seguro Social (IMSS) en el estado de Puebla, divulgada en diversas publicaciones durante el periodo 2013-2017, incluida en la base de datos Scopus, con el objetivo de identificar la actividad científica y alentar al personal del área de la salud a generar más investigaciones.
Este tipo de análisis es de gran beneficio para la comunidad científica, ya que contribuye a identificar las áreas en las que más se publica, conocer los autores más prolíficos y los más citados, así como la tipología documental más utilizada.
Esta investigación se clasifica como un estudio cienciométrico retrospectivo, descriptivo y cuantitativo con respecto a sus objetivos. Se empleó el método de revisión bibliométrica para identificar los artículos más citados, los autores más productivos en el campo de la medicina y las revistas en las que se difundió la información.
Para este estudio se seleccionó la base de datos Scopus de la editorial europea Elsevier por tratarse de la principal fuente de referencia para la evaluación de la investigación.12 Se trata, además, de una base de datos ampliamente utilizada para la realización de estudios bibliométricos, con una cobertura selectiva de publicaciones consideradas de mayor prestigio y visibilidad en las diferentes disciplinas o áreas de conocimiento, además de posibilitar la búsqueda por disciplinas o países.13
La búsqueda para extraer las publicaciones producidas en Puebla consistió en emplear el término “Instituto Mexicano del Seguro Social”, con el operador booleano “AND” “Puebla” en el campo (advanced) y con posterioridad se aplicaron los filtros de año (year), afiliación (afiliation) y tipo de fuente (sorce type) (Fig. 1).
Figura 1. Búsqueda en la base de datos Scopus.
La búsqueda produjo 170 artículos publicados entre 2013 y 2017. Se incluyeron los tipos de documentos: editorial, cartas al editor, artículo original, artículo de revisión y encuesta corta. Se identificaron los países donde se publicaron los artículos: México, Estados Unidos, España, Argentina, Chile, Brasil, Colombia, Perú, Canadá y Francia; asimismo, se tomaron en cuenta los idiomas en los que se publicaron: inglés, español y portugués.
Las variables estudiadas fueron: total de artículos publicados por año, promedio de artículos por autor, años más productivos, autores más prolíficos y títulos de las revistas en las que publicaron los trabajos, afiliación de los autores e índice de colaboración.
Los datos se consignaron en una hoja de cálculo de Excel para su análisis descriptivo y los resultados se presentaron en tablas y gráficos, en los que se resumió la información; se emplearon los indicadores bibliométricos de los documentos generados en el periodo establecido, el conteo de citaciones, el número de artículos por autor y el índice de colaboración, el cual se calculó como el cociente entre el número de autores y el número de trabajos/artículos.
Mediante la búsqueda en la base de datos Scopus se obtuvieron 170 artículos que se produjeron en el estado de Puebla, con afiliación al Instituto Mexicano del Seguro Social en un período estudiado de cinco años, con lo cual se identificó un promedio anual de 34 trabajos publicados.
Derivado de este resultado se identificó una tendencia de producción científica en la cual se reflejó en el año 2017 una mayor productividad con 57 artículos publicados y en el año 2016 se reconoció una menor producción, con 21 artículos (Fig. 2).
Figura 2. Tendencia de la producción científica de la Delegación Puebla del IMSS, período 2013-2017 (n = 170).
Las cinco principales publicaciones periódicas que divulgaron los artículos científicos del personal IMSS-Puebla, durante el período investigado, fueron las siguientes: Asian Pacific Journal of Cancer Prevention (6%), Prensa Médica Argentina (5%), Cirugía y Cirujanos (3.5%), Revista de Gastroenterología de México (3.5%) y Autoimmunity Reviews (3%).
El estudio bibliométrico arrojó varios datos importantes para los investigadores, como la información de los países a los que pertenecen dichos títulos, con lo cual fue posible identificar los siguientes: Asian Pacific Journal of Cancer Prevention (Irán), Prensa Médica de Argentina (Argentina), Cirugía y Cirujanos de México (México), Revista de Gastroenterología de México (México) y Autoimmunity Reviews (Países Bajos), por mencionar algunos, ya que esto puede observarse de manera más detallada en el cuadro I. Asimismo, es posible identificar el factor de impacto del Journal Citation Reports y el factor de medición del Scimago Journal & Country Rank, el cual es un indicador que establece la calidad de las publicaciones científicas, con base en el recuento de las citas obtenidas por cada publicación. Estos datos son una medida de calidad y confiabilidad de la información que se difunde en las publicaciones periódicas, de gran interés para cualquier autor que intenta difundir un artículo.
Cuadro I: Revistas que reflejan la producción científica de los investigadores del IMSS en Puebla durante el período 2013-2017 (n = 170)
Títulos de publicación periódica | Documentos | País | FI | SJR |
---|---|---|---|---|
Asian Pacific Journal of Cancer Prevention | 10 | Irán | 2.5 | 0.62 |
Prensa Médica Argentina | 8 | Argentina | -- | 0.1 |
Revista Alergia México | 7 | México | -- | 0.18 |
Cirugía y Cirujanos | 6 | México | -- | 0.17 |
Revista de Gastroenterología de México | 6 | México | -- | 0.34 |
Autoimmunity Reviews | 5 | Países Bajos | 8.7 | 2.65 |
Reumatología Clínica | 5 | España | -- | 0 |
Revista Médica del Instituto Mexicano del Seguro Social | 5 | México | -- | 1.14 |
Archives of Medical Research | 4 | México | 2.0 | 1.01 |
Metabolic Syndrome and Related Disorders | 4 | EE.UU. | 1.7 | 0.84 |
International Journal of Clinical and Experimental Pathology | 3 | EE.UU. | 1.4 | 0.59 |
Journal of Ethnopharmacology | 3 | Países Bajos | 3.1 | 1.15 |
Revista de Investigación Clínica | 3 | México | -- | 0.33 |
Actas Dermo Sifilográficas | 2 | España | -- | 0.37 |
Annals of Hepatology | 2 | México | 1.5 | 0.64 |
BMC Infectious Diseases | 2 | Inglaterra | 2.6 | 1.58 |
Cirugía y Cirujanos English Edition | 2 | -- | 0.17 | |
Educación Médica | 2 | México | -- | 0.23 |
Ginecología y Obstetricia de México | 2 | México | -- | 0.15 |
Journal of Nanoparticle Research | 2 | Países Bajos | 2.1 | 0.53 |
Lupus | 2 | EE.UU. | 2.9 | 1.41 |
Medicina Interna de México | 2 | México | -- | 0.11 |
Plos One | 2 | EE.UU. | -- | 1.16 |
Revista Chilena de Cirugía | 2 | Chile | -- | 0.14 |
Revista de Neurología | 2 | España | -- | 0.22 |
Veterinary Microbiology | 2 | Países Bajos | 2.52 | 1.17 |
Virology Journal | 2 | Inglaterra | 2.46 | 1.05 |
Virus Research | 2 | Países Bajos | 2.48 | 1.15 |
Boletín Médico del Hospital Infantil de México | 1 | México | -- | 0.15 |
Cirugía Cardiovascular | 1 | Países Bajos | -- | 0.13 |
Clinical Rheumatology | 1 | Inglaterra | 2.14 | 1.65 |
Dermatología Cosmética Médica y Quirúrgica | 1 | México | -- | 0.11 |
Enfermedades Infecciosas y Microbiología | 1 | España | -- | 0.37 |
Gaceta Médica de México | 1 | México | -- | 0.18 |
Gaceta Mexicana de Oncología | 1 | España | -- | 0.11 |
Investigación Bibliotecológica | 1 | México | -- | 0.27 |
FI: factor de impacto del Journal Citation Reports 2018; SJR: Scimago Journal & Country Rank 2018.
Un breve análisis del factor de impacto de las primeras cinco revistas de el cuadro I señala que Autoimmunity Reviews cuenta con un factor de impacto de 8.7 y las cuatro restantes: Asian Pacific Journal of Cancer Prevention, Prensa Médica Argentina, Cirugía y Cirujanos de México y Revista de Gastroenterología de México no poseen un factor de impacto mayor de 3. Asimismo, se identificó que el idioma inglés fue el que predominó en los artículos producidos con un 60%, con 39% en idioma español y 1% en portugués.
Otro hallazgo de este estudio fue que los investigadores del Instituto Mexicano del Seguro Social publicaron el 74% de sus trabajos en revistas extranjeras, en tanto que el 26% restante de los trabajos se divulgó en revistas mexicanas.
Se contabilizó un total de 160 autores firmantes, con un mínimo por artículo de dos y un máximo de 24. El índice de colaboración en la producción científica en las diferentes revistas analizadas fue de 9.7.
La producción científica analizada en el período 2013-2017 reflejó que los autores más prolíficos fueron Álvaro Montiel Jarquín (17%), Claudia Mendoza Pinto (13%), Julio Reyes Leyva (13%), Mario García Carrasco (11%) Aurelio López Colombo (11%), Gerardo Santos López y Verónica Vallejo Ruiz (9%); cabe mencionar que este comparativo se realizó a partir sólo de los primeros 10 autores, lo cual se podrá observar de manera más detallada en la figura 3.
Figura 3. Autores más prolíficos en el período 2013-2017 (n = 170).
Las áreas temáticas sobre las que publicaron estos autores, de acuerdo con las categorías definidas por Scopus, fueron: medicina, bioquímica, genética, biología molecular, inmunología, microbiología, neurociencia, farmacología, toxicología y farmacocinética, ciencias agrícolas y biológicas, tal y como se muestra en la figura 4.
Figura 4. Áreas temáticas en las que se realizaron publicaciones durante el período 2013-2017 (n = 170).
Los autores más citados durante el período estudiado se exponen en el cuadro II, en la cual se muestra la relación entre el número de documentos publicados y la cantidad de veces que se han citado. Debe mencionarse que entre los artículos publicados destaca el de Diagnosis and classification of Susac syndrome, de Claudia Mendoza Pinto y Mario García Carrrasco, el cual ha recibido el mayor número de citas desde su publicación en el 2014.
Cuadro II: Los 10 autores más citados durante el período estudiado (n = 170)
Autor | Documentos | Citas |
---|---|---|
Mendoza-Pinto, Claudia | 29 | 217 |
Reyes-Leyva, Julio R | 28 | 170 |
García-Carrasco, Mario | 33 | 227 |
Anaya-Ruiz, Maricruz | 14 | 123 |
Vallejo-Ruiz, Verónica | 22 | 135 |
Santos-López, Gerardo | 21 | 100 |
López-Colombo, Aurelio | 23 | 94 |
Pérez-Fuentes, Ricardo | 13 | 66 |
Montiel-Jarquín, Álvaro José | 36 | 68 |
Etchegaray-Morales, Ivet | 12 | 47 |
Al analizar las tipologías documentales más usadas durante el período, se observó que de los 170 artículos publicados, los artículos originales fueron los que sobresalen como los más utilizados, con un promedio de 29.6 artículos por año, seguidos de los artículos de revisión, los editoriales, las denominadas encuestas cortas y las cartas al editor (Cuadro III).
Cuadro III: Tipología documental de los artículos publicados en el período 2013-2017 (n = 170)
Tipología | Documentos | Porcentaje |
---|---|---|
Artículo original | 148 | 87.1 |
Artículo de revisión | 17 | 10.0 |
Editorial | 2 | 1.2 |
Encuesta corta | 2 | 1.2 |
Cartas al editor | 1 | 0.6 |
Los indicadores bibliométricos se han convertido en una herramienta esencial para evaluar los resultados de la actividad científica, así como la utilización de la información. Este estudio se aplicó para analizar las publicaciones en cuanto a una visión general sobre el desarrollo de la producción científica y, de manera particular, sobre la producción del personal del Instituto Mexicano del Seguro Social en el estado de Puebla.
Es preciso señalar que los análisis bibliométricos se caracterizan por ser un método inequívoco y confiable para medir la productividad de un sector, por lo que en los últimos años ha aumentado su demanda en países con alto desarrollo científico; sin embargo, en particular en México, son escasos a pesar de los beneficios que generan, al ayudar a identificar las áreas en las que más se publica, así como los autores más prolíficos, y el lugar que ocupa un determinado país en el contexto mundial en la actividad científica.
Este análisis bibliométrico permitió delinear una visión global de la investigación científica durante el período del 2013 al 2017. Se utilizó como fuente bibliográfica la base de datos de Scopus de la editorial Elsevier, que es una de las más completas y especializadas para este tipo de análisis.
Debe reconocerse que las publicaciones periódicas registradas en Scopus tienen una proyección internacional importante, dado que cuentan con un factor de impacto considerable para las evaluaciones curriculares de muchas instituciones de investigación, componente que no se encuentra en la mayoría de las revistas mexicanas. En este análisis se demostró que más del 74% de las publicaciones se realizaron en revistas extrajeras.
Una de las limitaciones observadas en este trabajo de investigación fue la afiliación institucional de los firmantes, debido a que no existe una verdadera estandarización, ya que muchos investigadores tienen dos o tres afiliaciones y no establecen apropiadamente su institución, lo cual da lugar a que la evaluación de la producción científica no se considere mediante un cálculo exacto.
Otro problema identificado para obtener datos de los científicos es que la plataforma no puede arrojar una información exacta cuando los autores son latinos, cuyos apellidos representan un problema debido a que las revistas extrajeras permiten un solo campo para un apellido; esto introduce un error en el sistema y no arroja todas sus publicaciones cuando existen dos o más tipos de firma, ya que en ocasiones ponen un solo apellido y en otras los dos unidos con un guión.
Asimismo, se observó una moderada curva de crecimiento en los últimos años de la producción científica en el estado de Puebla, pero en comparación con la UMAE Hospital de Especialidades del Centro Médico Nacional Siglo XXI, que registró 418 artículos en el mismo período, quedó de manifiesto que es necesrio incrementar la productividad y para ello es tal vez oportuno crear una mayor infraestructura tecnológica y científica, grupos con líneas de investigación específica, líneas de apoyo o incentivos para el personal que desea publicar, con el fin de incrementar este sector.
Durante la investigación se identificó que pocos artículos publicados se han citado en otros autores, lo cual representa un factor muy importante si se considera que el número de citas recibidas por un artículo es la medida de su reconocimiento e influencia dentro de la comunidad científica.14,15
Debe reconocerse que las instituciones académicas, así como las agencias de financiamiento y los científicos en general, se muestran cada vez más interesadas en el empleo de los análisis de las citas para elevar la calidad de la investigación y la productividad de los investigadores.9
Este trabajo encontró información sobre los documentos publicados por área, lo cual se puede observar en la figura 5, en la que se distingue que el 60% de los trabajos pertenece al campo de la medicina y de los cuales 140 artículos se enfocaron en las condiciones médicas y los aspectos epidemiológicos que desarrolló el personal del Instituto Mexicano del Seguro Social. Sin embargo, puede advertirse que, en comparación con otras áreas como la enfermería, la neurociencia y la química, la producción fue mínima. Este dato es un factor importante para continuar con la promoción y apoyo del crecimiento de la investigación, tanto del área médica como de la de enfermería.
Figura 5. Documentos publicados por área, período 2013-2017 (n = 170).
Por otra parte, es difícil establecer una comparación de los resultados de este análisis bibliométrico debido a que no existen estudios previos o similares en el estado de Puebla, por lo que se ha abordado poco la producción científica en el área de medicina.
Es importante recordar que los estudios bibliométricos aportan una interesante visión de la actividad científica del propio país, de una determinada área del conocimiento o de la producción de un estado de la República Mexicana,16 como sucede en este caso. Por lo tanto, esta investigación es la primera en su tipo y ofrece información valiosa para la comunidad científica del Instituto Mexicano del Seguro Social que publica artículos o cuya publicación es inminente.
Esta investigación ofrece una visión global de la situación actual de la producción científica, con la intención de incrementar su calidad, cantidad y visibilidad en el área de la salud nacional e internacional.
El estudio muestra evidencia de que durante el período de 2013 a 2017, la productividad de la investigación relacionada con los investigadores poblanos en el campo de la medicina tuvo su mayor auge en el año 2017.
La información sugiere que, para promover la calidad de los resultados científicos, es esencial que los investigadores extiendan la colaboración nacional e internacional a través de redes para un mayor crecimiento, ya que a mayor colaboración entre autores mayor riqueza en el contenido de la publicación.
Esta investigación reveló el nombre de las principales publicaciones periódicas en las que la comunidad científica poblana ha divulgando sus trabajos y expuso las distintas posiciones de las clasificaciones por factor de impacto de cada una de ellas, con lo cual es posible delinear la calidad de los trabajos expuestos por investigadores poblanos.
De acuerdo con el idioma de publicación, los artículos redactados en inglés recibieron más citas internacionales que los escritos en español, aunque se observó también que se publicó un número menor en español, según se observó al tomar en cuenta que fueron los artículos originales los que sobresalen en los tipos de publicaciones más citados.
En síntesis, este análisis bibliométrico mostró datos de importancia para tomar decisiones y generar políticas de investigación encaminadas a apoyar a los investigadores, los cuales promueven la producción científica de la localidad.
Los autores declaran no tener conflicto de intereses.
Protección de personas y animales. Los autores declaran que para esta investigación no se han realizado experimentos en seres humanos ni en animales.
Confidencialidad de los datos. Los autores declaran que en este artículo no aparecen datos de pacientes.
Derecho a la privacidad y consentimiento informado. Los autores declaran que en este artículo no aparecen datos de pacientes.
1. Okubo Y. STI Working Papers, No. 1997/01:Bibliometric indicators and analysis of research systems:methods and examples. Paris, France:Organisation for Economic Co-operation and Development, 1997. Disponible en:http://www.oecd.org/officialdocuments/publicdisplaydocumentpdf/?cote=OCDE/GD(97)41&docLanguage=En
2. Spinak E. Diccionario enciclopédico de bibliometría, cienciometría e informetría, Caracas, Venezuela:UNESCO, 1996. Disponible en:https://unesdoc.unesco.org/ark:/48223/pf0000243329
3. López-Piñero JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad médica científica (III). Los indicadores de producción, circulación y dispersión;consumo de la información y repercusión. Med Clin. 1992;98:142-8. Disponible en:http://www.scielo.br/scielo.php?script=sci_nlinks&ref=000155&pid=S0102-⇊200200060000200009&lng=es
4. Sancho R. Indicadores bibliométricos utilizados en la evaluación de la ciencia y la tecnología. Rev Esp Doc Cient. 1990;13:842-6. Disponible en:https://digital.csic.es/handle/10261/23694
5. Pu QH, Lyu QJ, Su HY. Bibliometric analysis of scientific publications in transplantation journals from Mainland China, Japan, South Korea and Taiwan between 2006 and 2015. BMJ Open. 2016;6(suppl):e011623. Disponible en:https://www.ncbi.nlm.nih.gov/pubmed/27489154
6. Camps D, Samar ME, Ávila RE, Recuero Y. Estudio bibliométrico de un volumen de la revista Archivos de Medicina. Arch Med. 2006;2(3):1-6. Disponible en:https://www.archivosdemedicina.com/medicina-de-familia/estudio-bibliomtrico-de-un-volumen-de-la-revista-archivos-de-medicina.pdf
7. Moed HF. New developments in the use of citation analysis in research evaluation. Scientometrics. 1985;8:149-59. Disponible en:https://www.ncbi.nlm.nih.gov/pubmed/19219533
8. Smith DR. Impact factors, scientometrics and the history of citation-based research. Scientometrics. 2012;92(2):13-17. Disponible en:https://akademiai.com/doi/pdf/10.1007/s11192-012-0685-x
9. Adam D. The counting house. Nature. 2002;415:726-9. Disponible en:https://www.ncbi.nlm.nih.gov/pubmed/ 11845174
10. López-Piñero JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad medicocientífica. Usos y abusos de la bibliometría. Med Clin. 1992;98:64-8.
11. Garfield E. Citation indexing for studying science. Nature. 1970;227:669-71. Disponible en:http://garfield.library.upenn.edu/essays/V1p133y1962-73.pdf
12. Archambault E, Campbell D, Gingras Y. Comparing bibliometric statistics obtained from the Web of Science and Scopus. J Assoc Inf Sci Technol. 2009;60:1320-6. Disponible en:https://onlinelibrary.wiley.com/doi/abs/10.1002/asi.21062
13. Pringle J. Trends in the use of ISI citation databases for evaluation. Learn Publ. 2008;21:85-91. Disponible en:https://onlinelibrary.wiley.com/doi/abs/10.1087/095 315108X288901
14. Eyre-Walker A, Stoletzki N. The assessment of science:the relative merits of post-publication review, the impact factor, and the number of citations. PLoS Biol. 2013;11:e1001675. Disponible en:https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1001675
15. Moed HF. The impact-factors debate:the ISI's uses and limits. Nature. 2002;415:731-2. Disponible en:https://www.nature.com/articles/415731a
16. Moravcsik MJ. ¿Cómo evaluar la ciencia y a los científicos?Rev Esp Docu Cient. 1989;12:313-25.