¿Puede Chat-GPT reemplazar a los revisores humanos en la evaluación de artículos científicos?

Comentario del Autor: Juan Sanchis Forés

Los editores asociados de Rev Esp Cardiol (P. Avanzas, D. Filgueiras-Rama, P. García-Pavía y L. Sanchis) y su editor jefe (J. Sanchis) revisaron, de forma ciega, la calidad de la revisión con un modelo de ChatGPT (RGPT) y la revisión humana (RH) que se hizo en el momento de la remisión del artículo. Los editores analizaron los siguientes dominios: calidad de la información, calidad de la redacción y juicio crítico, y asignaron una puntuación de 0 a 100 a cada dominio. Se pidió también a los editores que adivinaran que revisión era la RH y cuál la RGPT y determinaran cuál era mejor. Los editores juzgaron que la calidad de la información de RGPT y RH fue similar. RGPT fue superior en cuanto a la calidad de la redacción, mientras que RH tuvo mejor sentido crítico. El editor determinó correctamente si la revisión era la RGPT o la RH en la mayor parte de los casos (n = 74, 99%). Es interesante señalar que la RGPT se consideró mejor que la RH en 27 casos (36%).

Los resultados del estudio podrían ser de interés en una época en la que, mientras la IA se aplica cada vez más en diferentes campos, las publicaciones científicas están aumentando exponencialmente, y la evaluación científica estánpasando a ser cara y problemática. La calidad de la información fue similar, pero la RGPT mostró una mejor calidad de redacción, lo cual puede atribuirse a la capacidad del modelo de generar respuestas bien estructuradas utilizando grandes cantidades de datos previos. La RH superó a la RGPT en juicio crítico, probablemente por la experiencia, la intuición y el conocimiento experto especializado de los humanos. Esto subraya que el análisis humano es irreemplazable en contextos que requieren juicio crítico. No obstante, ChatGPT-4 podría usarse como instrumento de cribado inicial en el proceso de la revisión por pares y podría ayudar a los revisores a organizar y redactar mejor sus evaluaciones.

Referencias:

  1. Revista Española de Cardiología. - ChatGPT-4 frente a evaluación humana para la revisión por pares en cardiología

 

Juan Sanchis Forés

Juan Sanchis Forés

Catedrático de Medicina-Cardiología, Universidad de Valencia. Jefe del Servicio de Cardiología. Hospital Clínico Universitario de Valencia. 6 sexenios de investigación reconocidos por el Ministerio de Educación. Más de 500 artículos publicados en Pubmed
Editor de 7 libros. Director de 14 tesis doctorales. Investigador principal en 9 proyectos del FIS y 5 programas. Investigador principal del Grupo de Cardiología del Hospital Clínico Universitario de Valencia en el CIBER Cardiovascular. Editor asociado de la Revista Española de Cardiología desde 2009 a 2014, y Editor-jefe desde 2014 a 2015, desde Octubre 2021 (vigente en la actualidad).

@JuanSanchisFor

Colabora con CardioTeca
¿Quieres escribir en el Blog?
Únete a nuestros cientos de colaboradores científicos. Gana visibilidad y participa.

Blog Cardiología Clínica

Finerenona… ¿también cuanto antes mejor?

Finerenona… ¿también cuanto antes mejor?

  • Susana Tabares Rodríguez
  • 31 Oct
¿Por fin disponemos de un tratamiento para el síncope vasovagal?

¿Por fin disponemos de un tratamiento para el síncope vasovagal?

  • Carlos Escobar Cervantes
  • 22 Oct

Servicios y Gestión de Proyectos - Trabaja con CardioTeca

Formación

Formación

Cursos online, con certificado de asistencia y acreditados. Formación cuándo y cómo quieras.
Patrocinio

Patrocinio

Acuerdos de colaboración o esponsorización de acciones y proyectos.
Ediciones

Ediciones

eBooks con depósito legal e ISBN, PDF navegables, infografías, pósters, publicaciones digitales.