Samia Kabir, David N. Udo-Imeh, Bonan Kou y Tianyi Zhang, investigadores adscritos a la Universidad de Purdue, en Indiana, Estados Unidos, pusieron a prueba a Chat GPT y los resultados podrían sorprenderte.
La falta de estudios para evaluar las respuestas del chatbot desarrollado por OpenAI a preguntas relacionadas con programación motivó a estos académicos a emprender la investigación “Who Answers It Better? An In-Depth Analysis of ChatGPT and Stack Overflow Answers to Software Engineering Questions”.
Leer también: Certifícate de manera gratuita en inteligencia artificial y nube con estos cursos
Más de la mitad de las respuestas de Chat GPT fueron incorrectas
Para la investigación se realizó un análisis en profundidad de las respuestas de Chat GPT a 517 preguntas de Stack Overflow, una comunidad online para programadores, en el que se evaluó su veracidad, consistencia, exhaustividad y concreción.
El estudio mostró que el 52% de las respuestas de Chat GPT son incorrectas. Pero, ¿a qué se debe esta tasa de error de más del 50%? Para los especialistas la clave está en el razonamiento, es decir, el chatbot de OpenAI no comprende cómo resolver el problema, a pesar de entender la pregunta. De hecho, el estudio reveló que el 54% de los fallos fueron ocasionados por esta misma circunstancia.
La falta de comprensión se suma a “información redundante, excesiva e irrelevante” que suele acompañar la respuesta, que resulta en ciertas ocasiones aparentemente correcta.
Aunque son incorrectas, algunas personas prefieren sus respuestas
Un aspecto alarmante para los investigadores es que casi el 35% de las veces los usuarios prefirieron las respuestas del Chat GPT, a pesar de que el 77,27% de estas eran incorrectas.
¿Por qué los participantes tienen mayor confianza en el chatbot de OpenAI? La calidad, concreción, exhaustividad son algunos de los factores clave para ello, según detalla la investigación. El estilo del lenguaje y el cuán perspicaces e informativas son las respuestas son otros elementos que convencieron a los usuarios.
“Se siente como si estuviera tratando de enseñarme algo", respondió un participante durante la investigación.
Otra situación generó preocupación en los especialistas. El estudio mostró que sólo cuando son muy obvios, los usuarios pueden identifican los errores en las respuestas de Chat GPT.
Samia Kabir, David N. Udo-Imeh, Bonan Kou y Tianyi Zhang advierten que las respuestas aparentemente verdaderas pueden ser más peligrosas de lo que parece, especialmente en los momentos cuando se requiere cierta experiencia o de otras fuentes para verificar si en realidad son correcta o no.
Ante el surgimiento de plataformas como ChatGPT y su elevada tasa de errores, los investigadores recalcan la importancia de la supervisión humana en proyectos impulsados por la inteligencia artificial. Pues los riesgos de no hacerlo pueden ser más graves de lo que pensamos.
De igual forma, los académicos exhortan a los usuarios a no limitarse a las respuestas que el chatbot de OpenAI pueda ofrecerles, sino a verificar continuamente y no dejarse engañar por las apariencias.
Leer también: Llegan los chats de voz a WhatsApp; así los podrás usar
Recibe todos los viernes Hello Weekend, nuestro newsletter con lo último en gastronomía, viajes, tecnología, autos, moda y belleza. Suscríbete aquí: https://www.eluniversal.com.mx/newsletters