ChatGPT responde incorrectamente más de la mitad de las preguntas de ingeniería de software

La capacidad de ChatGPT para proporcionar respuestas de chat a cualquier pregunta en cualquier momento hace que el chatbot sea un recurso útil para sus necesidades de información. A pesar de la conveniencia, un nuevo estudio encuentra que es posible que no desee usar ChatGPT para reclamos de ingeniería de software.

Antes de la llegada de los chatbots de IA, Stack Overflow era el recurso principal para los programadores que necesitaban asesoramiento para sus proyectos, con un modelo de preguntas y respuestas similar a ChatGPT.

también: Cómo evitar que el nuevo rastreador web de entrenamiento de IA de OpenAI ingiera sus datos

Sin embargo, con Stack Overflow tienes que esperar a que alguien responda tu pregunta, mientras que con ChatGPT no lo haces.

Como resultado, muchos ingenieros de software y programadores recurrieron a ChatGPT con sus preguntas. Dado que no hay datos que muestren la eficacia de ChatGPT para responder a este tipo de avisos, el Estudio de la Universidad de Purdue Investiga el dilema.

Para ver qué tan efectivo es ChatGPT para responder a los reclamos de ingeniería de software, los investigadores enviaron preguntas a ChatGPT 517 Stack Overflow y examinaron la precisión y la calidad de estas respuestas.

también: Cómo usar ChatGPT para escribir código

Los resultados mostraron que de 512 preguntas, 259 (52%) de las respuestas de ChatGPT fueron incorrectas y solo 248 (48%) fueron correctas. Además, el 77% de las respuestas fueron detalladas.

Aunque las respuestas fueron significativamente inexactas, los resultados mostraron que las respuestas fueron completas el 65 % de las veces y abordaron todos los aspectos de la pregunta.

Para analizar más a fondo la calidad de las respuestas de ChatGPT, los investigadores pidieron a 12 participantes con diferentes niveles de experiencia en programación que proporcionaran sus puntos de vista sobre las respuestas.

también: El equipo rojo de Microsoft ha estado monitoreando la IA desde 2018. Aquí hay cinco ideas importantes

Aunque los participantes prefirieron las respuestas de Stack Overflow sobre ChatGPT en diferentes categorías, como lo demuestra el gráfico, los participantes no identificaron correctamente las respuestas incorrectas generadas por ChatGPT el 39,34 % de las veces.

Según el estudio, las respuestas bien articuladas en las puntuaciones de ChatGPT hicieron que los usuarios pasaran por alto información incorrecta en las respuestas.

“Los usuarios ignoran la información incorrecta en las respuestas de ChatGPT (el 39,34 % de las veces) debido a la información humana integral y bien detallada en las respuestas de ChatGPT”, escribieron los autores.

también: Cómo ChatGPT puede reescribir y mejorar el código existente

Generar respuestas aparentemente plausibles e incorrectas es un problema importante en todos los chatbots porque permite que se propague información errónea. Además de este riesgo, los puntajes de precisión más bajos deberían ser suficientes para que reconsidere el uso de ChatGPT para este tipo de reclamos.