El instituto METR (Model Evaluation & Threat Research) publicó
un estudio llevado a cabo para medir el impacto de las herramientas de IA en el
desarrollo de software
Early_2025_AI_Experienced_OS_Devs_Study.pdf
Realizaron un ensayo controlado con 16 desarrolladores,
todos con experiencia moderada en proyectos de Open Source, los cuales debían
terminar 246 tareas las cuales podrían terminar en promedio en 2 horas.
Antes de iniciar, los desarrolladores pronosticaban una reducción del 24% en tiempo para completar las tareas gracias a la IA, Luego de terminar las pruebas estos mismos estimaron haber logrado una reducción del 20%, sin embargo, sorprendentemente, el resultado observado fue que el uso de herramientas de IA para desarrollar aumentó los tiempos en un 19%.
Si bien en el ensayo declaran no poder medir el impacto de los Artefactos usados, la aleatoriedad y notoriedad de la diferencia entre el desarrollo con o sin IA descartan que los resultados se deban al diseño del experimento.
A la ausencia de este tipo de estudios por parte de los fabricantes muestra que, sin demeritar las ventajas que aporta la IA, el afán de comercializar los avances nos está llevando a valorar como producto terminado a soluciones que, en la mayoría de los casos y con la rigurosidad debida, deberían considerarse como pruebas de concepto.
Solo es ver reseñas como esta de IBM: "En general, la IA está aumentando la velocidad y precisión del desarrollo y fomentando un entorno de software más confiable y seguro. El futuro traerá aún más avances. A medida que la IA generativa evoluciona, podría remodelar fundamentalmente cada etapa del desarrollo e incluso podría hacer obsoletas las metodologías ágiles, tal como las conocemos hoy."
La IA en el desarrollo de software | IBM
Puedes leer de arriba a abajo como en el artículo les atribuyen ventajas a las herramientas de IA sin el más mínimo respaldo en pruebas estadísticas, ensayos controlados o estudios científicos.
La investigación no es la única que da argumento para quienes somos escépticos respecto a los beneficios prometidos por las herramientas de IA para el de desarrollo de código. Otros estudios (Code-generating AI can introduce security vulnerabilities, study finds | TechCrunch) han demostrado estas herramientas en la actualidad pueden introducir errores e incluso vulnerabilidades de seguridad.
En la carrera por encabezar el mercado es deber de quienes tomamos las decisiones, adoptar una posición crítica para evitar caer en el Hype de la IA, y terminar confiando en productos cuyas bondades carecen de un sustento sólido y terminemos adoptando productos que terminen afectando nuestro ecosistema o volviendo humo los presupuestos
