Probando los límites de la IA generativa

Para sacar el máximo partido de herramientas de IA generativa (GenAI) como GitHub Copilot o ChatGPT, El fundador de Datasette, Simon Willison, sostiene que hay que estar preparado para aceptar cuatro opiniones contradictorias. A saber, que la IA no es ni nuestra salvación ni nuestra perdición, ni un bombo publicitario vacío ni la solución a todo. No es nada de eso y todo a la vez. En palabras de Willison: «Lo más descabellado es que todas estas [options] tengan razón».

Puede ser. Todo depende de cómo utilices las herramientas genAI y de lo que esperes. Si esperas que un asistente de generación de código como AWS CodeWhisperer produzca un código perfecto que puedas aceptar y utilizar al por mayor sin cambios, te vas a llevar una decepción. Pero si utiliza estas herramientas para complementar las habilidades de los desarrolladores, puede que se lleve una sorpresa muy positiva.

«Android paranoico»

El problema es que demasiadas empresas se han tragado el bombo y esperan que GenAI sea una cura mágica para sus problemas. Como Stan Aronow, analista de Gartner, destaca lo siguienteuna encuesta reciente de Gartner reveló que «casi el 70% de los líderes empresariales creen que las ventajas [of GenAI] superan los riesgos, a pesar de la limitada comprensión de la aplicabilidad y los riesgos precisos de la IA generativa». Si tu estrategia empresarial se reduce a «sonaba bien en Twitter», te mereces que te hagan daño.

Hablando de grandes modelos lingüísticos (LLM), Willison dice: «Parece como si hace tres años los extraterrestres aparecieran en la Tierra, nos entregaran una memoria USB con esta cosa y se fueran. Y desde entonces no hemos parado de darle vueltas para averiguar qué puede hacer». Sabemos que es importante y podemos intuir algunos de los límites de lo que la IA, en general, y los LLM, en particular, pueden hacer, pero todavía estamos en modo ensayo-error.

El problema (y la oportunidad) de los LLM, continúa Willison, es que «muy rara vez obtienes lo que realmente pediste». De ahí el advenimiento de la ingeniería rápida, mientras jugamos con formas de conseguir que los LLM produzcan más de lo que queremos y menos de lo que no. «De vez en cuando, alguien descubre que si utilizas este pequeño truco, de repente se abre toda una nueva vía de habilidades», señala.

Todos estamos buscando ese «pequeño truco», lo que me lleva a la programación.

Todo en su sitio

Algunos sugieren que los asistentes de codificación serán una gran ventaja para los desarrolladores no cualificados. Eso podría llegar a ser cierto, pero hoy por hoy no lo es. ¿Por qué? No hay forma de confiar adecuadamente en el rendimiento de un LLM sin tener suficiente experiencia para calibrar sus resultados. Según Willison, «para obtener los mejores resultados se necesita un montón de conocimientos y experiencia. Gran parte se reduce a la intuición».

Hay trucos de codificación que los desarrolladores descubrirán a través de la experimentación, pero otras áreas simplemente no encajan bien con GenAI por el momento. Mike Loukides, de O’Reilly Media, escribe«No podemos atarnos tanto a la generación automática de código que nos olvidemos de controlar la complejidad». Los humanos, aunque imperfectos a la hora de limitar la complejidad de su código, están mejor posicionados para hacerlo que las máquinas. Por ejemplo, un desarrollador no puede realmente pedirle a un LLM que reduzca la complejidad de su código porque no está claro qué significaría eso. ¿Reducir líneas de código? «Minimizar las líneas de código a veces conduce a la simplicidad, pero con la misma frecuencia conduce a complejos encantamientos que empaquetan múltiples ideas en la misma línea, a menudo basándose en efectos secundarios no documentados», afirma Loukides. A los ordenadores no les importa la complejidad del código, pero sí a los humanos que tendrán que depurarlo y entenderlo años después.

Todo esto está bien. Estamos muy al principio de la evolución de la IA, a pesar de que existe desde hace décadas. En tecnología nos gusta adelantarnos a los acontecimientos. Actuamos como si la nube fuera una norma establecida, cuando todavía es sólo el 10% más o menos de todo el gasto en TI. A pesar de la avalancha de inversiones en IA, ni siquiera representa el 0,01%.

En cuanto a Willison, ahora es el momento de probar los distintos LLM y sus herramientas de codificación asociadas. Nuestro objetivo no debería ser ver cuál de ellos hará todo el trabajo por nosotros, sino descubrir sus puntos fuertes y débiles y probarlos hasta que sepamos cómo utilizarlos. y sus fracasos en nuestro beneficio.