Un cuento evolutivo

La empresa CorpX se sube al carro de la IA generativa casi enseguida, tras constatar que la irrupción en 2022 de ChatGPT en el mercado no es más que la señal de un importante cambio en la concepción y el desarrollo de la tecnología informática. CorpX decide abordar un proyecto poder resumir y explotar mejor la gran cantidad de documentos PDF almacenados en sus servidores, así que contrata a ProtecA para que le desarrolle esta solución, basada en la extracción de texto mediante parsers que tienen en consideración la composición de los documentos (columnas, traducciones laterales, tablas, etc.). Tras 4 meses, el proyecto está en su tercio final y CorpX comienza a ver que los resúmenes de los PDF le resultan de mucha utilidad, pero llega a sus oídos que han aparecido en el mercado varias herramientas que hacen lo mismo… bueno, en realidad que hacen mucho más que resumir PDFs, y que su coste para toda la organización representa menos de una décima parte de lo que resta pagar por su proyecto inicial. CorpX debe decidir ahora si continúa con el proyecto y, más aún, debe decidir si va a seguir sufragando su mantenimiento y evolución, compitiendo con empresas tecnológicas dedicadas íntegramente al mismo objetivo.

Por otro lado, CorpY, una empresa de un segmento económico diferente al de CorpX, sí ha decidido apostar por la suscripción de pago a esas herramientas de “conversación con PDFs” y en poco más de dos meses ha conseguido instalar estos recursos ofimáticos en su organización, formando además a su personal en los evidentes beneficios de estas poderosas aplicaciones de productividad, que permiten mantener diálogos de búsqueda de información y composición de respuestas en la mayoría de los PDFs contenidos en los repositorios de la empresa. A los cuatro meses todos los empleados se han acostumbrado al uso de esta nueva herramientas, y en ese momento CorpY repara en que han aparecido nuevas y más poderosas herramientas; pero lo peor es que los modelos de lenguaje extensos (LLMs) han comenzado a volverse “multimodales” y, empezando por ChatGPT, ya admiten documentos de diversos tipos, incluyendo PDFs. Y resulta que su análisis de los PDFs y, por tanto, las conversaciones con esos documentos son mucho mejores que los que procura la “ya antigua” herramienta, especialmente en lo que respecta al tratamiento de imágenes, tablas y diagramas insertos en esos PDFs. Pero cambiar desde la herramienta, cada vez más desfasada, al uso directo de LLMs saca a la luz muchas cuitas sobre los aspectos de seguridad, confidencialidad y privacidad que deberían ser contemplados. CorpZ, competencia directa de CorpY y que se ha incorporado bastante tarde a la ola de IAG, ha resuelto todo lo anterior mediante una suscripción al nuevo ChatGPT Team para una parte de su organización, lo que le permite no sólo conversar con documentos PDFs y con otros muchos formatos, sino también personalizar de forma muy sencilla los nuevos GPTs.

CorpX cuenta con un gran repositorio de información documental y ha decidido acometer, encargándoselo a ProtecB, un proyecto de “conversación documental” global utilizando un esquema arquitectónico conocido como RAG (Retrieval Agumented Generation) que le permitirá aplicar las facilidades conversacionales de los LLMs a su base de conocimientos. El proyecto comienza con resultados casi inmediatos… pero diferentes a los que la ingestión directa de un documento por parte de un LLM multimodal estaba generando. Tras 5 meses de proyecto, los resultados se asemejan demasiado a los primeros de trato de PDFs en CorpX… pero están definitivamente muy pegados a la tierra (“grounded”) y la capacidad conversacional se ha reducido, en realidad, a búsquedas en lenguaje natural con listas de resultados documentales y resúmenes. En CorpX, la sensación de inmadurez tecnológica e imprevisibilidad comienza a hacer mella en su equipo directivo.

CorpY, asumiendo un razonamiento parecido al de CorpX, emprende, poco después que ésta, un proyecto software un tanto más ambicioso, al unir RAG con fine-tuning de GPT 3.5 Turbo mediante MS Azure. El fine-tuning cuesta mucho más de lo planteado, en términos de tiempo y dinero, porque los resultados razonables se hacen esperar, aunque su fusión con RAG parece funcionar, orquestada con pequeños modelos de lenguaje dedicados a análisis recursivos de la documentación. Parece que CorpY está en la punta de la tecnología. En paralelo, CorpZ, la competencia de CorpY, utilizando Claude 3, ha desarrollado un proyecto mucho más corto y barato, sin fine-tuning, utilizando técnicas suplementarias a RAG como RAT (Chain-of-Thoughts) que ofrece resultados mucho menos “grounded” que los de CorpY, que acaba de reparar en la dificultad de traspasar todo su esfuerzo a los nuevos y más capaces LLMs.

CorpA, por fin, acaba de aprobar su inmersión en IAGs, justo cuando se ha lanzado ChatGPT 5, con una -realmente- enorme ventana de contexto, exuberantes capacidades multimodales y la capacidad de lanzar «agentes de IA» para realizar tareas de forma automática, además de ofrecer una mayor personalización de las respuestas, con una relevante capacidad de adaptación a los estilos de escritura de CorpA. Han leído sobre experiencias similares a las de CorpZ, CorpY y CorpX que les parecen propias de una etapa inmadura de la tecnología, carente de la solidez y garantías de las que disponen ahora. ¡Ay, ay!

 

Apuntes (breves) de supervivencia

No pretendo (ni quiero) describir aquí un manual completo de gestión adaptable de proyectos IAG, propio de mi actividad como consultor estratégico IAG, aunque sí que cabe mencionar ciertos criterios que ayudarán a conjurar los mayores peligros y retos con los que se enfrentan las empresas que han decidido seguir la procelosa (y gratificante) vía de la IAG.

La gestión del riesgo en proyectos IAG debe entenderse como una actividad de mezcolanza inteligente de la proyección tecnológica de la IAG (cambiante casi diariamente), la satisfacción de las necesidades evolutivas de la empresa (cada posible proyecto impulsa un conjunto de nuevas necesidades), el análisis económico-competitivo temporal de aprovechamiento de los resultados y la prospección de cambios organizativos ajustados a todo lo anterior. Veámoslo.

 

Recambios previsibles

El planteamiento de un proyecto IAG debe incorporar, además de lo exigible en un desarrollo e implementación tecnológico organizativo, una segmentación en bloques de riesgo tecnológico, priorizada en términos de probabilidad de sustitutibilidad. Supongamos que una porción del desarrollo software se centra en la partición de PDFs pesados precisamente porque las ventanas de contexto de los actuales LLMs impiden la carga de esos documentos. Este subsistema tiene que ser evaluado en razón de

  1. El más que previsible aumento (en plazos tasados, inferiores a 6 meses) de la capacidad de ingesta documental de los LLMs.
  2. La próxima inserción de capacidades conversacionales directamente en Adobe Acrobat.
  3. La profusión de herramientas de conversión multimodal orquestadas a través de SMoEs.

La valoración del impacto sustitutivo del subsistema, junto con la comparación coste-resultados en el previsible periodo de cambio, además de la asignación de valores de ranking a cada una de las premisas evolutivas, generará un escenario que aquilatará los contenidos, alcance y límite presupuestario del subsistema en sí.

 

Impactos organizativos

Los CCaaS (Contact-Service as-a-Service) son un dominio directamente afectado por el tsunami IAG, así que una empresa de este sector, CorpCC, ha decidido implementar un sistema de ayuda a los operadores basado en la conversación con documentos. En realidad, CorpCC es consciente de que durante 2024 y 2025 se producirán importantes cambios en más del 60% (y hasta un 80%) de las operaciones generalistas, atendidas ahora por personas y, en los próximos meses, compartidas con chatbots IAG; pero, con todo, CorpCC quiere ir mucho más despacio, optimizando en lugar de cambiando, así que de momento desarrolla, con la ayuda de ProtecCC, una solución de ayuda.

La gestión del riesgo IAG deriva, en este caso, hacia la regulación, que ya exige (y el ánimo legislativo no va a cambiar, pese a los bamboleos reglamentarios y la asfixiante adaptación a la tecnología) una supervisión humana (no necesariamente exenta de colaboración con IAs) a los procesos gestionados por IAs. Esta postura indica un desplazamiento clarísimo de los operadores hacia un nuevo rol de supervisores IA, que sin duda necesitarán apoyo de IAGs, que se implementará mediante un proyecto esencialmente distinto del que se va a abordar como ayuda a los actuales operadores. Es decir: se está conduciendo el navío empresarial hacia un destino incorrecto, que va a conseguir que CorpCC pierda competitividad y, también, malogre el esfuerzo inversor actual… a menos que ese esfuerzo sea razonable como gasto para un período conjunto de implantación y uso que no supere los 6 meses.

 

El prurito de la propiedad percibida

La empresa CorpB9, conocida operadora jurídica, decidió en el primer cuatrimestre de 2023 invertir en un LLM propio (ahorro decir que la inversión fue -y sigue siendo- más que formidable, en su sentido de “atemorizante”) porque, simplemente, no se podía permitir no mostrar el músculo IAG a sus clientes, actuales y prospectivos, tras los aparentes éxitos de optimización obtenidos en sus anteriores iniciativas LegalTech.

El desempeño del nuevo LLM es admirable, al menos en una legislación nacional, pero en el primer trimestre de 2024 CorpB9 ha constatado que las capacidades deductivas y argumentativas de su modelo han caído por debajo de las novísimas características deductivas y de razonamiento jurídico de los últimos grandes modelos comerciales. El “busilis” de este asunto es que la portabilidad del esfuerzo nunca se consideró por varias razones que en su momento se consideraron válidas:

  • La IAG no puede sustituir a un abogado (y menos a un/a soci@), pero puede ayudar mucho en la parte paralegal y bastante en la parte compositiva argumental, así que el progreso será tan grande que no hacen falta KPIs ni baremos para asentar la decisión.
  • CorpB9 no puede recalar en modelos comerciales -como el resto de las firmas legales de inferior calado-, pues su diferenciación radica en la explotación jurídico-comercial de sus singularidades. Y, en cualquier caso, sus necesidades CIA (confidencialidad, integridad y disponibilidad) sólo se podían asegurar (en el momento de la toma de la decisión) mediante un desarrollo propio.
  • La inversión es más publicitaria e instrumental que esencial, pues la IAG se integrará como un producto más en la plataforma legalTech de CorpB9.

El entorno LegalTech IA, sin embargo, pegó un vuelco en el tercer cuatrimestre de 2023, que se ha asentado a mitad del primer trimestre de 2024, proyectando la necesidad de integración de diferentes iniciativas coadyuvantes (subsistemas de retrieval, repositorios jurídicos de pago, analistas jurídicos, etc.) junto con la orquestación de diferentes LLMs, haciendo que la inserción de un LLM propietario dominante sea más una rémora que una ventaja. Y a este “descolocamiento” hay que añadir el enorme lastre que suponen las previsiones de mantenimiento y actualización de un sistema propietario que se precipita hacia su obsolescencia práctica y del que se busca ahora más un posicionamiento de branding (que en realidad se quiere dejar desvanecer eficazmente, por sus implicaciones prácticas) que de colaborador efectivo en el tráfico jurídico.

 

Conclusiones rápidas

¿Quién puede elaborar un razonable plan de riesgos y contingencias respecto de un proyecto IAG? Pues, evidentemente, alguien que pueda gestionar con profesionalidad tanto el entorno tecnológico de la IA, su estado-del-arte y sus proyecciones, como el ámbito de aplicación del mismo (su historia evolutiva, la situación actual y la previsión crítica de su transformación por medio de la IA). La ciencia y la consultoría de negocios son, por sí mismas insuficientes, como suele serlo la combinación, sin más, de ambas posturas: se requiere, más que tal combinación, una integración a nivel esencial que abarque las áreas enumeradas en la introducción a los apuntes (breves) de supervivencia.

Pero, por otro lado, es indiscutible que las empresas deben exigir esta valoración del riesgo IAG junto con estrategias y tácticas para mitigarlo, más allá de un mero informe no vinculante de tendencias (equivalente al típico forecast tecnológico de los Big Four) o de presunciones informales. Los estudios concretos sobre proyección de cambios organizativos en una empresa determinada, derivados de la IAG, devienen imprescindibles. Y su exigencia, también.

Elegir la compañía adecuada durante un proyecto IAG resulta, a la postre, más importante que elegir bien el proyecto. Cuestión de riesgos. Y de su asunción.