El impuesto de las alucinaciones: el coste oculto de revisar el trabajo de sus agentes de IA, y cómo reducirlo

La mayoría de las empresas presupuesta el agente y se olvida de la persona que lo revisa. Una encuesta publicada esta semana pone cifra a esa factura oculta y señala la causa: no el modelo, sino los datos que lee.

El 16 de septiembre, la empresa de gobernanza de datos Collibra publicó una encuesta realizada por Harris Poll a 306 directivos estadounidenses, de nivel de dirección o superior, en funciones de datos, privacidad e IA. El titular es que el setenta y dos por ciento afirma que las iniciativas de IA de su empresa se quedan cortas por unos cimientos de datos deficientes. Conviene leerlo con dos salvedades: quien la patrocina vende programas de gobernanza de datos, así que tiene interés en esa conclusión, y el margen de error es de 6,4 puntos porcentuales. Las cifras que van debajo del titular son más útiles que el titular.

El cincuenta y uno por ciento dice que su personal dedica muchas horas a revisar a mano lo que producen los agentes autónomos. El ochenta y siete por ciento asegura que sus equipos vuelven a comprobar con regularidad que el contexto sobre el que trabajan los agentes sea exacto. El setenta y seis por ciento tropezó con obstáculos críticos al pasar del piloto a la producción a lo largo del último año. El informe llama impuesto de la alucinación a la suma de esos costes: supervisión, trabajo repetido y riesgo que nadie incluyó en el plan de negocio.

De dónde sale el impuesto

Un agente responde con lo que puede leer. Si la lista de precios existe en tres versiones, si la política se actualizó pero el PDF antiguo sigue en la unidad compartida, o si dos documentos se contradicen, el agente contestará con aplomo desde el que encuentre, y una persona tendrá que detectar el error después. Es una lectura nuestra y no un hallazgo de la encuesta, pero encaja con su propio diagnóstico: el problema está en el material que lee el agente, y quienes lo absorben son las personas.

Qué están haciendo las empresas

El cincuenta y tres por ciento indica que la línea de dependencia de su función de IA se ha acercado a la organización de datos, y el ochenta y cuatro por ciento ha definido quién responde, a nivel directivo, de los resultados erróneos o dañinos de un agente. Esa misma semana, Fortune contó que los directores de sistemas de información se apresuran a poner barreras y una supervisión centralizada a los agentes, y recogió a un responsable de PwC que sostiene que echar la culpa al agente no servirá como defensa, ni moral ni jurídicamente. La responsabilidad recae en personas, así que conviene saber en cuáles.

Cuatro formas de reducir la factura

  • Haga la lista de lo que el agente puede leer y ponga un responsable a cada fuente. Una sola versión vigente de cada política, lista de precios y plantilla; las antiguas, archivadas o eliminadas.
  • Mida el tiempo de revisión desde la primera semana. Las horas semanales que alguien dedica a comprobar resultados son la cifra que el plan de negocio suele omitir. Si no bajan durante los primeros meses, lo que hay que corregir es el montaje, no revisar más.
  • Acuerde una regla de muestreo en lugar de revisarlo todo. Por ejemplo, una persona comprueba cada semana una parte fija de los resultados y todos los que superen un nivel de riesgo declarado, con una tasa de error que obligue a replantearse el planteamiento.
  • Nombre a quien responde del resultado. Una persona, por escrito, antes de que el agente entre en servicio.

Por nuestra parte, cada agente que ponemos en marcha empieza con un inventario de las fuentes que puede leer y con un supervisor con nombre que muestrea sus resultados, y el tiempo de revisión se incluye en el informe mensual para que este coste se vea desde el principio y no se descubra en la renovación.

Fuentes

← Volver al blog NHAI.AI — Noticias de IA

Ponga la IA a trabajar con supervisión experta.

Agentes desde 79 $/mes, o un Diagnóstico Express gratuito para ver dónde encaja la IA en su negocio.

Ver agentes y precios