Herramientas de IA Legal, danzando con sombras

Un equipo de investigadores de la Universidad de Stanford y Yale, ha puesto bajo estudio la fiabilidad de las herramientas legales basadas en inteligencia artificial IA. En una investigación examinaron la veracidad de las afirmaciones de los proveedores de estas herramientas, quienes prometen resultados “libres de alucinaciones”.

Los hallazgos, publicados en su artículo “Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools” (ver: ¿Libre de Alucinaciones? Evaluando la Confiabilidad de las Principales Herramientas de Investigación Legal con IA ), revelarían una realidad, incluso las herramientas de IA más avanzadas, presentan hoy errores en un porcentaje significativo de casos.

Este estudio, el primero de su tipo, abre un debate crucial sobre la responsabilidad de los profesionales del derecho al utilizar estas herramientas y la necesidad de supervisión humana en un campo donde la precisión es fundamental.

El sector legal ha experimentado un notable incremento en la adopción de soluciones basadas en inteligencia artificial IA para agilizar tareas esenciales dentro de sus actividades. Sin embargo, estas herramientas, que dependen de modelos de lenguaje extensos “Large Language Model” (LLM), presentan una tendencia a generar información imprecisa o incluso inventada (alucinaciones), lo que las convierte en una opción arriesgada para contextos de alta exigencia y congruencia.

A pesar de lo ofertado por ciertos desarrolladores que aseguran haber “eliminado” o “evitado” este problema, un análisis empírico revela que estas afirmaciones serian exageradas de hecho se a observado que algunas de estas herramientas generan información errónea hasta en un tercio de los casos, lo que resalta la necesidad de una supervisión cuidadosa y verificación constante de los resultados proporcionados por la IA en el ámbito legal.

Se aplica desde la búsqueda y resumen de jurisprudencia hasta la redacción de documentos, sin embargo los grandes modelos de lenguaje utilizados en estas herramientas al no ser robustos y no tener toda la información son propensos a generar información falsa, lo que hace que su uso deba ser controlado como a un adolescente, en dominios de alta importancia y específicos.

Algunas empresas que ofrecen este tipo de servicios legales, afirman que usan métodos especiales para evitar errores y garantizar que sus resultados tengan referencias correctas. Sin embargo, es difícil comprobar si esto es cierto porque no muestran cómo funcionan sus sistemas.

La investigación realiza cuatro contribuciones clave. Primero, en evaluar el rendimiento de herramientas legales de IA basadas en Recuperación Aumentada por Generación (RAG), un método que combina la búsqueda de información con la generación de texto. Segundo, introduce un conjunto de datos comprensivo y pre-registrado para identificar y comprender las vulnerabilidades en estos sistemas. Tercero, propone una tipología clara para diferenciar entre alucinaciones y respuestas legales precisas. Cuarto, finalmente, proporciona evidencia crucial para guiar a los profesionales del derecho en la supervisión y verificación de los resultados de la IA, un aspecto fundamental para la integración responsable de esta tecnología en el ámbito legal.

En el espectro de promesas de revolucionar la práctica legal, este estudio enfatiza la necesidad de un enfoque cauteloso y crítico. Los profesionales del derecho hoy deben estar alerta y preparados para supervisar de cerca los resultados generados por estas herramientas, asegurando que la tecnología complemente y mejore la precisión de su trabajo.

Las herramientas de inteligencia artificial IA diseñadas para ayudar en investigaciones legales aún presentan errores, lo que no significa que en un futuro cercano no sean subsanadas ya que la capacidad de procesamiento y el límite de conocimiento de los modelos algoritmos tienen una velocidad de crecimiento nunca antes vista.

Hoy los usuarios deben comprobar que la información proporcionada por estas herramientas esté respaldada por fuentes confiables. Es crucial que se realicen evaluaciones rigurosas y transparentes de estas herramientas para garantizar su precisión y confiabilidad.

Aunque estas herramientas pueden ser útiles para los abogados, especialmente al iniciar una investigación o estructura de cualquier documento, no deben considerarse infalibles. La capacidad de estas herramientas para encontrar documentos legales relevantes es valiosa, pero su interpretación de la ley aún requiere supervisión humana.

Ética e Inteligencia Artificial (IA) - Founder & CEO Clever Hans Arquitectura y Soluciones en Inteligencia Artificial. Abogado. Diplomado en Derecho del Trabajo y Relaciones Laborales, Universidad Austral; Diplomado en Derecho 4.0, Universidad Austral; Magíster en Derecho del Trabajo y Relaciones Laborales, Universidad Austral (T.P); Posgrado de Inteligencia Artificial y Derecho, I.A.L.A.B, U.B.A. Posgrado en Metaverso, U.B.A. Programa (IA) Universidad Austral. Magister en Inteligencia Artificial Centro Europeo de Posgrado. Actualmente cursando programa en el MIT ( Instituto Tecnológico Massachusetts) XPRO, Diseño y Desarrollo de Productos y Servicios de Inteligencia Artificial.