Inteligencia artificial, alucinaciones jurídicas y el valor insustituible de la inteligencia natural

La semana pasada, diversos medios de prensa reportaron un caso que ilustra esta advertencia. El abogado Franklin Bustos Díaz fue sancionado con el pago de una Unidad Tributaria Mensual (UTM) por presentar un escrito ante el 2° Juzgado Civil de Concepción en el que citaba ocho sentencias supuestamente favorables a su caso. Todas, inexistentes o inexactas. El documento había sido redactado con ayuda de inteligencia artificial: “Un abogado del estudio [Bustos Melgar y Piderit Abogados Asociados] redactó este escrito y se apoyó con Inteligencia Artificial para su redacción, de esta forma fue presentado al Tribunal. Mi culpa y responsabilidad como director del estudio fue no revisarlo antes de ser presentado», reconoció el propio abogado a través de un comunicado en su cuenta de Instagram.

El juez Adolfo Depolo, en su resolución, calificó la conducta como contraria a la buena fe procesal y a la ética profesional y responsabilizó al abogado que firmó el escrito sin verificar sus fundamentos: “es claro que la parte demandante ha realizado una aplicación abusiva del derecho, toda vez que ha ejercido en forma contraria a la ética profesional, argumentando a través de datos inexistentes para inducir al juez a decidir, de una forma contraria a la correcta administración de justicia” (Causa rol C-6127-2025).

Este no es un caso aislado.

En 2023, dos abogados neoyorquinos Steven A. Schwartz y Peter LoDuca, del estudio Levidow, Levidow & Oberman, fueron multados con cinco mil dólares por presentar un escrito que citaba seis casos inexistentes generados por Chat GPT (Merken, 2023). Schwartz se disculpó ante el tribunal: “Quisiera disculparme sinceramente con su señoría, con este tribunal, con los acusados ​​y con mi firma. […] Sufrí tanto profesional como personalmente por la amplia publicidad que ha generado este asunto. Me siento avergonzado, humillado y profundamente arrepentido” (Schintzer, 2023).

El académico francés Damien Charlotin lleva un registro de estos incidentes en su base de datos AI Hallucination Cases (consultada el 6 de febrero), que identifica 896 casos desde abril de 2023 en 30 países —el 69,4% de estos en Estados Unidos—, observándose un un crecimiento continuo y significativo de casos, acelerándose exponencialmente durante 2025, con un peak de 131 reportes en diciembre y 106 casos en lo que va de 2026. 107 si agregamos el caso Bustos.

La IA no es fuente de autoridad intelectual.

Los modelos de inteligencia artificial tienden a entregar respuestas que parecen correctas pero son tergiversadas, falsas o inventadas —a lo que se la ha denominado “alucinar”. Este fenómeno es bien conocido y ha sido documentado incluso en los modelos más avanzados.

El proyecto Humanity’s Last Exam (Phan et al, 2025) es una batería de preguntas de nivel experto en múltiples disciplinas —matemáticas, física, biología/medicina, humanidades/ciencias sociales, ciencias de la computación/inteligencia artificial, ingeniería, química, entre otros— diseñada para evaluar las capacidades reales de los modelos. Un análisis recién publicado en Nature por el Center for AI Safety, Scale AI y HLE Contributors Consortium concluye que “todos los modelos [GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro, DeepSeek R1, Claude 4 Sonnet, Gemini 2.5 Pro y GPT-5] alcanzan una baja precisión en HLE” (Center for AI Safety et al, 2026), presentando errores graves en preguntas cerradas de alto nivel, alucinaciones persistentes incluso cuando los modelos tuvieron acceso a múltiples modalidades y contexto ampliado y un desempeño fue inferior al humano experto, revelando una brecha persistente en comprensión profunda y exactitud.

Un análisis similar se publicó en marzo de 2025, en el Journal of Empirical Legal Studies, por investigadores de la Universidad de Stanford que cuestionan las declaraciones de proveedores legal-tech que indican que han ”mitigado, sino solucionado por completo, el riesgo de alucinaciones […] Señalan que han usado técnicas sofisticadas como generación aumentada por recuperación (RAG [su sigla en inglés: retrieval-augmented generation]) que previene ampliamente las alucinaciones en tareas de investigación legal. […] Pero ninguna de estas audaces proclamaciones ha estado acompañada de evidencia empírica” (Magesh, 2025: 2). El estudio indica que, en promedio, la proporción de respuestas correctas que entregan los modelos es del 44%, mientras el 28,5% son incompletas y el 27,5% son alucinaciones (Magesh, 2025: 14).

Ambos estudios coinciden en que los avances son reales y muy rápidos, pero los límites también lo son. La IA todavía no puede operar como fuente de verdad o garantía de validez intelectual, especialmente en entornos donde el error tiene consecuencias éticas, reputacionales o legales.

Hay quienes se toman el asunto en serio.

El 7 de febrero de 2025, todos los abogados del estudio Morgan & Morgan recibieron un e-mail de su Chief Transformation Officer, Yath Ithayakumar: “Este es un problema grave y agradezco su atención. La integridad de su trabajo legal y su reputación dependen de ello”, abre. En el e-mail, instruye que “si utilizan la IA para identificar casos para citarlos, cada uno debe verificarse de forma independiente […] la jurisprudencia debe revisarse para garantizar que siga siendo válida. […] La misma regla se aplica a la investigación generada por IA: la verificación por parte del abogado que la realiza es obligatoria. […] El incumplimiento de los requisitos de verificación de IA puede resultar en sanciones judiciales, medidas disciplinarias profesionales, medidas disciplinarias por parte del despacho (que pueden incluir el despido) y daños a la reputación.” (Ithayakumar, 2025).

Lo que está en juego, no es la validez de la tecnología, sino la responsabilidad con la que la incorporamos a la práctica profesional.

Ithayakumar cierra su e-mail: “La IA es una herramienta poderosa para generar contenido, respuestas, investigaciones, resúmenes y otros materiales, pero debe ser verificada. El contenido generado por IA puede contener errores, omisiones, información obsoleta o falsa, citas de casos inexactas o detalles inventados. Es su responsabilidad y obligación ética verificar de forma independiente toda la información antes de utilizarla o basarse en ella en documentos judiciales o cualquier otro documento o material.” (Ithayakumar, 2025)

No hay marcha atrás. Pero tampoco hay atajos.

La historia de la digitalización nos ha enseñado esto: desde la irrupción de Internet en los años noventa, la transformación digital ha sido un motor de crecimiento económico del mundo. “Existe una clara conexión entre la madurez del ecosistema de Internet y el aumento del nivel de vida. Descubrimos que un aumento en la madurez de Internet similar al experimentado en los países avanzados durante los últimos 15 años se correlaciona con un aumento del PIB real per cápita de 500 dólares en promedio durante este periodo. La Revolución Industrial del siglo XIX tardó 50 años en lograr los mismos resultados.” (Manyka y Roxburgh, 2011: 3). Los autores James Manyika y Charles Roxburgh destacan que “un ecosistema de Internet fuerte (uno que fomenta la competencia, alienta la innovación, desarrolla el capital humano y construye una infraestructura de Internet integral e impulsa el acceso) permite a un país capturar el máximo valor que ofrece esta transformación tecnológica” (Manyka y Roxburgh, 2011: 7).

La inteligencia artificial puede ayudarnos a trabajar más rápido, a explorar más variables, a escribir mejor. Pero no reemplaza la ética, el criterio ni la capacidad crítica. Y si el derecho es, en esencia, un oficio intelectual al servicio de la justicia, su ejercicio debe sustentarse en lo que los algoritmos no pueden replicar: la inteligencia natural.

Referencias

• 2° Juzgado Civil de Concepción (21 de enero de 2026), causa rol C-6127-2025.

• Bustos Díaz, Franklin Cristóbal [@fraklin_bustos]. (2 de febrero de 2026.) Comunicado En virtud de una resolución que se encuentra dando vueltas en la cual se me sanciona con el pago [Fotografía]. https://www.instagram.com/p/DUOTmv_EXdk/

• Center for AI Safety., Scale AI. & HLE Contributors Consortium. A benchmark of expert-level academic questions to assess AI capabilities. Nature 649, 1139–1146 (2026). https://doi.org/10.1038/s41586-025-09962-4

• Charlotin, D. (consulta: 6 de febrero de 2026). AI Hallucination Cases [Base de datos]. www.damiencharlotin.com/hallucinations

• Ithayakumar, Yath (7 de febrero de 2025) AI-Generated Legal Research and Drafting [E-mail] fingfx.thomsonreuters.com/gfx/legaldocs/jnpwjqqbzvw/Morgan%20and%20Morgan%20Email.pdf

• Magesh, V., Surani, F., Dahl, M., Suzgun, M., Mannin, C. & Ho D..(2025) Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies, 2025; 0:1–27

• Mayka, J. and Roxburg, C. (2011) The great transformer: The impact of the internet on economic growth and prosperity. McKinsey Global Institute.

• Merken, S. (26 de junio de 2023). New York lawyers sanctioned for using fake ChatGPT cases in legal brief. Reuters . www.reuters.com/legal/new-york-lawyers-sanctioned-using-fake-chatgpt-cases-legal-brief-2023-06-22/

• Phan, L., Gatti, A., Han, Z., Li, N., Hu, J., Zhang, H. Z. C., Shaaban, M., Ling, J., Shi, S., Choi, M., Agrawal, A., Chopra, A., Khoja, A., Kim, R., Ren, R., Hausenloy, J., Zhang, O., Mazeika, M., Dodonov, D., … Hendrycks, D. (2025). Humanity’s Last Exam. arXiv preprint arXiv:2501.14249. https://arxiv.org/abs/2501.1424Rojas, D. (5 de febrero de 2026). Desinteligencia Artificial: abogado le creyó todo a la IA y presentó un escrito con argumentos falsos en el juzgado. Las Últimas Noticias , p. 4.

• Salgado, D. (4 de febrero de 2026). Multan a abogado que citó jurisprudencia inexistente en demanda: escrito se redactó con uso de IA. cl . www.biobiochile.cl/notici

• s/nacional/region-del-bio-bio/2026/02/04/multan-a-abogado-que-cito-jurisprudencia-inexistente-en-demanda-escrito-se-redacto-con-uso-de-ia.shtml

• Schnitzer, K. (8 de junio de 2023). ‘Humiliated’ NY lawyer who used ChatGPT for ‘bogus’ court doc profusely apologizes. The New Yorf Post . nypost.com/2023/06/08/humiliated-lawyer-apologizes-over-chatgpt-court-flub/

• Thomson Reuters. (2024). CoCounsel and Westlaw Precision: Empowering Legal Professionals with AI Agents . https://www.thomsonreuters.com