Cómo verificamos lo que entregamos

Esta página describe los controles que separan un borrador generado por IA de un documento que llega al cliente. No afirma que un modelo de lenguaje no pueda equivocarse. Explica qué ocurre para que esos errores no salgan de la firma, y qué podemos y qué no podemos mostrarle al respecto.

Lo que afirmamos y lo que no

No prometemos que un modelo nunca alucine. Nuestra afirmación es más estrecha y verificable: ninguna cita regulatoria llega al cliente sin haber sido cotejada contra su fuente primaria, y ningún entregable sale sin la firma de un socio. La afirmación se refiere al trabajo entregado, no al proceso de redacción, que produce errores que los controles de abajo existen para atrapar.

El contexto importa. El estudio de Stanford RegLab sobre herramientas comerciales de investigación jurídica (Magesh, Surani, Dahl, Suzgun, Manning y Ho, Journal of Empirical Legal Studies, 2025) midió tasas de alucinación de entre 17% y 33% en productos líderes, y calificó de exageradas las afirmaciones de “cero alucinaciones” de sus proveedores. Lo citamos porque explica por qué la verificación tiene que ser un paso aparte, con su propio agente y su propio registro, no porque mida nuestro sistema: el estudio y nuestros conteos internos no comparten población de prueba.

El corpus

Nuestro sistema razona contra un corpus regulatorio verificado, no contra la memoria de un modelo. El corpus contiene ocho años de oficios de la CNBV obtenidos por transparencia, el Diario Oficial de la Federación (DOF) y las leyes y disposiciones aplicables, indexados artículo por artículo, de modo que una cita resuelve a una disposición concreta y no al título de un documento. Marisol®, nuestro agente de monitoreo regulatorio, lee el DOF cada día de publicación; cuando una reforma alcanza la documentación de un cliente, los documentos afectados se actualizan, revisan y firman en la misma semana. Jurídicon® es la plataforma que ejecuta todo esto; los modelos son Claude, sobre Amazon Web Services Bedrock.

Revisiones humanas

Todo asunto pasa por revisiones humanas diseñadas para su tipo de proceso. El número y el contenido de las revisiones dependen de la entidad y del entregable, y nunca son menos de cuatro; todo asunto termina con la firma de un socio. En un expediente de autorización IFPE, por ejemplo, un abogado revisa el alcance y los insumos antes de que empiece el análisis, la matriz de requisitos antes de la redacción, la consistencia del conjunto de documentos antes de la finalización y el expediente terminado antes de la entrega. Cada decisión de revisión, con sus comentarios y correcciones, queda escrita en una bitácora de auditoría de solo adición.

Verificación adversarial y paro

Un agente de QA adversarial, sin acceso al contexto de redacción, verifica cada cita regulatoria contra nuestro corpus de fuentes primarias. El proceso se detiene automáticamente si más del 5% de las citas están mal atribuidas o más del 3% no se encuentran, y no se reanuda hasta que un abogado revisa y corrige el expediente; si se detiene dos veces en el mismo asunto, el asunto sale del proceso automatizado y se hace a mano. Nada llega al cliente antes de las revisiones humanas y de la firma de un socio, cada una registrada en una bitácora de solo adición. En dos ciclos completos sobre expedientes regulatorios reales, la verificación adversarial produjo 100 hallazgos y 20 problemas bloqueantes; todos se resolvieron antes de la entrega, y 33 decisiones humanas documentadas dieron forma a los documentos finales. Resultado en el trabajo entregado a la fecha: cero citas entregadas sin verificación contra fuente primaria. Controles mapeados a NIST AI RMF 1.0 (15 subcategorías); certificación ISO/IEC 42001 en preparación.

Dos ciclos son dos ciclos. Los conteos anteriores son lo que ocurrió en esos expedientes; no son una estimación de la tasa de error de cualquier asunto futuro, y hallazgos, problemas bloqueantes y decisiones humanas son tres cosas distintas.

Qué ocurre cuando se detiene

El paro no es una excepción; es el diseño. Cuando se cruzan los umbrales, el expediente se detiene, un abogado revisa cada cita señalada, corrige el borrador y registra la corrección, y solo entonces se reanuda el proceso. Un segundo paro en el mismo asunto lo saca del proceso automatizado y el asunto se termina manualmente. Los umbrales deciden cuándo se detiene la máquina; no rebajan el estándar de lo que sale de la firma, que es la verificación de todas las citas, no de la mayoría.

Si se detecta un error después de la entrega, lo corregimos sin costo y notificamos al cliente. Cómo se maneja a partir de ahí depende del asunto y de los términos del encargo.

Contribución humana documentada

La jurisprudencia mexicana sobre transparencia en el uso de IA en contextos jurídicos (Jurisprudencia J/2 K) exige que una decisión humana sea identificable como tal. Nuestra bitácora registra, para cada entregable, qué decisiones de revisión se tomaron, quién las tomó y qué cambió como resultado; en los dos ciclos citados fueron 33 decisiones documentadas. A solicitud, el cliente recibe un extracto de la bitácora de su propio asunto: decisiones de revisión, firma del socio y registro de verificación de citas, con la información confidencial de terceros testada. Los datos personales contenidos en la bitácora son además accesibles mediante derechos ARCO (Ley Federal de Protección de Datos Personales en Posesión de los Particulares).

Dónde viven sus documentos, y dónde no

Los modelos de IA que usamos operan bajo términos comerciales de retención cero de datos: el proveedor del modelo no conserva ningún prompt, resultado ni documento, y nada se usa para entrenar modelo alguno. Su expediente vive únicamente en el entorno de nube propio de Legal Paradox®, aislado por asunto, cifrado en reposo bajo una llave dedicada por cliente que Legal Paradox® controla, con una bitácora de solo adición de cada acceso y decisión.

Legal Paradox® está registrada en el Claude Partner Network. Los programas de certificación SOC 2 Type I e ISO/IEC 27001 están en curso, y la ISO/IEC 42001 en preparación; ninguna se ha obtenido todavía, y lo diremos en esta página cuando ocurra.

Qué publicamos y qué no

Publicamos los umbrales de paro, los conteos por ciclo de producción y el número de decisiones humanas documentadas, y los actualizaremos conforme se completen ciclos. No publicamos prompts, la arquitectura de agentes ni el corpus, por secreto profesional y propiedad intelectual. Publicar no es lo mismo que dar acceso: lo que un cliente puede ver de su propio asunto está descrito arriba, y es más de lo que aparece en esta página.

Preguntas frecuentes

¿Qué pasa si el modelo se equivoca?Dentro del proceso, la verificación adversarial detecta citas mal atribuidas o inexistentes y detiene el expediente por encima de los umbrales; un abogado lo corrige antes de que nada se reanude. Después de la entrega, corregimos el error sin costo y notificamos al cliente.

¿Un humano lee todo?Todo entregable pasa por al menos cuatro revisiones humanas, cada una con un alcance definido, y un socio lo firma. Eso es distinto de afirmar que cada revisor lee cada artefacto intermedio; las revisiones están diseñadas para que las partes que importan las lea la persona responsable de ellas.

¿Mis documentos entrenan el modelo?No. Los modelos operan bajo términos de retención cero con el proveedor; nada de lo que nos envía se conserva ni se usa para entrenar. Su expediente vive en nuestro entorno, bajo una llave que controlamos nosotros.

¿Quién responde ante la CNBV por un error?Un socio de Legal Paradox® firma cada entregable y responde por él conforme al encargo, como en cualquier despacho. La firma no traslada las obligaciones regulatorias propias del cliente; sí significa que un abogado con nombre respalda el documento.

¿Puedo ver la bitácora de mi asunto?Sí, a solicitud: un extracto con las decisiones de revisión, la firma del socio y el registro de verificación de citas, con la información confidencial de terceros testada. Los datos personales son además accesibles mediante derechos ARCO.