Distribución de Tokens en Marcas de Agua de IA: Explicación Técnica

Distribución de Tokens en Marcas de Agua de IA: Explicación Técnica

El marcado de IA funciona manipulando cómo los modelos de lenguaje seleccionan tokens durante la generación de texto. Comprender la distribución de tokens es clave para entender cómo se integran las marcas de agua, cómo se detectan y por qué son frágiles.

Este artículo explica los mecanismos técnicos detrás de las marcas de agua basadas en tokens.

¿Qué Son los Tokens en Modelos de Lenguaje?

Los tokens son las unidades más pequeñas de texto que procesa un modelo de lenguaje.

Ejemplos:

• "watermark" puede ser 1 token o 2 tokens dependiendo del modelo
• "AI-generated" puede ser 3 tokens: ["AI", "-", "generated"]
• Los espacios y puntuación a menudo son tokens separados

Los LLM generan texto prediciendo un token a la vez, basándose en probabilidades aprendidas de sus datos de entrenamiento.

Cómo Funciona la Generación de Texto Normal

1. El modelo recibe tokens de entrada (tu prompt)
2. Predice una distribución de probabilidad sobre todos los tokens posibles
3. Muestrea el siguiente token de esta distribución
4. Repite el proceso para cada token siguiente

Ejemplo Simplificado:

Prompt: "El clima hoy es"
Siguiente distribución de tokens:
- "soleado" (30%)
- "lluvioso" (25%)
- "nublado" (20%)
- "hermoso" (15%)
- "frío" (10%)

El modelo selecciona de esta distribución, introduciendo aleatoriedad natural.

Cómo el Marcado Modifica la Distribución de Tokens

El marcado de IA altera ligeramente esta distribución de probabilidad para integrar un patrón detectable.

Lista Verde/Roja de Tokens

El método de marcado más común usa particiones de tokens verdes/rojos:

1. Antes de generar cada token, el sistema divide el vocabulario completo en dos grupos:

   • Lista Verde: Tokens preferidos para marcado
   • Lista Roja: Tokens a evitar para marcado

2. El modelo aumenta la probabilidad de tokens verdes al:

   • Agregar una puntuación de bonificación constante a todos los tokens verdes
   • Reducir ligeramente la probabilidad de tokens rojos
   • Renormalizar la distribución

3. Esta preferencia crea un sesgo estadístico que:

   • Es invisible para los lectores humanos
   • Produce texto natural
   • Puede ser medido matemáticamente

Ejemplo: Distribución Con y Sin Marca de Agua

Sin marca de agua:

Siguiente distribución de tokens:
- "soleado" (rojo, 30%)
- "lluvioso" (verde, 25%)
- "nublado" (verde, 20%)
- "hermoso" (rojo, 15%)
- "frío" (verde, 10%)

Con marca de agua (se aumenta verde en +5%):

Siguiente distribución de tokens:
- "lluvioso" (verde, 30%)  ← aumentado de 25%
- "soleado" (rojo, 27%)    ← reducido de 30%
- "nublado" (verde, 25%)   ← aumentado de 20%
- "frío" (verde, 15%)      ← aumentado de 10%
- "hermoso" (rojo, 13%)    ← reducido de 15%

El texto sigue siendo natural, pero contiene más tokens verdes de lo que el azar predeciría.

Cómo Funciona la Detección de Marcas de Agua

Los detectores de marcas de agua verifican si un texto contiene estadísticamente demasiados tokens verdes.

Proceso de Detección:

1. Dividir el texto en tokens
2. Para cada token, determinar si está en la lista verde o roja
   • Esto requiere conocer la clave de partición usada durante la generación
3. Contar cuántos tokens verdes aparecen
4. Calcular una puntuación z:
   • Texto humano: ~50% tokens verdes (aleatorio)
   • Texto marcado: >50% tokens verdes (sesgado)
5. Comparar con un umbral:
   • Puntuación z alta = probablemente marcado
   • Puntuación z baja = probablemente humano

Matemáticas Detrás de la Detección

Los detectores calculan:

puntuación_z = (recuento_verde - recuento_esperado) / desviación_estándar

• Recuento Verde: Número de tokens verdes en el texto
• Recuento Esperado: 50% de tokens si aleatorio
• Desviación Estándar: Propagación estadística esperada

Interpretación:

• z > 4: Muy probablemente marcado
• z = 2-4: Posiblemente marcado
• z < 2: Probablemente no marcado

Por Qué la Longitud del Texto Importa

Las marcas de agua dependen de evidencia estadística. Los textos más cortos proporcionan menos puntos de datos.

Texto Corto (50 tokens):

• Recuento verde esperado: 25 tokens
• Recuento verde real: 30 tokens
• Diferencia: 5 tokens (puede ser azar)
• Puntuación z: Baja confianza

Texto Largo (500 tokens):

• Recuento verde esperado: 250 tokens
• Recuento verde real: 300 tokens
• Diferencia: 50 tokens (estadísticamente significativo)
• Puntuación z: Alta confianza

Conclusión: Los textos más largos producen detección de marcas de agua más confiable.

Cómo la Eliminación de Marcas de Agua Interrumpe la Distribución

Las herramientas de eliminación de marcas de agua funcionan al:

1. Paráfrasis con Otro Modelo

Un segundo LLM regenera el texto con su propia distribución de tokens, destruyendo el sesgo original verde/rojo.

Antes de la eliminación:

Tokens originales marcados:
["El", "clima", "hoy", "es", "hermoso"]
Tokens verdes: 60%

Después de la eliminación (parafraseado):

Nuevos tokens:
["Hoy", "el", "tiempo", "está", "agradable"]
Tokens verdes: 48% (ya no sesgado)

2. Reemplazo de Sinónimos

Reemplazar palabras rompe la alineación de tokens.

Original: "El clima hoy es hermoso" (token rojo) Reemplazado: "El clima hoy es encantador" (token verde)

Este intercambio reduce el sesgo verde/rojo.

3. Reordenamiento de Estructura

Cambiar el orden de las oraciones cambia qué tokens siguen a qué, alterando la distribución.

Limitaciones Técnicas de la Distribución de Marcas de Agua

1. Compromiso de Calidad del Texto

Sesgar la selección de tokens puede:

• Reducir la fluidez
• Estrechar la diversidad del vocabulario
• Hacer el texto ligeramente menos natural

2. Sensibilidad al Idioma

Diferentes idiomas tienen diferentes tamaños de vocabulario y estructuras de tokens, haciendo que las marcas de agua sean menos portables.

3. Dependencia de la Longitud

Los textos cortos (<200 tokens) son casi imposibles de marcar de manera confiable.

4. Sensibilidad a Ediciones

Cualquier edición cambia la distribución de tokens:

• Agregar una oración introduce nuevos tokens
• Eliminar una oración cambia proporciones
• La paráfrasis regenera la distribución

5. Sin Soporte Multi-Modelo

Si el Modelo A integra una marca de agua y el Modelo B parafrasea, la marca de agua del Modelo A se pierde.

Marcado Avanzado: Lista Verde Dependiente del Contexto

Algunos sistemas de marcado usan listas verdes dependientes del contexto:

1. La lista verde cambia para cada token basándose en:

   • Tokens anteriores
   • Una clave criptográfica secreta
   • Una función hash

2. Esto hace la detección más robusta:

   • Más difícil de adivinar la lista verde
   • Reduce falsos positivos
   • Permite verificación de autenticidad

3. Pero también es más complejo:

   • Requiere mantener una clave secreta
   • Más costoso computacionalmente
   • Sigue siendo frágil contra la paráfrasis

Puntos Clave

• Las marcas de agua de IA manipulan la distribución de probabilidad de tokens
• Los tokens se dividen en listas verdes (preferidas) y rojas (evitadas)
• La detección mide el sesgo estadístico hacia tokens verdes
• Los textos más largos proporcionan señales de marca de agua más confiables
• La eliminación de marcas de agua interrumpe el sesgo al regenerar distribuciones de tokens
• Las marcas de agua son frágiles porque cualquier edición cambia las distribuciones
• Los sistemas avanzados usan listas verdes dependientes del contexto para mayor seguridad
• Comprender la distribución de tokens explica tanto las fortalezas como las debilidades del marcado