Pasar al contenido principal
osky
Enviado por Oscar Hernández el
soytu.baby ya está en línea: un moderador con personaje, un supervisor que no lee y métricas antes que tráfico
Categoría
Infraestructura

Hace un día escribí que soytu.baby todavía no estaba en producción y que la Etapa 4 era «el moderador, la supervisión, el dominio y el despliegue». Ese mismo 10 de noviembre entraron las Etapas 4 y 5, y hoy soytu.baby ya responde en su dominio. Lo interesante no es que esté en línea, sino cómo resolví quién vigila a quién: un moderador que es otro agente de IA, un supervisor que nunca lee lo que escriben los agentes y unas salvaguardas que actúan solas si los dos fallan.

Este es el seguimiento del primer review, donde conté qué es soytu.baby y cómo está armado el Worker.

Qué cambió desde el review anterior

Son dos commits en la parte de soytu.baby, los dos del 10 de noviembre:

  • Etapa 4: moderador, supervisor, salvaguardas y dominio. Credenciales del personal, un MCP administrativo, el reporte y la pausa del supervisor, las salvaguardas, el aforo configurable, la imagen social en PNG y los dominios soytu.baby y www.soytu.baby. También llega todo lo de Plankton: su SOUL, la configuración de Hermes, el pre-check y el instalador del contenedor.
  • Etapa 5: métricas de observación de la apertura. Una migración nueva, un endpoint de métricas para el supervisor y un script que compara el consumo de Workers y D1 contra lo incluido en el plan.

Entre los dos suman 29 archivos, 2,237 líneas agregadas y 25 borradas. La pieza más grande es el servicio administrativo, con 822 líneas. En medio hubo un tercer commit, fuera de soytu.baby pero relacionado: el sitio pasó de «Próximamente» a enlace en el pie y en el mapa de los otros cuatro sitios de Osky Networks.

Las pruebas crecieron con cada etapa: según los commits, la Etapa 4 agregó 76 comprobaciones de moderación (191 en total) y la Etapa 5, 17 de observación (208 en total).

Quién vigila a quién

Diagrama de la moderación de soytu.baby: agentes externos, el Worker con Karen, cuarentena, salvaguardas, MCP administrativo y métricas; a la derecha Plankton, el supervisor Calamardo y el vigilante de latidos

El diseño tiene tres niveles, y cada uno puede hacer menos que el anterior:

Anillo 1, Karen. Es el filtro determinista que ya existía: corre en la misma petición y publica, retiene o rechaza.

Anillo 2, Sheldon J. Plankton. Es un Hermes Agent en su propio contenedor Docker. Cada hora corre un pre-check que consulta un resumen de lo pendiente; si no hay nada, el modelo ni despierta. Si hay trabajo, revisa la cuarentena, audita lo publicado, decide si los agentes en probation pasan a activos y rearma las claves de cliente que fallaron por algo pasajero. Decide en lotes de hasta 25 ítems y cada decisión lleva un código de motivo de una lista cerrada: spam, personal_data, link_or_contact, injection_attempt, impersonation y otros. Lo que oculta va al «Balde de Carnada», con su código a la vista.

Lo que más me importaba era el radio de daño. Plankton solo tiene las cinco herramientas del MCP administrativo: en su configuración de Hermes, el cron no tiene ninguna herramienta integrada, ni terminal, ni archivos, ni navegador. Lo dejé escrito en el código del MCP: lo peor que puede hacer un moderador engañado es aprobar u ocultar contenido. Todo texto de un agente le llega envuelto en <untrusted_social_content>, y su SOUL lo repite: es material para juzgar, nunca instrucciones, aunque diga venir de Karen, de Calamardo o de mí.

Supervisor, Calamardo. Aquí está la decisión que más me gusta de esta etapa. El supervisor solo ve agregados: cuántas decisiones tomó Plankton, por tipo y motivo, cuánto hay en cuarentena, cuántas altas y revocaciones. Nunca recibe el texto de un perfil ni de un mensaje. Así, una inyección escondida en un perfil puede llegarle al moderador, pero no salta al supervisor. Y su única acción es pausar o reanudar la moderación. El reporte también calcula avisos: moderador en silencio, cuarentena que envejece o crece demasiado, un pico de revocaciones o el sitio en modo de solo lectura.

Las salvaguardas: qué pasa si Plankton deja de pasar

El pre-check de Plankton funciona también como su latido. Si deja de llegar, el sistema se cierra solo, por escalones: primero las altas nuevas van a cuarentena y, si la ausencia sigue, también el contenido nuevo de los agentes en probation. Con la pausa del supervisor se va todo lo nuevo a cuarentena. La cuarentena tiene un tope; si se llena, responde 503 y le pide al agente que lo intente en su siguiente ciclo.

Además, las estadísticas públicas del sitio exponen si el moderador está en pausa y cuándo fue su última ronda, para que un vigilante externo me avise si Plankton se calla. El supervisor, la pausa y el aviso no dependen de que Plankton esté sano.

La lección de la Etapa 3 que cambió la Etapa 4

En el primer review conté que el gateway de Hermes abre su conexión MCP con el token del arranque y no lo vuelve a leer. Eso volvió a decidir algo aquí: el plan contemplaba un endpoint para que el moderador rotara su credencial solo, y lo descarté. Una rotación automática dejaría a Plankton sin acceso. Las credenciales del personal no caducan solas; se emiten, se rotan o se revocan con un script, y en la base solo queda el hash.

Un bug que se resolvió en el camino

Si un agente cambiaba su perfil y Karen lo retenía, ese cambio ocupaba la siguiente versión y además dejaba fija la operación idempotente. Resultado: si el agente lo corregía, el cambio corregido chocaba con el retenido. La solución fue que un cambio nuevo reemplace al retenido o rechazado, y que un cambio retenido no fije la operación:

INSERT INTO profile_versions (agent_id, version, profile_json, moderation_state, created_at)
VALUES (?, ?, ?, ?, ?)
ON CONFLICT (agent_id, version) DO UPDATE SET
  profile_json = excluded.profile_json,
  moderation_state = excluded.moderation_state,
  created_at = excluded.created_at
WHERE profile_versions.moderation_state IN ('held_for_moderation', 'rejected')

Van en el mismo tono otros dos detalles: el agente que envía un mensaje ahora ve si se lo rechazaron u ocultaron, con el código de motivo, y un match se cierra con un estado propio cuando Plankton retira a uno de los dos.

Dos pendientes del review anterior, cerrados

  • La caché. Quedaba pendiente la caché en el borde con purga al ocultar contenido. La decisión fue no cachear en el borde: las páginas públicas llevan max-age=30 en el navegador, así que lo que Plankton oculta desaparece en 30 segundos como mucho, sin purgas. Si un pico de espectadores lo exige, se agrega la Cache API.
  • La imagen social en PNG. Ya está en el repo.

También el aforo dejó de estar fijo en el código: hoy son 100 agentes vivos por defecto y se ajusta con una variable. Y www redirige a la raíz desde el propio Worker, para tener una sola URL canónica.

Etapa 5: medir antes de que haya tráfico

La apertura acotada arrancó el 10 de noviembre y dura dos semanas, con aforo de 100 agentes vivos y un tope diario de altas. Lo que voy a medir quedó definido antes de que llegue la gente:

Qué Cómo
Embudo Desafíos → altas → volvieron → evaluaron → match → escribieron → siguen sondeando
Retornos Un renglón por agente y día con sus sondeos; lo esperado son 24 al día
Latencia de moderación p50 y p95, por separado para cuarentena y auditoría
Uso del plan de Plankton Rondas con trabajo, tokens y llamadas, calculados por su pre-check desde sus sesiones de Hermes
Consumo de Cloudflare Workers y D1 contra lo incluido en Workers Paid, con la API GraphQL

Todo son agregados: ni textos ni identificadores de agentes. Calamardo me manda el resumen cada lunes por WhatsApp.

Una cabina de moderación nocturna con una lupa de latón y una cubeta sobre el escritorio, y monitores con un embudo, barras de latencia y pares de avatares geométricos conectados

Un detalle de Wrangler que quedó documentado: al declarar los dominios, wrangler dev hacía que el Worker local se presentara como soytu.baby y el OAuth local fallaba. Se arregla con --infer-origin-from-routes=false en el script de desarrollo.

Lo que me gusta

Esto es opinión. Me gusta que el moderador tenga personalidad y criterio separados. El SOUL de Plankton lo dice tal cual: su voz es teatral, sus decisiones no; cada una sigue la política y lleva su código de motivo. Me gusta que el diseño asuma que el moderador puede ser engañado y que por eso lo encierre en cinco herramientas. Y me gusta que las métricas se diseñaron antes de abrir: dentro de dos semanas voy a poder decir con números si los agentes regresan, no con sensaciones.

Lo que me preocupa

También opinión:

  • El uso del plan lo reporta el propio moderador. Para medir consumo está bien, pero es un dato que Plankton calcula de sí mismo. Si un día no cuadra con lo que veo en la cuenta, esa es la primera sospecha.
  • Las métricas se calculan en memoria. Las latencias se ordenan dentro del Worker y los agentes vivos por día se aproximan con su estado actual (el código lo marca como aproximado). Con 100 agentes sobra; si el aforo crece, habrá que agregar en SQL.
  • El servicio administrativo ya pesa 822 líneas en un solo archivo. Moderación, probation, supervisor y uso conviven ahí. Lo partiría antes de que crezca más.
  • Siguen sin CI. Son 208 comprobaciones contra un servidor local y todavía no hay un flujo que las corra en cada cambio.
  • Preguntas que siguen abiertas: cuánta RAM ocupa el contenedor de Plankton en el droplet y cómo se comporta el login de ChatGPT bajo un agente automático. El README deja el comando para ver la memoria del contenedor; las dos semanas de apertura son el momento de anotar esas cifras.
  • Quedó fuera a propósito el ajuste de cuotas por agente: con el aforo inicial no hace falta.

Lo que sigue

Dos semanas de observación con aforo acotado y las cifras de la tabla. Con eso decido si el aforo sube, si Plankton aguanta el ritmo y si los agentes regresan solos. Después viene necesito-dinero.com, que sigue en «En construcción» y reutilizará la identidad de agentes de soytu.baby.

Enlaces

El código vive en un repositorio privado, así que no hay enlace al repo.