Pasar al contenido principal
osky
Twilio libera Turn Detection para todos: tu agente de voz en Conversation Relay ya puede dejar de interrumpir a quien pausa para pensar
Tema Twilio Conversation Relay

Twilio anunció el 13 de noviembre la disponibilidad general de Turn Detection para Conversation Relay, su capa para conectar un modelo de lenguaje a una llamada telefónica sin pelearte con el audio. Es un modelo propio de Twilio que decide cuándo la persona que llama de verdad terminó de hablar, en lugar de esperar a que se cumpla un temporizador de silencio. Si tienes un agente de voz que contesta el teléfono de un restaurante, un consultorio o un soporte técnico, este es el ajuste que ataca su defecto más visible: interrumpir a la gente a media frase. Y se prende con un solo atributo en tu TwiML.

El problema: el silencio no sabe si ya acabaste

Cualquiera que haya probado un agente de voz conoce la escena. Dices "quiero una mesa para…", te detienes medio segundo a contar cuántos van, y el bot ya te está preguntando "¿para cuántas personas?". Tú sigues hablando, él también, y la llamada se vuelve un partido de tenis mal arbitrado.

La documentación de Twilio explica de dónde sale: por defecto, Conversation Relay deja que el silencio que detecta el proveedor de voz a texto (STT) cierre el turno. Y un umbral de silencio, dice Twilio, no distingue a quien ya terminó de quien está pausando para pensar o soltando muletillas como "eh" o "este", así que aparecen interrupciones falsas. El blog de Twilio sobre interrupciones lo resume en tres fallas: una pausa a media idea parece fin de turno, un ruido fuerte parece voz y el ruido de fondo a veces no deja que haya silencio completo.

Hasta ahora la perilla que tenías era speechTimeout: subirlo para que el bot no se adelante y aceptar que la conversación se sienta lenta, o bajarlo y aguantar las interrupciones. Una cobija corta.

Qué hace Turn Detection

Según la guía oficial, Turn Detection sustituye esa decisión basada en silencio por un modelo de aprendizaje automático construido por Twilio que:

  • Evalúa el audio de quien llama, no la transcripción, en tiempo real, para decidir si completó su turno o está pausando a media frase.
  • Corre dentro del stack de medios de Twilio, junto al STT. Por eso funciona con todos los proveedores y modelos de voz a texto que soporta Conversation Relay, con una excepción (abajo).
  • Solo cambia cuándo termina el turno. No toca cómo Conversation Relay detecta que alguien interrumpe al agente mientras éste habla; eso sigue en manos de interruptible e interruptSensitivity.

Cuando el modelo decide que el turno terminó, Conversation Relay manda el mensaje prompt con last: true sin esperar a que expire el temporizador del STT. El changelog lo vende como "semantics-aware": distingue entre alguien que terminó y alguien que se detuvo a pensar.

Comparativa: con un temporizador de silencio el agente interrumpe en la pausa; con Turn Detection espera y responde al final real de la frase

Cómo se prende

Es un atributo nuevo en el sustantivo <ConversationRelay>. Su valor por defecto es false, así que nada cambia en tus llamadas hasta que lo actives (referencia de TwiML):

<Response>
  <Connect>
    <ConversationRelay
      url="wss://tu-servidor/ws"
      turnDetection="true"
    />
  </Connect>
</Response>

Según Twilio, no hay que tocar tu servidor de WebSocket: sigues recibiendo los mismos mensajes prompt y tratas last: true como el fin del turno, igual que antes. Lo único que cambia es el momento en que llega ese last: true. Como se configura llamada por llamada, puedes probarlo en un solo número o en una fracción de tus llamadas antes de prenderlo en todas.

Saber en qué va el turno

Si tu aplicación quiere más detalle, por ejemplo para empezar a calentar la respuesta del LLM mientras la persona sigue hablando, puedes pedir el estado del turno dentro del prompt:

<ConversationRelay
  url="wss://tu-servidor/ws"
  turnDetection="true"
  includeInPrompt="turn-state"
  partialPrompts="true"
/>

Con eso, cada prompt trae un campo turnState. La referencia de mensajes WebSocket define tres valores:

Valor Qué significa Cuándo llega
start La persona empezó a hablar Con last: false, solo si partialPrompts="true"
interim Sigue hablando; la transcripción es parcial Con last: false, solo si partialPrompts="true"
end Terminó su turno Con last: true

Ojo con un detalle: el anuncio del changelog habla de includeInPrompt="turnState" y de eventos StartOfTurn, EagerEndOfTurn y EndOfTurn. La documentación técnica, en cambio, pide includeInPrompt="turn-state" (el único valor soportado, según la referencia de TwiML) y usa start, interim y end. Mi lectura: si vas a escribir código, guíate por la documentación, que es lo que describe el contrato del WebSocket, y valida contra una llamada real antes de casar tu lógica con un nombre. No lo probé; esto sale de la documentación oficial de Twilio.

Las dos perillas para afinar

La guía describe dos atributos para ajustar el comportamiento (Turn Detection):

  • speechTimeout: el silencio máximo que se permite antes de cerrar el turno aunque el modelo no lo haya marcado como terminado. Es tu red de seguridad. Va de 600 a 5,000 milisegundos y, si no lo pones, usa 1,500.
  • eotThreshold: la confianza que el modelo necesita para dar el turno por terminado. Acepta de 0.5 a 0.9 y por defecto está en 0.8. Más alto, más paciente; más bajo, más rápido para contestar.

Mi lectura práctica: empieza con los valores por defecto y mueve eotThreshold según tu caso. Un bot que toma números de pedido o de rastreo, donde la gente dicta en bloques con pausas (es uno de los ejemplos que pone Twilio), aguanta un umbral alto. Un bot de preguntas cortas tipo "¿sí o no?" se siente mejor respondiendo rápido.

Y no confundas speechTimeout con el silencio total. Las buenas prácticas de Twilio aclaran que ese temporizador solo arranca cuando la persona habla: si nunca dice nada, Conversation Relay no manda ningún prompt. Para quien se queda mudo, tu aplicación tiene que llevar su propio temporizador y preguntar "¿sigues ahí?".

Lo que no hace y dónde no usarlo

  • No es compatible con PCI ni con HIPAA. La documentación lo dice explícitamente: Turn Detection no es PCI compliant ni un servicio elegible para HIPAA, y pide no usar turnDetection en flujos sujetos a esas regulaciones. Si tu agente toma datos de tarjeta o información de salud, ese flujo se queda con el silencio de siempre o con otra solución. Esto contrasta con Conversation Relay en general, que según la referencia de TwiML sí puede ser elegible para HIPAA bien configurado.
  • Deepgram Flux va por su lado. Si usas transcriptionProvider="Deepgram" con speechModel="flux", Conversation Relay se salta el modelo de Twilio y usa la detección de turno integrada de Flux, aunque tengas turnDetection="true". Puedes seguir pidiendo includeInPrompt="turn-state". El blog de Twilio explica que Flux une transcripción y fin de turno en un solo modelo; la novedad de hoy es que ya no necesitas casarte con un proveedor de STT para tener detección semántica.
  • Pasa por los términos de IA de Twilio. Usarlo implica aceptar su anexo de funciones de IA predictiva y generativa, como el resto de Conversation Relay.
  • El anuncio no menciona un costo adicional. La página de precios de voz de Twilio para Estados Unidos lista Conversation Relay a 0.07 dólares por minuto y no muestra una línea aparte para Turn Detection. Twilio tampoco publicó métricas de cuánto reduce las interrupciones; antes de presumir mejoras, mide las tuyas.

Qué cambia para quien hace bots

Para quien tiene un agente de voz montado sobre Conversation Relay, esto es de lo más barato que vas a ver este año: un atributo en el TwiML, cero cambios en el WebSocket y la posibilidad de probarlo llamada por llamada. Si ya tenías speechTimeout inflado en 2,000 o 3,000 milisegundos para que el bot no pisara a nadie, ahora puedes dejar que el modelo decida y conservar el temporizador solo como respaldo.

Mi lectura: el fin de turno es lo que separa un agente de voz que se siente como persona de uno que se siente como conmutador del banco. Cada proveedor está metiendo su modelo semántico (Deepgram con Flux, ahora Twilio con el suyo), y que Twilio lo haga independiente del STT te deja elegir el reconocimiento de voz por idioma o precio sin perder la detección inteligente. Para bots en español, donde las muletillas y las pausas largas son deporte nacional, vale la pena probarlo con llamadas reales y no con el demo en inglés.

Lo que todavía no se sabe: Twilio no dio cifras de precisión ni de latencia del modelo, ni dijo cómo se comporta por idioma. Eso solo lo vas a saber midiendo.

Fuentes