Escenas «Pedir a la IA»: añadir una opción «Permitir que la IA lea y controle los dispositivos» para mensajes dinámicos rápidos y sin efectos secundarios

Contexto

@StephaneB utiliza la acción « Pedir a la IA » en una escena para generar un mensaje que cambia en cada ejecución, por ejemplo: « Dime que el agua caliente a {{temperature}} °C estará lista pronto, en una frase original ». El valor ya está inyectado por una variable de la escena, la IA no tiene que buscar nada en la casa. Solo sirve para reformular.

Problema observado

Cada ejecución de esta acción tarda 15 a 20 segundos, independientemente del hardware que ejecute Gladys.

Después de analizar los registros de un usuario, el tiempo se pasa en más del 95% en llamadas al modelo de IA, y el proceso siempre es el mismo:

  1. Una primera llamada a la IA clasifica la solicitud. Tan pronto como se menciona una temperatura o un dispositivo, la solicitud se clasifica como una pregunta sobre el estado de la casa, incluso si el valor ya está en el texto.
  2. Debido a esta clasificación, Gladys obliga a la IA a llamar al menos a una herramienta. El modelo leerá entonces el estado de los dispositivos al azar, sin ninguna relación con el mensaje. Esta es la etapa más larga, 8 a 10 segundos.
  3. Una segunda llamada a la IA redacta finalmente el mensaje.
  4. A veces una vuelta adicional: en un caso observado, la IA decidió por sí misma escribir el mensaje en un sensor virtual de la instalación, algo que nadie le había pedido.

Reformular la pregunta no cambia nada, ya que este comportamiento es decidido por Gladys antes de que el modelo lea el texto del usuario.

Propuesta

Añadir una casilla de verificación en la acción « Pedir a la IA » del editor de escenas: « Permitir que la IA lea y controle los dispositivos ».

Casilla marcada (comportamiento actual, valor por defecto):

  • La IA tiene acceso a las herramientas de Gladys: lectura de estados, control de dispositivos, sensores virtuales, clima, etc.
  • Es el modo adecuado para escenas del tipo « mira la cámara y reacciona » o « verifica la casa y avísame ».

Casilla desmarcada:

  • Gladys ya no realiza el paso de clasificación ni la búsqueda de herramientas.
  • Se envía una sola llamada a la IA, con la pregunta y la imagen de la cámara eventual, sin ninguna herramienta.
  • La IA no puede leer ni modificar nada en la casa: la escena sigue siendo predecible.
  • El tiempo de respuesta se reduce a 2 a 4 segundos en lugar de 15 a 20.

Las escenas existentes no se modifican: sin la opción guardada, se comportan como si la casilla estuviera marcada.

Beneficios

  • Mensajes dinámicos casi instantáneos para el uso más común de esta acción, simplemente desmarcando la casilla.
  • Garantía para el usuario de que una escena de mensaje simple nunca tocará sus dispositivos.
  • Costo reducido en Gladys Plus, una sola llamada en lugar de tres o cuatro.

Lo que no está cubierto por este ticket

La clasificación a veces demasiado amplia de las solicitudes por el enrutador (por ejemplo, la categoría « escenas » retenida cuando el usuario pide no crear una escena) merece una mejora separada, ya que también afecta al chat.

Voto a favor, evidentemente :+1: