Etapa 01 · Fundamentos
Token
Unidad de Procesamiento del Modelo
En una línea
La unidad mínima de texto que el modelo procesa y cobra, que puede ser una palabra completa, un fragmento de palabra o un signo.
En qué etapa del proyecto de LCG aparece
- Análisis Exhaustivo: aplica
- Quick Wins: no aplica
- Estrategia & Estructura: aplica
- Diseño: no aplica
- Capacitación: no aplica
- Implementación: no aplica
- Documentación: no aplica
Al costear el caso de uso: sin costo unitario no se puede decidir qué proceso conviene delegar.
La pregunta que habilita
¿Cuánto cuesta cada transacción de este proceso cuando la ejecuta el agente?
Cómo se controla
Se calcula el costo en tokens por transacción y se fija un presupuesto mensual por caso de uso con alerta que avisa antes de que llegue la factura.
Cómo ayudamos en el proyecto
Costeamos el token como minutos-máquina u horas-hombre, para que el caso de negocio se sostenga por transacción y no por entusiasmo.
Origen
Tokenización subpalabra estándar en PLN: Sennrich, Haddow y Birch (2016), sobre el algoritmo BPE de Gage (1994).