¿Qué es top-p o nucleus sampling?

Contenido revisado:

Top-p: Top-p es un control de muestreo que limita la selección al conjunto más pequeño de tokens cuya probabilidad acumulada alcanza un umbral. Ese conjunto cambia en cada paso según la distribución producida por el modelo.

Cómo funciona

Con un umbral menor quedan menos candidatos; con uno mayor pueden entrar alternativas menos probables. Top-p no es un porcentaje de exactitud ni de calidad. Interactúa con temperatura y con la implementación del proveedor, por lo que ajustar ambos a la vez dificulta interpretar el resultado.

Ejemplo práctico

Una aplicación compara respuestas con el mismo prompt y modelo mientras cambia solo top-p. Registra validez, repetibilidad y errores; no concluye a partir de una única salida llamativa.

Cómo evaluarlo con rigor

Use un conjunto de casos representativo, repita muestras, controle la versión del modelo, mida formato y hechos, y mantenga valores predeterminados cuando no exista una razón evaluada para cambiarlos.

Lista de comprobación

  • Defina el resultado esperado antes de probar.
  • Mida el sistema completo y no solo una respuesta aislada.
  • Documente modelo, versión, datos, controles y limitaciones.

Referencia primaria: OpenAI API — referencia de parámetros de respuesta

Preguntas frecuentes

¿Cuál es la definición breve de top-p?

Top-p es un control de muestreo que limita la selección al conjunto más pequeño de tokens cuya probabilidad acumulada alcanza un umbral. Ese conjunto cambia en cada paso según la distribución producida por el modelo.

¿Cómo se debe evaluar?

Use un conjunto de casos representativo, repita muestras, controle la versión del modelo, mida formato y hechos, y mantenga valores predeterminados cuando no exista una razón evaluada para cambiarlos.