Ajuste de la salida del modelo con parámetros: temperature, top_p, máximo de tokens, secuencias de detención y penalizaciones

Un modelo de lenguaje genera texto un token a la vez. En cada paso produce una probabilidad para cada posible token siguiente y luego elige uno por muestreo. Los parámetros de la solicitud cambian cómo funciona ese muestreo y cuándo se detiene la generación, así que el mismo prompt puede producir respuestas enfocadas y repetibles o variadas y creativas. El examen espera que elijas el parámetro correcto para un comportamiento descrito.