Investigación y Papers

Ingeniería de Prompts: Estrategias para Orientar Modelos de Lenguaje

Fuente: Lilian Weng14/03/2023, 21:00
La ingeniería de prompts se refiere a las técnicas empleadas para comunicarse con modelos de lenguaje y dirigir su comportamiento sin modificar los parámetros del modelo. Funciona como una disciplina empírica, donde la efectividad varía considerablemente entre modelos diferentes y requiere experimentación continua. Los enfoques fundamentales incluyen prompting de cero ejemplos, que presenta la tarea directamente al modelo, y prompting con pocos ejemplos, que proporciona demostraciones de alta calidad para ilustrar el comportamiento deseado. La selección, organización y formato de estos ejemplos impactan significativamente en los resultados. Técnicas avanzadas como Chain-of-Thought incentivan al modelo a generar procesos de razonamiento paso a paso, mejorando sustancialmente el rendimiento en tareas que requieren múltiples pasos lógicos. El muestreo por auto-consistencia genera múltiples respuestas y aplica votación por mayoría para seleccionar la más confiable. Metodologías recientes se centran en automatizar el diseño de prompts, con sistemas que generan instrucciones candidatas y las califican para identificar formulaciones óptimas. Los enfoques híbridos combinan demostraciones con instrucciones explícitas, mientras que técnicas de refinamiento iterativo incorporan recuperación de información externa para complementar el conocimiento inherente del modelo.
Ingeniería de Prompts: Estrategias para Orientar Modelos de Lenguaje — lupAI