Esta página contiene términos del glosario de IA generativa. Para ver todos los términos del glosario, haz clic aquí.
A
modelo de regresión automática
model que infiere una predicción a partir de sus propias predicciones anteriores. Por ejemplo, los modelos de lenguaje de regresión automática predicen el siguiente token en función de los tokens previstos con anterioridad. Todos los modelos de lenguaje extensos basados en Transformer son autorregresivos.
Por el contrario, los modelos de imagen basados en GAN no suelen ser autorregresivos, ya que generan una imagen en un solo pase hacia adelante y no de manera iterativa por pasos. Sin embargo, algunos modelos de generación de imágenes son de regresión automáticos porque generan una imagen en pasos.
C
indicaciones de cadena de pensamiento
Es una técnica de ingeniería de indicación que motiva a un modelo de lenguaje extenso (LLM) a explicar su razonamiento, paso a paso. Por ejemplo, considera la siguiente indicación y presta especial atención a la segunda oración:
¿Cuántas fuerzas g experimentaría un conductor en un automóvil que va de 0 a 60 millas por hora en 7 segundos? En la respuesta, se muestran todos los cálculos relevantes.
Es probable que la respuesta del LLM sea la siguiente:
- Muestra una secuencia de fórmulas físicas, conectando los valores 0, 60 y 7 en los lugares adecuados.
- Explica por qué eligió esas fórmulas y qué significan las distintas variables.
La indicación de cadena de pensamiento obliga al LLM a realizar todos los cálculos, lo que podría conducir a una respuesta más correcta. Además, el mensaje de cadena de pensamiento permite al usuario examinar los pasos del LLM para determinar si la respuesta tiene sentido o no.
D
mensajes directos
Sinónimo de mensaje sin ejemplos.
destilación
Es el proceso de reducir el tamaño de un model (conocido como model) a un modelo más pequeño (conocido como model) que emula las predicciones del modelo original de la manera más fiel posible. La destilación es útil porque el modelo más pequeño tiene dos beneficios clave en comparación con el modelo más grande (el profesor):
- Tiempo de inferencia más rápido
- Menor uso de memoria y energía
Sin embargo, las predicciones del alumno no suelen ser tan buenas como las del profesor.
Destilación entrena el modelo de estudiante para minimizar una función de pérdida basada en la diferencia entre los resultados de las predicciones de los modelos de estudiante y profesor.
Compara y contrasta la extracción con los siguientes términos:
F.
mensaje con ejemplos limitados
Un mensaje que contiene más de un ejemplo (algunos “pocos”) que demuestra cómo debe responder el modelo de lenguaje extenso. Por ejemplo, el siguiente mensaje extenso contiene dos ejemplos que muestran un modelo de lenguaje extenso cómo responder una consulta.
| Partes de un mensaje | Notas |
|---|---|
| ¿Cuál es la moneda oficial del país especificado? | La pregunta que quieres que el LLM responda. |
| Francia: EUR | Un ejemplo: |
| Reino Unido: GBP | Otro ejemplo. |
| India: | Es la consulta real. |
Por lo general, los mensajes con ejemplos limitados producen resultados más deseables que los mensajes sin ejemplos y los mensajes únicos. Sin embargo, el mensaje con ejemplos limitados requiere un mensaje más largo.
Los mensajes con ejemplos limitados son una forma de aprendizaje con ejemplos limitados que se aplica al aprendizaje basado en mensajes.
ajuste
Un segundo pase de entrenamiento específico para una tarea que se realiza en un modelo previamente entrenado a fin de definir mejor sus parámetros para un caso de uso específico. Por ejemplo, la secuencia de entrenamiento completa para algunos modelos de lenguaje extenso es la siguiente:
- Entrenamiento previo: Entrena un modelo de lenguaje extenso con un amplio conjunto de datos general, como todas las páginas de Wikipedia en inglés.
- Ajuste: Entrena el modelo previamente entrenado para que realice una tarea específica, como responder consultas médicas. Por lo general, el ajuste implica cientos o miles de ejemplos enfocados en la tarea específica.
Como otro ejemplo, la secuencia de entrenamiento completa para un modelo de imagen grande es la siguiente:
- Entrenamiento previo: Entrena un modelo de imagen grande con un amplio conjunto de datos de imágenes general, como todas las imágenes de los elementos comunes de Wikimedia.
- Ajuste: Entrena el modelo previamente entrenado para que realice una tarea específica, como generar imágenes de orcas.
La optimización puede implicar cualquier combinación de las siguientes estrategias:
- Modificar todos los parámetros existentes del modelo previamente entrenado A veces, esto se denomina ajuste completo.
- Modificar solo algunos de los parámetros existentes del modelo previamente entrenado (por lo general, las capas más cercanas a la capa de salida) y mantener otros parámetros existentes sin cambios (por lo general, las capas más cercanas a la capa de entrada) Consulta Ajuste eficiente de parámetros.
- Agregar más capas, por lo general, sobre las capas existentes más cercanas a la capa de salida
La optimización es una forma de aprendizaje por transferencia. Por lo tanto, el ajuste puede usar una función de pérdida diferente o un tipo de modelo diferente de los que se usan para entrenar el modelo previamente entrenado. Por ejemplo, puedes ajustar un modelo de imagen grande previamente entrenado para producir un modelo de regresión que muestre la cantidad de aves en una imagen de entrada.
Compara y contrasta el ajuste con los siguientes términos:
G
IA generativa
Un campo transformador emergente sin una definición formal. Dicho esto, la mayoría de los expertos coinciden en que los modelos de IA generativa pueden crear ("generar") contenido que cumpla con las siguientes características:
- complejo
- coherente
- original
Por ejemplo, un modelo de IA generativa puede crear ensayos o imágenes sofisticados.
Algunas tecnologías anteriores, como las LSTM y las RNN, también pueden generar contenido original y coherente. Algunos expertos consideran estas tecnologías anteriores como IA generativa, mientras que otros consideran que la verdadera IA generativa requiere resultados más complejos que los que pueden producir esas tecnologías anteriores.
Compara esto con el AA predictivo.
I
aprendizaje en contexto
Sinónimo de mensajes con ejemplos limitados.
ajuste de instrucciones
Una forma de ajuste que mejora la capacidad de un modelo de IA generativa para seguir las instrucciones. El ajuste de la instrucción implica entrenar un modelo en una serie de mensajes de instrucción que, por lo general, abarcan una amplia variedad de tareas. El modelo resultante ajustado con instrucciones tiende a generar respuestas útiles a los mensajes sin ejemplos en una variedad de tareas.
Comparar y contrastar con:
O
mensaje único
Un mensaje que contiene un ejemplo que demuestra cómo debería responder el modelo de lenguaje extenso. Por ejemplo, el siguiente mensaje contiene un ejemplo que muestra un modelo de lenguaje extenso cómo debería responder una consulta.
| Partes de un mensaje | Notas |
|---|---|
| ¿Cuál es la moneda oficial del país especificado? | La pregunta que quieres que el LLM responda. |
| Francia: EUR | Un ejemplo: |
| India: | Es la consulta real. |
Compara y contrasta el mensaje único con los siguientes términos:
P
ajuste eficiente de parámetros
Un conjunto de técnicas para ajustar un gran modelo de lenguaje previamente entrenado (PLM) de forma más eficiente que el ajuste completo. Por lo general, el ajuste eficiente en los parámetros ajusta muchos menos parámetros que el ajuste completo, pero suele producir un modelo de lenguaje extenso que funciona igual (o casi igual) que un modelo de lenguaje extenso compilado a partir de un ajuste completo.
Compara y contrasta el ajuste eficiente de parámetros con lo siguiente:
El ajuste eficiente en relación con los parámetros también se conoce como ajuste eficiente en términos de parámetros.
PLM
Abreviatura de modelo de lenguaje previamente entrenado.
modelo previamente entrenado
Modelos o componentes del modelo (como un vector de incorporación) que ya se entrenaron. En algunas ocasiones, incluirás vectores de incorporación previamente entrenados en una red neuronal. Otras veces, tu modelo entrenará los vectores de incorporación por sí mismo en lugar de depender de las incorporaciones previamente entrenadas.
El término modelo de lenguaje previamente entrenado hace referencia a un modelo de lenguaje extenso que pasó por entrenamiento previo.
entrenamiento previo
Es el entrenamiento inicial de un modelo en un conjunto de datos grande. Algunos modelos previamente entrenados son gigantes y, por lo general, deben perfeccionarse mediante un entrenamiento adicional. Por ejemplo, los expertos en AA pueden entrenar previamente un modelo de lenguaje extenso con un conjunto de datos de texto extenso, como todas las páginas en inglés de Wikipedia. Después del entrenamiento previo, el modelo resultante se puede definir mejor mediante cualquiera de las siguientes técnicas:
mensaje
Cualquier texto que se ingrese como entrada en un modelo de lenguaje extenso para condicionar el modelo a fin de que se comporte de cierta manera Los mensajes pueden ser tan breves como una frase o arbitrariamente largos (por ejemplo, el texto completo de una novela). Los mensajes se dividen en varias categorías, incluidas las que se muestran en la siguiente tabla:
| Categoría del mensaje | Ejemplo | Notas |
|---|---|---|
| Pregunta | ¿A qué velocidad vuela la paloma? | |
| Instrucción | Escribe un poema divertido sobre el arbitraje. | Un mensaje que le solicita al modelo de lenguaje extenso que realice una acción. |
| Ejemplo | Traduce el código de Markdown a HTML. Por ejemplo:
Markdown: * elemento de lista HTML: <ul> <li>elemento de la lista</li> </ul> |
La primera oración de este mensaje de ejemplo es una instrucción. El resto de la consigna es el ejemplo. |
| Rol | Explica por qué el descenso de gradientes se usa en el entrenamiento de aprendizaje automático para obtener un doctorado en física. | La primera parte de la oración es una instrucción; la frase "para un doctorado en física" es la parte del rol. |
| Entrada parcial para que el modelo complete | El primer ministro del Reino Unido vive en | Un mensaje de entrada parcial puede terminar de manera abrupta (como en este ejemplo) o con un guion bajo. |
Un modelo de IA generativa puede responder a un mensaje con texto, código, imágenes, incorporaciones, videos y casi cualquier cosa.
aprendizaje basado en indicaciones
Es una capacidad de ciertos modelos que les permite adaptar su comportamiento en respuesta a entradas de texto arbitrarias (mensajes). En un paradigma típico de aprendizaje basado en mensajes, un modelo de lenguaje extenso genera texto para responder a un mensaje. Por ejemplo, supongamos que un usuario ingresa el siguiente mensaje:
Resumir la tercera ley del movimiento de Newton
Un modelo capaz de aprendizaje basado en mensajes no está entrenado específicamente para responder al mensaje anterior. En cambio, el modelo "conoce" muchos hechos sobre física, reglas generales del lenguaje y lo que constituye respuestas generalmente útiles. Ese conocimiento es suficiente para proporcionar una respuesta útil (con suerte). Los comentarios humanos adicionales ("Esa respuesta fue demasiado complicada" o "¿Cuál es una reacción?") permiten que algunos sistemas de aprendizaje basado en mensajes mejoren gradualmente la utilidad de sus respuestas.
diseño de mensajes
Sinónimo de ingeniería rápida.
ingeniería de mensajes
Es el arte de crear mensajes que generan las respuestas deseadas de un modelo de lenguaje extenso. Los seres humanos realizan ingeniería de indicaciones. Escribir mensajes bien estructurados es esencial para garantizar respuestas útiles a partir de un modelo de lenguaje extenso. La ingeniería de mensajes depende de muchos factores, incluidos los siguientes:
- El conjunto de datos que se usa para entrenar previamente y, posiblemente, ajustar el modelo de lenguaje extenso.
- La temperatura y otros parámetros de decodificación que usa el modelo para generar respuestas.
Consulta Introducción al diseño de mensajes para obtener más detalles sobre cómo escribir mensajes útiles.
Diseño de mensajes es sinónimo de ingeniería de mensajes.
ajuste de mensaje
Un mecanismo de ajuste eficiente de parámetros que aprende un "prefijo" que el sistema le antepone al mensaje real.
Una variación de ajuste de mensajes, a veces llamada ajuste de prefijo, es agregar el prefijo en todas las capas. Por el contrario, la mayoría de los ajustes de mensajes solo agregan un prefijo a la capa de entrada.
R
Aprendizaje por refuerzo a partir de comentarios humanos (RLHF)
Usar comentarios de evaluadores humanos para mejorar la calidad de las respuestas de un modelo Por ejemplo, un mecanismo de RLHF puede pedirles a los usuarios que califiquen la calidad de la respuesta de un modelo con un emoji 👍 o 👎. Luego, el sistema puede ajustar sus respuestas futuras en función de esos comentarios.
solicitud de roles
Es una parte opcional de un mensaje que identifica un público objetivo para la respuesta de un modelo de IA generativa. Sin un mensaje de función, un modelo de lenguaje extenso proporciona una respuesta que puede o no ser útil para la persona que hace las preguntas. Con un mensaje de rol, un modelo de lenguaje extenso puede responder de una manera que sea más apropiada y útil para un público objetivo específico. Por ejemplo, la parte de solicitud de función de los siguientes mensajes está en negrita:
- Resume este artículo para obtener un doctorado en economía.
- Describe cómo funcionan las mareas para un niño de diez años.
- Explicar la crisis financiera de 2008 Háblale como lo harías a un niño pequeño o a un golden retriever.
T
temperatura
Es un hiperparámetro que controla el grado de aleatorización de la salida de un modelo. Las temperaturas más altas generan un resultado más aleatorio, mientras que las temperaturas más bajas generan un resultado menos aleatorio.
Elegir la mejor temperatura depende de la aplicación específica y de las propiedades deseadas del resultado del modelo. Por ejemplo, es probable que aumentes la temperatura cuando crees una aplicación que genere resultados de creatividades. Por el contrario, es probable que debas bajar la temperatura cuando compiles un modelo que clasifique imágenes o texto para mejorar la precisión y coherencia del modelo.
La temperatura se suele usar con softmax.
Z
mensaje sin ejemplos
Un mensaje que no proporciona un ejemplo de cómo quieres que responda el modelo de lenguaje extenso. Por ejemplo:
| Partes de un mensaje | Notas |
|---|---|
| ¿Cuál es la moneda oficial del país especificado? | La pregunta que quieres que el LLM responda. |
| India: | Es la consulta real. |
El modelo de lenguaje extenso puede responder con cualquiera de las siguientes opciones:
- Rupia
- INR
- ₹
- Rupia hindú
- La rupia
- La rupia india
Todas las respuestas son correctas, aunque es posible que prefieras un formato en particular.
Compara y contrasta el mensaje sin ejemplos con los siguientes términos: