Słowniczek systemów uczących się: generatywna AI

Ta strona zawiera terminy z glosariusza generatywnej AI. Aby wyświetlić wszystkie terminy w glosariuszu, kliknij tutaj.

O

model autoregresywny

#language
#image
#generatywna AI

model, który ustala prognozę na podstawie własnych wcześniejszych prognoz. Na przykład modele językowe korzystające z autoregresji prognozują następny token na podstawie wcześniej prognozowanych tokenów. Wszystkie duże modele językowe oparte na Transformer korzystają z automatycznej regresji.

W przeciwieństwie do tego modele obrazu oparte na GAN zwykle nie są autoregresywne, ponieważ generują obraz w ramach pojedynczego przejścia do przodu, a nie iteracyjnie. Niektóre modele generowania obrazów podlegają automatycznej regresji, ponieważ generują obrazy krok po kroku.

C

podpowiedzi w łańcuchu myślowym

#language
#generatywna AI

Technika inżynierii podpowiedzi, która zachęca duży model językowy (LLM) do szczegółowego wyjaśnienia powodów. Przyjrzyjmy się przykładowi poniższego zdania, zwracając szczególną uwagę na drugie zdanie:

Ile g siła może pracować kierowcy, który porusza się z prędkością od 0 do 100 km/h w 7 sekund? W odpowiedzi wyświetl wszystkie odpowiednie obliczenia.

Odpowiedź obiektu LLM prawdopodobnie:

  • Pokaż sekwencję formuł fizycznych, umieszczając wartości 0, 60 i 7 w odpowiednich miejscach.
  • Wyjaśnij, dlaczego wybrał te formuły i co oznaczają poszczególne zmienne.

Podpowiedzi w łańcuchu myślenia wymuszają na LLM wykonanie wszystkich obliczeń, co może prowadzić do uzyskania lepszej odpowiedzi. Ponadto polecenie łańcucha myślowego umożliwia użytkownikowi przejrzenie kroków podejmowanych przez model LLM w celu określenia, czy dana odpowiedź ma sens.

D

bezpośrednie podpowiedzi

#language
#generatywna AI

Synonim prośby o zresetowanie hasła.

destylacja

#generatywna AI

Proces zmniejszania rozmiaru 1 model (nazywanego model) do mniejszego modelu (nazywanego model), który jak najwierniej emuluje prognozy z pierwotnego modelu. Destylacja jest przydatna, ponieważ mniejszy model ma 2 główne zalety w porównaniu z większym (czyli nauczycielką):

  • Krótszy czas wnioskowania
  • Mniejsze zużycie pamięci i energii

Przewidywania uczniów nie są jednak tak dobre jak przewidywań nauczyciela.

Destylacja trenuje model uczniów w celu minimalizacji funkcji utraty na podstawie różnicy między wynikami prognoz modeli ucznia i nauczyciela.

Porównaj proces destylacji z tymi terminami:

F

wyświetlanie kilku zdjęć

#language
#generatywna AI

Komunikat zawierający więcej niż 1 (kilka) przykład pokazujący, jak powinien zareagować duży model językowy. Na przykład ten długi prompt zawiera 2 przykłady pokazujących, jak odpowiedzieć na zapytanie w dużym modelu językowym.

Elementy jednej wiadomości Uwagi
Jaka jest oficjalna waluta wybranego kraju? Pytanie, na które ma odpowiedzieć LLM.
Francja: EUR Przykład.
Wielka Brytania: GBP Inny przykład.
Indie: Faktyczne zapytanie.

Prośby o kilka zdjęć na ogół dają bardziej pożądane wyniki niż prośby o zbieranie danych czy prośby jednorazowe. Jednak kilkukrotne wysyłanie wymaga długiego komunikatu.

Podpowiedzi w kilku krokach to forma szybkiej nauki stosowana w nauce opartej na prośbach.

dostrajanie

#language
#image
#generatywna AI

Drugie przejście trenowania dostosowane do konkretnego działania zostało wykonane na wytrenowanym modelu w celu doprecyzowania jego parametrów pod kątem określonego przypadku użycia. Na przykład pełna sekwencja trenowania w przypadku niektórych dużych modeli językowych wygląda tak:

  1. Ćwiczenie wstępne: wytrenuj duży model językowy przy użyciu ogromnego ogólnego zbioru danych, takiego jak wszystkie anglojęzyczne strony w Wikipedii.
  2. Dostrajanie: wytrenuj już wytrenowany model do wykonywania określonego zadania, na przykład odpowiadania na zapytania medyczne. Dostrajanie obejmuje zwykle setki lub tysiące przykładów związanych z konkretnym zadaniem.

W innym przykładzie pełna sekwencja trenowania w przypadku dużego modelu obrazu wygląda tak:

  1. Wstępne trenowanie: wytrenuj duży model obrazu z wykorzystaniem ogromnego ogólnego zbioru danych obrazów, np. wszystkich obrazów w witrynie Wikimedia Commons.
  2. Dostrajanie: wytrenuj już wytrenowany model do wykonania określonego zadania, takiego jak generowanie obrazów orek.

Wprowadzenie poprawek może obejmować dowolną kombinację następujących strategii:

  • Modyfikowanie wszystkich parametrów już wytrenowanego modelu. Czasami nazywa się to pełnym dostrajaniem.
  • Modyfikowanie tylko niektórych dotychczasowych parametrów wytrenowanego modelu (zwykle warstwy znajdujące się najbliżej warstwy wyjściowej) przy zachowaniu pozostałych parametrów bez zmian (zazwyczaj warstwy najbliższe warstwy wejściowej). Zobacz dostrajanie z wykorzystaniem parametrów.
  • Dodanie większej liczby warstw, zwykle nad istniejącymi warstwami najbliżej warstwy wyjściowej.

Dostrajanie to forma nauki transferu. W związku z tym dostrajanie może wykorzystywać inną funkcję straty lub inny typ modelu niż te używane do trenowania już wytrenowanego modelu. Możesz na przykład dostroić już wytrenowany model dużego obrazu, aby uzyskać model regresji, który zwraca liczbę ptaków na obrazie wejściowym.

Porównaj dostrajanie tych terminów:

G

generatywna AI

#language
#image
#generatywna AI

Rozwijające się pole bez formalnej definicji. Mimo to większość ekspertów zgadza się, że modele generatywnej AI mogą tworzyć („generować”) treści, które:

  • złożone
  • spójny
  • oryginał

Na przykład generatywny model AI może służyć do tworzenia wyszukanych wypracowań lub obrazów.

Niektóre wcześniejsze technologie, takie jak LSTM i RNN, również mogą generować oryginalne i spójne treści. Niektórzy eksperci uważają je za generatywną sztuczną inteligencję, a inni uważają, że prawdziwa generatywna sztuczna inteligencja wymaga bardziej złożonych wyników niż te, które oferują starsze technologie.

W przeciwieństwie do systemów uczących się prognozowanych.

I

nauka w kontekście

#language
#generatywna AI

Synonim wyrażenia kilka podpowiedzi.

dostrajanie instrukcji

#generatywna AI

Forma dostrajania, która poprawia umiejętność wykonywania instrukcji przez model generatywnej AI. Dostrajanie instrukcji obejmuje trenowanie modelu na podstawie serii instrukcji, które zwykle obejmują szeroki zakres zadań. Powstały w ten sposób dostrojony model w przypadku różnych zadań generuje zwykle przydatne odpowiedzi na prośby o zerową sesję.

Porównaj z:

O

podpowiedzi jednorazowe

#language
#generatywna AI

Komunikat zawierający jeden przykład pokazujący, jak powinien odpowiadać duży model językowy. Następujący prompt zawiera na przykład jeden przykład pokazujący, jak duży model językowy powinien odpowiadać na zapytanie.

Elementy jednej wiadomości Uwagi
Jaka jest oficjalna waluta wybranego kraju? Pytanie, na które ma odpowiedzieć LLM.
Francja: EUR Przykład.
Indie: Faktyczne zapytanie.

Porównaj zrzuty ekranu z tymi terminami:

P

dostrajanie z wykorzystaniem parametrów

#language
#generatywna AI

Zestaw technik do dostrajania dużego wytrenowanego modelu językowego (PLM) bardziej efektywnego niż pełne dostrajanie. Dostrajanie z wykorzystaniem parametrów zajmuje zwykle znacznie mniej parametrów niż pełne dostrajanie, ale na ogół powoduje utworzenie dużego modelu językowego, który działa równie dobrze (lub prawie tak samo dobrze) jak duży model językowy zbudowany z pełnego dostrajania.

Porównaj dostrajanie z wykorzystaniem parametrów za pomocą:

Dostrajanie z wykorzystaniem parametrów nazywane jest też dostrajaniem z wykorzystaniem parametrów.

PLM

#language
#generatywna AI

Skrót od wytrenowanego modelu językowego.

wytrenowany model

#language
#image
#generatywna AI

modele lub komponenty modeli (np. wektor osadzony), które zostały już wytrenowane; Czasami przesyłasz wytrenowane wektory osadzone do sieci neuronowej. Innym razem model nie będzie korzystać z wytrenowanych wcześniej wektorów osadzonych, tylko trenuje wektory osadzone samodzielnie.

Termin wytrenowany model językowy odnosi się do dużego modelu językowego, który został wstępnie trenowany.

przedtrenowanie

#language
#image
#generatywna AI

Wstępne trenowanie modelu na dużym zbiorze danych. Niektóre wytrenowane modele to niezdarne olśniewacze i zwykle trzeba je dopracować przez dodatkowe trenowanie. Eksperci ds. systemów uczących się mogą na przykład wstępnie wytrenować duży model językowy na obszernym zbiorze danych tekstowych, takim jak wszystkie strony w języku angielskim w Wikipedii. Po wstępnym trenowaniu model wyników można doprecyzować za pomocą dowolnej z tych metod:

prompt

#language
#generatywna AI

Każdy tekst wpisany jako dane wejściowe do dużego modelu językowego, aby uwarunkować model tak, aby działał w określony sposób. Prompty mogą być krótkie, jak zdanie, lub dowolnie długie (np. cały tekst powieści). Potwierdzenia dzielą się na wiele kategorii, między innymi te wymienione w tej tabeli:

Kategoria promptu Przykład Uwagi
Question Jak szybko gołębie potrafią latać?
Instrukcja Napisz zabawny wiersz o arbitrażach. Prośba z dużym modelem językowym, by coś zrobiła.
Przykład Przetłumacz kod Markdown na HTML. Na przykład:
Markdown: * element listy
HTML: <ul> <li>element listy</li> </ul>		 Pierwsze zdanie w tym przykładzie to instrukcja. Pozostała część promptu to przykład.
Rola Wyjaśnij, dlaczego Obniżenie gradientowe jest używane podczas nauki systemów uczących się podczas studiów doktoranckich z fizyki. Pierwsza część zdania to instrukcja, a wyrażenie „doktoranckiego z fizyki” – rolę.
Częściowe dane wejściowe modelu Premier Wielkiej Brytanii mieszka tutaj Częściowa prośba o wprowadzenie danych może kończyć się nagle (jak w tym przykładzie) lub kończyć się podkreśleniem.

Model generatywnej AI może odpowiedzieć na prośbę za pomocą tekstu, kodu, obrazów, elementów umieszczanych na stronie czy filmów – niemal wszystko.

uczenie się oparte na szybkich podpowiedziach

#language
#generatywna AI

Zdolność określonych modeli, która pozwala im dostosowywać swoje działanie w odpowiedzi na dowolny wpisany tekst (prośby). W typowym modelu uczenia się opartym na promptach duży model językowy generuje tekst, odpowiadając na prompt. Załóżmy na przykład, że użytkownik wpisuje następujący prompt:

Streść III zasadę ruchomości Newtona.

Model zdolny do uczenia się na podstawie promptów nie jest specjalnie wytrenowany do odpowiadania na poprzedni prompt. Model „wie” raczej o wielu faktach o fizyce, ogólnych regułach językowych i o tym, co składa się na ogólnie przydatne odpowiedzi. Wiedza ta wystarczy, aby udzielić (mamy nadzieję) przydatnej odpowiedzi. Dodatkowe opinie użytkowników („Ta odpowiedź była zbyt skomplikowana” lub „Co to jest reakcja?”) umożliwiają niektórym systemom nauczania opartym na promptach stopniowe zwiększanie przydatności odpowiedzi.

projekt promptu

#language
#generatywna AI

Synonim inżynierii powiadomień.

zespół inżynierski

#language
#generatywna AI

Sztuka tworzenia próśb, które zwracają pożądane odpowiedzi z dużego modelu językowego. Ludzie zajmują się szybkimi inżynierami. Przygotowanie uporządkowanych promptów to klucz do zapewnienia użytecznych odpowiedzi z dużego modelu językowego. Szybkość działania zależy od wielu czynników, w tym:

Więcej informacji o tworzeniu pomocnych promptów znajdziesz w artykule Wprowadzenie do projektowania promptów.

Projektowanie promptów jest synonimem wyrażenia „szybki ruch”.

dostrajanie promptów

#language
#generatywna AI

Mechanizm dostrajania efektywnego parametru, który uczy się „prefiksu”, który system dodaje do rzeczywistego komunikatu.

Jedną z odmianach dostrajania promptów – czasem nazywanym dostrajaniem prefiksów – jest dodanie prefiksu na początku każdej warstwy. Z kolei w większości przypadków dostrajanie promptów tylko dodaje prefiks do warstwy wejściowej.

R

Uczenie się przez wzmocnienie na podstawie opinii człowieka (RLHF)

#generatywna AI
#rl

Wykorzystanie opinii weryfikatorów w celu poprawy jakości odpowiedzi modelu. Na przykład mechanizm RLHF może poprosić użytkowników o ocenienie jakości odpowiedzi modelu za pomocą emotikona 👍 lub 👎. Na podstawie tych informacji system może dostosować przyszłe odpowiedzi.

prośby o dodanie roli

#language
#generatywna AI

Opcjonalna część komunikatu, która określa grupę odbiorców odpowiedzi modelu generatywnej AI. Bez prośby o rolę duży model językowy pozwala uzyskać odpowiedź, która może (ale nie musi) być przydatna dla osoby zadającej pytanie. Dzięki podpowiedziom duży model językowy może udzielić odpowiedzi w sposób bardziej odpowiedni i przydatny dla określonej grupy odbiorców. Na przykład te prośby o rolę są pogrubione:

  • Streść artykuł dla doktoratu w ekonomii.
  • Opisz, jak działają pływy dla dziesięciolatka.
  • Wyjaśnić kryzys finansowy z 2008 roku. Mów tak jak do małego dziecka lub do golden retrievera.

T

temperatura

#language
#image
#generatywna AI

Hiperparametr, który kontroluje stopień losowości danych wyjściowych modelu. Wyższa temperatura oznacza więcej losowego wyjścia, a niższa – mniej losowych wyników.

Wybór najlepszej temperatury zależy od konkretnej aplikacji i pożądanych właściwości danych wyjściowych modelu. Możesz na przykład podnieść temperaturę podczas tworzenia aplikacji, która generuje dane wyjściowe kreacji. I na odwrót, najprawdopodobniej obniży temperaturę podczas tworzenia modelu, który klasyfikuje obrazy lub tekst, aby zwiększyć dokładność i spójność modelu.

Temperatura jest często używana z funkcją softmax.

Z

monit o zero strzału

#language
#generatywna AI

Komunikat, który nie pokazuje, jak ma odpowiadać duży model językowy. Na przykład:

Elementy jednej wiadomości Uwagi
Jaka jest oficjalna waluta wybranego kraju? Pytanie, na które ma odpowiedzieć LLM.
Indie: Faktyczne zapytanie.

Duży model językowy może odpowiadać dowolnym z tych komunikatów:

  • Rupia
  • INR
  • ₹
  • Rupia indyjska
  • rupia
  • rupia indyjska

Wszystkie odpowiedzi są prawidłowe, ale możesz preferować konkretny format.

Porównaj prośbę o zerowanie z tymi terminami: