Ta strona zawiera terminy z glosariusza generatywnej AI. Aby wyświetlić wszystkie terminy w glosariuszu, kliknij tutaj.
O
model autoregresywny
model, który ustala prognozę na podstawie własnych wcześniejszych prognoz. Na przykład modele językowe korzystające z autoregresji prognozują następny token na podstawie wcześniej prognozowanych tokenów. Wszystkie duże modele językowe oparte na Transformer korzystają z automatycznej regresji.
W przeciwieństwie do tego modele obrazu oparte na GAN zwykle nie są autoregresywne, ponieważ generują obraz w ramach pojedynczego przejścia do przodu, a nie iteracyjnie. Niektóre modele generowania obrazów podlegają automatycznej regresji, ponieważ generują obrazy krok po kroku.
C
podpowiedzi w łańcuchu myślowym
Technika inżynierii podpowiedzi, która zachęca duży model językowy (LLM) do szczegółowego wyjaśnienia powodów. Przyjrzyjmy się przykładowi poniższego zdania, zwracając szczególną uwagę na drugie zdanie:
Ile g siła może pracować kierowcy, który porusza się z prędkością od 0 do 100 km/h w 7 sekund? W odpowiedzi wyświetl wszystkie odpowiednie obliczenia.
Odpowiedź obiektu LLM prawdopodobnie:
- Pokaż sekwencję formuł fizycznych, umieszczając wartości 0, 60 i 7 w odpowiednich miejscach.
- Wyjaśnij, dlaczego wybrał te formuły i co oznaczają poszczególne zmienne.
Podpowiedzi w łańcuchu myślenia wymuszają na LLM wykonanie wszystkich obliczeń, co może prowadzić do uzyskania lepszej odpowiedzi. Ponadto polecenie łańcucha myślowego umożliwia użytkownikowi przejrzenie kroków podejmowanych przez model LLM w celu określenia, czy dana odpowiedź ma sens.
D
bezpośrednie podpowiedzi
Synonim prośby o zresetowanie hasła.
destylacja
Proces zmniejszania rozmiaru 1 model (nazywanego model) do mniejszego modelu (nazywanego model), który jak najwierniej emuluje prognozy z pierwotnego modelu. Destylacja jest przydatna, ponieważ mniejszy model ma 2 główne zalety w porównaniu z większym (czyli nauczycielką):
- Krótszy czas wnioskowania
- Mniejsze zużycie pamięci i energii
Przewidywania uczniów nie są jednak tak dobre jak przewidywań nauczyciela.
Destylacja trenuje model uczniów w celu minimalizacji funkcji utraty na podstawie różnicy między wynikami prognoz modeli ucznia i nauczyciela.
Porównaj proces destylacji z tymi terminami:
F
wyświetlanie kilku zdjęć
Komunikat zawierający więcej niż 1 (kilka) przykład pokazujący, jak powinien zareagować duży model językowy. Na przykład ten długi prompt zawiera 2 przykłady pokazujących, jak odpowiedzieć na zapytanie w dużym modelu językowym.
Elementy jednej wiadomości | Uwagi |
---|---|
Jaka jest oficjalna waluta wybranego kraju? | Pytanie, na które ma odpowiedzieć LLM. |
Francja: EUR | Przykład. |
Wielka Brytania: GBP | Inny przykład. |
Indie: | Faktyczne zapytanie. |
Prośby o kilka zdjęć na ogół dają bardziej pożądane wyniki niż prośby o zbieranie danych czy prośby jednorazowe. Jednak kilkukrotne wysyłanie wymaga długiego komunikatu.
Podpowiedzi w kilku krokach to forma szybkiej nauki stosowana w nauce opartej na prośbach.
dostrajanie
Drugie przejście trenowania dostosowane do konkretnego działania zostało wykonane na wytrenowanym modelu w celu doprecyzowania jego parametrów pod kątem określonego przypadku użycia. Na przykład pełna sekwencja trenowania w przypadku niektórych dużych modeli językowych wygląda tak:
- Ćwiczenie wstępne: wytrenuj duży model językowy przy użyciu ogromnego ogólnego zbioru danych, takiego jak wszystkie anglojęzyczne strony w Wikipedii.
- Dostrajanie: wytrenuj już wytrenowany model do wykonywania określonego zadania, na przykład odpowiadania na zapytania medyczne. Dostrajanie obejmuje zwykle setki lub tysiące przykładów związanych z konkretnym zadaniem.
W innym przykładzie pełna sekwencja trenowania w przypadku dużego modelu obrazu wygląda tak:
- Wstępne trenowanie: wytrenuj duży model obrazu z wykorzystaniem ogromnego ogólnego zbioru danych obrazów, np. wszystkich obrazów w witrynie Wikimedia Commons.
- Dostrajanie: wytrenuj już wytrenowany model do wykonania określonego zadania, takiego jak generowanie obrazów orek.
Wprowadzenie poprawek może obejmować dowolną kombinację następujących strategii:
- Modyfikowanie wszystkich parametrów już wytrenowanego modelu. Czasami nazywa się to pełnym dostrajaniem.
- Modyfikowanie tylko niektórych dotychczasowych parametrów wytrenowanego modelu (zwykle warstwy znajdujące się najbliżej warstwy wyjściowej) przy zachowaniu pozostałych parametrów bez zmian (zazwyczaj warstwy najbliższe warstwy wejściowej). Zobacz dostrajanie z wykorzystaniem parametrów.
- Dodanie większej liczby warstw, zwykle nad istniejącymi warstwami najbliżej warstwy wyjściowej.
Dostrajanie to forma nauki transferu. W związku z tym dostrajanie może wykorzystywać inną funkcję straty lub inny typ modelu niż te używane do trenowania już wytrenowanego modelu. Możesz na przykład dostroić już wytrenowany model dużego obrazu, aby uzyskać model regresji, który zwraca liczbę ptaków na obrazie wejściowym.
Porównaj dostrajanie tych terminów:
G
generatywna AI
Rozwijające się pole bez formalnej definicji. Mimo to większość ekspertów zgadza się, że modele generatywnej AI mogą tworzyć („generować”) treści, które:
- złożone
- spójny
- oryginał
Na przykład generatywny model AI może służyć do tworzenia wyszukanych wypracowań lub obrazów.
Niektóre wcześniejsze technologie, takie jak LSTM i RNN, również mogą generować oryginalne i spójne treści. Niektórzy eksperci uważają je za generatywną sztuczną inteligencję, a inni uważają, że prawdziwa generatywna sztuczna inteligencja wymaga bardziej złożonych wyników niż te, które oferują starsze technologie.
W przeciwieństwie do systemów uczących się prognozowanych.
I
nauka w kontekście
Synonim wyrażenia kilka podpowiedzi.
dostrajanie instrukcji
Forma dostrajania, która poprawia umiejętność wykonywania instrukcji przez model generatywnej AI. Dostrajanie instrukcji obejmuje trenowanie modelu na podstawie serii instrukcji, które zwykle obejmują szeroki zakres zadań. Powstały w ten sposób dostrojony model w przypadku różnych zadań generuje zwykle przydatne odpowiedzi na prośby o zerową sesję.
Porównaj z:
O
podpowiedzi jednorazowe
Komunikat zawierający jeden przykład pokazujący, jak powinien odpowiadać duży model językowy. Następujący prompt zawiera na przykład jeden przykład pokazujący, jak duży model językowy powinien odpowiadać na zapytanie.
Elementy jednej wiadomości | Uwagi |
---|---|
Jaka jest oficjalna waluta wybranego kraju? | Pytanie, na które ma odpowiedzieć LLM. |
Francja: EUR | Przykład. |
Indie: | Faktyczne zapytanie. |
Porównaj zrzuty ekranu z tymi terminami:
P
dostrajanie z wykorzystaniem parametrów
Zestaw technik do dostrajania dużego wytrenowanego modelu językowego (PLM) bardziej efektywnego niż pełne dostrajanie. Dostrajanie z wykorzystaniem parametrów zajmuje zwykle znacznie mniej parametrów niż pełne dostrajanie, ale na ogół powoduje utworzenie dużego modelu językowego, który działa równie dobrze (lub prawie tak samo dobrze) jak duży model językowy zbudowany z pełnego dostrajania.
Porównaj dostrajanie z wykorzystaniem parametrów za pomocą:
Dostrajanie z wykorzystaniem parametrów nazywane jest też dostrajaniem z wykorzystaniem parametrów.
PLM
Skrót od wytrenowanego modelu językowego.
wytrenowany model
modele lub komponenty modeli (np. wektor osadzony), które zostały już wytrenowane; Czasami przesyłasz wytrenowane wektory osadzone do sieci neuronowej. Innym razem model nie będzie korzystać z wytrenowanych wcześniej wektorów osadzonych, tylko trenuje wektory osadzone samodzielnie.
Termin wytrenowany model językowy odnosi się do dużego modelu językowego, który został wstępnie trenowany.
przedtrenowanie
Wstępne trenowanie modelu na dużym zbiorze danych. Niektóre wytrenowane modele to niezdarne olśniewacze i zwykle trzeba je dopracować przez dodatkowe trenowanie. Eksperci ds. systemów uczących się mogą na przykład wstępnie wytrenować duży model językowy na obszernym zbiorze danych tekstowych, takim jak wszystkie strony w języku angielskim w Wikipedii. Po wstępnym trenowaniu model wyników można doprecyzować za pomocą dowolnej z tych metod:
- destylacja
- dostrajanie
- dostrajanie instrukcji
- dostrajanie z uwzględnieniem parametrów
- dostrajanie próśb
prompt
Każdy tekst wpisany jako dane wejściowe do dużego modelu językowego, aby uwarunkować model tak, aby działał w określony sposób. Prompty mogą być krótkie, jak zdanie, lub dowolnie długie (np. cały tekst powieści). Potwierdzenia dzielą się na wiele kategorii, między innymi te wymienione w tej tabeli:
Kategoria promptu | Przykład | Uwagi |
---|---|---|
Question | Jak szybko gołębie potrafią latać? | |
Instrukcja | Napisz zabawny wiersz o arbitrażach. | Prośba z dużym modelem językowym, by coś zrobiła. |
Przykład | Przetłumacz kod Markdown na HTML. Na przykład:
Markdown: * element listy HTML: <ul> <li>element listy</li> </ul> |
Pierwsze zdanie w tym przykładzie to instrukcja. Pozostała część promptu to przykład. |
Rola | Wyjaśnij, dlaczego Obniżenie gradientowe jest używane podczas nauki systemów uczących się podczas studiów doktoranckich z fizyki. | Pierwsza część zdania to instrukcja, a wyrażenie „doktoranckiego z fizyki” – rolę. |
Częściowe dane wejściowe modelu | Premier Wielkiej Brytanii mieszka tutaj | Częściowa prośba o wprowadzenie danych może kończyć się nagle (jak w tym przykładzie) lub kończyć się podkreśleniem. |
Model generatywnej AI może odpowiedzieć na prośbę za pomocą tekstu, kodu, obrazów, elementów umieszczanych na stronie czy filmów – niemal wszystko.
uczenie się oparte na szybkich podpowiedziach
Zdolność określonych modeli, która pozwala im dostosowywać swoje działanie w odpowiedzi na dowolny wpisany tekst (prośby). W typowym modelu uczenia się opartym na promptach duży model językowy generuje tekst, odpowiadając na prompt. Załóżmy na przykład, że użytkownik wpisuje następujący prompt:
Streść III zasadę ruchomości Newtona.
Model zdolny do uczenia się na podstawie promptów nie jest specjalnie wytrenowany do odpowiadania na poprzedni prompt. Model „wie” raczej o wielu faktach o fizyce, ogólnych regułach językowych i o tym, co składa się na ogólnie przydatne odpowiedzi. Wiedza ta wystarczy, aby udzielić (mamy nadzieję) przydatnej odpowiedzi. Dodatkowe opinie użytkowników („Ta odpowiedź była zbyt skomplikowana” lub „Co to jest reakcja?”) umożliwiają niektórym systemom nauczania opartym na promptach stopniowe zwiększanie przydatności odpowiedzi.
projekt promptu
Synonim inżynierii powiadomień.
zespół inżynierski
Sztuka tworzenia próśb, które zwracają pożądane odpowiedzi z dużego modelu językowego. Ludzie zajmują się szybkimi inżynierami. Przygotowanie uporządkowanych promptów to klucz do zapewnienia użytecznych odpowiedzi z dużego modelu językowego. Szybkość działania zależy od wielu czynników, w tym:
- Zbiór danych używany do wstępnego trenowania i ewentualnie dostrajania dużego modelu językowego.
- Temperatura i inne parametry dekodowania, których model używa do generowania odpowiedzi.
Więcej informacji o tworzeniu pomocnych promptów znajdziesz w artykule Wprowadzenie do projektowania promptów.
Projektowanie promptów jest synonimem wyrażenia „szybki ruch”.
dostrajanie promptów
Mechanizm dostrajania efektywnego parametru, który uczy się „prefiksu”, który system dodaje do rzeczywistego komunikatu.
Jedną z odmianach dostrajania promptów – czasem nazywanym dostrajaniem prefiksów – jest dodanie prefiksu na początku każdej warstwy. Z kolei w większości przypadków dostrajanie promptów tylko dodaje prefiks do warstwy wejściowej.
R
Uczenie się przez wzmocnienie na podstawie opinii człowieka (RLHF)
Wykorzystanie opinii weryfikatorów w celu poprawy jakości odpowiedzi modelu. Na przykład mechanizm RLHF może poprosić użytkowników o ocenienie jakości odpowiedzi modelu za pomocą emotikona 👍 lub 👎. Na podstawie tych informacji system może dostosować przyszłe odpowiedzi.
prośby o dodanie roli
Opcjonalna część komunikatu, która określa grupę odbiorców odpowiedzi modelu generatywnej AI. Bez prośby o rolę duży model językowy pozwala uzyskać odpowiedź, która może (ale nie musi) być przydatna dla osoby zadającej pytanie. Dzięki podpowiedziom duży model językowy może udzielić odpowiedzi w sposób bardziej odpowiedni i przydatny dla określonej grupy odbiorców. Na przykład te prośby o rolę są pogrubione:
- Streść artykuł dla doktoratu w ekonomii.
- Opisz, jak działają pływy dla dziesięciolatka.
- Wyjaśnić kryzys finansowy z 2008 roku. Mów tak jak do małego dziecka lub do golden retrievera.
T
temperatura
Hiperparametr, który kontroluje stopień losowości danych wyjściowych modelu. Wyższa temperatura oznacza więcej losowego wyjścia, a niższa – mniej losowych wyników.
Wybór najlepszej temperatury zależy od konkretnej aplikacji i pożądanych właściwości danych wyjściowych modelu. Możesz na przykład podnieść temperaturę podczas tworzenia aplikacji, która generuje dane wyjściowe kreacji. I na odwrót, najprawdopodobniej obniży temperaturę podczas tworzenia modelu, który klasyfikuje obrazy lub tekst, aby zwiększyć dokładność i spójność modelu.
Temperatura jest często używana z funkcją softmax.
Z
monit o zero strzału
Komunikat, który nie pokazuje, jak ma odpowiadać duży model językowy. Na przykład:
Elementy jednej wiadomości | Uwagi |
---|---|
Jaka jest oficjalna waluta wybranego kraju? | Pytanie, na które ma odpowiedzieć LLM. |
Indie: | Faktyczne zapytanie. |
Duży model językowy może odpowiadać dowolnym z tych komunikatów:
- Rupia
- INR
- ₹
- Rupia indyjska
- rupia
- rupia indyjska
Wszystkie odpowiedzi są prawidłowe, ale możesz preferować konkretny format.
Porównaj prośbę o zerowanie z tymi terminami: