Trang này chứa các thuật ngữ của bảng thuật ngữ Đánh giá ngôn ngữ. Để biết tất cả các thuật ngữ trong bảng thuật ngữ, hãy nhấp vào đây.
Đáp
chú ý
Một cơ chế dùng trong mạng nơron cho biết tầm quan trọng của một từ hoặc một phần cụ thể của từ. Sự chú ý sẽ nén lượng thông tin mà một mô hình cần để dự đoán mã thông báo/từ tiếp theo. Một cơ chế chú ý thông thường có thể bao gồm tổng có trọng số trên một tập hợp các dữ liệu đầu vào, trong đó trọng số của mỗi dữ liệu đầu vào được tính bằng một phần khác của mạng nơron.
Ngoài ra, hãy tham khảo thêm tự chú ý và tự chú ý đa đầu, là các thành phần của Transformer.
bộ mã hoá tự động
Một hệ thống học cách trích xuất thông tin quan trọng nhất từ đầu vào. Bộ mã hoá tự động là sự kết hợp giữa bộ mã hoá và bộ giải mã. Bộ mã hoá tự động dựa trên quy trình 2 bước sau đây:
- Bộ mã hoá ánh xạ dữ liệu đầu vào sang một định dạng chiều dưới (thường) có tổn hao (thường) với chiều thấp hơn (trung gian).
- Bộ giải mã tạo một phiên bản có tổn hao của đầu vào ban đầu bằng cách ánh xạ định dạng chiều thấp với định dạng đầu vào có chiều cao hơn ban đầu.
Các bộ mã hoá tự động được huấn luyện từ đầu đến cuối bằng cách yêu cầu bộ giải mã cố gắng tạo lại dữ liệu đầu vào ban đầu từ định dạng trung gian của bộ mã hoá một cách chặt chẽ nhất có thể. Vì định dạng trung gian nhỏ hơn (chiều thấp hơn) so với định dạng ban đầu, nên bộ mã hoá tự động buộc phải tìm hiểu thông tin nào trong đầu vào là cần thiết và đầu ra sẽ không hoàn toàn giống với đầu vào.
Ví dụ:
- Nếu dữ liệu đầu vào là một hình ảnh đồ hoạ, bản sao không chính xác sẽ tương tự như hình ảnh đồ hoạ gốc nhưng được sửa đổi một chút. Có thể bản sao không chính xác sẽ loại bỏ nhiễu khỏi hình ảnh gốc hoặc lấp đầy một số pixel bị thiếu.
- Nếu dữ liệu đầu vào là văn bản, thì bộ mã hoá tự động sẽ tạo văn bản mới mô phỏng (nhưng không giống với) văn bản gốc.
Xem thêm về bộ mã hoá tự động biến thiên.
mô hình hồi quy tự động
Một model dự đoán nội dung dự đoán dựa trên các dự đoán trước đó của chính nó. Ví dụ: các mô hình ngôn ngữ tự động hồi quy sẽ dự đoán mã thông báo tiếp theo dựa trên các mã thông báo dự đoán trước đó. Tất cả mô hình ngôn ngữ lớn dựa trên Transformer đều tự động hồi quy.
Ngược lại, các mô hình hình ảnh dựa trên GAN thường không tự động hồi quy vì các mô hình này tạo hình ảnh trong một lượt chuyển tiếp chứ không lặp lại trong các bước. Tuy nhiên, một số mô hình tạo hình ảnh nhất định có tự động hồi quy vì các mô hình này tạo hình ảnh theo các bước.
B
túi từ
Biểu thị các từ trong một cụm từ hoặc đoạn văn, bất kể thứ tự. Ví dụ: túi từ biểu thị 3 cụm từ giống hệt nhau sau đây:
- chú chó nhảy lên
- chó nhảy lên
- chó nhảy lên
Mỗi từ được liên kết với một chỉ mục trong một vectơ thưa, trong đó vectơ này có một chỉ mục cho mỗi từ trong từ vựng. Ví dụ: cụm từ chó nhảy được liên kết thành một vectơ tính năng có các giá trị khác 0 tại 3 chỉ mục tương ứng với các từ the (chó), dog (con chó) và jump (nhảy). Giá trị khác 0 có thể là bất kỳ giá trị nào sau đây:
- 1 để cho biết có một từ.
- Đếm số lần một từ xuất hiện trong túi. Ví dụ: nếu cụm từ là chó màu nâu sẫm là một chú chó có lông màu nâu sẫm, thì cả maroon và chó sẽ được biểu thị là 2, trong khi các từ khác sẽ được biểu thị là 1.
- Một số giá trị khác, chẳng hạn như lôgarit của số lần một từ xuất hiện trong túi.
BERT (Cách trình bày bộ mã hoá hai chiều của bộ chuyển đổi)
Cấu trúc mô hình cho nội dung trình bày văn bản. Mô hình BERT đã được huấn luyện có thể đóng vai trò như một phần của mô hình lớn hơn để phân loại văn bản hoặc các tác vụ học máy khác.
BERT có các đặc điểm sau:
- Sử dụng kiến trúc Transformer, do đó dựa vào tính năng tự chú ý.
- Sử dụng phần bộ mã hoá của Transformer. Nhiệm vụ của bộ mã hoá là tạo ra cách trình bày văn bản chất lượng cao, thay vì thực hiện một tác vụ cụ thể như phân loại.
- Hai chiều.
- Sử dụng tính năng tạo mặt nạ cho chương trình huấn luyện không được giám sát.
Các biến thể của BERT bao gồm:
Vui lòng xem bài viết Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing để biết thông tin tổng quan về BERT.
hai chiều
Một thuật ngữ dùng để mô tả một hệ thống đánh giá văn bản đứng trước và theo sau một phần văn bản mục tiêu. Ngược lại, hệ thống một chiều chỉ đánh giá văn bản đứng trước một phần văn bản mục tiêu.
Ví dụ: hãy xem xét một mô hình ngôn ngữ được che giấu phải xác định xác suất cho từ hoặc những từ biểu thị dấu gạch dưới trong câu hỏi sau:
Bạn _____ với bạn làm gì?
Mô hình ngôn ngữ một chiều chỉ phải dựa trên xác suất dựa trên ngữ cảnh được cung cấp bởi các từ "What", "is" và "the". Ngược lại, mô hình ngôn ngữ hai chiều cũng có thể lấy ngữ cảnh từ "với" và "bạn", nhờ đó có thể giúp mô hình tạo ra thông tin dự đoán chính xác hơn.
mô hình ngôn ngữ hai chiều
Mô hình ngôn ngữ xác định xác suất một mã thông báo nhất định sẽ xuất hiện tại một vị trí nhất định trong phần trích dẫn văn bản dựa trên văn bản ở trước và sau.
Bigram
Một N-gam trong đó N=2.
BLEU (Nghiên cứu đánh giá song ngữ)
Điểm số nằm trong khoảng từ 0,0 đến 1,0 cho biết chất lượng bản dịch giữa hai ngôn ngữ của con người (ví dụ: giữa tiếng Anh và tiếng Nga). Điểm BLEU là 1:0 cho biết bản dịch hoàn hảo, điểm BLEU 0,0 cho biết bản dịch rất tệ.
C
mô hình ngôn ngữ nhân quả
Từ đồng nghĩa với mô hình ngôn ngữ một chiều.
Xem mô hình ngôn ngữ hai chiều để đối chiếu các phương pháp tiếp cận theo chiều trong mô hình ngôn ngữ.
nhắc chuỗi cân nhắc
Một kỹ thuật kỹ thuật gợi ý khuyến khích một mô hình ngôn ngữ lớn (LLM) giải thích lý do của mô hình đó theo từng bước. Ví dụ: hãy xem xét câu lệnh sau đây và đặc biệt chú ý đến câu thứ hai:
Người lái xe sẽ phải trải qua bao nhiêu g lực khi lái xe từ 0 đến 100 dặm mỗi giờ trong 7 giây? Trong câu trả lời, hãy trình bày tất cả các phép tính liên quan.
Câu trả lời của LLM có thể sẽ:
- Hiển thị một chuỗi các công thức vật lý, đưa các giá trị 0, 60 và 7 vào các vị trí thích hợp.
- Giải thích lý do chọn các công thức đó và ý nghĩa của các biến.
Việc nhắc suy nghĩ theo chuỗi sẽ buộc LLM thực hiện tất cả các phép tính, từ đó có thể dẫn đến câu trả lời chính xác hơn. Ngoài ra, việc nhắc theo chuỗi suy nghĩ cho phép người dùng kiểm tra các bước của LLM để xác định xem câu trả lời có hợp lý hay không.
trò chuyện
Nội dung của cuộc đối thoại liên tiếp với hệ thống học máy, thường là mô hình ngôn ngữ lớn. Hoạt động tương tác trước đó trong một cuộc trò chuyện (nội dung bạn nhập và cách mô hình ngôn ngữ lớn phản hồi) sẽ trở thành ngữ cảnh cho các phần tiếp theo của cuộc trò chuyện.
chatbot là một ứng dụng của một mô hình ngôn ngữ lớn.
giao cấu
Từ đồng nghĩa với Ảo giác.
Kết hợp có lẽ là một thuật ngữ chính xác hơn về mặt kỹ thuật so với ảo tưởng. Tuy nhiên, ảo tưởng trở nên phổ biến trước tiên.
phân tích cú pháp khu vực bầu cử
Chia câu thành các cấu trúc ngữ pháp nhỏ hơn ("thành phần"). Phần sau của hệ thống ML, chẳng hạn như mô hình hiểu ngôn ngữ tự nhiên, có thể phân tích cú pháp các thành phần dễ dàng hơn so với câu gốc. Ví dụ: hãy xem xét câu sau:
Bạn tôi nhận nuôi hai chú mèo.
Trình phân tích cú pháp ứng dụng có thể chia câu này thành 2 thành phần sau:
- Bạn của tôi là một cụm danh từ.
- nuôi hai con mèo là một cụm động từ.
Những thành phần này có thể được chia nhỏ hơn thành các thành phần nhỏ hơn. Ví dụ: cụm động từ
nhận nuôi hai con mèo
có thể được chia nhỏ hơn thành:
- adopt (đã thông qua) là một động từ.
- hai con mèo là một cụm danh từ khác.
nhúng ngôn ngữ theo ngữ cảnh
Nội dung được nhúng gần với các từ và cụm từ "hiểu" nhất theo cách mà người bản ngữ có thể làm. Nội dung nhúng bằng ngôn ngữ theo ngữ cảnh có thể hiểu cú pháp, ngữ nghĩa và ngữ cảnh phức tạp.
Ví dụ: hãy xem xét việc nhúng từ cow trong tiếng Anh. Các mục nhúng cũ hơn như word2vec có thể biểu thị các từ tiếng Anh sao cho khoảng cách trong không gian nhúng từ bò đến bò đực tương tự như khoảng cách từ ewe (cừu cái) đến ram (cừu đực) hoặc từ nữ đến đực. Nội dung nhúng bằng ngôn ngữ theo ngữ cảnh có thể tiến thêm một bước nữa bằng cách nhận ra rằng người nói tiếng Anh đôi khi sử dụng từ cow (bò) để ám chỉ bò cái hoặc bò.
cửa sổ ngữ cảnh
Số lượng mã thông báo mà một mô hình có thể xử lý trong một lời nhắc nhất định. Cửa sổ ngữ cảnh càng lớn, mô hình càng có thể sử dụng nhiều thông tin để cung cấp phản hồi nhất quán và nhất quán cho lời nhắc.
hoa văn sập
Một câu hoặc cụm từ có ý nghĩa không rõ ràng. Hoa sự cố cho thấy một vấn đề quan trọng trong khả năng hiểu ngôn ngữ tự nhiên. Ví dụ: dòng tiêu đề Red Tape giữ hình chữ nhật đứng là sự cố xuất hiện vì mô hình NLU có thể diễn giải dòng tiêu đề theo nghĩa đen hoặc nghĩa bóng.
D
bộ giải mã
Nhìn chung, mọi hệ thống học máy chuyển đổi từ cách trình bày nội bộ, dày đặc hoặc đã được xử lý sang cách trình bày thô, thưa hoặc thô hơn.
Bộ giải mã thường là một thành phần của mô hình lớn hơn, trong đó chúng thường được ghép nối với một bộ mã hoá.
Trong tác vụ theo trình tự, bộ giải mã bắt đầu với trạng thái nội bộ do bộ mã hoá tạo ra để dự đoán trình tự tiếp theo.
Tham khảo Transformer để biết định nghĩa về bộ giải mã trong cấu trúc Transformer.
khử tiếng ồn
Một phương pháp phổ biến đối với hình thức học tự giám sát, trong đó:
Tính năng khử nhiễu cho phép học hỏi từ các ví dụ không có nhãn. Tập dữ liệu gốc đóng vai trò là mục tiêu hoặc nhãn và dữ liệu gây nhiễu đóng vai trò là dữ liệu đầu vào.
Một số mô hình ngôn ngữ được che giấu sử dụng tính năng khử tiếng ồn như sau:
- Tiếng ồn được thêm một cách giả tạo vào một câu không được gắn nhãn bằng cách che một số mã thông báo.
- Mô hình này sẽ cố gắng dự đoán các mã thông báo ban đầu.
nhắc nhở trực tiếp
Từ đồng nghĩa với lời nhắc tự động đăng ký.
E
chỉnh sửa khoảng cách
Đo lường mức độ tương tự của hai chuỗi văn bản với nhau. Trong công nghệ học máy, việc chỉnh sửa khoảng cách rất hữu ích vì rất đơn giản để tính toán và là một cách hiệu quả để so sánh hai chuỗi đã biết là tương tự nhau hoặc để tìm các chuỗi tương tự với một chuỗi nhất định.
Có một số định nghĩa về khoảng cách chỉnh sửa, mỗi định nghĩa sử dụng các thao tác chuỗi khác nhau. Ví dụ: Khoảng cách Levershtein được xem là ít thao tác xoá, chèn và thay thế nhất.
Ví dụ: khoảng cách L Cngayshtein giữa hai từ "trái tim" và "phi tiêu" là 3 vì 3 nội dung chỉnh sửa sau đây là ít thay đổi nhất để chuyển một từ thành từ kia:
- tim → deart (thay "h" bằng "d")
- deart → dart (xoá "e")
- phi tiêu → phi tiêu (chèn "s")
lớp nhúng
Một lớp ẩn đặc biệt được huấn luyện dựa trên tính năng phân loại có chiều cao để tìm hiểu dần một vectơ nhúng có chiều thấp hơn. Lớp nhúng giúp mạng nơron huấn luyện hiệu quả hơn nhiều so với việc chỉ huấn luyện tính năng phân loại đa chiều.
Ví dụ: Trái Đất hiện hỗ trợ khoảng 73.000 loài cây. Giả sử các loài cây là một tính năng trong mô hình của bạn, vì vậy,lớp đầu vào của mô hình bao gồm một vectơ một nóng gồm 73.000 phần tử dài.
Ví dụ: có thể baobab sẽ được biểu thị như sau:
Một mảng 73.000 phần tử là rất dài. Nếu bạn không thêm lớp nhúng vào mô hình, thì việc huấn luyện sẽ tốn rất nhiều thời gian do phải nhân 72.999 số 0. Có thể bạn chọn lớp nhúng gồm 12 chiều. Do đó, lớp nhúng sẽ dần học được một vectơ nhúng mới cho từng loài cây.
Trong một số trường hợp nhất định, băm là một lựa chọn thay thế hợp lý cho lớp nhúng.
không gian nhúng
Không gian vectơ d chiều có các đặc điểm của không gian vectơ có chiều cao hơn được ánh xạ tới. Lý tưởng nhất là không gian nhúng chứa một cấu trúc mang lại kết quả toán học có ý nghĩa. Ví dụ: trong một không gian nhúng lý tưởng, phép cộng và trừ các mục nhúng có thể giải quyết các nhiệm vụ tương tự từ.
Tích số chấm của 2 lượt nhúng là thước đo mức độ tương đồng.
vectơ nhúng
Nói chung là một mảng các số dấu phẩy động được lấy từ bất kỳ lớp ẩn nào mô tả dữ liệu đầu vào cho lớp ẩn đó. Thông thường, vectơ nhúng là một mảng các số dấu phẩy động được huấn luyện trong một lớp nhúng. Ví dụ: giả sử một lớp nhúng phải tìm hiểu một vectơ nhúng cho từng loài trong số 73.000 loài cây trên Trái đất. Có thể mảng sau đây là vectơ nhúng cho cây bao báp:
Vectơ nhúng không phải là một nhóm các số ngẫu nhiên. Lớp nhúng sẽ xác định các giá trị này thông qua quá trình huấn luyện, tương tự như cách mạng nơron tìm hiểu các trọng số khác trong quá trình huấn luyện. Mỗi phần tử của mảng là một điểm xếp hạng theo một số đặc điểm của một loài cây. Phần tử nào đại diện cho đặc điểm của loài cây? Con người rất khó để xác định.
Điều đáng chú ý về mặt toán học của vectơ nhúng là các mục tương tự nhau có các tập hợp số dấu phẩy động tương tự. Ví dụ: các loài cây tương tự có tập hợp số dấu phẩy động giống nhau hơn so với các loài cây không giống nhau. Cây hồng sam và cây cự sam là các loài cây có liên quan với nhau, vì vậy, chúng sẽ có tập hợp số dấu phẩy động tương tự hơn so với gỗ đỏ và cây cọ dừa. Các con số trong vectơ nhúng sẽ thay đổi mỗi khi bạn đào tạo lại mô hình, ngay cả khi bạn huấn luyện lại mô hình với dữ liệu đầu vào giống hệt nhau.
bộ mã hóa
Nhìn chung, mọi hệ thống ML chuyển đổi từ một cách trình bày thô, thưa thớt hoặc bên ngoài thành một cách trình bày nội bộ được xử lý kỹ lưỡng hơn, dày đặc hơn hoặc có nội bộ hơn.
Bộ mã hoá thường là một thành phần của mô hình lớn hơn và thường được kết hợp với một bộ giải mã. Một số Transformer ghép nối bộ mã hoá với bộ giải mã, mặc dù những loại Transformer khác chỉ sử dụng bộ mã hoá hoặc chỉ bộ giải mã.
Một số hệ thống sử dụng đầu ra của bộ mã hoá làm đầu vào cho mạng phân loại hoặc mạng hồi quy.
Trong tác vụ theo trình tự, bộ mã hoá sẽ lấy trình tự đầu vào và trả về trạng thái nội bộ (vectơ). Sau đó, bộ giải mã sẽ sử dụng trạng thái nội bộ đó để dự đoán trình tự tiếp theo.
Tham khảo Transformer để biết định nghĩa về bộ mã hoá trong cấu trúc Transformer.
F
nhắc sau một vài lần
Một lời nhắc chứa nhiều ví dụ (một "nhiều") ví dụ minh hoạ cách mô hình ngôn ngữ lớn sẽ phản hồi. Ví dụ: câu lệnh dài sau đây chứa hai ví dụ minh hoạ một mô hình ngôn ngữ lớn về cách trả lời một truy vấn.
| Các thành phần trong một câu lệnh | Ghi chú |
|---|---|
| Đơn vị tiền tệ chính thức của quốc gia được chỉ định là gì? | Câu hỏi mà bạn muốn LLM trả lời. |
| Pháp: EUR | Một ví dụ. |
| Vương quốc Anh: GBP | Một ví dụ khác. |
| Ấn Độ: | Truy vấn thực tế. |
Yêu cầu nhắc nhanh một lần thường mang lại kết quả mong muốn hơn so với lời nhắc một lần và lời nhắc một lần. Tuy nhiên, lời nhắc chỉ cần thực hiện vài lần sẽ yêu cầu lời nhắc dài hơn.
Lời nhắc trong vài lần thực hiện là một hình thức học vài lần áp dụng cho hình thức học qua câu lệnh.
Đàn vĩ cầm
Thư viện cấu hình ưu tiên Python đặt giá trị của các hàm và lớp mà không cần mã hoặc cơ sở hạ tầng xâm phạm. Trong trường hợp Pax và các cơ sở mã học máy khác, các hàm và lớp này đại diện cho mô hình và huấn luyện siêu tham số.
Fiddle giả định rằng cơ sở mã học máy thường được chia thành:
- Mã thư viện, xác định các lớp và trình tối ưu hoá.
- Mã "keo" tập dữ liệu có chức năng gọi các thư viện và liên kết mọi thứ với nhau.
Fiddle ghi lại cấu trúc lệnh gọi của mã kết nối ở dạng chưa được đánh giá và có thể thay đổi.
tinh chỉnh
Lượt huấn luyện thứ hai, dành riêng cho từng tác vụ được thực hiện trên một mô hình luyện sẵn để tinh chỉnh các tham số cho một trường hợp sử dụng cụ thể. Ví dụ: trình tự huấn luyện đầy đủ cho một số mô hình ngôn ngữ lớn như sau:
- Đào tạo trước: Đào tạo một mô hình ngôn ngữ lớn trên một tập dữ liệu chung rộng lớn, chẳng hạn như tất cả các trang Wikipedia bằng tiếng Anh.
- Tinh chỉnh: Huấn luyện mô hình đã được huấn luyện trước để thực hiện một tác vụ cụ thể, chẳng hạn như phản hồi các truy vấn y tế. Việc tinh chỉnh thường bao gồm hàng trăm hoặc hàng nghìn ví dụ tập trung vào tác vụ cụ thể.
Một ví dụ khác về trình tự huấn luyện đầy đủ cho một mô hình hình ảnh lớn như sau:
- Đào tạo trước: Đào tạo một mô hình hình ảnh lớn trên một tập dữ liệu hình ảnh chung rộng lớn, chẳng hạn như tất cả hình ảnh trong Wikimedia commons.
- Tinh chỉnh: Huấn luyện mô hình được huấn luyện trước để thực hiện một tác vụ cụ thể, chẳng hạn như tạo hình ảnh cá voi sát thủ.
Việc tinh chỉnh có thể đòi hỏi bất kỳ tổ hợp nào của các chiến lược sau:
- Sửa đổi tất cả tham số hiện có của mô hình luyện sẵn. Quá trình này đôi khi được gọi là tinh chỉnh đầy đủ.
- Chỉ sửa đổi một số tham số hiện có của mô hình luyện sẵn (thường là các lớp gần nhất với lớp đầu ra), trong khi giữ nguyên các tham số hiện có khác (thường là các lớp gần nhất với lớp đầu vào). Xem phần điều chỉnh hiệu quả tham số.
- Thêm các lớp khác, thường là ở trên các lớp hiện có gần với lớp đầu ra nhất.
Tinh chỉnh là một hình thức học tập chuyển giao. Do đó, tính năng tinh chỉnh có thể sử dụng một hàm tổn hao khác hoặc một loại mô hình khác với các hàm dùng để huấn luyện mô hình được huấn luyện trước. Ví dụ: bạn có thể tinh chỉnh một mô hình hình ảnh lớn đã được huấn luyện trước để tạo một mô hình hồi quy trả về số lượng chim trong một hình ảnh đầu vào.
So sánh và đối chiếu tính năng tinh chỉnh với các thuật ngữ sau:
Cây lanh
Một thư viện nguồn mở hiệu suất cao dành cho hoạt động học sâu, được xây dựng dựa trên JAX. Flax cung cấp các hàm để huấn luyện mạng nơron, cũng như phương pháp để đánh giá hiệu suất.
Vải lanh
Thư viện Transformer nguồn mở, xây dựng dựa trên Flax, được thiết kế chủ yếu cho việc xử lý ngôn ngữ tự nhiên và nghiên cứu đa phương thức.
G
AI tạo sinh
Một trường biến đổi mới nổi chưa có định nghĩa chính thức. Tuy nhiên, hầu hết các chuyên gia đều đồng ý rằng mô hình AI tạo sinh có thể tạo ra nội dung đáp ứng tất cả những điều sau:
- phức tạp
- mạch lạc
- gốc
Ví dụ: Một mô hình AI tạo sinh có thể tạo các bài tiểu luận hoặc hình ảnh phức tạp.
Một số công nghệ trước đây, bao gồm cả LSTM và RNN, cũng có thể tạo nội dung nguyên gốc và nhất quán. Một số chuyên gia xem những công nghệ cũ này là AI tạo sinh, trong khi một số khác cho rằng AI tạo sinh thực sự đòi hỏi đầu ra phức tạp hơn so với những công nghệ trước đó có thể tạo ra.
Trái ngược với công nghệ học máy dự đoán.
GPT (Trình biến đổi được huấn luyện trước)
Một nhóm mô hình ngôn ngữ lớn dựa trên Transformer do OpenAI phát triển.
Các biến thể GPT có thể áp dụng cho nhiều phương thức, bao gồm:
- tạo hình ảnh (ví dụ: ImageGPT)
- tạo văn bản với hình ảnh (ví dụ: DALL-E).
Số lần bị đánh trúng bóng
ảo tưởng
Việc tạo ra kết quả có vẻ hợp lý nhưng thực tế không chính xác bằng mô hình AI tạo sinh giả vờ đưa ra một nhận định về thế giới thực. Ví dụ: một mô hình AI tạo sinh tuyên bố rằng Barack Obama qua đời năm 1865 là ảo giác.
I
học theo ngữ cảnh
Từ đồng nghĩa với lời nhắc vài lần.
L
LaMDA (Mô hình ngôn ngữ cho ứng dụng hội thoại)
Một mô hình ngôn ngữ lớn dựa trên Transformer do Google phát triển được huấn luyện trên một tập dữ liệu hội thoại lớn có thể tạo ra các phản hồi trò chuyện chân thực.
LaMDA: công nghệ trò chuyện đột phá của chúng tôi mang đến thông tin tổng quan.
mô hình ngôn ngữ
Một model ước tính xác suất của một model hoặc một chuỗi mã thông báo xảy ra trong một chuỗi mã thông báo dài hơn.
mô hình ngôn ngữ lớn
Một thuật ngữ không chính thức không có định nghĩa nghiêm ngặt thường có nghĩa là một mô hình ngôn ngữ có số lượng tham số lớn. Một số mô hình ngôn ngữ lớn chứa hơn 100 tỷ tham số.
không gian tiềm ẩn
Từ đồng nghĩa với không gian nhúng.
Mô hình ngôn ngữ lớn (LLM)
Tên viết tắt của mô hình ngôn ngữ lớn.
LoRA
Từ viết tắt của Khả năng thích ứng cấp thấp.
Khả năng thích ứng cấp thấp (LoRA)
Thuật toán để thực hiện điều chỉnh hiệu quả tham số nhằm tinh chỉnh một tập hợp con của các tham số của mô hình ngôn ngữ lớn. LoRA mang lại các lợi ích sau:
- Tinh chỉnh nhanh hơn so với các kỹ thuật yêu cầu tinh chỉnh tất cả các tham số của mô hình.
- Giảm chi phí tính toán của suy luận trong mô hình đã tinh chỉnh.
Mô hình được điều chỉnh bằng LoRA sẽ duy trì hoặc cải thiện chất lượng của các dự đoán.
LoRA cho phép nhiều phiên bản chuyên biệt của một mô hình.
M
mô hình ngôn ngữ bị che giấu
Một mô hình ngôn ngữ dự đoán xác suất của mã thông báo đề xuất cần điền vào chỗ trống trong một trình tự. Ví dụ: mô hình ngôn ngữ được che có thể tính xác suất để(các) từ đề xuất thay thế dấu gạch dưới trong câu sau:
____ đội mũ trở lại.
Tài liệu thường dùng chuỗi "Mask" thay vì dấu gạch dưới. Ví dụ:
"Mask" trong chiếc mũ đã xuất hiện trở lại.
Hầu hết các mô hình ngôn ngữ được che giấu hiện đại đều là hai chiều.
học siêu
Một tập hợp con gồm công nghệ học máy giúp phát hiện hoặc cải thiện một thuật toán học tập. Hệ thống học siêu dữ liệu cũng có thể nhằm mục đích huấn luyện một mô hình để nhanh chóng học một công việc mới từ một lượng nhỏ dữ liệu hoặc từ kinh nghiệm thu được trong các nhiệm vụ trước đó. Các thuật toán học meta thường cố gắng đạt được những mục tiêu sau:
- Cải thiện hoặc tìm hiểu các tính năng được chế tạo thủ công (chẳng hạn như trình khởi chạy hoặc trình tối ưu hoá).
- Tiết kiệm chi phí dữ liệu và điện toán hơn.
- Cải thiện khả năng khái quát hoá.
Phương pháp học meta liên quan đến phương thức học qua vài lần.
phương thức
Danh mục dữ liệu cấp cao. Ví dụ: số, văn bản, hình ảnh, video và âm thanh là 5 phương thức khác nhau.
tính song song của mô hình
Một phương pháp để mở rộng quy mô huấn luyện hoặc dự đoán để đặt nhiều phần của một model trên nhiều model. Tính năng tải song song mô hình cho phép các mô hình quá lớn, không vừa với một thiết bị.
Để triển khai tính năng song song của mô hình, hệ thống thường làm như sau:
- Các phân đoạn (chia) mô hình thành các phần nhỏ hơn.
- Phân phối việc huấn luyện các phần nhỏ hơn đó trên nhiều bộ xử lý. Mỗi bộ xử lý sẽ huấn luyện một phần riêng của mô hình.
- Kết hợp các kết quả để tạo một mô hình.
Việc tải song song mô hình làm chậm quá trình huấn luyện.
Hãy xem thêm bài viết về sự song song dữ liệu.
tự chú ý khi theo dõi nhiều đầu
Phần mở rộng của cơ chế tự chú ý áp dụng cơ chế tự chú ý nhiều lần cho mỗi vị trí trong trình tự nhập.
Transformer ra mắt tính năng tự chú ý nhiều đầu.
mô hình đa phương thức
Một mô hình có dữ liệu đầu vào và/hoặc đầu ra bao gồm nhiều phương thức. Ví dụ: hãy xem xét một mô hình lấy cả hình ảnh và chú thích văn bản (hai phương thức) làm tính năng rồi đưa ra điểm số cho biết mức độ phù hợp của chú thích văn bản đối với hình ảnh. Vì vậy, dữ liệu đầu vào của mô hình này là đa phương thức và đầu ra là đơn phương thức.
N
hiểu ngôn ngữ tự nhiên
Xác định ý định của người dùng dựa trên nội dung người dùng nhập hoặc nói. Ví dụ: công cụ tìm kiếm sẽ sử dụng khả năng hiểu ngôn ngữ tự nhiên để xác định nội dung người dùng đang tìm kiếm dựa trên nội dung người dùng đã nhập hoặc nói.
N gam
Một chuỗi N từ theo thứ tự. Ví dụ: thực sự điên rồ là 2 gam. Vì thứ tự có liên quan, nên madly thực sự khác 2 gram so với thực sự điên rồ.
| N | Tên của loại N-gram này | Ví dụ |
|---|---|---|
| 2 | Bigram hoặc 2-gam | đi, đi, ăn trưa, ăn tối |
| 3 | 3 gam hoặc 3 gam | ăn quá nhiều, ba con chuột bỉm, quả chuông kêu |
| 4 | 4 gam | đi bộ trong công viên, thổi bụi trong gió, cậu bé ăn đậu lăng |
Nhiều mô hình hiểu ngôn ngữ tự nhiên dựa vào N-gram để dự đoán từ tiếp theo mà người dùng sẽ nhập hoặc nói. Ví dụ: giả sử một người dùng nhập ba mù. Mô hình NLU dựa trên bát đồ có thể dự đoán rằng người dùng sẽ nhập chuột lần tiếp theo.
Đối chiếu N-gram với bag of Word, là các tập hợp từ không theo thứ tự.
hiểu ngôn ngữ tự nhiên (NLU)
Từ viết tắt của từ hiểu ngôn ngữ tự nhiên.
O
nhắc một lần
Một lời nhắc chứa một ví dụ minh hoạ cách mô hình ngôn ngữ lớn cần phản hồi. Ví dụ: lời nhắc sau đây chứa một ví dụ cho thấy một mô hình ngôn ngữ lớn về cách nó sẽ trả lời một truy vấn.
| Các thành phần trong một câu lệnh | Ghi chú |
|---|---|
| Đơn vị tiền tệ chính thức của quốc gia được chỉ định là gì? | Câu hỏi mà bạn muốn LLM trả lời. |
| Pháp: EUR | Một ví dụ. |
| Ấn Độ: | Truy vấn thực tế. |
So sánh và đối chiếu lời nhắc một lần với các cụm từ sau:
Điểm
điều chỉnh hiệu quả thông số
Một tập hợp các kỹ thuật để tinh chỉnh một mô hình ngôn ngữ được huấn luyện trước (PLM) hiệu quả hơn so với tính năng điều chỉnh đầy đủ. Tính năng điều chỉnh hiệu quả tham số thường tinh chỉnh ít tham số hơn nhiều so với tính năng tinh chỉnh đầy đủ, nhưng thường tạo ra một mô hình ngôn ngữ lớn hoạt động hiệu quả (hoặc gần như tương đương) như một mô hình ngôn ngữ lớn được tạo từ việc tinh chỉnh toàn bộ.
So sánh và đối chiếu việc điều chỉnh hiệu quả về thông số bằng:
Điều chỉnh hiệu quả thông số còn được gọi là tinh chỉnh hiệu quả thông số.
đường ống
Một dạng tính song song của mô hình, trong đó quá trình xử lý mô hình được chia thành các giai đoạn liên tiếp và mỗi giai đoạn được thực thi trên một thiết bị khác nhau. Trong khi một giai đoạn đang xử lý một lô, giai đoạn trước đó có thể hoạt động trên lô tiếp theo.
Xem thêm nội dung đào tạo theo giai đoạn.
PLM (Người quản lý hoạt động kinh doanh)
Tên viết tắt của mô hình ngôn ngữ luyện sẵn.
mã hoá vị trí
Một kỹ thuật thêm thông tin về vị trí của một mã thông báo theo trình tự vào hoạt động nhúng của mã thông báo đó. Mô hình biến áp sử dụng phương thức mã hoá vị trí để hiểu rõ hơn về mối quan hệ giữa các phần của trình tự.
Một cách triển khai phổ biến của phương thức mã hoá vị trí sử dụng hàm hình sin. (Cụ thể, tần suất và biên độ của hàm hình sin được xác định theo vị trí của mã thông báo trong chuỗi.) Kỹ thuật này cho phép mô hình Transformer học cách tham dự vào nhiều phần của trình tự dựa trên vị trí của các phần đó.
mô hình luyện sẵn
Các mô hình hoặc thành phần của mô hình (chẳng hạn như vectơ nhúng) đã được huấn luyện. Đôi khi, bạn sẽ đưa các vectơ nhúng đã qua huấn luyện vào một mạng nơron. Vào những lúc khác, mô hình của bạn sẽ tự huấn luyện các vectơ nhúng thay vì dựa vào các thành phần nhúng đã huấn luyện trước.
Thuật ngữ mô hình ngôn ngữ được huấn luyện trước đề cập đến một mô hình ngôn ngữ lớn đã trải qua quá trình đào tạo trước.
huấn luyện trước
Huấn luyện ban đầu của mô hình trên một tập dữ liệu lớn. Một số mô hình huấn luyện trước là những gã khổng lồ vụng về và thường phải được tinh chỉnh thông qua việc huấn luyện thêm. Ví dụ: các chuyên gia học máy có thể huấn luyện trước một mô hình ngôn ngữ lớn trên một tập dữ liệu văn bản khổng lồ, chẳng hạn như mọi trang tiếng Anh trên Wikipedia. Sau khi huấn luyện trước, mô hình thu được có thể được tinh chỉnh thêm thông qua bất kỳ kỹ thuật nào sau đây:
lời nhắc
Bất kỳ văn bản nào được nhập làm dữ liệu đầu vào cho một mô hình ngôn ngữ lớn để điều chỉnh mô hình đó hoạt động theo một cách nhất định. Lời nhắc có thể ngắn như một cụm từ hoặc dài tuỳ ý (ví dụ: toàn bộ văn bản của một cuốn tiểu thuyết). Lời nhắc thuộc nhiều danh mục, bao gồm cả những danh mục xuất hiện trong bảng sau:
| Danh mục lời nhắc | Ví dụ: | Ghi chú |
|---|---|---|
| Câu hỏi | Một chú chim bồ câu có thể bay nhanh đến mức nào? | |
| Hướng dẫn | Viết một bài thơ hài hước về hành vi kiếm lời nhờ chênh lệch giá. | Một câu lệnh yêu cầu mô hình ngôn ngữ lớn làm gì đó. |
| Ví dụ: | Dịch mã Markdown sang HTML. Ví dụ:
Markdown: * mục danh sách HTML: <ul> <li>mục danh sách</li> </ul> |
Câu đầu tiên trong câu lệnh trong ví dụ này là một hướng dẫn. Phần còn lại của lời nhắc là ví dụ. |
| Vai trò | Giải thích lý do phương pháp giảm độ dốc chuyển màu được dùng trong quá trình đào tạo học máy để lấy bằng Tiến sĩ Vật lý. | Phần đầu của câu là phần hướng dẫn; cụm từ "đối với Tiến sĩ Vật lý" là phần vai trò. |
| Một phần dữ liệu đầu vào để mô hình hoàn tất | Thủ tướng Vương quốc Anh sinh sống tại | Lời nhắc nhập một phần có thể kết thúc đột ngột (như ví dụ này) hoặc kết thúc bằng dấu gạch dưới. |
Mô hình AI tạo sinh có thể phản hồi câu lệnh bằng văn bản, mã, hình ảnh, nội dung nhúng, video... hầu như mọi nội dung.
học tập dựa trên câu lệnh
Khả năng của một số mô hình cho phép chúng điều chỉnh hành vi để phản hồi việc nhập văn bản tuỳ ý (lời nhắc). Trong một mô hình học tập thông thường dựa trên câu lệnh, một mô hình ngôn ngữ lớn sẽ phản hồi câu lệnh bằng cách tạo văn bản. Ví dụ: giả sử người dùng nhập câu lệnh sau:
Tóm tắt Định luật chuyển động thứ ba của Newton.
Một mô hình có khả năng học dựa trên câu lệnh không được huấn luyện riêng để trả lời câu lệnh trước. Thay vào đó, mô hình này "biết" rất nhiều thông tin về vật lý, rất nhiều về các quy tắc ngôn ngữ chung và rất nhiều về những yếu tố tạo nên những câu trả lời hữu ích nhìn chung. Kiến thức đó là đủ để cung cấp câu trả lời (hy vọng) hữu ích. Ý kiến phản hồi bổ sung của người dùng ("Câu trả lời đó quá phức tạp." hoặc "Phản ứng là gì?") cho phép một số hệ thống học tập dựa trên câu lệnh từng bước cải thiện tính hữu ích của câu trả lời.
thiết kế câu lệnh
Từ đồng nghĩa với kỹ thuật nhắc nhở.
thiết kế câu lệnh
Nghệ thuật tạo lời nhắc để lấy câu trả lời mong muốn từ mô hình ngôn ngữ lớn. Con người thực hiện kỹ thuật gợi ý. Việc viết câu lệnh có cấu trúc hợp lý là một phần cần thiết để đảm bảo câu trả lời hữu ích từ một mô hình ngôn ngữ lớn. Kỹ thuật đưa ra lời nhắc phụ thuộc vào nhiều yếu tố, trong đó có:
- Tập dữ liệu dùng để đào tạo trước và có thể là tinh chỉnh mô hình ngôn ngữ lớn.
- Nhiệt độ và các tham số giải mã khác mà mô hình sử dụng để tạo phản hồi.
Hãy xem phần Giới thiệu về thiết kế lời nhắc để biết thêm thông tin chi tiết về cách viết lời nhắc hữu ích.
Thiết kế lời nhắc là một từ đồng nghĩa với kỹ thuật nhắc nhở.
điều chỉnh lời nhắc
Cơ chế điều chỉnh hiệu quả tham số học một "tiền tố" mà hệ thống sẽ thêm vào lời nhắc thực tế.
Một biến thể của cách điều chỉnh lời nhắc (đôi khi được gọi là điều chỉnh tiền tố) là thêm tiền tố ở mọi lớp. Ngược lại, hầu hết việc điều chỉnh lời nhắc chỉ thêm một tiền tố vào lớp đầu vào.
R
lời nhắc nhập vai trò
Một phần không bắt buộc trong lời nhắc giúp xác định đối tượng mục tiêu cho phản hồi của mô hình AI tạo sinh. Nếu không có lời nhắc vai trò, mô hình ngôn ngữ lớn sẽ cung cấp câu trả lời có thể hữu ích hoặc không hữu ích đối với người đặt câu hỏi. Với lời nhắc nhập vai trò, một mô hình ngôn ngữ lớn có thể trả lời theo cách phù hợp và hữu ích hơn cho một đối tượng mục tiêu cụ thể. Ví dụ: phần lời nhắc vai trò của các lời nhắc sau đây được in đậm:
- Tóm tắt bài viết này cho bằng tiến sĩ kinh tế.
- Mô tả cách thuỷ triều đối với một đứa trẻ mười tuổi.
- Giải thích cuộc khủng hoảng tài chính năm 2008. Nói chuyện với một đứa trẻ nhỏ hoặc một chú chó săn mồi.
S
tự chú ý (còn gọi là tầng tự chú ý)
Một lớp mạng nơron biến đổi một trình tự nhúng (ví dụ: nhúng mã thông báo) thành một chuỗi nhúng khác. Mỗi hoạt động nhúng trong trình tự đầu ra được xây dựng bằng cách tích hợp thông tin từ các phần tử của trình tự đầu vào thông qua cơ chế chú ý.
Phần bản thân của sự tự chú ý đề cập đến trình tự tham gia vào chính nó thay vì một số ngữ cảnh khác. Tự chú ý là một trong những thành phần chính của Transformer và sử dụng các thuật ngữ tra cứu trong từ điển, chẳng hạn như "truy vấn", "khoá" và "giá trị".
Lớp tự chú ý bắt đầu bằng một chuỗi nội dung biểu diễn đầu vào, mỗi nội dung cho một từ. Nội dung đại diện cho dữ liệu đầu vào của một từ có thể là một hành động nhúng đơn giản. Đối với mỗi từ trong một chuỗi nhập, mạng sẽ tính điểm mức độ liên quan của từ đó với mọi phần tử trong toàn bộ chuỗi từ. Điểm số về mức độ liên quan xác định mức độ đại diện cuối cùng của từ đó kết hợp với sự biểu thị của các từ khác.
Ví dụ: hãy xem xét câu sau:
Con vật không băng qua đường vì quá mệt.
Hình minh hoạ sau (từ Transformer: Một cấu trúc mạng nơron mới để tìm hiểu ngôn ngữ) cho thấy mẫu hình chú ý của lớp tự chú ý đối với đại từ it, trong đó độ tối của mỗi dòng cho biết mức độ đóng góp của mỗi từ vào cách trình bày:
Lớp tự chú ý làm nổi bật những từ có liên quan đến "nó". Trong trường hợp này, lớp chú ý đã học được cách làm nổi bật các từ mà lớp đó có thể tham chiếu đến, chỉ định trọng số cao nhất cho động vật.
Đối với một chuỗi n mã thông báo, khả năng tự chú ý sẽ biến đổi chuỗi các nhúng n lần riêng biệt, một lần tại mỗi vị trí trong trình tự.
Hãy tham khảo thêm về tính năng tự chú ý và tự chú ý nhiều đầu.
phân tích quan điểm
Sử dụng các thuật toán thống kê hoặc học máy để xác định thái độ tổng thể của một nhóm (tích cực hay tiêu cực) đối với một dịch vụ, sản phẩm, tổ chức hoặc chủ đề. Ví dụ: bằng cách sử dụng công cụ hiểu ngôn ngữ tự nhiên, một thuật toán có thể phân tích cảm xúc đối với phản hồi bằng văn bản của một khoá học ở trường đại học để xác định mức độ mà học viên thường thích hoặc không thích khoá học.
tác vụ theo trình tự
Một tác vụ chuyển đổi một chuỗi đầu vào của mã thông báo thành một chuỗi đầu ra của mã thông báo. Ví dụ: có 2 loại tác vụ theo trình tự đến trình tự phổ biến là:
- Người dịch:
- Chuỗi nhập mẫu: "Anh yêu em".
- Chuỗi đầu ra mẫu: "Je t'aime."
- Trả lời câu hỏi:
- Trình tự nhập mẫu: "Tôi có cần xe của mình ở Thành phố New York không?"
- Trình tự đầu ra mẫu: "Không. Vui lòng giữ xe của bạn ở nhà".
biểu đồ bỏ qua
Một n-gram có thể bỏ qua (hoặc "bỏ qua") các từ trong ngữ cảnh gốc, có nghĩa là các từ N có thể không nằm liền kề ban đầu. Chính xác hơn, "k-skip-n-gram" là một n-gram mà có thể có tối đa k từ đã bị bỏ qua.
Ví dụ: "con cáo nâu nhanh nhẹn" có thể có 2 gam sau đây:
- "nhanh chóng"
- "nâu nhanh"
- " cáo nâu"
"1-skip-2-gram" là một cặp từ có nhiều nhất là 1 từ giữa chúng. Do đó, "con cáo nâu nhanh chóng" có 2 gam sau 1 lần bỏ qua:
- "màu nâu"
- " cáo nhanh"
Ngoài ra, tất cả 2 gam đều cũng là 1 từ bỏ qua 2 gam, vì có ít hơn một từ có thể bị bỏ qua.
Loại bỏ qua rất hữu ích trong việc giúp bạn hiểu thêm về ngữ cảnh xung quanh của một từ. Trong ví dụ, "fox" liên kết trực tiếp với "nhanh" trong tập hợp 1-skip-2 gam, chứ không phải trong tập hợp 2 gam.
Biểu tượng bỏ qua giúp huấn luyện các mô hình Nhúng từ.
điều chỉnh lời nhắc mềm
Một kỹ thuật để điều chỉnh mô hình ngôn ngữ lớn cho một tác vụ cụ thể mà không cần điều chỉnh chi tiết nhiều tài nguyên. Thay vì huấn luyện lại tất cả trọng số trong mô hình, tính năng điều chỉnh lời nhắc mềm sẽ tự động điều chỉnh lời nhắc để đạt được cùng một mục tiêu.
Với lời nhắc dạng văn bản, tính năng điều chỉnh lời nhắc mềm thường bổ sung các hoạt động nhúng mã thông báo bổ sung vào lời nhắc và sử dụng tính năng lan truyền ngược để tối ưu hoá dữ liệu đầu vào.
Lời nhắc "cứng" chứa mã thông báo thực thay vì nhúng mã thông báo.
đối tượng thưa
Một tính năng có giá trị chủ yếu là 0 hoặc trống. Ví dụ: một tính năng chứa một giá trị 1 và một triệu 0 giá trị là rất thưa thớt. Ngược lại, một tính năng dày đặc có các giá trị chủ yếu không bằng 0 hoặc trống.
Trong công nghệ học máy, rất nhiều tính năng đáng ngạc nhiên lại là các tính năng thưa thớt. Đối tượng phân loại thường là các đối tượng thưa thớt. Ví dụ: trong số 300 loài cây có thể có trong rừng, một ví dụ duy nhất có thể chỉ xác định được một cây phong. Hoặc trong số hàng triệu video có thể có trong thư viện video, một ví dụ duy nhất có thể xác định đúng là "Casablanca".
Trong mô hình, bạn thường biểu thị các tính năng thưa bằng mã hoá một lần. Nếu mã hoá một video nóng có kích thước lớn, bạn có thể đặt một lớp nhúng lên trên phương thức mã hoá một lần nóng để đạt được hiệu quả cao hơn.
biểu diễn thưa
Chỉ lưu trữ (các) vị trí của các phần tử khác 0 trong một đối tượng thưa.
Ví dụ: giả sử một đối tượng phân loại có tên là species xác định 36 loài cây trong một khu rừng cụ thể. Ngoài ra, giả định rằng mỗi ví dụ chỉ xác định một loài duy nhất.
Bạn có thể sử dụng vectơ một màu nóng để đại diện cho các loài cây trong mỗi ví dụ.
Vectơ một nóng sẽ chứa một 1 duy nhất (để đại diện cho
các loài cây cụ thể trong ví dụ đó) và 35 0 (để đại diện cho
35 loài cây không trong ví dụ đó). Vì vậy, nội dung biểu diễn một lần của maple có thể có dạng như sau:
Ngoài ra, cách biểu diễn thưa thớt chỉ đơn giản là xác định vị trí của các loài cụ thể. Nếu maple nằm ở vị trí 24, thì giá trị biểu diễn thưa thớt của maple sẽ chỉ là:
24
Lưu ý rằng cách biểu diễn thưa thớt gọn gàng hơn nhiều so với cách biểu diễn một lần nóng.
Hãy nhấp vào biểu tượng để xem ví dụ phức tạp hơn một chút.
Giả sử mỗi ví dụ trong mô hình của bạn phải đại diện cho các từ (chứ không phải thứ tự của các từ đó) trong một câu tiếng Anh. Tiếng Anh bao gồm khoảng 170.000 từ, vì vậy, tiếng Anh là một tính năng phân loại với khoảng 170.000 phần tử. Hầu hết các câu tiếng Anh đều sử dụng một phần rất nhỏ trong số 170.000 từ đó,vì vậy, tập hợp từ trong một ví dụ gần như chắc chắn sẽ có dữ liệu thưa thớt.
Hãy xem xét câu sau:
My dog is a great dog
Bạn có thể sử dụng biến thể của vectơ một màu nóng để biểu thị các từ trong câu này. Trong biến thể này, nhiều ô trong vectơ có thể chứa một giá trị khác 0. Hơn nữa, trong biến thể này, một ô có thể chứa một số nguyên khác 1. Mặc dù các từ "của tôi", "là", "a" và "tuyệt vời" chỉ xuất hiện một lần trong câu, nhưng từ "chó" sẽ xuất hiện hai lần. Việc sử dụng biến thể vectơ một nóng này để biểu thị các từ trong câu này sẽ tạo ra vectơ 170.000 phần tử sau:
Một cách biểu thị thưa thớt của cùng một câu sẽ chỉ là:
0: 1 26100: 2 45770: 1 58906: 1 91520: 1
huấn luyện theo giai đoạn
Chiến thuật huấn luyện một mô hình theo trình tự gồm các giai đoạn riêng biệt. Mục tiêu có thể là đẩy nhanh quá trình huấn luyện hoặc đạt được chất lượng mô hình tốt hơn.
Dưới đây là hình minh hoạ về phương pháp xếp chồng tăng dần:
- Giai đoạn 1 chứa 3 lớp ẩn, giai đoạn 2 chứa 6 lớp ẩn và giai đoạn 3 chứa 12 lớp ẩn.
- Giai đoạn 2 bắt đầu huấn luyện với các trọng số đã học trong 3 lớp ẩn của Giai đoạn 1. Giai đoạn 3 bắt đầu huấn luyện với các trọng số đã học trong 6 lớp ẩn của Giai đoạn 2.
Xem thêm về quy trình (pipeline).
mã thông báo từ phụ
Trong mô hình ngôn ngữ, mã thông báo là chuỗi con của một từ, có thể là toàn bộ từ.
Ví dụ: một từ như "itemize" (mặt hàng) có thể được chia thành các phần "item" (từ gốc) và "ize" (hậu tố), mỗi phần được biểu thị bằng một mã thông báo riêng. Việc tách các từ không phổ biến thành các từ như vậy, gọi là từ phụ, cho phép mô hình ngôn ngữ hoạt động trên các phần cấu thành phổ biến hơn của từ, chẳng hạn như tiền tố và hậu tố.
Ngược lại, những từ thông dụng như "đi" có thể không bị chia nhỏ và có thể được biểu thị bằng một mã thông báo duy nhất.
T
T5
Mô hình học tập chuyển văn bản sang văn bản mà AI của Google ra mắt vào năm 2020 đã ra mắt. T5 là một mô hình bộ mã hoá gồm bộ giải mã, dựa trên kiến trúc Transformer, được huấn luyện trên một tập dữ liệu cực lớn. API này hiệu quả trong nhiều nhiệm vụ xử lý ngôn ngữ tự nhiên, chẳng hạn như tạo văn bản, dịch ngôn ngữ và trả lời câu hỏi theo cách trò chuyện.
T5 lấy tên từ năm chữ T trong "Biến chuyển văn bản sang văn bản".
T5X
Một khung học máy nguồn mở, được thiết kế để xây dựng và đào tạo các mô hình xử lý ngôn ngữ tự nhiên (NLP) quy mô lớn. T5 được triển khai trên cơ sở mã T5X (được tạo dựa trên JAX và Flax).
nhiệt độ
Một siêu tham số kiểm soát mức độ ngẫu nhiên của dữ liệu đầu ra của mô hình. Nhiệt độ cao hơn dẫn đến kết quả đầu ra ngẫu nhiên nhiều hơn, trong khi nhiệt độ thấp hơn dẫn đến kết quả ngẫu nhiên ít hơn.
Việc chọn nhiệt độ tốt nhất phụ thuộc vào ứng dụng cụ thể và các thuộc tính ưu tiên của đầu ra của mô hình. Ví dụ: bạn có thể sẽ tăng nhiệt độ khi tạo một ứng dụng tạo đầu ra mẫu quảng cáo. Ngược lại, bạn có thể giảm nhiệt độ khi xây dựng một mô hình phân loại hình ảnh hoặc văn bản để cải thiện độ chính xác và tính nhất quán của mô hình.
Nhiệt độ thường được sử dụng với chiến lược softmax.
span văn bản
Khoảng chỉ mục mảng được liên kết với một phần phụ cụ thể của chuỗi văn bản.
Ví dụ: từ good trong chuỗi Python s="Be good now" chiếm khoảng văn bản từ 3 đến 6.
mã thông báo
Trong mô hình ngôn ngữ, đơn vị nguyên tử mà mô hình đang huấn luyện và đưa ra thông tin dự đoán trên đó. Mã thông báo thường có một trong những dạng sau:
- một từ – ví dụ: cụm từ "chó như mèo" bao gồm 3 mã thông báo từ: "chó", "giống" và "mèo".
- một ký tự. Ví dụ: cụm từ "cá xe đạp" bao gồm 9 mã thông báo. (Lưu ý rằng khoảng trống được tính là một trong các mã.)
- từ phụ – trong đó một từ có thể là một mã thông báo hoặc nhiều mã thông báo. Từ phụ bao gồm một từ gốc, một tiền tố hoặc một hậu tố. Ví dụ: một mô hình ngôn ngữ sử dụng từ con làm mã thông báo có thể xem từ "chó" là hai mã thông báo (từ gốc "chó" và hậu tố số nhiều "s"). Cùng một mô hình ngôn ngữ đó có thể xem từ đơn "cao hơn" là hai từ phụ (từ gốc "cao" và hậu tố "er").
Trong các miền không thuộc mô hình ngôn ngữ, mã thông báo có thể đại diện cho các loại đơn vị nguyên tử khác. Ví dụ: trong thị giác máy tính, mã thông báo có thể là một tập hợp con của hình ảnh.
Biến áp
Một cấu trúc mạng nơron được Google phát triển dựa vào cơ chế tự chủ động để biến đổi một trình tự nhúng đầu vào thành một chuỗi các lượt nhúng đầu ra mà không cần dựa vào tập chập hoặc mạng nơron định kỳ. Bạn có thể xem Transformer là một ngăn xếp các lớp tự chú ý.
Transformer có thể bao gồm bất kỳ yếu tố nào sau đây:
- một bộ mã hoá
- bộ giải mã
- cả bộ mã hoá và bộ giải mã
Bộ mã hoá chuyển đổi một trình tự nhúng thành một trình tự mới có cùng độ dài. Một bộ mã hoá bao gồm N lớp giống hệt nhau, mỗi lớp chứa 2 lớp con. Hai lớp con này được áp dụng ở mỗi vị trí của trình tự nhúng đầu vào, biến đổi từng phần tử của trình tự thành một nội dung nhúng mới. Lớp con đầu tiên của bộ mã hoá tổng hợp thông tin từ chuỗi đầu vào. Lớp con thứ hai của bộ mã hoá biến thông tin tổng hợp thành một mục nhúng đầu ra.
Bộ giải mã chuyển đổi một trình tự nhúng đầu vào thành một trình tự nhúng đầu ra, có thể với độ dài khác. Bộ giải mã cũng bao gồm N lớp giống hệt nhau với 3 lớp con, 2 lớp trong số này tương tự như các lớp con của bộ mã hoá. Lớp phụ bộ giải mã thứ ba nhận dữ liệu đầu ra của bộ mã hoá và áp dụng cơ chế tự chú ý để thu thập thông tin từ đó.
Bài đăng trên blog Transformer: Kiến trúc mạng nơron mới lạ để hiểu ngôn ngữ giới thiệu đầy đủ về Transformer.
bát quái
Một N-gam, trong đó N=3.
U
một chiều
Hệ thống chỉ đánh giá văn bản đứng trước một phần văn bản mục tiêu. Ngược lại, hệ thống hai chiều sẽ đánh giá cả văn bản đứng trước và theo sau một phần văn bản mục tiêu. Xem phần hai chiều để biết thêm thông tin chi tiết.
mô hình ngôn ngữ một chiều
Một mô hình ngôn ngữ chỉ dựa trên xác suất dựa trên mã thông báo xuất hiện trước, chứ không phải sau, mã thông báo mục tiêu. Tương phản với mô hình ngôn ngữ hai chiều.
V
bộ mã hoá tự động biến thiên (VAE)
Một loại bộ mã hoá tự động tận dụng sự khác biệt giữa dữ liệu đầu vào và đầu ra để tạo ra các phiên bản sửa đổi của đầu vào. Các bộ mã hoá tự động biến thể rất hữu ích cho AI tạo sinh.
VAE dựa trên suy luận biến thiên: một kỹ thuật ước tính các tham số của mô hình xác suất.
W
nhúng từ
Biểu thị từng từ trong một nhóm từ trong một vectơ nhúng; nghĩa là biểu thị mỗi từ dưới dạng một vectơ chứa các giá trị dấu phẩy động trong khoảng từ 0 đến 1. Những từ có ý nghĩa tương tự nhau có cách thể hiện giống hơn so với những từ có nhiều ý nghĩa. Ví dụ: cà rốt, cần tây và dưa chuột sẽ có cách biểu diễn tương đối giống nhau, rất khác với các cách biểu diễn của máy bay, kính râm và kem đánh răng.
Z
yêu cầu tự động đăng ký
Lời nhắc không cung cấp ví dụ về cách bạn muốn mô hình ngôn ngữ lớn phản hồi. Ví dụ:
| Các thành phần trong một câu lệnh | Ghi chú |
|---|---|
| Đơn vị tiền tệ chính thức của quốc gia được chỉ định là gì? | Câu hỏi mà bạn muốn LLM trả lời. |
| Ấn Độ: | Truy vấn thực tế. |
Mô hình ngôn ngữ lớn có thể phản hồi bằng bất kỳ nội dung nào sau đây:
- Rupee
- INR
- ₹
- Đồng rupi Ấn Độ
- Rupee
- Đồng Rupee Ấn Độ
Tất cả các câu trả lời đều đúng, mặc dù có thể bạn thích một định dạng cụ thể.
So sánh và đối chiếu lời nhắc tự động đăng ký với các cụm từ sau: