Trang này có chứa các thuật ngữ trong bảng thuật ngữ Đánh giá ngôn ngữ. Để biết tất cả các thuật ngữ trong bảng thuật ngữ, hãy nhấp vào đây.
A
chú ý
Một cơ chế dùng trong mạng nơron cho biết tầm quan trọng của một từ hoặc một phần cụ thể của một từ. Chú ý nén lượng thông tin mà mô hình cần để dự đoán mã thông báo/từ tiếp theo. Một cơ chế chú ý điển hình có thể bao gồm tổng trọng số trên một tập hợp dữ liệu đầu vào, trong đó trọng số cho mỗi dữ liệu đầu vào được tính toán bởi một phần khác của mạng nơron.
Ngoài ra, hãy tham khảo phương pháp tự chú ý và tự chú ý nhiều đầu, hai thành phần chính của Bộ chuyển đổi.
bộ mã hoá tự động
Một hệ thống học cách trích xuất thông tin quan trọng nhất từ dữ liệu đầu vào. Bộ mã hoá tự động là sự kết hợp giữa bộ mã hoá và bộ giải mã. Bộ mã hoá tự động hoạt động dựa trên quy trình 2 bước sau:
- Bộ mã hoá sẽ ánh xạ dữ liệu đầu vào sang một định dạng chiều thấp (trung gian) có tổn hao (thường) có tổn hao.
- Bộ giải mã tạo phiên bản có tổn hao của dữ liệu đầu vào ban đầu bằng cách ánh xạ định dạng chiều thấp với định dạng đầu vào chiều cao ban đầu.
Bộ mã hoá tự động được huấn luyện toàn diện bằng cách yêu cầu bộ giải mã cố gắng tạo lại dữ liệu đầu vào ban đầu từ định dạng trung gian của bộ mã hoá một cách chặt chẽ nhất có thể. Do định dạng trung gian nhỏ hơn (chiều thấp hơn) so với định dạng gốc, nên bộ mã hoá tự động buộc phải tìm hiểu thông tin nào trong dữ liệu đầu vào là cần thiết và đầu ra sẽ không hoàn toàn giống với thông tin đầu vào.
Ví dụ:
- Nếu dữ liệu đầu vào là hình ảnh đồ hoạ, thì bản sao không chính xác sẽ tương tự như hình ảnh đồ hoạ gốc, nhưng có chút sửa đổi. Có thể bản sao không chính xác sẽ loại bỏ nhiễu khỏi đồ hoạ gốc hoặc điền một số pixel bị thiếu.
- Nếu dữ liệu đầu vào là văn bản, thì bộ mã hoá tự động sẽ tạo văn bản mới bắt chước (nhưng không giống với) văn bản gốc.
Xem thêm về trình mã hoá tự động biến thiên.
mô hình hồi quy tự động
model dự đoán thông tin dự đoán dựa trên các dự đoán trước đó của riêng nó. Ví dụ: các mô hình ngôn ngữ tự động hồi quy sẽ dự đoán mã thông báo tiếp theo dựa trên mã thông báo dự đoán trước đó. Tất cả mô hình ngôn ngữ lớn dựa trên Transformer đều có tính hồi quy tự động.
Ngược lại, các mô hình hình ảnh dựa trên GAN thường không tự động hồi quy vì các mô hình này tạo hình ảnh trong một lần chuyển tiếp và không lặp lại trong các bước. Tuy nhiên, một số mô hình tạo hình ảnh có tự động hồi quy vì các mô hình đó tạo hình ảnh theo các bước.
B
túi từ
Sự thể hiện các từ trong một cụm từ hoặc đoạn văn, không phân biệt thứ tự. Ví dụ: "bag of words" biểu thị ba cụm từ sau đây giống hệt nhau:
- chó nhảy lên
- nhảy con chó
- chó nhảy
Mỗi từ được liên kết với một chỉ mục trong một vectơ thưa, trong đó vectơ có chỉ mục cho mọi từ trong từ vựng. Ví dụ: cụm từ chó nhảy được ánh xạ vào một vectơ tính năng có các giá trị khác 0 tại 3 chỉ mục tương ứng với các từ the, dog và jumps. Giá trị khác 0 có thể là bất kỳ giá trị nào sau đây:
- A 1 để cho biết có một từ.
- Số lần một từ xuất hiện trong túi. Ví dụ: nếu cụm từ là chó màu nâu sẫm là chú chó có bộ lông màu nâu sẫm, thì cả maroon và chó sẽ được biểu thị là 2, trong khi các từ khác sẽ được biểu thị là 1.
- Một giá trị khác, chẳng hạn như lôgarit của số lần một từ xuất hiện trong túi.
BERT (Hình đại diện của bộ mã hoá hai chiều từ bộ chuyển đổi)
Cấu trúc mô hình cho nội dung trình bày văn bản. Mô hình BERT đã qua đào tạo có thể hoạt động như một phần của mô hình lớn hơn để phân loại văn bản hoặc các tác vụ học máy khác.
BERT có các đặc điểm sau:
- Sử dụng cấu trúc Transformer, do đó dựa vào tính năng tự chú ý.
- Sử dụng phần bộ mã hoá của Bộ chuyển đổi. Nhiệm vụ của bộ mã hoá là tạo ra các bản trình bày văn bản chất lượng cao, thay vì thực hiện một tác vụ cụ thể như phân loại.
- Là hai chiều.
- Sử dụng tính năng ẩn giấu cho chương trình đào tạo không được giám sát.
Các biến thể của BERT bao gồm:
Vui lòng xem bài viết Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing (Chương trình đào tạo trước về khả năng xử lý ngôn ngữ tự nhiên mở cho quy trình này) để biết thông tin tổng quan về BERT.
hai chiều
Một thuật ngữ dùng để mô tả một hệ thống đánh giá văn bản vừa đứng trước và đứng sau một phần văn bản mục tiêu. Ngược lại, hệ thống một chiều chỉ đánh giá văn bản đứng trước một phần văn bản mục tiêu.
Ví dụ: hãy xem xét một mô hình ngôn ngữ ẩn giấu phải xác định xác suất cho từ hoặc từ đại diện cho dấu gạch dưới trong câu hỏi sau:
Bạn có việc gì liên quan đến _____?
Mô hình ngôn ngữ một chiều sẽ chỉ phải dựa trên xác suất dựa trên ngữ cảnh được cung cấp trong các từ "Cái gì", "là" và "cái". Ngược lại, mô hình ngôn ngữ hai chiều cũng có thể lấy ngữ cảnh từ "với" và "bạn", điều này có thể giúp mô hình tạo ra thông tin dự đoán chính xác hơn.
mô hình ngôn ngữ hai chiều
Mô hình ngôn ngữ xác định xác suất một mã thông báo nhất định sẽ xuất hiện tại một vị trí nhất định trong phần trích dẫn văn bản dựa trên văn bản trước và sau.
Bigram
N-gam trong đó N=2.
BLEU (Nghiên cứu đánh giá song ngữ)
Điểm số từ 0 đến 1,0 (tính cả 2 ngôn ngữ), cho biết chất lượng bản dịch giữa hai ngôn ngữ của con người (ví dụ: giữa tiếng Anh và tiếng Nga). Điểm BLEU 1.0 cho biết bản dịch hoàn hảo; điểm BLEU 0.0 cho biết bản dịch không tốt.
C
mô hình ngôn ngữ thông thường
Từ đồng nghĩa với mô hình ngôn ngữ một chiều.
Xem mô hình ngôn ngữ hai chiều để tương phản với nhiều phương pháp tiếp cận theo hướng trong tính năng lập mô hình ngôn ngữ.
chuỗi lời nhắc suy nghĩ
Kỹ thuật kỹ thuật nhắc khuyến khích một mô hình ngôn ngữ lớn (LLM) để giải thích lý do của nó theo từng bước. Ví dụ: hãy xem xét lời nhắc sau đây, đặc biệt chú ý đến câu thứ hai:
Một người lái xe sẽ trải nghiệm bao nhiêu g lực khi lái một chiếc ô tô đi từ 0 đến 60 dặm/giờ trong 7 giây? Trong câu trả lời, hãy hiện tất cả các phép tính có liên quan.
Phản hồi của LLM có thể:
- Hiển thị một chuỗi các công thức vật lý, kèm theo các giá trị 0, 60 và 7 ở các vị trí thích hợp.
- Hãy giải thích lý do trường hợp này chọn các công thức đó và ý nghĩa của các biến.
Lời nhắc theo chuỗi tư duy buộc LLM thực hiện tất cả các phép tính, có thể dẫn đến câu trả lời chính xác hơn. Ngoài ra, tính năng nhắc chuỗi tư duy cho phép người dùng kiểm tra các bước của LLM để xác định xem câu trả lời có hợp lý hay không.
phân tích cú pháp đơn vị bầu cử
Chia câu thành các cấu trúc ngữ pháp nhỏ hơn ("thành phần"). Phần sau này của hệ thống học máy, chẳng hạn như mô hình hiểu ngôn ngữ tự nhiên, có thể phân tích cú pháp các thành phần dễ dàng hơn so với câu gốc. Ví dụ: hãy xem xét câu sau:
Bạn tôi nhận nuôi hai con mèo.
Một trình phân tích cú pháp đơn vị bầu cử có thể chia câu này thành hai thành phần sau:
- Bạn bè của tôi là một cụm danh từ.
- nuôi hai con mèo là một cụm động từ.
Những thành phần này có thể được chia nhỏ hơn nữa thành các thành phần nhỏ hơn. Ví dụ: cụm động từ
nhận nuôi hai con mèo
có thể được chia nhỏ hơn nữa thành:
- thông qua là một động từ.
- hai con mèo là một cụm danh từ khác.
hoa sập
Câu hoặc cụm từ có ý nghĩa không rõ ràng. Sự cố gây ra một vấn đề nghiêm trọng trong hiểu biết ngôn ngữ tự nhiên. Ví dụ: dòng tiêu đề Red Tape Holds Up Hình chữ nhật đứng là một sự cố bùng nổ vì mô hình NLU có thể diễn giải dòng tiêu đề theo nghĩa đen hoặc theo nghĩa bóng.
D
bộ giải mã
Nhìn chung, mọi hệ thống máy học chuyển đổi từ cách trình bày đã được xử lý, dày đặc hoặc nội bộ thành cách trình bày thô, thưa thớt hoặc bên ngoài hơn.
Bộ giải mã thường là một thành phần của mô hình lớn hơn, trong đó chúng thường được ghép nối với một bộ mã hoá.
Trong tác vụ theo trình tự, bộ giải mã bắt đầu với trạng thái nội bộ do bộ mã hoá tạo ra để dự đoán trình tự tiếp theo.
Hãy tham khảo Transformer để biết định nghĩa về bộ giải mã trong cấu trúc Transformer.
khử tiếng ồn
Một phương pháp phổ biến đối với quá trình học tự giám sát, trong đó:
Tính năng khử tiếng ồn cho phép học hỏi từ các ví dụ không có nhãn. Tập dữ liệu ban đầu đóng vai trò là mục tiêu hoặc nhãn và dữ liệu nhiễu là dữ liệu đầu vào.
Một số mô hình ngôn ngữ ẩn giấu sử dụng tính năng khử tiếng ồn như sau:
- Tiếng ồn được thêm một cách giả tạo vào câu chưa gắn nhãn bằng cách che đi một số mã thông báo.
- Mô hình này sẽ cố gắng dự đoán mã thông báo ban đầu.
lời nhắc trực tiếp
Từ đồng nghĩa với lời nhắc chụp ảnh tự động.
E
chỉnh sửa khoảng cách
Đo lường mức độ tương tự của hai chuỗi văn bản với nhau. Trong công nghệ học máy, việc chỉnh sửa khoảng cách sẽ hữu ích vì tính năng này đơn giản và dễ tính toán. Đây cũng là một cách hiệu quả để so sánh 2 chuỗi đã biết là tương tự hoặc để tìm các chuỗi tương tự như một chuỗi nhất định.
Có một số định nghĩa về khoảng cách chỉnh sửa, mỗi định nghĩa sử dụng các toán tử chuỗi khác nhau. Ví dụ: Khoảng cách Levenshtein được xem là có ít thao tác xoá, chèn và thay thế nhất.
Ví dụ: khoảng cách Levenshtein giữa từ "trái tim" và "phi tiêu" là 3 vì 3 nội dung chỉnh sửa sau đây là những thay đổi ít nhất để chuyển một từ thành từ kia:
- tim → deart (thay “h” bằng "d")
- deart → phi tiêu (xoá "e")
- phi tiêu → phi tiêu (chèn "s")
lớp nhúng
Một lớp ẩn đặc biệt huấn luyện về tính năng phân loại chiều cao để tìm hiểu dần vectơ nhúng kích thước thấp hơn. Lớp nhúng cho phép mạng nơron huấn luyện hiệu quả hơn nhiều so với việc chỉ huấn luyện trên tính năng phân loại chiều cao.
Ví dụ: Trái đất hiện có khoảng 73.000 loài cây. Giả sử loài cây là một tính năng trong mô hình của bạn, vì vậy,lớp đầu vào của mô hình bao gồm vectơ một nóng dài 73.000 phần tử.
Ví dụ: có thể baobab sẽ được biểu thị như sau:
Một mảng gồm 73.000 phần tử là rất dài. Nếu bạn không thêm lớp nhúng vào mô hình, thì việc huấn luyện sẽ rất tốn thời gian do nhân 72.999 số 0. Có thể bạn chọn lớp nhúng để bao gồm 12 phương diện. Do đó, lớp nhúng sẽ dần tìm hiểu được vectơ nhúng mới cho từng loài cây.
Trong một số trường hợp, băm là một giải pháp thay thế hợp lý cho lớp nhúng.
không gian nhúng
Ánh xạ đến không gian vectơ d chiều đặc trưng từ không gian vectơ có chiều cao hơn. Lý tưởng nhất là không gian nhúng chứa một cấu trúc mang lại kết quả toán học có ý nghĩa; chẳng hạn như trong một không gian nhúng lý tưởng, phép cộng và trừ các nhúng có thể giải quyết các thao tác tương tự về từ.
Sản phẩm dấu chấm của 2 nhúng là thước đo về mức độ tương đồng.
vectơ nhúng
Nói chung, một mảng số thực dấu phẩy động được lấy từ mọi lớp ẩn mô tả dữ liệu đầu vào cho lớp ẩn đó. Thông thường, vectơ nhúng là một mảng các số thực dấu phẩy động được huấn luyện trong một lớp nhúng. Ví dụ: giả sử một lớp nhúng phải tìm hiểu một vectơ nhúng cho mỗi 73.000 loài cây trên Trái đất. Có thể mảng sau đây là vectơ nhúng cho cây baobab:
Vectơ nhúng không phải là một loạt các số ngẫu nhiên. Một lớp nhúng xác định các giá trị này thông qua quá trình huấn luyện, tương tự như cách mạng nơron học các trọng số khác trong quá trình huấn luyện. Mỗi phần tử của mảng là một điểm xếp hạng cùng với một số đặc điểm của một loài cây. Phần tử nào thể hiện đặc điểm của loài cây nào? Con người rất khó xác định.
Một điểm nổi bật về mặt toán học của vectơ nhúng là các mục tương tự có tập hợp số dấu phẩy động tương tự nhau. Ví dụ: các loài cây tương tự có tập hợp số dấu phẩy động tương tự hơn các loài cây không tương tự. Cây gỗ đỏ và cây cự sam là các loài cây có liên quan với nhau, vì vậy, chúng sẽ có tập hợp số dấu phẩy động tương tự hơn so với cây gỗ đỏ và cây cọ dừa. Các con số trong vectơ nhúng sẽ thay đổi mỗi khi bạn đào tạo lại mô hình, ngay cả khi bạn đào tạo lại mô hình có dữ liệu đầu vào giống hệt nhau.
bộ mã hóa
Nhìn chung, mọi hệ thống ML đều chuyển đổi từ cách trình bày thô, thưa thớt hoặc bên ngoài thành cách trình bày nội bộ được xử lý sâu hơn, dày đặc hơn hoặc nội bộ hơn.
Bộ mã hoá thường là một thành phần của mô hình lớn hơn, thường được ghép nối với một bộ giải mã. Một số Transformer ghép nối bộ mã hoá với bộ giải mã, mặc dù các bộ chuyển đổi khác chỉ sử dụng bộ mã hoá hoặc chỉ bộ giải mã.
Một số hệ thống sử dụng dữ liệu đầu ra của bộ mã hoá làm dữ liệu đầu vào cho mạng phân loại hoặc hồi quy.
Trong tác vụ theo trình tự, bộ mã hoá sẽ lấy một trình tự đầu vào và trả về một trạng thái nội bộ (vectơ). Sau đó, bộ giải mã sử dụng trạng thái nội bộ đó để dự đoán trình tự tiếp theo.
Hãy tham khảo Transformer để biết định nghĩa về bộ mã hoá trong cấu trúc Transformer.
F
nhắc vài lần
Một lời nhắc chứa nhiều ví dụ (một "một vài") ví dụ minh hoạ cách mô hình ngôn ngữ lớn sẽ phản hồi. Ví dụ: Lời nhắc dài sau đây có 2 ví dụ minh hoạ cách trả lời một truy vấn bằng một mô hình ngôn ngữ lớn.
| Các phần của một lời nhắc | Ghi chú |
|---|---|
| Đơn vị tiền tệ chính thức của quốc gia được chỉ định là gì? | Câu hỏi mà bạn muốn LLM trả lời. |
| Pháp: EUR | Một ví dụ. |
| Vương quốc Anh: GBP | Một ví dụ khác. |
| Ấn Độ: | Truy vấn thực tế. |
Lời nhắc một lần ít thường tạo ra kết quả mong muốn hơn so với lời nhắc một lần và lời nhắc một lần. Tuy nhiên, lời nhắc chạy ít lần sẽ yêu cầu lời nhắc dài hơn.
Lời nhắc nhanh là một hình thức học nhanh áp dụng cho học tập dựa trên lời nhắc.
Đàn vĩ cầm
Thư viện cấu hình ưu tiên Python đặt giá trị của các hàm và lớp mà không cần mã hoặc cơ sở hạ tầng xâm phạm. Trong trường hợp Pax và các cơ sở mã học máy khác, các hàm và lớp này đại diện cho mô hình và huấn luyện siêu tham số.
Fiddle giả định rằng cơ sở mã học máy thường được chia thành:
- Mã thư viện, xác định các lớp và trình tối ưu hoá.
- Mã "keo" tập dữ liệu này gọi các thư viện và kết nối mọi thứ với nhau.
Fiddle ghi lại cấu trúc lệnh gọi của mã keo ở dạng chưa được đánh giá và có thể thay đổi.
tinh chỉnh
Lượt truyền huấn luyện thứ hai theo nhiệm vụ cụ thể được thực hiện trên một mô hình luyện sẵn để tinh chỉnh các tham số của mô hình đó cho một trường hợp sử dụng cụ thể. Ví dụ: trình tự huấn luyện đầy đủ cho một số mô hình ngôn ngữ lớn như sau:
- Đào tạo trước: Đào tạo một mô hình ngôn ngữ lớn trên một tập dữ liệu chung rộng lớn, chẳng hạn như tất cả các trang Wikipedia bằng tiếng Anh.
- Điều chỉnh tinh chỉnh: Huấn luyện mô hình đã luyện tập sẵn để thực hiện một nhiệm vụ cụ thể, chẳng hạn như phản hồi các thắc mắc y tế. Việc tinh chỉnh thường bao gồm hàng trăm hoặc hàng nghìn ví dụ tập trung vào một nhiệm vụ cụ thể.
Một ví dụ khác là trình tự huấn luyện đầy đủ cho một mô hình hình ảnh lớn như sau:
- Huấn luyện trước: Đào tạo một mô hình hình ảnh lớn trên một tập dữ liệu hình ảnh chung rộng lớn, chẳng hạn như tất cả hình ảnh trong Wikimedia common.
- Điều chỉnh tinh chỉnh: Huấn luyện mô hình đã luyện sẵn để thực hiện một nhiệm vụ cụ thể, chẳng hạn như tạo hình ảnh của cá voi sát thủ.
Việc tinh chỉnh có thể cần đến bất kỳ kết hợp nào của các chiến lược sau đây:
- Sửa đổi tất cả các tham số hiện có của mô hình luyện sẵn. Quá trình này đôi khi gọi là điều chỉnh toàn bộ.
- Chỉ sửa đổi một số tham số hiện có của mô hình luyện sẵn (thường là các lớp gần nhất với lớp đầu ra), trong khi giữ nguyên các tham số hiện có khác (thường là các lớp gần nhất với lớp đầu vào). Xem phần điều chỉnh hiệu quả thông số.
- Thêm các lớp khác, thường là trên các lớp hiện có gần lớp đầu ra nhất.
Tinh chỉnh là một hình thức học tập chuyển giao. Do đó, quá trình tinh chỉnh có thể sử dụng một hàm mất dữ liệu khác hoặc một loại mô hình khác với các hàm dùng để huấn luyện mô hình đã huấn luyện trước. Ví dụ: bạn có thể tinh chỉnh mô hình hình ảnh lớn đã được huấn luyện trước để tạo mô hình hồi quy trả về số lượng chim trong hình ảnh đầu vào.
So sánh và đối chiếu tinh chỉnh với các thuật ngữ sau:
Cây lanh
Một thư viện nguồn mở hiệu suất cao dành cho mô hình học sâu, được xây dựng dựa trên JAX. Flax cung cấp các hàm để đào tạo mạng nơron, cũng như phương thức để đánh giá hiệu suất của những mạng này.
Vải lanh
Thư viện Transformer nguồn mở, được xây dựng dựa trên Flax, được thiết kế chủ yếu cho việc xử lý ngôn ngữ tự nhiên và nghiên cứu đa phương thức.
G
AI tạo sinh
Một trường biến đổi mới nổi chưa có định nghĩa chính thức. Tuy nhiên, hầu hết các chuyên gia đều đồng ý rằng mô hình AI tạo sinh có thể tạo ra nội dung đáp ứng tất cả những điều kiện sau:
- phức tạp
- nhất quán
- gốc
Ví dụ: một mô hình AI tạo sinh có thể tạo ra những bài tiểu luận hoặc hình ảnh phức tạp.
Một số công nghệ trước đây, trong đó có LSTM và RNN, cũng có thể tạo ra nội dung nguyên gốc và nhất quán. Một số chuyên gia coi những công nghệ trước đây là AI tạo sinh, trong khi một số khác cảm thấy rằng AI tạo sinh thực sự cần đầu ra phức tạp hơn so với những công nghệ trước đó có thể tạo ra.
Trái ngược với công nghệ công nghệ học máy dự đoán.
GPT (Bộ chuyển đổi được huấn luyện trước)
Một nhóm mô hình ngôn ngữ lớn dựa trên Transformer do OpenAI phát triển.
Các biến thể GPT có thể áp dụng cho nhiều phương thức, bao gồm:
- tạo hình ảnh (ví dụ: ImageGPT)
- tính năng tạo văn bản thành hình ảnh (ví dụ: DALL-E).
Số lần bị đánh trúng bóng
ảo giác
Việc tạo ra kết quả có vẻ hợp lý nhưng thực tế không chính xác bằng mô hình AI tạo sinh nhằm mục đích khẳng định về thế giới thực. Ví dụ: một mô hình AI tạo sinh tuyên bố rằng Barack Obama qua đời năm 1865 là gây ảo giác.
I
học theo ngữ cảnh
Từ đồng nghĩa với lời nhắc chụp nhanh.
L
LaMDA (Mô hình ngôn ngữ cho các ứng dụng hội thoại)
Một Transformerdựa trên mô hình ngôn ngữ lớn một tập dữ liệu hội thoại lớn do Google phát triển để tạo ra các câu trả lời thực tế.
LaMDA: công nghệ trò chuyện đột phá của chúng tôi mang đến cái nhìn tổng quan.
mô hình ngôn ngữ
model ước tính xác suất của một model hoặc một chuỗi mã thông báo xảy ra trong một chuỗi mã thông báo dài hơn.
mô hình ngôn ngữ lớn
Một thuật ngữ không chính thức không có định nghĩa nghiêm ngặt thường có nghĩa là một mô hình ngôn ngữ có số lượng tham số cao. Một số mô hình ngôn ngữ lớn chứa hơn 100 tỷ tham số.
M
mô hình ngôn ngữ ẩn giấu
Mô hình ngôn ngữ dự đoán xác suất mã thông báo đề xuất sẽ điền vào chỗ trống trong một trình tự. Ví dụ: mô hình ngôn ngữ ẩn giấu có thể tính toán xác suất thay thế dấu gạch dưới của(các) từ đề xuất trong câu sau:
____ trong chiếc mũ đã trở lại.
Tài liệu thường dùng chuỗi "Mask" thay vì dấu gạch dưới. Ví dụ:
Dòng chữ "M tương" trong mũ đã xuất hiện trở lại.
Hầu hết các mô hình ngôn ngữ ẩn giấu hiện đại đều hai chiều.
học siêu dữ liệu
Một nhóm nhỏ công nghệ học máy giúp phát hiện hoặc cải thiện một thuật toán học tập. Hệ thống học siêu dữ liệu cũng có thể nhắm đến việc huấn luyện một mô hình để nhanh chóng học một nhiệm vụ mới dựa trên một lượng nhỏ dữ liệu hoặc từ kinh nghiệm thu được trong các nhiệm vụ trước đó. Các thuật toán siêu học tập thường cố gắng đạt được những mục tiêu sau:
- Cải thiện/tìm hiểu các tính năng được thiết kế thủ công (chẳng hạn như trình khởi chạy hoặc trình tối ưu hoá).
- Tiết kiệm dữ liệu và tính toán hơn.
- Cải thiện khái quát hoá.
Công nghệ học siêu liên quan đến phương pháp học nhanh.
phương thức
Một danh mục dữ liệu cấp cao. Ví dụ: số, văn bản, hình ảnh, video và âm thanh là 5 phương thức khác nhau.
mô hình song song
Một phương pháp huấn luyện hoặc dự đoán mở rộng quy mô đặt nhiều phần của một model trên nhiều model. Tính năng tải song song của mô hình cho phép những mô hình quá lớn nên không vừa với một thiết bị.
Để triển khai tính năng song song mô hình, một hệ thống thường làm như sau:
- Phân đoạn (chia) mô hình thành các phần nhỏ hơn.
- Phân phối quá trình huấn luyện các phần nhỏ hơn đó trên nhiều bộ xử lý. Mỗi bộ xử lý huấn luyện một phần riêng của mô hình.
- Kết hợp các kết quả để tạo ra một mô hình duy nhất.
Việc tạo song song mô hình làm chậm quá trình huấn luyện.
Xem thêm nội dung về tính song song dữ liệu.
tự tập trung nhiều đầu
Phần mở rộng của mức độ tự chú ý áp dụng cơ chế tự chú ý nhiều lần cho mỗi vị trí trong trình tự đầu vào.
Transformers đã ra mắt tính năng tự chú ý nhiều đầu.
mô hình đa phương thức
Một mô hình có dữ liệu đầu vào và/hoặc đầu ra bao gồm nhiều phương thức. Chẳng hạn hãy xem xét một mô hình lấy cả hình ảnh và chú thích văn bản (hai phương thức) làm tính năng, sau đó đưa ra điểm số cho biết mức độ phù hợp của phụ đề văn bản đối với hình ảnh. Vì vậy, dữ liệu đầu vào của mô hình này là đa phương thức và đầu ra là đơn phương thức.
N
hiểu ngôn ngữ tự nhiên
Xác định ý định của người dùng dựa trên nội dung người dùng đã nhập hoặc nói. Ví dụ: công cụ tìm kiếm sử dụng khả năng hiểu ngôn ngữ tự nhiên để xác định nội dung người dùng đang tìm kiếm dựa trên nội dung người dùng đã nhập hoặc nói.
N-gam
Một chuỗi N từ theo thứ tự. Ví dụ: thực sự điên là một 2 gam. Vì thứ tự có liên quan, thực sự điên rồ, khác với 2 gam thực sự điên rồ.
| N | Tên của loại N-gam này | Ví dụ |
|---|---|---|
| 2 | Bigram hoặc 2-gam | đi, đi tới, ăn trưa, ăn tối |
| 3 | hoặc 3 gam | đã ăn quá nhiều, ba con chuột mù, những tiếng chuông kêu |
| 4 | 4 gam | đi bộ trong công viên, bụi trong gió, cậu bé ăn đậu lăng |
Nhiều mô hình hiểu ngôn ngữ tự nhiên dựa vào N-gam để dự đoán từ tiếp theo mà người dùng sẽ nhập hoặc nói. Ví dụ: giả sử người dùng nhập ba mù. Mô hình NLU dựa trên đồ thị có thể dự đoán việc người dùng sẽ nhập chuột lần tiếp theo.
Tương phản N-gram với bag of words (là nhóm từ không theo thứ tự).
hiểu ngôn ngữ tự nhiên (NLU)
Từ viết tắt của cụm từ tìm hiểu ngôn ngữ tự nhiên.
O
nhắc một lần
Lời nhắc có chứa một ví dụ minh hoạ cách mô hình ngôn ngữ lớn sẽ phản hồi. Ví dụ: lời nhắc sau đây có chứa ví dụ minh hoạ một mô hình ngôn ngữ lớn về cách trả lời một truy vấn.
| Các phần của một lời nhắc | Ghi chú |
|---|---|
| Đơn vị tiền tệ chính thức của quốc gia được chỉ định là gì? | Câu hỏi mà bạn muốn LLM trả lời. |
| Pháp: EUR | Một ví dụ. |
| Ấn Độ: | Truy vấn thực tế. |
So sánh và đối chiếu lời nhắc một lần với các thuật ngữ sau:
Điểm
điều chỉnh tiết kiệm thông số
Một tập hợp các kỹ thuật để tinh chỉnh một mô hình ngôn ngữ đã luyện sẵn (PLM) hiệu quả hơn so với việc điều chỉnh toàn bộ. Các tính năng điều chỉnh có hiệu quả về tham số thường tinh chỉnh ít tham số hơn nhiều so với quá trình tinh chỉnh toàn bộ, nhưng thường tạo ra một mô hình ngôn ngữ lớn hoạt động hiệu quả (hoặc gần như tốt) dưới dạng một mô hình ngôn ngữ lớn được xây dựng từ quá trình tinh chỉnh toàn diện.
So sánh và đối chiếu tinh chỉnh tiết kiệm thông số bằng:
Tính năng điều chỉnh tiết kiệm thông số còn được gọi là điều chỉnh tiết kiệm thông số.
đường ống
Là dạng mô hình song song, trong đó quá trình xử lý mô hình được chia thành các giai đoạn liên tiếp và mỗi giai đoạn được thực thi trên một thiết bị khác nhau. Trong khi một giai đoạn đang xử lý một lô, giai đoạn trước đó có thể hoạt động trong lô tiếp theo.
Xem thêm về chương trình đào tạo theo giai đoạn.
PLM (Nhà quản lý đối tác chiến lược)
Từ viết tắt của mô hình ngôn ngữ luyện trước.
mã hoá vị trí
Một kỹ thuật để thêm thông tin về vị trí của mã thông báo theo trình tự vào tính năng nhúng mã thông báo. Mô hình biến áp sử dụng mã hoá vị trí để hiểu rõ hơn về mối quan hệ giữa các phần của trình tự.
Một cách triển khai phổ biến của việc mã hoá vị trí sử dụng hàm hình sin. (Cụ thể, tần suất và biên độ của hàm hình sin được xác định bởi vị trí của mã thông báo trong trình tự.) Kỹ thuật này cho phép mô hình Transformer học cách tham gia vào nhiều phần của trình tự dựa trên vị trí của chúng.
mô hình luyện sẵn
Các mô hình hoặc thành phần mô hình (chẳng hạn như vectơ nhúng) đã được huấn luyện. Đôi khi, bạn sẽ cung cấp các vectơ nhúng đã được huấn luyện trước vào mạng nơron. Những lúc khác, mô hình của bạn sẽ tự huấn luyện các vectơ nhúng thay vì dựa vào các vectơ nhúng đã được huấn luyện trước.
Thuật ngữ mô hình ngôn ngữ luyện trước dùng để chỉ một mô hình ngôn ngữ lớn đã trải qua quá trình đào tạo trước.
huấn luyện trước
Huấn luyện ban đầu của một mô hình trên một tập dữ liệu lớn. Một số mô hình đã huấn luyện trước là những mô hình khổng lồ và thường phải được tinh chỉnh thông qua việc huấn luyện bổ sung. Ví dụ: các chuyên gia học máy có thể huấn luyện trước một mô hình ngôn ngữ lớn trên một tập dữ liệu văn bản khổng lồ, chẳng hạn như mọi trang tiếng Anh trên Wikipedia. Sau khi qua quá trình huấn luyện trước, mô hình kết quả có thể được tinh chỉnh thêm thông qua bất kỳ kỹ thuật nào sau đây:
lời nhắc
Mọi văn bản được nhập làm dữ liệu đầu vào cho một mô hình ngôn ngữ lớn để điều chỉnh hoạt động của mô hình đó theo một cách nhất định. Lời nhắc có thể ngắn như một cụm từ hoặc dài tuỳ ý (ví dụ: toàn bộ văn bản của một cuốn tiểu thuyết). Lời nhắc thuộc nhiều danh mục, bao gồm cả những lời nhắc hiển thị trong bảng sau:
| Danh mục lời nhắc | Ví dụ: | Ghi chú |
|---|---|---|
| Question | Một chú chim bồ câu bay nhanh đến mức nào? | |
| Hướng dẫn | Viết một bài thơ hài hước về vấn đề kiếm lời nhờ chênh lệch giá. | Lời nhắc yêu cầu mô hình ngôn ngữ lớn làm điều gì đó. |
| Ví dụ: | Dịch mã Markdown sang HTML. Ví dụ:
Markdown: * mục danh sách HTML: <ul> <li>mục danh sách</li> </ul> |
Câu đầu tiên trong lời nhắc mẫu này là một hướng dẫn. Phần còn lại của lời nhắc là ví dụ. |
| Vai trò | Giải thích lý do tại sao phương pháp giảm độ dốc theo chiều dốc (gradient) được dùng trong quá trình đào tạo chương trình máy học để lên tiến sĩ vật lý. | Phần đầu tiên của câu là một hướng dẫn; cụm từ "đối với một Tiến sĩ vật lý" là phần vai trò. |
| Dữ liệu đầu vào một phần để mô hình hoàn tất | Thủ tướng Vương quốc Anh sống tại | Lời nhắc nhập một phần có thể kết thúc đột ngột (như trong ví dụ này) hoặc kết thúc bằng dấu gạch dưới. |
Mô hình AI tạo sinh có thể phản hồi lời nhắc bằng văn bản, mã, hình ảnh, nội dung nhúng, video... gần như bằng bất cứ thứ gì.
học tập dựa trên câu lệnh
Khả năng của một số mô hình cho phép chúng điều chỉnh hành vi để phản hồi phương thức nhập văn bản tuỳ ý (lời nhắc). Trong một mô hình học tập thông thường dựa trên câu lệnh, một mô hình ngôn ngữ lớn sẽ phản hồi câu lệnh bằng cách tạo văn bản. Ví dụ: giả sử người dùng nhập lời nhắc sau:
Tóm tắt Định luật chuyển động thứ ba của Newton.
Một mô hình có khả năng học dựa trên câu lệnh sẽ không được huấn luyện chuyên biệt để trả lời lời nhắc trước đó. Thay vào đó, mô hình này "nắm rõ" rất nhiều thông tin về vật lý, nhiều thông tin về các quy tắc ngôn ngữ chung và rất nhiều về những yếu tố tạo nên những câu trả lời thường hữu ích. Kiến thức đó đủ để đưa ra câu trả lời (hy vọng) hữu ích. Ý kiến phản hồi bổ sung của người dùng ("Câu trả lời đó quá phức tạp." hoặc "Phản ứng là gì?") cho phép một số hệ thống học tập dựa trên câu lệnh cải thiện dần mức độ hữu ích của câu trả lời.
thiết kế lời nhắc
Từ đồng nghĩa với kỹ thuật nhắc nhở.
kỹ thuật nhắc nhở
Nghệ thuật tạo lời nhắc gợi ra phản hồi mong muốn từ mô hình ngôn ngữ lớn. Con người thực hiện kỹ thuật lời nhắc. Việc viết những câu lệnh có cấu trúc hợp lý là một phần cần thiết để đảm bảo câu trả lời hữu ích từ một mô hình ngôn ngữ lớn. Kỹ thuật hiện lời nhắc phụ thuộc vào nhiều yếu tố, trong đó có:
- Tập dữ liệu được dùng để đào tạo trước và có thể điều chỉnh mô hình ngôn ngữ lớn.
- Nhiệt độ và các tham số giải mã khác mà mô hình sử dụng để tạo phản hồi.
Hãy xem phần Giới thiệu về thiết kế lời nhắc để biết thêm thông tin chi tiết về cách viết lời nhắc hữu ích.
Thiết kế lời nhắc là từ đồng nghĩa với kỹ thuật có tính nhắc nhở.
chỉnh lời nhắc
Cơ chế điều chỉnh hiệu quả tham số tìm hiểu "tiền tố" mà hệ thống sẽ thêm vào lời nhắc thực tế.
Một biến thể của tính năng điều chỉnh lời nhắc (đôi khi được gọi là điều chỉnh tiền tố) là thêm tiền tố ở mọi lớp. Ngược lại, hầu hết các thao tác điều chỉnh lời nhắc chỉ thêm tiền tố vào lớp đầu vào.
R
nhắc vai trò
Một phần không bắt buộc của lời nhắc giúp xác định đối tượng mục tiêu cho phản hồi của mô hình AI tạo sinh. Nếu không có lời nhắc nhập vai, mô hình ngôn ngữ lớn sẽ đưa ra câu trả lời có thể hữu ích hoặc không hữu ích đối với người đặt câu hỏi. Với lời nhắc về vai trò, mô hình ngôn ngữ lớn có thể trả lời theo cách phù hợp và hữu ích hơn cho một đối tượng mục tiêu cụ thể. Ví dụ: phần lời nhắc về vai trò của các lời nhắc sau đây được in đậm:
- Tóm tắt bài viết này dành cho tiến sĩ kinh tế.
- Mô tả cách hoạt động của thuỷ triều đối với trẻ 10 tuổi.
- Giải thích cuộc khủng hoảng tài chính năm 2008. Nói như bạn có thể nói với trẻ nhỏ hoặc một chú chó tha mồi lông vàng.
S
mức độ tự chú ý (còn gọi là tầng tự chú ý)
Một lớp mạng nơron giúp biến đổi một trình tự nhúng (ví dụ: nhúng mã thông báo) thành một chuỗi nhúng khác. Mỗi tính năng nhúng trong trình tự đầu ra được tạo bằng cách tích hợp thông tin từ các thành phần của trình tự đầu vào thông qua cơ chế chú ý.
Phần bản thân của quá trình tự chú ý đề cập đến trình tự tự quan tâm đến bản thân thay vì một số ngữ cảnh khác. Tự chú ý là một trong những khối dựng chính của Transformer và sử dụng các thuật ngữ tra cứu từ điển, chẳng hạn như “truy vấn”, “khoá” và “giá trị”.
Một lớp tự chú ý bắt đầu bằng một chuỗi các biểu diễn đầu vào, mỗi lần biểu diễn một từ. Nội dung biểu diễn dữ liệu đầu vào cho một từ có thể là một thao tác nhúng đơn giản. Đối với mỗi từ trong một chuỗi nhập, mạng sẽ tính điểm mức độ liên quan của từ đó với mọi phần tử trong toàn bộ chuỗi từ. Điểm số về mức độ liên quan xác định mức độ thể hiện cuối cùng của từ đó trong sự kết hợp của các từ khác.
Ví dụ: hãy xem xét câu sau:
Con vật không băng qua đường vì quá mệt.
Hình minh hoạ sau (từ Transformer: Một cấu trúc mạng nơron mới để hiểu ngôn ngữ) cho thấy mẫu hình chú ý của lớp tự chú ý đối với đại từ nhân xưng it, trong đó độ tối của mỗi dòng cho biết mức độ đóng góp của mỗi từ vào giá trị biểu diễn:
Lớp tự chú ý làm nổi bật những từ có liên quan đến "từ khoá đó". Trong trường hợp này, lớp chú ý đã học cách làm nổi bật các từ mà lớp này có thể tham chiếu, chỉ định trọng số cao nhất cho động vật.
Đối với một chuỗi n mã thông báo, trạng thái tự chú ý sẽ biến đổi một chuỗi nhúng n lần riêng biệt, mỗi lần tại một vị trí trong trình tự.
Hãy tham khảo thêm về phương pháp Chú ý và tự chú ý nhiều đầu.
phân tích cảm xúc
Sử dụng các thuật toán thống kê hoặc học máy để xác định thái độ tổng thể của một nhóm (tích cực hay tiêu cực) đối với một dịch vụ, sản phẩm, tổ chức hoặc chủ đề. Ví dụ: bằng cách sử dụng tính năng hiểu ngôn ngữ tự nhiên, một thuật toán có thể phân tích cảm xúc đối với phản hồi bằng văn bản trong một khoá học ở trường đại học để xác định mức độ mà học viên thường thích hoặc không thích khoá học.
tác vụ theo trình tự đến trình tự
Một tác vụ chuyển đổi một trình tự đầu vào của mã thông báo thành một chuỗi đầu ra của mã thông báo. Ví dụ: có hai loại tác vụ phổ biến theo trình tự là:
- Người dịch:
- Chuỗi nhập mẫu: "Anh yêu em".
- Trình tự đầu ra mẫu: "Je t'aime".
- Trả lời câu hỏi:
- Trình tự nhập mẫu: "Tôi có cần xe ô tô của mình ở Thành phố New York không?"
- Trình tự kết quả mẫu: "Không. Vui lòng giữ xe của bạn ở nhà".
đối tượng thưa thớt
Một tính năng có giá trị chủ yếu bằng 0 hoặc trống. Ví dụ: một đối tượng chứa một giá trị 1 duy nhất và một triệu giá trị 0 là thưa thớt. Ngược lại, một tính năng dày đặc có các giá trị chủ yếu không bằng 0 hoặc trống.
Trong công nghệ học máy, một số lượng tính năng đáng ngạc nhiên là các tính năng thưa thớt. Đối tượng phân loại thường là các đối tượng thưa thớt. Ví dụ: trong số 300 loài cây có thể có trong rừng, một ví dụ duy nhất có thể chỉ xác định cây phong. Hoặc trong số hàng triệu video có thể có trong thư viện video, một ví dụ duy nhất có thể xác định chỉ là "Casa Blanca".
Trong một mô hình, bạn thường biểu thị các tính năng thưa thớt bằng phương thức mã hoá một lần nóng. Nếu phương thức mã hoá một lần nóng có kích thước lớn, bạn có thể đặt một lớp phủ lên trên phương thức mã hóa một lần nóng để đạt được hiệu quả cao hơn.
biểu diễn thưa thớt
Chỉ lưu trữ (các) vị trí của các phần tử khác 0 trong một đối tượng thưa thớt.
Ví dụ: giả sử một đối tượng phân loại có tên là species xác định 36 loài cây trong một khu rừng cụ thể. Ngoài ra, giả sử rằng mỗi ví dụ chỉ xác định một loài duy nhất.
Bạn có thể sử dụng một vectơ nóng để biểu thị các loài cây trong mỗi ví dụ.
Vectơ một nóng sẽ chứa một 1 duy nhất (để đại diện cho các loài cây cụ thể trong ví dụ đó) và 35 0 (để đại diện cho 35 loài cây không trong ví dụ đó). Vì vậy, đại diện một lần nóng của maple có thể có dạng như sau:
Ngoài ra, phép trình bày thưa thớt sẽ chỉ đơn giản là xác định vị trí của loài cụ thể. Nếu maple ở vị trí 24, thì phép biểu diễn thưa thớt của maple sẽ đơn giản là:
24
Hãy lưu ý rằng cách trình bày thưa thớt sẽ gọn gàng hơn nhiều so với cách trình bày một lần nóng.
Hãy nhấp vào biểu tượng để xem ví dụ phức tạp hơn một chút.
Giả sử mỗi ví dụ trong mô hình của bạn phải đại diện cho các từ chứ không phải thứ tự của các từ đó – trong một câu tiếng Anh. Tiếng Anh bao gồm khoảng 170.000 từ, vì vậy, tiếng Anh là một tính năng phân loại với khoảng 170.000 phần tử. Hầu hết các câu tiếng Anh sử dụng một phần cực kỳ nhỏ trong số 170.000 từ đó,vì vậy, tập hợp từ trong một ví dụ gần như chắc chắn sẽ có dữ liệu thưa thớt.
Hãy xem xét câu sau:
My dog is a great dog
Bạn có thể sử dụng biến thể của một vectơ nóng để biểu thị các từ trong câu này. Trong biến thể này, nhiều ô trong vectơ có thể chứa một giá trị khác 0. Hơn nữa, trong biến thể này, một ô có thể chứa một số nguyên khác 1. Mặc dù các từ "của tôi", "là", "a" và "lớn" chỉ xuất hiện một lần trong câu, nhưng từ "chó" xuất hiện hai lần. Sử dụng biến thể này của vectơ một nóng để biểu thị các từ trong câu này sẽ tạo ra 170.000 vectơ phần tử sau:
Cách diễn đạt thưa thớt của cùng một câu sẽ đơn giản là:
0: 1 26100: 2 45770: 1 58906: 1 91520: 1
đào tạo theo giai đoạn
Chiến thuật huấn luyện một mô hình theo trình tự gồm các giai đoạn riêng biệt. Mục tiêu có thể là đẩy nhanh quá trình huấn luyện hoặc đạt được chất lượng mô hình tốt hơn.
Dưới đây là hình minh hoạ phương pháp xếp chồng tăng dần:
- Giai đoạn 1 chứa 3 lớp ẩn, giai đoạn 2 chứa 6 lớp ẩn và giai đoạn 3 chứa 12 lớp ẩn.
- Giai đoạn 2 bắt đầu đào tạo với các trọng số đã học trong 3 lớp ẩn của Giai đoạn 1. Giai đoạn 3 bắt đầu luyện tập với các trọng số đã học trong 6 lớp ẩn của Giai đoạn 2.
Xem thêm về quy trình.
T
T5
Mô hình chuyển văn bản sang văn bản do AI của Google AI ra mắt năm 2020: mô hình học tập chuyển đổi. T5 là một mô hình bộ mã hoá bộ mã hoá, dựa trên kiến trúc Transformer, được huấn luyện trên một tập dữ liệu cực lớn. Công cụ này có hiệu quả trong nhiều nhiệm vụ xử lý ngôn ngữ tự nhiên, chẳng hạn như tạo văn bản, dịch ngôn ngữ và trả lời câu hỏi theo cách trò chuyện.
T5 được lấy tên từ 5 chữ T trong "Chuyển văn bản sang văn bản".
T5X
Một khung học máy nguồn mở được thiết kế để xây dựng và huấn luyện các mô hình xử lý ngôn ngữ tự nhiên (NLP) quy mô lớn. T5 được triển khai trên cơ sở mã T5X (được xây dựng trên JAX và Flax).
nhiệt độ
Siêu tham số kiểm soát mức độ ngẫu nhiên của dữ liệu đầu ra của mô hình. Nhiệt độ cao hơn dẫn đến kết quả ngẫu nhiên nhiều hơn, trong khi nhiệt độ thấp hơn dẫn đến kết quả ngẫu nhiên ít hơn.
Việc chọn nhiệt độ tốt nhất phụ thuộc vào ứng dụng cụ thể và các thuộc tính mong muốn của đầu ra của mô hình. Ví dụ: bạn có thể tăng nhiệt độ khi tạo một ứng dụng tạo đầu ra mẫu quảng cáo. Ngược lại, bạn có thể giảm nhiệt độ khi xây dựng một mô hình phân loại hình ảnh hoặc văn bản để cải thiện độ chính xác và tính nhất quán của mô hình.
Nhiệt độ thường được dùng với softmax.
độ dài văn bản
Khoảng chỉ mục mảng được liên kết với một phần con cụ thể của chuỗi văn bản.
Ví dụ: từ good trong chuỗi Python s="Be good now" sẽ chiếm khoảng văn bản từ 3 đến 6.
mã thông báo
Trong mô hình ngôn ngữ, đơn vị nguyên tử mà mô hình đang đào tạo và đưa ra thông tin dự đoán trên đó. Mã thông báo thường có một trong những dạng sau đây:
- một từ – ví dụ: cụm từ "chó như mèo" bao gồm ba từ mã thông báo: "chó", "thích" và "mèo".
- một ký tự. Ví dụ: cụm từ "cá đạp xe" bao gồm 9 mã thông báo gồm 9 ký tự. (Lưu ý rằng khoảng trống được tính là một trong các mã thông báo.)
- từ con — trong đó một từ có thể là một mã thông báo hoặc nhiều mã thông báo. Từ phụ bao gồm từ gốc, tiền tố hoặc hậu tố. Ví dụ: một mô hình ngôn ngữ sử dụng từ phụ làm mã thông báo có thể xem từ "chó" dưới dạng hai mã thông báo (từ gốc "chó" và hậu tố số nhiều "s"). Mô hình ngôn ngữ tương tự đó có thể xem từ đơn "cao" dưới dạng hai từ phụ (từ gốc "cao" và hậu tố "er").
Trong các miền không thuộc mô hình ngôn ngữ, mã thông báo có thể đại diện cho các loại đơn vị nguyên tử khác. Ví dụ: trong thị giác máy tính, mã thông báo có thể là một tập hợp con của hình ảnh.
Biến áp
Kiến trúc mạng nơron do Google phát triển dựa trên cơ chế tự chú ý để biến đổi trình tự nhúng đầu vào thành một chuỗi các lượt nhúng đầu ra mà không cần dựa vào kết hợp chập hoặc mạng nơron định kỳ. Bạn có thể xem Transformer dưới dạng một ngăn xếp các lớp tự chú ý.
Bộ chuyển đổi có thể bao gồm bất kỳ thành phần nào sau đây:
- bộ mã hoá
- bộ giải mã
- cả bộ mã hoá và bộ giải mã
Bộ mã hoá chuyển đổi một trình tự nhúng thành một trình tự mới có cùng độ dài. Bộ mã hoá bao gồm N lớp giống nhau, mỗi lớp chứa 2 lớp con. Hai lớp con này được áp dụng ở mỗi vị trí của trình tự nhúng đầu vào, biến mỗi phần tử của trình tự thành một thành phần nhúng mới. Lớp con đầu vào của bộ mã hoá sẽ tổng hợp thông tin từ trình tự đầu vào. Lớp con thứ hai của bộ mã hoá biến thông tin tổng hợp thành tính năng nhúng đầu ra.
Bộ giải mã biến đổi một trình tự nhúng đầu vào thành một chuỗi các nhúng đầu ra, có thể có độ dài khác. Bộ giải mã cũng bao gồm N lớp giống hệt nhau có 3 lớp con, trong đó có 2 lớp tương tự như các lớp con của bộ mã hoá. Lớp con của bộ giải mã thứ ba nhận đầu ra của bộ mã hoá và áp dụng cơ chế tự chú ý để thu thập thông tin từ đó.
Bài đăng trên blog Transformer: Một cấu trúc mạng nơron mới để hiểu ngôn ngữ cung cấp thông tin giới thiệu hữu ích về Transformer.
bát đồ
N-gam, trong đó N=3.
U
một chiều
Hệ thống chỉ đánh giá văn bản đứng trước một phần văn bản mục tiêu. Ngược lại, hệ thống hai chiều đánh giá cả văn bản đứng trước và đứng sau một phần văn bản mục tiêu. Xem phần hai chiều để biết thêm thông tin chi tiết.
mô hình ngôn ngữ một chiều
Một mô hình ngôn ngữ chỉ dựa trên xác suất dựa trên mã thông báo xuất hiện trước chứ không sau(các) mã thông báo mục tiêu. Tương phản với mô hình ngôn ngữ hai chiều.
V
bộ mã hoá tự động biến thiên (VAE)
Một loại bộ mã hoá tự động tận dụng sự khác biệt giữa dữ liệu đầu vào và dữ liệu đầu ra để tạo các phiên bản sửa đổi của dữ liệu đầu vào. Các bộ mã hoá tự động biến thể rất hữu ích cho AI tạo sinh.
VAE dựa trên suy luận biến đổi: một kỹ thuật ước tính các tham số của mô hình xác suất.
W
nhúng từ
Biểu thị từng từ trong một nhóm từ trong một vectơ nhúng; nghĩa là biểu thị mỗi từ dưới dạng một vectơ của giá trị dấu phẩy động từ 0 đến 1. Những từ có ý nghĩa tương tự nhau sẽ có cách thể hiện giống hơn so với những từ có nghĩa khác nhau. Ví dụ: cà rốt, cần tây và dưa chuột sẽ có cách trình bày tương đối giống nhau, rất khác với cách trình bày cho máy bay, kính râm và kem đánh răng.
Z
nhắc lệnh cho phép lập trình tự động
Lời nhắc không đưa ra ví dụ về cách bạn muốn mô hình ngôn ngữ lớn phản hồi. Ví dụ:
| Các phần của một lời nhắc | Ghi chú |
|---|---|
| Đơn vị tiền tệ chính thức của quốc gia được chỉ định là gì? | Câu hỏi mà bạn muốn LLM trả lời. |
| Ấn Độ: | Truy vấn thực tế. |
Mô hình ngôn ngữ lớn có thể phản hồi bằng bất kỳ nội dung nào sau đây:
- Rupee
- INR
- ₹
- Đồng rupi Ấn Độ
- Đồng rupee
- Đồng Rupee của Ấn Độ
Tất cả các câu trả lời đều đúng, mặc dù bạn có thể thích một định dạng cụ thể hơn.
So sánh và đối chiếu lời nhắc cài đặt 0 (zero-shot) với các thuật ngữ sau: