หน้านี้มีคำศัพท์เกี่ยวกับอภิธานศัพท์ของ Generative AI ดูคำศัพท์ทั้งหมดในอภิธานศัพท์ คลิกที่นี่
A
โมเดลแบบถดถอยอัตโนมัติ
modelที่อนุมานการคาดการณ์โดยอิงตามการคาดการณ์ก่อนหน้านี้ของตนเอง ตัวอย่างเช่น โมเดลภาษาแบบถดถอยอัตโนมัติจะคาดการณ์โทเค็นถัดไปโดยอิงตามโทเค็นที่คาดการณ์ไว้ก่อนหน้านี้ โมเดลภาษาขนาดใหญ่ทั้งหมดที่ใช้ Transformer จะทำงานแบบถดถอยโดยอัตโนมัติ
ในทางตรงกันข้าม โมเดลรูปภาพแบบใช้ GAN มักจะไม่ใช้แบบถดถอยอัตโนมัติเนื่องจากโมเดลจะสร้างรูปภาพในการส่งไปข้างหน้าเพียงครั้งเดียวและไม่ทำซ้ำทีละขั้น อย่างไรก็ตาม โมเดลการสร้างรูปภาพบางรูปแบบจะถดถอยอัตโนมัติเนื่องจากโมเดลจะสร้างรูปภาพในขั้นตอน
C
การกระตุ้นให้แนวคิดของห่วงโซ่ความคิด
เทคนิคแบบพรอมต์วิศวกรรมที่สนับสนุนโมเดลภาษาขนาดใหญ่ (LLM) ในการอธิบายเหตุผลทีละขั้นตอน ตัวอย่างเช่น ลองพิจารณาข้อความต่อไปนี้ โดยเน้นที่ประโยคที่ 2
คนขับรถยนต์สามารถขับได้ถึงกี่แรงในระยะทาง 0 ถึง 60 ไมล์ต่อชั่วโมงใน 7 วินาที แสดงการคำนวณที่เกี่ยวข้องทั้งหมดในคำตอบ
การตอบสนองของ LLM น่าจะเป็นดังนี้
- แสดงลำดับสูตรฟิสิกส์ โดยใส่ค่า 0, 60 และ 7 ไว้ในตำแหน่งที่เหมาะสม
- อธิบายว่าเหตุใดตัวแปรเหล่านั้นจึงเลือกสูตรเหล่านั้น และความหมายของตัวแปรต่างๆ
การนำเสนอแนวคิดห่วงโซ่ความคิดจะบังคับให้ LLM ทำการคำนวณทั้งหมด ซึ่งอาจนำไปสู่คำตอบที่ถูกต้องยิ่งขึ้น นอกจากนี้ การแสดงข้อความแจ้งเกี่ยวกับห่วงโซ่ความคิดจะช่วยให้ผู้ใช้ตรวจสอบขั้นตอนของ LLM เพื่อพิจารณาว่าคำตอบเหมาะสมหรือไม่
D
ข้อความแจ้งโดยตรง
คำพ้องความหมายสำหรับ ข้อความแจ้งการตั้งค่าอุปกรณ์พร้อมใช้แบบรวมกลุ่ม
การกลั่น
ขั้นตอนการลดขนาดmodel (หรือที่เรียกว่าmodel) ให้เหลือโมเดลที่เล็กลง (หรือที่เรียกว่าmodel) ซึ่งจำลองการคาดการณ์ของโมเดลต้นฉบับได้อย่างน่าเชื่อถือมากที่สุดเท่าที่จะเป็นไปได้ การกลั่นกรองมีประโยชน์เนื่องจากโมเดลที่เล็กกว่ามีข้อดีที่สำคัญ 2 ประการเหนือกว่าโมเดลขนาดใหญ่ (ครู) ดังนี้
- เวลาในการอนุมานเร็วขึ้น
- หน่วยความจำและการใช้พลังงานลดลง
แต่นักเรียนมักจะทำการคาดการณ์ได้ไม่ดีเท่ากับการคาดคะเนของครู
การคัดกรองจะฝึกโมเดลของนักเรียนเพื่อลดฟังก์ชันการสูญเสียตามความแตกต่างระหว่างเอาต์พุตของการคาดการณ์ในโมเดลของนักเรียนและครู
เปรียบเทียบและเปรียบเทียบความแตกต่างระหว่างการกลั่นกับคำศัพท์ต่อไปนี้
F
การแสดงข้อความแจ้งเพียงไม่กี่ช็อต
ข้อความแจ้งที่มีตัวอย่าง ("น้อย") มากกว่า 1 รายการที่แสดงให้เห็นว่ารูปแบบภาษาขนาดใหญ่ควรตอบสนองอย่างไร เช่น ข้อความแจ้งที่ยาวกว่าต่อไปนี้มี 2 ตัวอย่างที่แสดงวิธีตอบคำถามของโมเดลภาษาขนาดใหญ่
ส่วนต่างๆ ของข้อความแจ้ง | Notes |
---|---|
สกุลเงินอย่างเป็นทางการของประเทศที่ระบุคืออะไร | คำถามที่ต้องการให้ LLM ตอบ |
ฝรั่งเศส: EUR | เช่น |
สหราชอาณาจักร: GBP | อีกตัวอย่างหนึ่ง |
อินเดีย: | ข้อความค้นหาจริง |
โดยทั่วไปข้อความแจ้งเพียงไม่กี่รูปแบบจะให้ผลลัพธ์ที่น่าพอใจมากกว่าข้อความแจ้งแบบช็อตเดียวและข้อความแจ้งแบบช็อตเดียว อย่างไรก็ตาม การแสดงข้อความแจ้งเพียงไม่กี่ช็อต ต้องใช้ข้อความแจ้งที่ยาวกว่านี้
ข้อความแจ้งข้อผิดพลาดแบบระยะเดียวเป็นการเรียนรู้แบบค่อยเป็นค่อยไป ซึ่งนำไปใช้กับการเรียนรู้ตามข้อความแจ้ง
การปรับแต่ง
บัตรผ่านการฝึกอบรมแบบที่ 2 ที่เจาะจงงานซึ่งทำงานในโมเดลที่ฝึกไว้แล้วเพื่อปรับแต่งพารามิเตอร์สำหรับกรณีการใช้งานที่เฉพาะเจาะจง ตัวอย่างเช่น ลำดับการฝึกแบบเต็มสำหรับโมเดลภาษาขนาดใหญ่บางรายการมีดังนี้
- การฝึกล่วงหน้า: ฝึกโมเดลภาษาขนาดใหญ่ในชุดข้อมูลทั่วไปขนาดใหญ่ เช่น หน้า Wikipedia ภาษาอังกฤษทั้งหมด
- การปรับแต่ง: ฝึกโมเดลที่ฝึกไว้ล่วงหน้าให้ทำงานที่เฉพาะเจาะจง เช่น การตอบสนองต่อคำค้นหาทางการแพทย์ การปรับแต่งมักประกอบด้วยตัวอย่างหลายร้อยหรือหลายพันรายการที่มุ่งเน้นงานนั้นๆ
อีกตัวอย่างหนึ่ง ลำดับการฝึกทั้งหมดสำหรับโมเดลรูปภาพขนาดใหญ่มีดังนี้
- การฝึกล่วงหน้า: ฝึกโมเดลรูปภาพขนาดใหญ่ในชุดข้อมูลรูปภาพทั่วไปขนาดใหญ่ เช่น รูปภาพทั้งหมดในคอมมอน Wikimedia
- การปรับแต่ง: ฝึกโมเดลที่ฝึกล่วงหน้าให้ทำงานที่เฉพาะเจาะจง เช่น การสร้างรูปภาพของวาฬเพชฌฆาต
การปรับแต่งอาจผสมผสานกลยุทธ์ต่อไปนี้เข้าด้วยกัน
- การแก้ไขพารามิเตอร์ที่มีอยู่ของโมเดลที่ฝึกล่วงหน้าทั้งหมด บางครั้งจะเรียกกรณีเช่นนี้ว่าการปรับแต่งเต็มรูปแบบ
- แก้ไขพารามิเตอร์ที่มีอยู่ของโมเดลที่ฝึกล่วงหน้าบางส่วนเท่านั้น (โดยทั่วไปคือเลเยอร์ที่ใกล้กับเลเยอร์เอาต์พุตมากที่สุด) ขณะเดียวกันก็คงพารามิเตอร์อื่นๆ ที่มีอยู่ไว้ตามเดิม (โดยปกติจะเป็นเลเยอร์ที่อยู่ใกล้เลเยอร์อินพุตมากที่สุด) ดูการปรับแต่งแบบใช้พารามิเตอร์
- การเพิ่มเลเยอร์ โดยปกติจะอยู่ทับเลเยอร์ที่มีอยู่ซึ่งใกล้กับเลเยอร์เอาต์พุตมากที่สุด
การปรับแต่งเป็นการเรียนรู้จากการโอนรูปแบบหนึ่ง ดังนั้น การปรับแต่งอาจใช้ฟังก์ชันการสูญเสียหรือประเภทโมเดลที่แตกต่างจากที่ใช้ฝึกโมเดลก่อนการฝึก ตัวอย่างเช่น คุณสามารถปรับแต่งโมเดลรูปภาพขนาดใหญ่ที่ฝึกไว้แล้วเพื่อสร้างโมเดลการถดถอยที่แสดงจำนวนนกในอิมเมจอินพุต
เปรียบเทียบความเหมือนและความต่างของการปรับแต่งกับคำศัพท์ต่อไปนี้
G
Generative AI
สาขาการเปลี่ยนแปลงที่กำลังเป็นรูปธรรมซึ่งไม่มีคำจำกัดความอย่างเป็นทางการ อย่างไรก็ตาม ผู้เชี่ยวชาญส่วนใหญ่เห็นด้วยว่าโมเดล Generative AI สามารถสร้าง ("สร้าง") เนื้อหาที่มีลักษณะดังต่อไปนี้ได้
- ซับซ้อน
- สอดคล้องกัน
- เดิม
ตัวอย่างเช่น โมเดล Generative AI สามารถสร้างเรียงความหรือรูปภาพที่ซับซ้อนได้
เทคโนโลยีรุ่นก่อนๆ เช่น LSTM และ RNN สามารถสร้างเนื้อหาต้นฉบับที่สอดคล้องได้เช่นกัน ผู้เชี่ยวชาญบางคนมองว่าเทคโนโลยีรุ่นก่อนเหล่านี้คือ Generative AI ขณะที่คนอื่นๆ รู้สึกว่า Generative AI ที่แท้จริงต้องใช้เอาต์พุตที่ซับซ้อนกว่าเทคโนโลยีใหม่ๆ ที่เทคโนโลยียุคก่อนทำได้
คอนทราสต์กับ ML แบบคาดคะเน
I
การเรียนรู้ในบริบท
คำพ้องความหมายของ few-shot prompting
การปรับแต่งคำสั่ง
รูปแบบหนึ่งของการปรับแต่งที่ช่วยปรับปรุงความสามารถของโมเดล generative AI ในการทำตามวิธีการ การปรับแต่งการสอนเกี่ยวข้องกับการฝึกโมเดลชุดคำสั่งให้ดำเนินการ ซึ่งโดยทั่วไปแล้วจะครอบคลุมงานต่างๆ มากมาย จากนั้นโมเดลที่ปรับแต่งตามวิธีการที่ได้ก็จะมีแนวโน้มที่จะสร้างคำตอบที่เป็นประโยชน์ต่อข้อความแจ้งแบบ Zero shot ในงานต่างๆ
เปรียบเทียบความเหมือนและความต่างกับ
O
ข้อความแจ้งแบบครั้งเดียว
ข้อความแจ้งที่มีตัวอย่างที่แสดงให้เห็นว่ารูปแบบภาษาขนาดใหญ่ควรตอบสนองอย่างไร เช่น คำสั่งต่อไปนี้มีตัวอย่างหนึ่งที่แสดงโมเดลภาษาขนาดใหญ่ว่าควรตอบคำถามอย่างไร
ส่วนต่างๆ ของข้อความแจ้ง | Notes |
---|---|
สกุลเงินอย่างเป็นทางการของประเทศที่ระบุคืออะไร | คำถามที่ต้องการให้ LLM ตอบ |
ฝรั่งเศส: EUR | เช่น |
อินเดีย: | ข้อความค้นหาจริง |
เปรียบเทียบหาความเหมือนและความแตกต่างของข้อความแจ้งแบบช็อตเดียวกับคำศัพท์ต่อไปนี้
คะแนน
การปรับแต่งประสิทธิภาพพารามิเตอร์
ชุดเทคนิคในการปรับแต่งโมเดลภาษา (PLM) ก่อนการฝึกขนาดใหญ่อย่างมีประสิทธิภาพมากกว่าการปรับแต่งเต็มรูปแบบ โดยปกติแล้ว การปรับแต่งแบบใช้พารามิเตอร์จะปรับแต่งพารามิเตอร์ได้น้อยกว่าการปรับแต่งแบบเต็มรูปแบบมาก แต่มักจะสร้างโมเดลภาษาขนาดใหญ่ซึ่งทำงานได้ดี (หรือเกือบเท่ากัน) เช่นเดียวกับโมเดลภาษาขนาดใหญ่ที่สร้างขึ้นจากการปรับแต่งทั้งหมด
เปรียบเทียบและปรับคอนทราสต์อย่างมีประสิทธิภาพของพารามิเตอร์กับ
การปรับแต่งอย่างมีประสิทธิภาพพารามิเตอร์เรียกอีกอย่างว่าการปรับแต่งแบบเพิ่มประสิทธิภาพพารามิเตอร์
ระบบ PLM
ตัวย่อของโมเดลภาษาก่อนฝึกแล้ว
โมเดลก่อนการฝึก
โมเดลหรือคอมโพเนนต์ของโมเดล (เช่น เวกเตอร์การฝัง) ที่ได้รับการฝึกแล้ว บางครั้งคุณจะฟีดเวกเตอร์การฝังก่อนการฝึกลงในโครงข่ายระบบประสาทเทียม แต่บางครั้งโมเดลของคุณจะฝึกตัวเวกเตอร์การฝังเองแทนที่จะฝึกการฝังที่ฝึกล่วงหน้า
คำว่าโมเดลภาษาก่อนการฝึกหมายถึงโมเดลภาษาขนาดใหญ่ที่ผ่านการการฝึกล่วงหน้า
ก่อนการฝึกอบรม
การฝึกเริ่มต้นของโมเดลบนชุดข้อมูลขนาดใหญ่ โมเดลที่ฝึกไว้แล้วล่วงหน้าบางโมเดลเป็นขนาดใหญ่ที่งุ่มง่ามและมักต้องปรับแต่งผ่านการฝึกเพิ่มเติม เช่น ผู้เชี่ยวชาญ ML อาจฝึกโมเดลภาษาขนาดใหญ่ล่วงหน้าบนชุดข้อมูลข้อความขนาดใหญ่ เช่น ทุกหน้าภาษาอังกฤษใน Wikipedia หลังจากการฝึกล่วงหน้าแล้ว โมเดลผลลัพธ์อาจได้รับการปรับปรุงให้ดีขึ้นโดยใช้เทคนิคต่อไปนี้
ข้อความแจ้ง
ข้อความที่ป้อนเป็นอินพุตไปยังโมเดลภาษาขนาดใหญ่ เพื่อกำหนดเงื่อนไขให้โมเดลทำงานในลักษณะใดลักษณะหนึ่ง ข้อความแจ้งอาจสั้นแค่วลีหรือยาว (เช่น ข้อความทั้งหมดในนิยาย) ข้อความแจ้งจะแบ่งออกเป็นหลายหมวดหมู่ รวมถึงหมวดหมู่ที่แสดงในตารางต่อไปนี้
หมวดหมู่ของข้อความแจ้ง | ตัวอย่าง | Notes |
---|---|---|
คำถาม | พิราบบินได้เร็วแค่ไหน | |
โรงเรียนฝึกอบรม | เขียนบทกวีตลกๆ เกี่ยวกับการหากำไร | ข้อความแจ้งที่ขอให้โมเดลภาษาขนาดใหญ่ทำบางอย่าง |
ตัวอย่าง | แปลโค้ด Markdown เป็น HTML เช่น
Markdown: * รายการย่อย HTML: <ul> <li>รายการย่อย</li> </ul> |
ประโยคแรกในข้อความแจ้งตัวอย่างนี้คือคำสั่ง ส่วนที่เหลือของข้อความแจ้งคือตัวอย่าง |
บทบาท | อธิบายเหตุผลที่มีการใช้การไล่ระดับสีในการฝึกแมชชีนเลิร์นนิงไปยังปริญญาเอกสาขาฟิสิกส์ | ส่วนแรกของประโยคคือคำสั่ง วลี "ถึงปริญญาเอกสาขาฟิสิกส์" คือส่วนบทบาท |
ป้อนข้อมูลบางส่วนเพื่อให้โมเดลเสร็จสมบูรณ์ | นายกรัฐมนตรีของสหราชอาณาจักรอาศัยอยู่ใน | ข้อความแจ้งการป้อนข้อมูลบางส่วนอาจสิ้นสุดอย่างกะทันหัน (ดังตัวอย่างนี้) หรือลงท้ายด้วยขีดล่างก็ได้ |
โมเดล generative AI จะตอบสนองต่อพรอมต์ได้ด้วยข้อความ, โค้ด, รูปภาพ, การฝัง, วิดีโอ และอื่นๆ เกือบทุกอย่าง
การเรียนรู้จากทันท่วงที
ความสามารถในบางรุ่นที่ช่วยให้ผู้ใช้ปรับพฤติกรรมเพื่อตอบสนองต่อการป้อนข้อความที่กำหนดเอง (ข้อความแจ้ง) ในรูปแบบการเรียนรู้ตามข้อความแจ้งทั่วไป โมเดลภาษาขนาดใหญ่จะตอบสนองต่อพรอมต์ด้วยการสร้างข้อความ ตัวอย่างเช่น สมมติว่าผู้ใช้ป้อนข้อความแจ้งต่อไปนี้
สรุปกฎการเคลื่อนที่ข้อที่ 3 ของนิวตัน
โมเดลที่สามารถเรียนรู้จากข้อความแจ้งไม่ได้มีการฝึกให้ตอบสนองต่อข้อความแจ้งก่อนหน้านี้โดยเฉพาะ แต่โมเดลจะ "รู้" ข้อเท็จจริงมากมายเกี่ยวกับฟิสิกส์ เกี่ยวกับกฎภาษาทั่วไป และข้อมูลเกี่ยวกับสิ่งที่เป็นคำตอบ ที่เป็นประโยชน์โดยทั่วไป ความรู้ดังกล่าวเพียงพอที่จะให้คำตอบที่เป็นประโยชน์ (หวังว่าจะ) ได้ การให้ความคิดเห็นเพิ่มเติมแก่มนุษย์ ("คำตอบนั้นซับซ้อนเกินไป" หรือ "ปฏิกิริยาอะไร") จะช่วยให้ระบบการเรียนรู้แบบแจ้งทันทีบางระบบค่อยๆ ปรับปรุงคำตอบที่เป็นประโยชน์ได้
การออกแบบข้อความแจ้ง
คำพ้องความหมายสำหรับ prompt Engineering
Prompt Engineering
ศิลปะในการสร้างข้อความแจ้งที่กระตุ้นให้เกิดคำตอบที่ต้องการจากโมเดลภาษาขนาดใหญ่ มนุษย์ดำเนินการ ทางวิศวกรรมระบบทันที การเขียนพรอมต์ที่มีโครงสร้างดีเป็นส่วนสำคัญในการรับประกันคำตอบที่เป็นประโยชน์จากโมเดลภาษาขนาดใหญ่ การดำเนินการด้านวิศวกรรมทันทีมี ปัจจัยหลายอย่าง เช่น
- ชุดข้อมูลที่ใช้ในการฝึกล่วงหน้าและปรับแต่งโมเดลภาษาขนาดใหญ่
- อุณหภูมิและพารามิเตอร์การถอดรหัสอื่นๆ ที่โมเดลใช้ในการสร้างคำตอบ
ดูรายละเอียดเพิ่มเติมเกี่ยวกับการเขียนข้อความแจ้งที่มีประโยชน์ได้ที่ข้อมูลเบื้องต้นเกี่ยวกับการออกแบบข้อความแจ้ง
การออกแบบ Prompt คือคำพ้องความหมายของ Prompt Engineering
แจ้งให้ปรับแต่ง
กลไกการปรับแต่งพารามิเตอร์อย่างมีประสิทธิภาพที่เรียนรู้ "คำนำหน้า" ซึ่งระบบนำหน้าข้อความแจ้งจริง
การปรับแต่งข้อความแจ้งรูปแบบหนึ่ง บางครั้งเรียกว่าการปรับแต่งคำนำหน้าคือการเพิ่มคำนำหน้าทุกเลเยอร์ ในทางตรงกันข้าม การปรับแต่งข้อความแจ้งส่วนใหญ่ จะเพิ่มคำนำหน้าลงในเลเยอร์อินพุตเท่านั้น
R
การเรียนรู้แบบเสริมแรงจากความคิดเห็นของมนุษย์ (RLHF)
ใช้ความคิดเห็นจากเจ้าหน้าที่ตรวจสอบเพื่อปรับปรุงคุณภาพของคำตอบของโมเดล เช่น กลไก RLHF จะขอให้ผู้ใช้ให้คะแนนคุณภาพการตอบสนองของโมเดลด้วยอีโมจิ 👍 หรือ 👎 จากนั้น ระบบจะปรับเปลี่ยนการตอบสนองในอนาคต ตามความคิดเห็นนั้น
การแจ้งบทบาท
ส่วนที่ไม่บังคับของข้อความแจ้งที่ระบุกลุ่มเป้าหมายสำหรับการตอบสนองของโมเดล generative AI หากไม่มีข้อความแจ้งบทบาท โมเดลภาษาขนาดใหญ่จะให้คำตอบที่อาจมีประโยชน์หรือไม่มีประโยชน์สำหรับผู้ที่ถามคำถาม เมื่อมีพรอมต์บทบาท โมเดลภาษาขนาดใหญ่จะสามารถตอบคำถามที่เหมาะสมและมีประโยชน์มากขึ้นสำหรับกลุ่มเป้าหมายที่เจาะจง เช่น ส่วนข้อความแจ้งบทบาทของข้อความแจ้งต่อไปนี้จะเป็นตัวหนา
- สรุปบทความนี้สำหรับปริญญาเอกสาขาเศรษฐศาสตร์
- อธิบายวิธีการทำงานของกระแสน้ำสำหรับเด็ก 10 ปี
- อธิบายวิกฤตทางการเงินปี 2008 พูดเหมือนพูดกับเด็กเล็ก หรือเจ้าโกลเด้นรีทรีฟเวอร์
T
อุณหภูมิ
hyperparameter ที่ควบคุมระดับความสุ่มของเอาต์พุตของโมเดล อุณหภูมิที่สูงขึ้นจะส่งผลให้มีเอาต์พุตแบบสุ่มมากขึ้น ส่วนอุณหภูมิที่ต่ำลงจะทำให้เอาต์พุตแบบสุ่มน้อยลง
การเลือกอุณหภูมิที่ดีที่สุดขึ้นอยู่กับแอปพลิเคชันเฉพาะและคุณสมบัติที่ต้องการของเอาต์พุตโมเดล เช่น คุณอาจเพิ่มอุณหภูมิเมื่อสร้างแอปพลิเคชันที่สร้างเอาต์พุตครีเอทีฟโฆษณา ในทางกลับกัน คุณอาจลดอุณหภูมิลงเมื่อสร้างโมเดลที่แยกประเภทรูปภาพหรือข้อความเพื่อปรับปรุงความแม่นยำและความสอดคล้องของโมเดล
อุณหภูมิมักจะใช้กับ softmax
Z
ข้อความแจ้ง Zero-shot
ข้อความแจ้งที่ไม่แสดงตัวอย่างวิธีที่คุณต้องการให้รูปแบบภาษาขนาดใหญ่ตอบสนอง เช่น
ส่วนต่างๆ ของข้อความแจ้ง | Notes |
---|---|
สกุลเงินอย่างเป็นทางการของประเทศที่ระบุคืออะไร | คำถามที่ต้องการให้ LLM ตอบ |
อินเดีย: | ข้อความค้นหาจริง |
โมเดลภาษาขนาดใหญ่อาจตอบกลับด้วยสิ่งต่อไปนี้
- รูปี
- INR
- ₹
- รูปีอินเดีย
- รูปี
- รูปีอินเดีย
ถูกทุกข้อ แต่คุณอาจต้องการรูปแบบที่เจาะจง
เปรียบเทียบความเหมือนและความต่างของการแสดงข้อความแจ้งแบบภาพศูนย์กับข้อความต่อไปนี้