Xây dựng quy trình làm việc dựa trên tác nhân bằng Gemini Nano

Quy trình làm việc dựa trên tác nhân của Bộ công cụ học máy (com.google.mlkit:genai-agent, Alpha) cho phép bạn xây dựng trải nghiệm đàm thoại tự động, nhiều lượt trên thiết bị, dựa trên Gemini Nano và dịch vụ hệ thống Android AICore.

Được xây dựng dựa trên lớp GenerativeModel (quyền truy cập trực tiếp vào mô hình), lớp AgentRunner tự động hoá vòng lặp tác nhân hoàn chỉnh, dựa trên mục tiêu ngay trong ứng dụng của bạn: quan sát bối cảnh, suy luận về thông tin đầu vào của người dùng, hành động thông qua các công cụ Kotlin được nhập và đánh giá ý kiến phản hồi cho đến khi đáp ứng điều kiện chấm dứt.

Các mẫu tác nhân phổ biến

Quy trình tác nhân trên thiết bị được tối ưu hoá cho các vòng lặp suy luận có chủ đích, mang tính tất định, trong đó ý định của người dùng được chuyển thành các hành động có cấu trúc trong ứng dụng. Sau đây là một số mẫu thường gặp:

Hoa văn

Ví dụ

Thực thi hành động trong ứng dụng và lối tắt

Dịch các yêu cầu bằng ngôn ngữ tự nhiên thành các lệnh cụ thể cho ứng dụng, chẳng hạn như áp dụng các điều chỉnh ảnh trên khung chỉnh sửa, sửa đổi chế độ cài đặt phát hoặc bật/tắt các lựa chọn ưu tiên của ứng dụng.

Tra cứu có cấu trúc và tính toán cục bộ

Tìm nạp một bản ghi cụ thể theo mã nhận dạng (chẳng hạn như trạng thái đơn đặt hàng hoặc số dư tài khoản) và thực hiện các phép tính toán học nhiều bước (chẳng hạn như khấu hao khoản vay hoặc chỉ số thể dục).

Lọc và tuyển chọn nội dung trò chuyện

Truy vấn và tinh chỉnh các mục ứng dụng cục bộ theo cách tương tác, chẳng hạn như tìm kiếm trong danh sách việc cần làm cục bộ, lọc danh sách phát hoặc sắp xếp các mục trong danh mục dựa trên tiêu chí của người dùng.

Thông tin đầu vào nhiều bước có hướng dẫn

Hướng dẫn người dùng từng bước nhập dữ liệu có cấu trúc, xác thực dữ liệu đầu vào trung gian bằng các công cụ cục bộ trước khi gửi dữ liệu cuối cùng.

Hiệu suất và quyền riêng tư trên thiết bị

Quy trình làm việc dựa trên tác nhân chạy trên Android AICore để mang lại khả năng thực thi riêng tư, thích ứng ngay trên thiết bị của người dùng:

  • Khả năng suy luận cục bộ và quyền riêng tư của câu lệnh: Vòng lặp suy luận và lập kế hoạch của mô hình được thực thi hoàn toàn trên thiết bị mà không có độ trễ mạng. Dữ liệu câu lệnh của người dùng vẫn được giữ riêng tư trên thiết bị. Tuy nhiên, các công cụ riêng lẻ được triển khai trong ứng dụng của bạn vẫn có thể thực hiện lệnh gọi mạng hoặc truy vấn Cloud APIs nếu trường hợp sử dụng của bạn yêu cầu dữ liệu bên ngoài.
  • Phiên nhiều lượt được quản lý: Giao diện AgentSession duy trì nhật ký trò chuyện trong bộ nhớ qua các lượt để bạn không phải quản lý bản chép lời theo cách thủ công. Bạn có thể lấy lại bộ nhớ bất cứ lúc nào bằng cách sử dụng các phương thức session.close(), deleteSession(sessionId) hoặc clearAllSessions().
  • Biện pháp bảo vệ khi thực thi: Cấu hình tác nhân thực thi giới hạn lượt tối đa (giới hạn maxTurns, mặc định là 10) làm điều kiện chấm dứt tài nguyên để ngăn chặn các vòng lặp thực thi mất kiểm soát, tiết kiệm pin và bảo vệ khả năng phản hồi của thiết bị.

Chọn giữa các API tạo tuỳ chỉnh, tác nhân và API dành riêng cho nhiệm vụ

Bộ công cụ học máy sắp xếp các chức năng AI tạo sinh trên thiết bị theo mức độ tuỳ chỉnh và điều phối mà tính năng của bạn cần:

  • Tác nhân và tạo tuỳ chỉnh: Làm việc trực tiếp với mô hình nền tảng Gemini Nano khi tính năng của bạn yêu cầu hướng dẫn tuỳ chỉnh hoặc logic theo miền cụ thể. Chọn quy trình làm việc dựa trên tác nhân (sử dụng lớp AgentRunner, được xây dựng dựa trên lớp GenerativeModel) khi bạn muốn có các phiên nhiều lượt được quản lý và vòng lặp gọi công cụ tự động, hoặc chọn quyền truy cập trực tiếp vào mô hình (sử dụng lớp GenerativeModel) để tạo câu lệnh tuỳ chỉnh, đầu ra có cấu trúc được nhập hoặc nhật ký nhiều lượt do ứng dụng quản lý.
  • Lời nói và âm thanh: Sử dụng các mô hình lời nói và AI tạo sinh chuyên dụng (chẳng hạn như Nhận dạng lời nói) để chép lời âm thanh lời nói thành văn bản.
  • Tác vụ văn bản và hình ảnh: Sử dụng các loại tính năng được định cấu hình sẵn, dành riêng cho tác vụ và bộ chuyển đổi LoRA được tinh chỉnh dựa trên mô hình cơ sở dùng chung (chẳng hạn như Mô tả hình ảnh, Tóm tắt, Hiệu đính và Viết lại) cho các trường hợp sử dụng thị giác và viết lách chìa khoá trao tay mà không cần kỹ thuật câu lệnh.

Bảng sau đây so sánh các phương pháp này:

Mức độ cân nhắc

Quy trình làm việc dựa trên tác nhân (AgentRunner)

Quyền truy cập trực tiếp vào mô hình (GenerativeModel)

API tác vụ văn bản và hình ảnh

Kiến trúc

Lớp điều phối cấp cao được xây dựng dựa trên GenerativeModel.

Giao diện trực tiếp với mô hình nền tảng Gemini Nano cho câu lệnh tuỳ chỉnh.

Các loại tính năng dành riêng cho nhiệm vụ được hỗ trợ bởi bộ chuyển đổi LoRA đã tinh chỉnh trên mô hình cơ sở dùng chung.

Bối cảnh nhiều lượt

Phiên nhiều lượt được quản lý (AgentSession). Tự động duy trì nhật ký trò chuyện trong bộ nhớ qua các lượt để bạn không phải quản lý bản chép lời theo cách thủ công (cũng hỗ trợ thực thi một lượt tạm thời).

Bối cảnh nhiều lượt do ứng dụng quản lý. GenerateContentRequest hỗ trợ cuộc trò chuyện nhiều lượt List<Content> (vai trò USER và MODEL) và sessionId cho những nhà phát triển muốn trực tiếp quản lý nhật ký trò chuyện của riêng họ.

Lệnh gọi tác vụ không có trạng thái, một đầu vào.

Gọi công cụ và thao tác

Vòng lặp gọi công cụ tự động. Khám phá các AppFunction đã đăng ký trên Android, thực thi các lệnh gọi do mô hình chọn và tự động cung cấp kết quả cho mô hình.

Khai báo công cụ do ứng dụng quản lý. GenerateContentRequest chấp nhận giản đồ công cụ và phát ra yêu cầu gọi hàm để ứng dụng của bạn thực thi và trả về theo cách thủ công.

Không áp dụng (quy trình tác vụ cố định).

Trường hợp sử dụng

Sử dụng khi bạn muốn điều phối tự động cho việc thực thi công cụ nhiều bước và các phiên nhiều lượt được quản lý trong bộ nhớ.

Sử dụng cho câu lệnh tuỳ chỉnh, khả năng hiểu hình ảnh đa phương thức, kết quả có cấu trúc được nhập (@Generable) hoặc khi bạn muốn trực tiếp quản lý nhật ký trò chuyện hoặc việc gửi công cụ của riêng mình.

Sử dụng khi tính năng của bạn phù hợp với một tác vụ viết hoặc thị giác tiêu chuẩn và bạn muốn có chất lượng vượt trội từ LoRA được tinh chỉnh với mức thiết lập tối thiểu.

Các bước tiếp theo