هنگام استفاده از دسترسی مستقیم به مدل با Gemini Nano، اطمینان از کیفیت و قابلیت اطمینان پیام‌واره شما بسیار مهم است.
برای ارزیابی کیفیت پیام‌واره، باید مجموعه جامعی از ورودی‌ها و بروندادهای موردانتظار را برای مورد استفاده‌تان توسعه دهید.
برای ارزیابی اینکه آیا پیام‌واره شما با هر نسخه مدل Gemini Nano به سطح کیفیت موردنظرتان می‌رسد یا نه، گردش کار زیر را توصیه می‌کنیم:
- مجموعه داده ارزیابی‌تان را اجرا کنید و خروجی‌ها را ثبت کنید.
- نتایج را به‌صورت دستی ارزیابی کنید یا از
LLM-as-a-judge استفاده کنید.
- اگر ارزیابی با سطح کیفی شما مطابقت ندارد، پیام‌واره‌تان را تکرار کنید. برای مثال، از یک مدل زبانی بزرگ قدرتمندتر مثل Gemini Pro بخواهید تا پیام‌واره را براساس برونداد مطلوب درمقابل برونداد واقعی بهبود دهد.
مهندسی پیام‌واره عملکرد تکلیف را تقویت می‌کند و تکرار کردن پیام‌واره‌ها کلید موفقیت است. توصیه می‌کنیم مراحل بالا را حداقل ۳ تا ۵ بار تکرار کنید. توجه داشته باشید که این رویکرد محدودیت‌هایی دارد، زیرا بهینه‌سازی‌ها درنهایت بازدهی کاهشی خواهند داشت.
یا برای بهبود سریع پیام‌واره‌ها در مقیاس بزرگ، می‌توانید از
بهینه‌ساز داده‌محور استفاده کنید که می‌تواند مدل‌های درون‌دستگاهی مانند
gemma-3n-e4b-it را هدف قرار دهد.
ایمنی
برای اطمینان از اینکه Gemini Nano نتایج ایمنی را برای کاربران برمی‌گرداند، چندین لایه محافظتی برای محدود کردن نتایج مضر یا ناخواسته اجرا شده است:
- ایمنی مدل بومی: همه مدل‌های Gemini، ازجمله Gemini Nano، به‌گونه‌ای آموزش دیده‌اند که از همان ابتدا نسبت‌به ایمنی آگاه باشند. این یعنی ملاحظات ایمنی در هسته مدل تعبیه شده است، نه اینکه صرفاً به‌عنوان یک فکر ثانویه اضافه شده باشد.
- فیلترهای ایمنی در ورودی و خروجی: هم پیام‌واره ورودی و هم نتایج تولیدشده توسط زمان اجرای Gemini Nano قبل‌از ارائه نتایج به برنامه، براساس فیلترهای ایمنی ما ارزیابی می‌شوند. این کار کمک می‌کند تا از نفوذ محتوای ناامن جلوگیری شود، بدون اینکه کیفیت کاهش یابد.
بااین‌حال، ازآنجایی‌که هر برنامه معیارهای خاص خود را برای آنچه محتوای ایمن برای کاربران درنظر گرفته می‌شود دارد، باید خطرات ایمنی را برای مورد استفاده خاص برنامه‌تان ارزیابی کنید و براساس آن آزمایش کنید.
منابع بیشتر
- هوش مصنوعی شما چقدر خوب است؟ توضیح ارزیابی هوشواره زایا در هر مرحله - پست وبلاگی که نحوه استفاده از سرویس ارزیابی هوشواره زایا را شرح می‌دهد.
- نمای کلی سرویس ارزیابی هوش مصنوعی زایا - مستنداتی که نحوه ارزیابی مدل‌های هوش مصنوعی زایا را برای پشتیبانی از کارهایی مانند مقایسه مدل، بهبود پیام‌واره، و تنظیم دقیق شرح می‌دهد.
- اجرای خط لوله ارزیابی مبتنی بر محاسبات - مستندات برای نحوه ارزیابی عملکرد مدل.