এই পৃষ্ঠায় ভাষা মূল্যায়ন শব্দকোষ রয়েছে। সকল শব্দকোষের জন্য এখানে ক্লিক করুন ।
ক
মনোযোগ
নিউরাল নেটওয়ার্ক আর্কিটেকচার মেকানিজমের একটি বিস্তৃত পরিসরের যে কোনো একটি ডেটা-নির্ভর পদ্ধতিতে ইনপুটগুলির একটি সেট থেকে তথ্য একত্রিত করে। একটি সাধারণ মনোযোগ প্রক্রিয়া ইনপুটগুলির একটি সেটের উপর একটি ওজনযুক্ত যোগফল নিয়ে গঠিত হতে পারে, যেখানে প্রতিটি ইনপুটের ওজন নিউরাল নেটওয়ার্কের অন্য অংশ দ্বারা গণনা করা হয়।
স্ব-মনোযোগ এবং বহু-হেড স্ব-মনোযোগকেও উল্লেখ করুন, যা ট্রান্সফরমারের বিল্ডিং ব্লক।
খ
শব্দের ব্যাগ
ক্রম নির্বিশেষে একটি বাক্যাংশ বা প্যাসেজে শব্দের উপস্থাপনা। উদাহরণস্বরূপ, শব্দের ব্যাগ নিম্নলিখিত তিনটি বাক্যাংশকে অভিন্নভাবে উপস্থাপন করে:
- কুকুর লাফ দেয়
- কুকুর লাফিয়ে
- কুকুর লাফ দেয়
প্রতিটি শব্দ একটি স্পার্স ভেক্টরের একটি সূচকে ম্যাপ করা হয়, যেখানে ভেক্টরের শব্দভান্ডারের প্রতিটি শব্দের জন্য একটি সূচক থাকে। উদাহরণস্বরূপ, কুকুরের লাফানো শব্দগুচ্ছটি একটি বৈশিষ্ট্য ভেক্টরে ম্যাপ করা হয়েছে যা , কুকুর এবং লাফ শব্দের সাথে সম্পর্কিত তিনটি সূচকে অ-শূন্য মান সহ। অ-শূন্য মান নিম্নলিখিত যে কোনো হতে পারে:
- একটি শব্দের উপস্থিতি বোঝাতে একটি 1।
- ব্যাগে একটি শব্দ কতবার উপস্থিত হয় তার একটি গণনা। উদাহরণস্বরূপ, যদি বাক্যাংশটি মেরুন কুকুর মেরুন পশমযুক্ত একটি কুকুর হয় , তাহলে মেরুন এবং কুকুর উভয়কেই 2 হিসাবে উপস্থাপন করা হবে, অন্য শব্দগুলিকে 1 হিসাবে উপস্থাপন করা হবে।
- আরও কিছু মান, যেমন ব্যাগে একটি শব্দ কতবার উপস্থিত হয় তার সংখ্যার লগারিদম।
BERT (ট্রান্সফরমার থেকে দ্বিমুখী এনকোডার প্রতিনিধিত্ব)
পাঠ্য উপস্থাপনার জন্য একটি মডেল আর্কিটেকচার। একটি প্রশিক্ষিত BERT মডেল পাঠ্য শ্রেণিবিন্যাস বা অন্যান্য ML কাজের জন্য একটি বড় মডেলের অংশ হিসাবে কাজ করতে পারে।
BERT এর নিম্নলিখিত বৈশিষ্ট্য রয়েছে:
- ট্রান্সফরমার আর্কিটেকচার ব্যবহার করে, এবং তাই স্ব-মনোযোগের উপর নির্ভর করে।
- ট্রান্সফরমারের এনকোডার অংশ ব্যবহার করে। এনকোডারের কাজ হল শ্রেণীবিভাগের মতো একটি নির্দিষ্ট কাজ সম্পাদন করার পরিবর্তে ভাল পাঠ্য উপস্থাপনা তৈরি করা।
- দ্বিমুখী ।
- তত্ত্বাবধানহীন প্রশিক্ষণের জন্য মাস্কিং ব্যবহার করে।
BERT এর ভেরিয়েন্টগুলির মধ্যে রয়েছে:
বিগগ্রাম
একটি N-গ্রাম যার মধ্যে N=2।
দ্বিমুখী
এমন একটি শব্দ যা একটি সিস্টেমকে বর্ণনা করতে ব্যবহৃত হয় যা পাঠ্যের একটি লক্ষ্য বিভাগের পূর্ববর্তী এবং অনুসরণ করে এমন পাঠ্যকে মূল্যায়ন করে। বিপরীতে, একটি ইউনিডাইরেকশনাল সিস্টেম শুধুমাত্র পাঠ্যের একটি লক্ষ্য বিভাগের আগে থাকা পাঠ্যকে মূল্যায়ন করে।
উদাহরণস্বরূপ, একটি মুখোশযুক্ত ভাষা মডেল বিবেচনা করুন যা অবশ্যই নিম্নলিখিত প্রশ্নে আন্ডারলাইন প্রতিনিধিত্বকারী শব্দ বা শব্দগুলির সম্ভাব্যতা নির্ধারণ করবে:
আপনার সাথে _____ কি?
একটি একমুখী ভাষা মডেলকে শুধুমাত্র "কী", "is", এবং "the" শব্দ দ্বারা প্রদত্ত প্রেক্ষাপটের উপর ভিত্তি করে তার সম্ভাবনার ভিত্তি করতে হবে। বিপরীতে, একটি দ্বিমুখী ভাষা মডেল "সহ" এবং "আপনি" থেকে প্রসঙ্গ লাভ করতে পারে, যা মডেলটিকে আরও ভাল ভবিষ্যদ্বাণী তৈরি করতে সহায়তা করতে পারে।
দ্বিমুখী ভাষার মডেল
একটি ভাষা মডেল যা পূর্ববর্তী এবং পরবর্তী পাঠ্যের উপর ভিত্তি করে পাঠ্যের একটি উদ্ধৃতিতে একটি প্রদত্ত টোকেন একটি নির্দিষ্ট স্থানে উপস্থিত থাকার সম্ভাবনা নির্ধারণ করে।
BLEU (দ্বিভাষিক মূল্যায়ন আন্ডারস্টাডি)
0.0 এবং 1.0 এর মধ্যে একটি স্কোর, অন্তর্ভুক্ত, দুটি মানব ভাষার মধ্যে একটি অনুবাদের গুণমান নির্দেশ করে (উদাহরণস্বরূপ, ইংরেজি এবং রাশিয়ান মধ্যে)। 1.0 এর একটি BLEU স্কোর একটি নিখুঁত অনুবাদ নির্দেশ করে; একটি BLEU স্কোর 0.0 একটি ভয়ানক অনুবাদ নির্দেশ করে।
গ
কার্যকারণ ভাষা মডেল
একমুখী ভাষা মডেলের প্রতিশব্দ ।
ভাষা মডেলিংয়ে বিভিন্ন দিকনির্দেশক পদ্ধতির বিপরীতে দ্বিমুখী ভাষার মডেল দেখুন।
ক্র্যাশ ব্লসম
একটি অস্পষ্ট অর্থ সহ একটি বাক্য বা বাক্যাংশ। ক্র্যাশ ফুল প্রাকৃতিক ভাষা বোঝার ক্ষেত্রে একটি উল্লেখযোগ্য সমস্যা উপস্থাপন করে। উদাহরণস্বরূপ, শিরোনাম রেড টেপ হোল্ডস আপ স্কাইস্ক্র্যাপার একটি ক্র্যাশ ব্লসম কারণ একটি NLU মডেল শিরোনামটিকে আক্ষরিক বা রূপকভাবে ব্যাখ্যা করতে পারে।
ডি
ডিকোডার
সাধারণভাবে, যে কোনো ML সিস্টেম যা একটি প্রক্রিয়াকৃত, ঘন বা অভ্যন্তরীণ উপস্থাপনা থেকে আরও কাঁচা, বিক্ষিপ্ত বা বাহ্যিক উপস্থাপনায় রূপান্তরিত হয়।
ডিকোডারগুলি প্রায়শই একটি বড় মডেলের একটি উপাদান, যেখানে তারা প্রায়শই একটি এনকোডারের সাথে যুক্ত হয়।
সিকোয়েন্স-টু-সিকোয়েন্স কাজগুলিতে , একটি ডিকোডার পরবর্তী ক্রম অনুমান করার জন্য এনকোডার দ্বারা তৈরি অভ্যন্তরীণ অবস্থা দিয়ে শুরু হয়।
ট্রান্সফরমার আর্কিটেকচারের মধ্যে একটি ডিকোডারের সংজ্ঞার জন্য ট্রান্সফরমার পড়ুন।
denoising
স্ব-তত্ত্বাবধানে শিক্ষার একটি সাধারণ পদ্ধতি যার মধ্যে:
Denoising লেবেলবিহীন উদাহরণ থেকে শেখার সক্ষম করে। মূল ডেটাসেট লক্ষ্য বা লেবেল হিসাবে কাজ করে এবং কোলাহলপূর্ণ ডেটা ইনপুট হিসাবে কাজ করে।
কিছু মুখোশযুক্ত ভাষা মডেল নিম্নরূপ denoising ব্যবহার করে:
- কিছু টোকেন মাস্ক করে লেবেলবিহীন বাক্যে কৃত্রিমভাবে নয়েজ যোগ করা হয়।
- মডেল মূল টোকেন ভবিষ্যদ্বাণী করার চেষ্টা করে।
ই
এম্বেডিং স্তর
একটি বিশেষ লুকানো স্তর যা একটি উচ্চ-মাত্রিক শ্রেণীগত বৈশিষ্ট্যের উপর প্রশিক্ষণ দেয় যা ধীরে ধীরে একটি নিম্ন মাত্রার এম্বেডিং ভেক্টর শিখতে পারে। একটি এম্বেডিং স্তর একটি নিউরাল নেটওয়ার্ককে শুধুমাত্র উচ্চ-মাত্রিক শ্রেণীগত বৈশিষ্ট্যের উপর প্রশিক্ষণের চেয়ে অনেক বেশি দক্ষতার সাথে প্রশিক্ষণ দিতে সক্ষম করে।
উদাহরণস্বরূপ, পৃথিবী বর্তমানে প্রায় 73,000 গাছের প্রজাতিকে সমর্থন করে। ধরুন গাছের প্রজাতি আপনার মডেলের একটি বৈশিষ্ট্য , তাই আপনার মডেলের ইনপুট স্তরে একটি এক-হট ভেক্টর 73,000 উপাদান রয়েছে। উদাহরণস্বরূপ, সম্ভবত baobab এই মত কিছু প্রতিনিধিত্ব করা হবে:
একটি 73,000-এলিমেন্ট অ্যারে খুব দীর্ঘ। আপনি যদি মডেলটিতে একটি এম্বেডিং স্তর যোগ না করেন, তাহলে 72,999 শূন্য গুণ করার কারণে প্রশিক্ষণটি খুব সময়সাপেক্ষ হতে চলেছে। সম্ভবত আপনি 12টি মাত্রা সমন্বিত করার জন্য এম্বেডিং স্তরটি বেছে নিন। ফলস্বরূপ, এম্বেডিং স্তরটি ধীরে ধীরে প্রতিটি গাছের প্রজাতির জন্য একটি নতুন এমবেডিং ভেক্টর শিখবে।
কিছু পরিস্থিতিতে, হ্যাশিং একটি এম্বেডিং স্তরের একটি যুক্তিসঙ্গত বিকল্প।
এম্বেডিং স্থান
উচ্চ-মাত্রিক ভেক্টর স্থান থেকে বৈশিষ্ট্যযুক্ত ডি-ডাইমেনশনাল ভেক্টর স্পেস ম্যাপ করা হয়। আদর্শভাবে, এমবেডিং স্পেস এমন একটি কাঠামো ধারণ করে যা অর্থপূর্ণ গাণিতিক ফলাফল দেয়; উদাহরণস্বরূপ, একটি আদর্শ এম্বেডিং স্পেসে, এম্বেডিংয়ের যোগ এবং বিয়োগ শব্দের সাদৃশ্যের কাজগুলি সমাধান করতে পারে।
দুটি এমবেডিংয়ের ডট পণ্য তাদের সাদৃশ্যের একটি পরিমাপ।
এম্বেডিং ভেক্টর
বিস্তৃতভাবে বলতে গেলে, কোনো লুকানো স্তর থেকে নেওয়া ফ্লোটিং-পয়েন্ট সংখ্যার একটি অ্যারে যা সেই লুকানো স্তরের ইনপুটগুলিকে বর্ণনা করে। প্রায়শই, একটি এমবেডিং ভেক্টর হল একটি এমবেডিং স্তরে প্রশিক্ষিত ফ্লোটিং-পয়েন্ট সংখ্যার অ্যারে। উদাহরণস্বরূপ, ধরুন একটি এম্বেডিং স্তরকে অবশ্যই পৃথিবীতে 73,000টি গাছের প্রজাতির জন্য একটি এমবেডিং ভেক্টর শিখতে হবে। সম্ভবত নিম্নলিখিত অ্যারেটি একটি বাওবাব গাছের জন্য এমবেডিং ভেক্টর:
একটি এম্বেডিং ভেক্টর এলোমেলো সংখ্যার একটি গুচ্ছ নয়। একটি এমবেডিং স্তর প্রশিক্ষণের মাধ্যমে এই মানগুলি নির্ধারণ করে, যেভাবে একটি নিউরাল নেটওয়ার্ক প্রশিক্ষণের সময় অন্যান্য ওজন শেখে। অ্যারের প্রতিটি উপাদান একটি গাছের প্রজাতির কিছু বৈশিষ্ট্য বরাবর একটি রেটিং। কোন উপাদান কোন গাছের প্রজাতির বৈশিষ্ট্য উপস্থাপন করে? এটা মানুষের জন্য নির্ধারণ করা খুব কঠিন।
একটি এমবেডিং ভেক্টরের গাণিতিকভাবে উল্লেখযোগ্য অংশ হল যে অনুরূপ আইটেমগুলিতে ভাসমান-বিন্দু সংখ্যার অনুরূপ সেট রয়েছে। উদাহরণ স্বরূপ, অনুরূপ গাছের প্রজাতির ভিন্ন ভিন্ন বৃক্ষের প্রজাতির তুলনায় ভাসমান-বিন্দু সংখ্যার আরও অনুরূপ সেট রয়েছে। রেডউডস এবং সিকোইয়াস গাছের প্রজাতি সম্পর্কিত, তাই তাদের রেডউডস এবং নারকেল পামের তুলনায় ভাসমান-পয়েন্টিং সংখ্যার আরও অনুরূপ সেট থাকবে। এমবেডিং ভেক্টরের সংখ্যাগুলি আপনি প্রতিবার মডেলটিকে পুনরায় প্রশিক্ষণ দেওয়ার সময় পরিবর্তিত হবে, এমনকি যদি আপনি অভিন্ন ইনপুট দিয়ে মডেলটিকে পুনরায় প্রশিক্ষণ দেন।
এনকোডার
সাধারণভাবে, যে কোনো ML সিস্টেম যা একটি কাঁচা, বিক্ষিপ্ত, বা বাহ্যিক উপস্থাপনা থেকে আরও প্রক্রিয়াকৃত, ঘন বা আরও অভ্যন্তরীণ উপস্থাপনায় রূপান্তরিত হয়।
এনকোডারগুলি প্রায়শই একটি বড় মডেলের একটি উপাদান, যেখানে তারা প্রায়শই একটি ডিকোডারের সাথে যুক্ত হয়। কিছু ট্রান্সফরমার ডিকোডারের সাথে এনকোডার যুক্ত করে, যদিও অন্যান্য ট্রান্সফরমার শুধুমাত্র এনকোডার বা শুধুমাত্র ডিকোডার ব্যবহার করে।
কিছু সিস্টেম শ্রেণীবিভাগ বা রিগ্রেশন নেটওয়ার্কে ইনপুট হিসাবে এনকোডারের আউটপুট ব্যবহার করে।
সিকোয়েন্স-টু-সিকোয়েন্স কাজগুলিতে , একটি এনকোডার একটি ইনপুট সিকোয়েন্স নেয় এবং একটি অভ্যন্তরীণ অবস্থা (একটি ভেক্টর) প্রদান করে। তারপর, ডিকোডার পরবর্তী ক্রম অনুমান করতে সেই অভ্যন্তরীণ অবস্থা ব্যবহার করে।
ট্রান্সফরমার আর্কিটেকচারে একটি এনকোডারের সংজ্ঞার জন্য ট্রান্সফরমার পড়ুন।
জি
জিপিটি (জেনারেটিভ প্রাক-প্রশিক্ষিত ট্রান্সফরমার)
OpenAI দ্বারা বিকশিত ট্রান্সফরমার -ভিত্তিক বড় ভাষা মডেলের একটি পরিবার।
GPT ভেরিয়েন্টগুলি একাধিক পদ্ধতিতে প্রয়োগ করতে পারে, যার মধ্যে রয়েছে:
- ইমেজ জেনারেশন (উদাহরণস্বরূপ, ImageGPT)
- টেক্সট-টু-ইমেজ জেনারেশন (উদাহরণস্বরূপ, DALL-E )।
এল
LaMDA (সংলাপ অ্যাপ্লিকেশনের জন্য ভাষা মডেল)
একটি ট্রান্সফরমার -ভিত্তিক বৃহৎ ভাষা মডেল যা Google দ্বারা তৈরি করা হয়েছে একটি বৃহৎ ডায়ালগ ডেটাসেটে প্রশিক্ষণ দেওয়া হয়েছে যা বাস্তবসম্মত কথোপকথনমূলক প্রতিক্রিয়া তৈরি করতে পারে।
LaMDA: আমাদের যুগান্তকারী কথোপকথন প্রযুক্তি একটি ওভারভিউ প্রদান করে।
ভাষার মডেল
একটি মডেল যা একটি টোকেন বা টোকেনের ক্রম টোকেনগুলির একটি দীর্ঘ ক্রমানুসারে ঘটানোর সম্ভাবনা অনুমান করে৷
বড় ভাষা মডেল
একটি অনানুষ্ঠানিক শব্দ যার কোন কঠোর সংজ্ঞা নেই যার অর্থ সাধারণত একটি ভাষা মডেল যার উচ্চ সংখ্যক পরামিতি রয়েছে। কিছু বড় ভাষার মডেলে 100 বিলিয়নের বেশি প্যারামিটার থাকে।
এম
মুখোশযুক্ত ভাষা মডেল
একটি ভাষা মডেল যা প্রার্থীর টোকেনগুলির একটি ক্রমানুসারে শূন্যস্থান পূরণ করার সম্ভাবনার পূর্বাভাস দেয়৷ উদাহরণস্বরূপ, একটি মুখোশযুক্ত ভাষা মডেল নিম্নলিখিত বাক্যে আন্ডারলাইন প্রতিস্থাপন করতে প্রার্থী শব্দ(গুলি) এর সম্ভাব্যতা গণনা করতে পারে:
টুপির ____ ফিরে এল।
সাহিত্য সাধারণত আন্ডারলাইনের পরিবর্তে স্ট্রিং "MASK" ব্যবহার করে। উদাহরণ স্বরূপ:
টুপিতে "মাস্ক" ফিরে এসেছে।
বেশিরভাগ আধুনিক মুখোশযুক্ত ভাষার মডেলগুলি দ্বিমুখী ।
মেটা-লার্নিং
মেশিন লার্নিংয়ের একটি উপসেট যা একটি শেখার অ্যালগরিদম আবিষ্কার করে বা উন্নত করে। একটি মেটা-লার্নিং সিস্টেমের লক্ষ্য হতে পারে একটি মডেলকে দ্রুত একটি নতুন কাজ শিখতে শেখার জন্য অল্প পরিমাণ ডেটা বা পূর্ববর্তী কাজগুলিতে অর্জিত অভিজ্ঞতা থেকে। মেটা-লার্নিং অ্যালগরিদমগুলি সাধারণত নিম্নলিখিতগুলি অর্জন করার চেষ্টা করে:
- হ্যান্ড-ইঞ্জিনিয়ারড বৈশিষ্ট্যগুলি উন্নত/শিখুন (যেমন একটি ইনিশিয়ালাইজার বা একটি অপ্টিমাইজার)।
- আরও ডেটা-দক্ষ এবং গণনা-দক্ষ হন।
- সাধারণীকরণ উন্নত করুন।
মেটা-লার্নিং অল্প-শট শেখার সাথে সম্পর্কিত।
পদ্ধতি
একটি উচ্চ-স্তরের ডেটা বিভাগ। উদাহরণস্বরূপ, সংখ্যা, পাঠ্য, চিত্র, ভিডিও এবং অডিও পাঁচটি ভিন্ন পদ্ধতি।
মডেল সমান্তরালতা
প্রশিক্ষণ বা অনুমান স্কেলিং করার একটি উপায় যা একটি মডেলের বিভিন্ন অংশকে বিভিন্ন ডিভাইসে রাখে। মডেল সমান্তরাল মডেলগুলিকে সক্ষম করে যেগুলি একটি একক ডিভাইসে ফিট করার জন্য খুব বড়।
ডেটা সমান্তরালতাও দেখুন।
বহু-মাথা স্ব-মনোযোগ
স্ব-মনোযোগের একটি এক্সটেনশন যা ইনপুট অনুক্রমের প্রতিটি অবস্থানের জন্য স্ব-মনোযোগ প্রক্রিয়া একাধিকবার প্রয়োগ করে।
ট্রান্সফরমার মাল্টি-হেড স্ব-মনোযোগ চালু করেছে।
মাল্টিমোডাল মডেল
একটি মডেল যার ইনপুট এবং/অথবা আউটপুট একাধিক মোডালিটি অন্তর্ভুক্ত করে। উদাহরণ স্বরূপ, এমন একটি মডেল বিবেচনা করুন যা একটি চিত্র এবং একটি পাঠ্য ক্যাপশন (দুটি রূপ) উভয়কেই বৈশিষ্ট্য হিসাবে গ্রহণ করে এবং একটি স্কোর আউটপুট করে যা নির্দেশ করে যে পাঠ্য ক্যাপশনটি চিত্রের জন্য কতটা উপযুক্ত। সুতরাং, এই মডেলের ইনপুট মাল্টিমোডাল এবং আউটপুট ইউনিমডাল।
এন
প্রাকৃতিক ভাষা বোঝা
ব্যবহারকারী যা টাইপ করেছেন বা বলেছেন তার উপর ভিত্তি করে ব্যবহারকারীর উদ্দেশ্য নির্ধারণ করা। উদাহরণস্বরূপ, ব্যবহারকারী যা টাইপ করেছেন বা বলেছেন তার উপর ভিত্তি করে ব্যবহারকারী কী অনুসন্ধান করছেন তা নির্ধারণ করতে একটি সার্চ ইঞ্জিন প্রাকৃতিক ভাষা বোঝার ব্যবহার করে।
এন-গ্রাম
N শব্দের একটি আদেশকৃত ক্রম। উদাহরণস্বরূপ, সত্যিকারের পাগল হল একটি 2-গ্রাম। কারণ অর্ডার প্রাসঙ্গিক, madly সত্যি সত্যি পাগলের চেয়ে আলাদা 2-গ্রাম।
| এন | এই ধরনের N-গ্রামের জন্য নাম(গুলি) | উদাহরণ |
|---|---|---|
| 2 | বিগগ্রাম বা 2-গ্রাম | যেতে, যেতে, দুপুরের খাবার খেতে, রাতের খাবার খেতে |
| 3 | ট্রিগ্রাম বা 3-গ্রাম | খুব বেশি খেয়েছে, তিনটি অন্ধ ইঁদুর, ঘণ্টা বাজছে |
| 4 | 4-গ্রাম | পার্কে হাঁটা, বাতাসে ধুলো, ছেলেটা মসুর ডাল খেয়েছে |
অনেক প্রাকৃতিক ভাষা বোঝার মডেল এন-গ্রামের উপর নির্ভর করে পরবর্তী শব্দ যা ব্যবহারকারী টাইপ করবে বা বলবে তা ভবিষ্যদ্বাণী করতে। উদাহরণস্বরূপ, ধরুন একজন ব্যবহারকারী তিনটি অন্ধ টাইপ করেছেন। ট্রিগ্রামের উপর ভিত্তি করে একটি NLU মডেল সম্ভবত ভবিষ্যদ্বাণী করবে যে ব্যবহারকারী পরবর্তীতে ইঁদুর টাইপ করবে।
শব্দের ব্যাগের সাথে এন-গ্রামের বৈসাদৃশ্য করুন, যা শব্দের বিন্যাসহীন সেট।
এনএলইউ
প্রাকৃতিক ভাষা বোঝার জন্য সংক্ষিপ্ত রূপ।
পৃ
পাইপলাইন
মডেলের সমান্তরালতার একটি ফর্ম যেখানে একটি মডেলের প্রক্রিয়াকরণ ধারাবাহিক পর্যায়ে বিভক্ত এবং প্রতিটি পর্যায় একটি ভিন্ন ডিভাইসে কার্যকর করা হয়। একটি পর্যায় একটি ব্যাচ প্রক্রিয়াকরণ করার সময়, পূর্ববর্তী পর্যায়টি পরবর্তী ব্যাচে কাজ করতে পারে।
এছাড়াও মঞ্চস্থ প্রশিক্ষণ দেখুন.
এস
স্ব-মনোযোগ (স্ব-মনোযোগ স্তরও বলা হয়)
একটি নিউরাল নেটওয়ার্ক স্তর যা এম্বেডিংয়ের একটি ক্রমকে (উদাহরণস্বরূপ, টোকেন এম্বেডিং) এম্বেডিংয়ের আরেকটি ক্রমতে রূপান্তরিত করে। আউটপুট সিকোয়েন্সের প্রতিটি এম্বেডিং একটি মনোযোগ প্রক্রিয়ার মাধ্যমে ইনপুট সিকোয়েন্সের উপাদান থেকে তথ্য একত্রিত করে তৈরি করা হয়।
স্ব -মনোযোগের স্ব- অংশটি অন্য কোনো প্রসঙ্গের পরিবর্তে নিজের প্রতি উপস্থিত থাকা ক্রমকে বোঝায়। স্ব-মনোযোগ হল ট্রান্সফরমারগুলির প্রধান বিল্ডিং ব্লকগুলির মধ্যে একটি এবং অভিধান অনুসন্ধান পরিভাষা ব্যবহার করে, যেমন "কোয়েরি", "কী", এবং "মান"।
একটি স্ব-মনোযোগ স্তর ইনপুট উপস্থাপনাগুলির একটি ক্রম দিয়ে শুরু হয়, প্রতিটি শব্দের জন্য একটি। একটি শব্দের জন্য ইনপুট উপস্থাপনা একটি সাধারণ এমবেডিং হতে পারে। একটি ইনপুট অনুক্রমের প্রতিটি শব্দের জন্য, নেটওয়ার্ক শব্দের পুরো অনুক্রমের প্রতিটি উপাদানের সাথে শব্দের প্রাসঙ্গিকতা স্কোর করে। প্রাসঙ্গিকতা স্কোর নির্ধারণ করে যে শব্দের চূড়ান্ত উপস্থাপনা অন্যান্য শব্দের উপস্থাপনাকে কতটা অন্তর্ভুক্ত করে।
উদাহরণস্বরূপ, নিম্নলিখিত বাক্যটি বিবেচনা করুন:
পশুটি রাস্তা পার হয়নি কারণ এটি খুব ক্লান্ত ছিল।
নিম্নলিখিত চিত্রটি ( ট্রান্সফরমার থেকে: ভাষা বোঝার জন্য একটি নভেল নিউরাল নেটওয়ার্ক আর্কিটেকচার ) সর্বনামের জন্য একটি স্ব-মনোযোগ স্তরের মনোযোগের ধরণ দেখায় , প্রতিটি লাইনের অন্ধকার নির্দেশ করে যে প্রতিটি শব্দ উপস্থাপনে কতটা অবদান রাখে:
স্ব-মনোযোগ স্তরটি "এটি" এর সাথে প্রাসঙ্গিক শব্দগুলিকে হাইলাইট করে৷ এই ক্ষেত্রে, মনোযোগ স্তরটি এমন শব্দগুলিকে হাইলাইট করতে শিখেছে যা এটি উল্লেখ করতে পারে, প্রাণীকে সর্বোচ্চ ওজন নির্ধারণ করে।
n টোকেনগুলির একটি ক্রমের জন্য, স্ব-মনোযোগ ক্রমানুসারে প্রতিটি অবস্থানে একবার এম্বেডিংয়ের একটি ক্রম n পৃথক সময়ে রূপান্তরিত করে।
মনোযোগ এবং বহু-মাথা স্ব-মনোযোগও পড়ুন।
অনুভূতির বিশ্লেষণ
পরিসংখ্যানগত বা মেশিন লার্নিং অ্যালগরিদম ব্যবহার করে একটি পরিষেবা, পণ্য, সংস্থা বা বিষয়ের প্রতি একটি গ্রুপের সামগ্রিক মনোভাব—ইতিবাচক বা নেতিবাচক—নির্ধারণ করা। উদাহরণস্বরূপ, প্রাকৃতিক ভাষা বোঝার ব্যবহার করে, একটি অ্যালগরিদম একটি বিশ্ববিদ্যালয়ের পাঠ্যক্রম থেকে পাঠ্য প্রতিক্রিয়ার অনুভূতি বিশ্লেষণ করতে পারে যাতে শিক্ষার্থীরা সাধারণত কোর্সটি পছন্দ করে বা অপছন্দ করে।
সিকোয়েন্স টু সিকোয়েন্স টাস্ক
একটি কাজ যা টোকেনের একটি ইনপুট ক্রমকে টোকেনের একটি আউটপুট ক্রম রূপান্তর করে। উদাহরণস্বরূপ, দুটি জনপ্রিয় ধরণের সিকোয়েন্স-টু-সিকোয়েন্স টাস্ক হল:
- অনুবাদক:
- নমুনা ইনপুট ক্রম: "আমি তোমাকে ভালোবাসি।"
- নমুনা আউটপুট ক্রম: "Je t'aime।"
- প্রশ্নের উত্তর:
- নমুনা ইনপুট ক্রম: "আমার কি নিউ ইয়র্ক সিটিতে আমার গাড়ি দরকার?"
- নমুনা আউটপুট ক্রম: "না। অনুগ্রহ করে আপনার গাড়ি বাড়িতে রাখুন।"
বিক্ষিপ্ত বৈশিষ্ট্য
একটি বৈশিষ্ট্য যার মান প্রধানত শূন্য বা খালি। উদাহরণস্বরূপ, একটি একক 1 মান এবং এক মিলিয়ন 0 মান ধারণকারী একটি বৈশিষ্ট্য স্পার্স। বিপরীতে, একটি ঘন বৈশিষ্ট্যের মান রয়েছে যা প্রধানত শূন্য বা খালি নয়।
মেশিন লার্নিং-এ, বিস্ময়কর সংখ্যক বৈশিষ্ট্য হল বিক্ষিপ্ত বৈশিষ্ট্য। শ্রেণীগত বৈশিষ্ট্যগুলি সাধারণত বিক্ষিপ্ত বৈশিষ্ট্য। উদাহরণস্বরূপ, একটি বনে 300টি সম্ভাব্য গাছের প্রজাতির মধ্যে, একটি একক উদাহরণ শুধুমাত্র একটি ম্যাপেল গাছকে চিহ্নিত করতে পারে। অথবা, একটি ভিডিও লাইব্রেরিতে লক্ষ লক্ষ সম্ভাব্য ভিডিওগুলির মধ্যে, একটি একক উদাহরণ শুধুমাত্র "ক্যাসাব্লাঙ্কা" সনাক্ত করতে পারে।
একটি মডেলে, আপনি সাধারণত এক-হট এনকোডিং সহ স্পার্স বৈশিষ্ট্যগুলি উপস্থাপন করেন। যদি ওয়ান-হট এনকোডিং বড় হয়, আপনি আরও দক্ষতার জন্য ওয়ান-হট এনকোডিংয়ের উপরে একটি এমবেডিং স্তর রাখতে পারেন।
বিক্ষিপ্ত প্রতিনিধিত্ব
একটি স্পার্স বৈশিষ্ট্যে অশূন্য উপাদানগুলির শুধুমাত্র অবস্থান(গুলি) সংরক্ষণ করা।
উদাহরণস্বরূপ, ধরুন প্রজাতি নামক একটি শ্রেণীবদ্ধ বৈশিষ্ট্য একটি নির্দিষ্ট বনে 36টি গাছের species চিহ্নিত করে। আরও অনুমান করুন যে প্রতিটি উদাহরণ শুধুমাত্র একটি একক প্রজাতিকে চিহ্নিত করে।
আপনি প্রতিটি উদাহরণে গাছের প্রজাতির প্রতিনিধিত্ব করতে একটি এক-গরম ভেক্টর ব্যবহার করতে পারেন। একটি এক-হট ভেক্টর একটি একক 1 (উদাহরণে নির্দিষ্ট গাছের প্রজাতির প্রতিনিধিত্ব করতে) এবং 35 0 s (উদাহরণে নয় এমন 35টি গাছের প্রজাতির প্রতিনিধিত্ব করতে) ধারণ করে। সুতরাং, maple এক-উষ্ণ উপস্থাপনাটি নিম্নলিখিতগুলির মতো দেখতে পারে:
বিকল্পভাবে, বিক্ষিপ্ত উপস্থাপনা কেবল নির্দিষ্ট প্রজাতির অবস্থান চিহ্নিত করবে। যদি maple 24 অবস্থানে থাকে, তাহলে maple বিক্ষিপ্ত উপস্থাপনাটি সহজভাবে হবে:
24
লক্ষ্য করুন যে স্পার্স রিপ্রেজেন্টেশনটি ওয়ান-হট রিপ্রেজেন্টেশনের চেয়ে অনেক বেশি কম্প্যাক্ট।
একটু জটিল উদাহরণের জন্য আইকনে ক্লিক করুন।
ধরুন আপনার মডেলের প্রতিটি উদাহরণ অবশ্যই একটি ইংরেজি বাক্যে শব্দের প্রতিনিধিত্ব করবে-কিন্তু সেই শব্দগুলির ক্রম নয়। ইংরেজি প্রায় 170,000 শব্দ নিয়ে গঠিত, তাই ইংরেজি প্রায় 170,000 উপাদান সহ একটি স্বতন্ত্র বৈশিষ্ট্য। বেশিরভাগ ইংরেজি বাক্যে সেই 170,000 শব্দের একটি অত্যন্ত ক্ষুদ্র ভগ্নাংশ ব্যবহার করা হয়, তাই একটি একক উদাহরণে শব্দের সেটটি প্রায় নিশ্চিতভাবে স্পার্স ডেটা হতে চলেছে।
নিম্নলিখিত বাক্য বিবেচনা করুন:
My dog is a great dog
আপনি এই বাক্যে শব্দগুলি উপস্থাপন করতে এক-হট ভেক্টরের একটি বৈকল্পিক ব্যবহার করতে পারেন। এই ভেরিয়েন্টে, ভেক্টরের একাধিক কক্ষে একটি অশূন্য মান থাকতে পারে। তদ্ব্যতীত, এই বৈকল্পিকটিতে, একটি ঘরে একটি ছাড়া অন্য একটি পূর্ণসংখ্যা থাকতে পারে। যদিও বাক্যে "আমার", "হয়", "ক", এবং "মহান" শব্দটি একবারই উপস্থিত হয়, তবে "কুকুর" শব্দটি দুইবার উপস্থিত হয়। এই বাক্যটির শব্দগুলিকে উপস্থাপন করতে এক-হট ভেক্টরের এই রূপটি ব্যবহার করলে নিম্নলিখিত 170,000-উপাদান ভেক্টর পাওয়া যায়:
একই বাক্যের একটি বিক্ষিপ্ত উপস্থাপনা সহজভাবে হবে:
0: 1 26100: 2 45770: 1 58906: 1 91520: 1
মঞ্চস্থ প্রশিক্ষণ
বিচ্ছিন্ন পর্যায়ের একটি ক্রমানুসারে একটি মডেলকে প্রশিক্ষণের একটি কৌশল। লক্ষ্য হতে পারে প্রশিক্ষণ প্রক্রিয়াকে ত্বরান্বিত করা, অথবা আরও ভালো মডেলের মান অর্জন করা।
প্রগতিশীল স্ট্যাকিং পদ্ধতির একটি দৃষ্টান্ত নীচে দেখানো হয়েছে:
- পর্যায় 1-এ 3টি লুকানো স্তর রয়েছে, পর্যায় 2-এ 6টি লুকানো স্তর রয়েছে এবং পর্যায় 3-এ 12টি লুকানো স্তর রয়েছে৷
- পর্যায় 2 পর্যায় 1 এর 3টি লুকানো স্তরগুলিতে শেখা ওজনের সাথে প্রশিক্ষণ শুরু করে। পর্যায় 3 পর্যায় 2 এর 6টি লুকানো স্তরগুলিতে শেখা ওজনের সাথে প্রশিক্ষণ শুরু করে।
পাইপলাইনিংও দেখুন।
টি
টোকেন
একটি ভাষার মডেলে , মডেলটি যে পারমাণবিক ইউনিটের উপর প্রশিক্ষণ নিচ্ছে এবং ভবিষ্যদ্বাণী করছে। একটি টোকেন সাধারণত নিম্নলিখিতগুলির মধ্যে একটি:
- একটি শব্দ—উদাহরণস্বরূপ, "বিড়ালের মতো কুকুর" শব্দটি তিনটি শব্দ টোকেন নিয়ে গঠিত: "কুকুর", "লাইক" এবং "বিড়াল"।
- একটি অক্ষর-উদাহরণস্বরূপ, "বাইক ফিশ" বাক্যাংশটি নয়টি অক্ষরের টোকেন নিয়ে গঠিত। (মনে রাখবেন যে ফাঁকা স্থানটি টোকেনগুলির মধ্যে একটি হিসাবে গণনা করা হয়।)
- সাবওয়ার্ড—যেখানে একটি শব্দ একক টোকেন বা একাধিক টোকেন হতে পারে। একটি সাবওয়ার্ড একটি মূল শব্দ, একটি উপসর্গ বা একটি প্রত্যয় নিয়ে গঠিত। উদাহরণস্বরূপ, একটি ভাষা মডেল যা টোকেন হিসাবে সাবওয়ার্ড ব্যবহার করে "কুকুর" শব্দটিকে দুটি টোকেন হিসাবে দেখতে পারে (মূল শব্দ "কুকুর" এবং বহুবচন প্রত্যয় "s")। সেই একই ভাষার মডেলটি একক শব্দ "ট্যালার" দুটি উপশব্দ হিসাবে দেখতে পারে (মূল শব্দ "টল" এবং প্রত্যয় "er")।
ভাষার মডেলের বাইরের ডোমেনে, টোকেনগুলি অন্যান্য ধরণের পারমাণবিক একককে উপস্থাপন করতে পারে। উদাহরণস্বরূপ, কম্পিউটার দৃষ্টিতে, একটি টোকেন একটি চিত্রের একটি উপসেট হতে পারে।
ট্রান্সফরমার
Google-এ একটি নিউরাল নেটওয়ার্ক আর্কিটেকচার তৈরি করা হয়েছে যা কনভল্যুশন বা পৌনঃপুনিক নিউরাল নেটওয়ার্কের উপর নির্ভর না করে ইনপুট এম্বেডিংয়ের একটি ক্রমকে আউটপুট এম্বেডিংয়ের একটি ক্রমকে রূপান্তর করতে স্ব-মনোযোগ ব্যবস্থার উপর নির্ভর করে। একটি ট্রান্সফরমারকে স্ব-মনোযোগের স্তরগুলির একটি স্ট্যাক হিসাবে দেখা যেতে পারে।
একটি ট্রান্সফরমার নিম্নলিখিত যে কোনো একটি অন্তর্ভুক্ত করতে পারে:
একটি এনকোডার এমবেডিংয়ের একটি ক্রমকে একই দৈর্ঘ্যের একটি নতুন অনুক্রমে রূপান্তরিত করে। একটি এনকোডারে N অভিন্ন স্তর রয়েছে, যার প্রতিটিতে দুটি উপ-স্তর রয়েছে। এই দুটি উপ-স্তর ইনপুট এমবেডিং সিকোয়েন্সের প্রতিটি অবস্থানে প্রয়োগ করা হয়, ক্রমটির প্রতিটি উপাদানকে একটি নতুন এমবেডিংয়ে রূপান্তরিত করে। প্রথম এনকোডার সাব-লেয়ার ইনপুট ক্রম জুড়ে তথ্য একত্রিত করে। দ্বিতীয় এনকোডার সাব-লেয়ারটি একত্রিত তথ্যকে একটি আউটপুট এম্বেডিং-এ রূপান্তরিত করে।
একটি ডিকোডার ইনপুট এম্বেডিংয়ের একটি ক্রমকে আউটপুট এম্বেডিংয়ের একটি ক্রমতে রূপান্তরিত করে, সম্ভবত একটি ভিন্ন দৈর্ঘ্যের সাথে। একটি ডিকোডারে তিনটি সাব-লেয়ার সহ N অভিন্ন স্তরগুলিও রয়েছে, যার মধ্যে দুটি এনকোডার সাব-লেয়ারের মতো। তৃতীয় ডিকোডার সাব-লেয়ার এনকোডারের আউটপুট নেয় এবং এটি থেকে তথ্য সংগ্রহ করার জন্য স্ব-মনোযোগ ব্যবস্থা প্রয়োগ করে।
ব্লগ পোস্ট ট্রান্সফরমার: ভাষা বোঝার জন্য একটি নভেল নিউরাল নেটওয়ার্ক আর্কিটেকচার ট্রান্সফরমারগুলির একটি ভাল পরিচয় প্রদান করে।
trigram
একটি N-গ্রাম যার মধ্যে N=3।
উ
একমুখী
একটি সিস্টেম যা শুধুমাত্র পাঠ্যের মূল্যায়ন করে যা পাঠ্যের একটি লক্ষ্য বিভাগের আগে থাকে। বিপরীতে, একটি দ্বিমুখী সিস্টেম পাঠ্যের একটি লক্ষ্য বিভাগের পূর্ববর্তী এবং অনুসরণ করে উভয় পাঠ্যকে মূল্যায়ন করে। আরও বিস্তারিত জানার জন্য দ্বিমুখী দেখুন।
একমুখী ভাষা মডেল
একটি ভাষা মডেল যা তার সম্ভাব্যতাকে ভিত্তি করে শুধুমাত্র টোকেনের আগে প্রদর্শিত, পরে নয়, লক্ষ্য টোকেন(গুলি)। দ্বিমুখী ভাষার মডেলের সাথে বৈসাদৃশ্য।
ডব্লিউ
শব্দ এমবেডিং
একটি এমবেডিং ভেক্টরের মধ্যে সেট করা একটি শব্দে প্রতিটি শব্দের প্রতিনিধিত্ব করা; অর্থাৎ, 0.0 এবং 1.0 এর মধ্যে ফ্লোটিং-পয়েন্ট মানের ভেক্টর হিসাবে প্রতিটি শব্দকে উপস্থাপন করে। একই অর্থ সহ শব্দের বিভিন্ন অর্থের শব্দের তুলনায় আরও বেশি অনুরূপ উপস্থাপনা রয়েছে। উদাহরণস্বরূপ, গাজর , সেলারি , এবং শসা সবগুলিরই তুলনামূলকভাবে একই রকম উপস্থাপনা থাকবে, যা বিমান , সানগ্লাস এবং টুথপেস্টের উপস্থাপনা থেকে খুব আলাদা হবে।