মেশিন লার্নিং শব্দকোষ: ভাষা মূল্যায়ন

সেভ করা পৃষ্ঠা গুছিয়ে রাখতে 'সংগ্রহ' ব্যবহার করুন আপনার পছন্দ অনুযায়ী কন্টেন্ট সেভ করুন ও সঠিক বিভাগে রাখুন।

এই পৃষ্ঠায় ভাষা মূল্যায়ন শব্দকোষ রয়েছে। সকল শব্দকোষের জন্য এখানে ক্লিক করুন

মনোযোগ

#ভাষা

নিউরাল নেটওয়ার্ক আর্কিটেকচার মেকানিজমের একটি বিস্তৃত পরিসরের যে কোনো একটি ডেটা-নির্ভর পদ্ধতিতে ইনপুটগুলির একটি সেট থেকে তথ্য একত্রিত করে। একটি সাধারণ মনোযোগ প্রক্রিয়া ইনপুটগুলির একটি সেটের উপর একটি ওজনযুক্ত যোগফল নিয়ে গঠিত হতে পারে, যেখানে প্রতিটি ইনপুটের ওজন নিউরাল নেটওয়ার্কের অন্য অংশ দ্বারা গণনা করা হয়।

স্ব-মনোযোগ এবং বহু-হেড স্ব-মনোযোগকেও উল্লেখ করুন, যা ট্রান্সফরমারের বিল্ডিং ব্লক।

শব্দের ব্যাগ

#ভাষা

ক্রম নির্বিশেষে একটি বাক্যাংশ বা প্যাসেজে শব্দের উপস্থাপনা। উদাহরণস্বরূপ, শব্দের ব্যাগ নিম্নলিখিত তিনটি বাক্যাংশকে অভিন্নভাবে উপস্থাপন করে:

  • কুকুর লাফ দেয়
  • কুকুর লাফিয়ে
  • কুকুর লাফ দেয়

প্রতিটি শব্দ একটি স্পার্স ভেক্টরের একটি সূচকে ম্যাপ করা হয়, যেখানে ভেক্টরের শব্দভান্ডারের প্রতিটি শব্দের জন্য একটি সূচক থাকে। উদাহরণস্বরূপ, কুকুরের লাফানো শব্দগুচ্ছটি একটি বৈশিষ্ট্য ভেক্টরে ম্যাপ করা হয়েছে যা , কুকুর এবং লাফ শব্দের সাথে সম্পর্কিত তিনটি সূচকে অ-শূন্য মান সহ। অ-শূন্য মান নিম্নলিখিত যে কোনো হতে পারে:

  • একটি শব্দের উপস্থিতি বোঝাতে একটি 1।
  • ব্যাগে একটি শব্দ কতবার উপস্থিত হয় তার একটি গণনা। উদাহরণস্বরূপ, যদি বাক্যাংশটি মেরুন কুকুর মেরুন পশমযুক্ত একটি কুকুর হয় , তাহলে মেরুন এবং কুকুর উভয়কেই 2 হিসাবে উপস্থাপন করা হবে, অন্য শব্দগুলিকে 1 হিসাবে উপস্থাপন করা হবে।
  • আরও কিছু মান, যেমন ব্যাগে একটি শব্দ কতবার উপস্থিত হয় তার সংখ্যার লগারিদম।

BERT (ট্রান্সফরমার থেকে দ্বিমুখী এনকোডার প্রতিনিধিত্ব)

#ভাষা

পাঠ্য উপস্থাপনার জন্য একটি মডেল আর্কিটেকচার। একটি প্রশিক্ষিত BERT মডেল পাঠ্য শ্রেণিবিন্যাস বা অন্যান্য ML কাজের জন্য একটি বড় মডেলের অংশ হিসাবে কাজ করতে পারে।

BERT এর নিম্নলিখিত বৈশিষ্ট্য রয়েছে:

BERT এর ভেরিয়েন্টগুলির মধ্যে রয়েছে:

ওপেন সোর্সিং বিইআরটি দেখুন: বিইআরটি-এর সংক্ষিপ্ত বিবরণের জন্য প্রাকৃতিক ভাষা প্রক্রিয়াকরণের জন্য অত্যাধুনিক প্রাক-প্রশিক্ষণ

বিগগ্রাম

#সেক
#ভাষা

একটি N-গ্রাম যার মধ্যে N=2।

দ্বিমুখী

#ভাষা

এমন একটি শব্দ যা একটি সিস্টেমকে বর্ণনা করতে ব্যবহৃত হয় যা পাঠ্যের একটি লক্ষ্য বিভাগের পূর্ববর্তী এবং অনুসরণ করে এমন পাঠ্যকে মূল্যায়ন করে। বিপরীতে, একটি ইউনিডাইরেকশনাল সিস্টেম শুধুমাত্র পাঠ্যের একটি লক্ষ্য বিভাগের আগে থাকা পাঠ্যকে মূল্যায়ন করে।

উদাহরণস্বরূপ, একটি মুখোশযুক্ত ভাষা মডেল বিবেচনা করুন যা নিম্নলিখিত প্রশ্নে আন্ডারলাইন প্রতিনিধিত্বকারী শব্দ(গুলি) এর সম্ভাব্যতা নির্ধারণ করতে হবে:

আপনার সাথে _____ কি?

একটি একমুখী ভাষা মডেলকে শুধুমাত্র "কী", "is", এবং "the" শব্দ দ্বারা প্রদত্ত প্রেক্ষাপটের উপর ভিত্তি করে তার সম্ভাবনার ভিত্তি করতে হবে। বিপরীতে, একটি দ্বিমুখী ভাষা মডেল "সহ" এবং "আপনি" থেকে প্রসঙ্গ লাভ করতে পারে, যা মডেলটিকে আরও ভাল ভবিষ্যদ্বাণী তৈরি করতে সহায়তা করতে পারে।

দ্বিমুখী ভাষার মডেল

#ভাষা

একটি ভাষা মডেল যা পূর্ববর্তী এবং পরবর্তী পাঠ্যের উপর ভিত্তি করে পাঠ্যের একটি উদ্ধৃতিতে একটি প্রদত্ত টোকেন একটি নির্দিষ্ট স্থানে উপস্থিত থাকার সম্ভাবনা নির্ধারণ করে।

BLEU (দ্বিভাষিক মূল্যায়ন আন্ডারস্টাডি)

#ভাষা

0.0 এবং 1.0 এর মধ্যে একটি স্কোর, অন্তর্ভুক্ত, দুটি মানব ভাষার মধ্যে একটি অনুবাদের গুণমান নির্দেশ করে (উদাহরণস্বরূপ, ইংরেজি এবং রাশিয়ান মধ্যে)। 1.0 এর একটি BLEU স্কোর একটি নিখুঁত অনুবাদ নির্দেশ করে; একটি BLEU স্কোর 0.0 একটি ভয়ানক অনুবাদ নির্দেশ করে।

কার্যকারণ ভাষা মডেল

#ভাষা

একমুখী ভাষা মডেলের প্রতিশব্দ

ভাষা মডেলিংয়ে বিভিন্ন দিকনির্দেশক পদ্ধতির বিপরীতে দ্বিমুখী ভাষার মডেল দেখুন।

ক্র্যাশ ব্লসম

#ভাষা

একটি অস্পষ্ট অর্থ সহ একটি বাক্য বা বাক্যাংশ। ক্র্যাশ ফুল প্রাকৃতিক ভাষা বোঝার ক্ষেত্রে একটি উল্লেখযোগ্য সমস্যা উপস্থাপন করে। উদাহরণস্বরূপ, শিরোনাম রেড টেপ হোল্ডস আপ স্কাইস্ক্র্যাপার একটি ক্র্যাশ ব্লসম কারণ একটি NLU মডেল শিরোনামটিকে আক্ষরিক বা রূপকভাবে ব্যাখ্যা করতে পারে।

ডি

ডিকোডার

#ভাষা

সাধারণভাবে, যে কোনো ML সিস্টেম যা একটি প্রক্রিয়াকৃত, ঘন বা অভ্যন্তরীণ উপস্থাপনা থেকে আরও কাঁচা, বিক্ষিপ্ত বা বাহ্যিক উপস্থাপনায় রূপান্তরিত হয়।

ডিকোডারগুলি প্রায়শই একটি বড় মডেলের একটি উপাদান, যেখানে তারা প্রায়শই একটি এনকোডারের সাথে যুক্ত হয়।

সিকোয়েন্স-টু-সিকোয়েন্স কাজগুলিতে , একটি ডিকোডার পরবর্তী ক্রম অনুমান করার জন্য এনকোডার দ্বারা তৈরি অভ্যন্তরীণ অবস্থা দিয়ে শুরু হয়।

ট্রান্সফরমার আর্কিটেকচারের মধ্যে একটি ডিকোডারের সংজ্ঞার জন্য ট্রান্সফরমার পড়ুন।

denoising

#ভাষা

স্ব-তত্ত্বাবধানে শিক্ষার একটি সাধারণ পদ্ধতি যার মধ্যে:

  1. গোলমাল কৃত্রিমভাবে ডেটাসেটে যোগ করা হয়।
  2. মডেল গোলমাল অপসারণ করার চেষ্টা করে।

Denoising লেবেলবিহীন উদাহরণ থেকে শেখার সক্ষম করে। মূল ডেটাসেট লক্ষ্য বা লেবেল হিসাবে কাজ করে এবং কোলাহলপূর্ণ ডেটা ইনপুট হিসাবে কাজ করে।

কিছু মুখোশযুক্ত ভাষা মডেল নিম্নরূপ denoising ব্যবহার করে:

  1. কিছু টোকেন মাস্ক করে লেবেলবিহীন বাক্যে কৃত্রিমভাবে নয়েজ যোগ করা হয়।
  2. মডেল মূল টোকেন ভবিষ্যদ্বাণী করার চেষ্টা করে।

এমবেডিং

#ভাষা

একটি শ্রেণীবদ্ধ বৈশিষ্ট্য একটি ক্রমাগত-মূল্যবান বৈশিষ্ট্য হিসাবে উপস্থাপিত। সাধারণত, একটি এম্বেডিং হল একটি উচ্চ-মাত্রিক ভেক্টরের একটি নিম্ন-মাত্রিক স্থানের অনুবাদ। উদাহরণস্বরূপ, আপনি নিম্নলিখিত দুটি উপায়ে একটি ইংরেজি বাক্যে শব্দগুলি উপস্থাপন করতে পারেন:

  • একটি মিলিয়ন-উপাদান (উচ্চ-মাত্রিক) স্পার্স ভেক্টর হিসাবে যেখানে সমস্ত উপাদান পূর্ণসংখ্যা। ভেক্টরের প্রতিটি কোষ একটি পৃথক ইংরেজি শব্দের প্রতিনিধিত্ব করে; একটি কক্ষের মান একটি বাক্যে শব্দটি কতবার উপস্থিত হয় তা প্রতিনিধিত্ব করে। যেহেতু একটি ইংরেজি বাক্যে 50টির বেশি শব্দ থাকার সম্ভাবনা নেই, তাই ভেক্টরের প্রায় প্রতিটি ঘরে একটি 0 থাকবে। 0 নয় এমন কয়েকটি কোষে একটি কম পূর্ণসংখ্যা থাকবে (সাধারণত 1) শব্দটি কতবার উপস্থিত হয়েছে তা প্রতিনিধিত্ব করে বাক্যে
  • একটি কয়েকশ-এলিমেন্ট (নিম্ন-মাত্রিক) ঘন ভেক্টর হিসাবে যেখানে প্রতিটি উপাদান 0 এবং 1 এর মধ্যে একটি ভাসমান-বিন্দু মান রাখে। এটি একটি এমবেডিং।

TensorFlow-এ, এম্বেডিংগুলিকে একটি নিউরাল নেটওয়ার্কের অন্যান্য প্যারামিটারের মতো ব্যাকপ্রপাগেটিং ক্ষতির মাধ্যমে প্রশিক্ষিত করা হয়।

এম্বেডিং স্থান

#ভাষা

উচ্চ-মাত্রিক ভেক্টর স্থান থেকে বৈশিষ্ট্যযুক্ত ডি-ডাইমেনশনাল ভেক্টর স্পেস ম্যাপ করা হয়। আদর্শভাবে, এমবেডিং স্পেস এমন একটি কাঠামো ধারণ করে যা অর্থপূর্ণ গাণিতিক ফলাফল দেয়; উদাহরণস্বরূপ, একটি আদর্শ এম্বেডিং স্পেসে, এম্বেডিংয়ের যোগ এবং বিয়োগ শব্দের সাদৃশ্যের কাজগুলি সমাধান করতে পারে।

দুটি এমবেডিংয়ের ডট পণ্য তাদের সাদৃশ্যের একটি পরিমাপ।

এনকোডার

#ভাষা

সাধারণভাবে, যে কোনো ML সিস্টেম যা একটি কাঁচা, বিক্ষিপ্ত, বা বাহ্যিক উপস্থাপনা থেকে আরও প্রক্রিয়াকৃত, ঘন বা আরও অভ্যন্তরীণ উপস্থাপনায় রূপান্তরিত হয়।

এনকোডারগুলি প্রায়শই একটি বড় মডেলের একটি উপাদান, যেখানে তারা প্রায়শই একটি ডিকোডারের সাথে যুক্ত হয়। কিছু ট্রান্সফরমার ডিকোডারের সাথে এনকোডার যুক্ত করে, যদিও অন্যান্য ট্রান্সফরমার শুধুমাত্র এনকোডার বা শুধুমাত্র ডিকোডার ব্যবহার করে।

কিছু সিস্টেম শ্রেণীবিভাগ বা রিগ্রেশন নেটওয়ার্কে ইনপুট হিসাবে এনকোডারের আউটপুট ব্যবহার করে।

সিকোয়েন্স-টু-সিকোয়েন্স কাজগুলিতে , একটি এনকোডার একটি ইনপুট সিকোয়েন্স নেয় এবং একটি অভ্যন্তরীণ অবস্থা (একটি ভেক্টর) প্রদান করে। তারপর, ডিকোডার পরবর্তী ক্রম অনুমান করতে সেই অভ্যন্তরীণ অবস্থা ব্যবহার করে।

ট্রান্সফরমার আর্কিটেকচারে একটি এনকোডারের সংজ্ঞার জন্য ট্রান্সফরমার পড়ুন।

জি

জিপিটি (জেনারেটিভ প্রাক-প্রশিক্ষিত ট্রান্সফরমার)

#ভাষা

OpenAI দ্বারা বিকশিত ট্রান্সফরমার -ভিত্তিক বড় ভাষা মডেলের একটি পরিবার।

GPT ভেরিয়েন্টগুলি একাধিক পদ্ধতিতে প্রয়োগ করতে পারে, যার মধ্যে রয়েছে:

  • ইমেজ জেনারেশন (উদাহরণস্বরূপ, ImageGPT)
  • টেক্সট-টু-ইমেজ জেনারেশন (উদাহরণস্বরূপ, DALL-E )।

এল

LaMDA (সংলাপ অ্যাপ্লিকেশনের জন্য ভাষা মডেল)

#ভাষা

একটি ট্রান্সফরমার -ভিত্তিক বৃহৎ ভাষা মডেল যা Google দ্বারা তৈরি করা হয়েছে একটি বৃহৎ ডায়ালগ ডেটাসেটে প্রশিক্ষণ দেওয়া হয়েছে যা বাস্তবসম্মত কথোপকথনমূলক প্রতিক্রিয়া তৈরি করতে পারে।

LaMDA: আমাদের যুগান্তকারী কথোপকথন প্রযুক্তি একটি ওভারভিউ প্রদান করে।

ভাষার মডেল

#ভাষা

একটি মডেল যা একটি টোকেন বা টোকেনের ক্রম টোকেনগুলির একটি দীর্ঘ ক্রমানুসারে ঘটানোর সম্ভাবনা অনুমান করে৷

বড় ভাষা মডেল

#ভাষা

একটি অনানুষ্ঠানিক শব্দ যার কোন কঠোর সংজ্ঞা নেই যার অর্থ সাধারণত একটি ভাষা মডেল যার উচ্চ সংখ্যক পরামিতি রয়েছে। কিছু বড় ভাষার মডেলে 100 বিলিয়নের বেশি প্যারামিটার থাকে।

এম

মুখোশযুক্ত ভাষা মডেল

#ভাষা

একটি ভাষা মডেল যা প্রার্থীর টোকেনগুলির একটি ক্রমানুসারে শূন্যস্থান পূরণ করার সম্ভাবনার পূর্বাভাস দেয়৷ উদাহরণস্বরূপ, একটি মুখোশযুক্ত ভাষা মডেল নিম্নলিখিত বাক্যে আন্ডারলাইন প্রতিস্থাপন করতে প্রার্থী শব্দ(গুলি) এর সম্ভাব্যতা গণনা করতে পারে:

টুপির ____ ফিরে এল।

সাহিত্য সাধারণত আন্ডারলাইনের পরিবর্তে স্ট্রিং "MASK" ব্যবহার করে। উদাহরণ স্বরূপ:

টুপিতে "মাস্ক" ফিরে এসেছে।

বেশিরভাগ আধুনিক মুখোশযুক্ত ভাষার মডেলগুলি দ্বিমুখী

মেটা-লার্নিং

#ভাষা

মেশিন লার্নিংয়ের একটি উপসেট যা একটি শেখার অ্যালগরিদম আবিষ্কার করে বা উন্নত করে। একটি মেটা-লার্নিং সিস্টেমের লক্ষ্য হতে পারে একটি মডেলকে দ্রুত একটি নতুন কাজ শিখতে শেখার জন্য অল্প পরিমাণ ডেটা বা পূর্ববর্তী কাজগুলিতে অর্জিত অভিজ্ঞতা থেকে। মেটা-লার্নিং অ্যালগরিদমগুলি সাধারণত নিম্নলিখিতগুলি অর্জন করার চেষ্টা করে:

  • হ্যান্ড-ইঞ্জিনিয়ারড বৈশিষ্ট্যগুলি উন্নত/শিখুন (যেমন একটি ইনিশিয়ালাইজার বা একটি অপ্টিমাইজার)।
  • আরও ডেটা-দক্ষ এবং গণনা-দক্ষ হন।
  • সাধারণীকরণ উন্নত করুন।

মেটা-লার্নিং অল্প-শট শেখার সাথে সম্পর্কিত।

পদ্ধতি

#ভাষা

একটি উচ্চ-স্তরের ডেটা বিভাগ। উদাহরণস্বরূপ, সংখ্যা, পাঠ্য, চিত্র, ভিডিও এবং অডিও পাঁচটি ভিন্ন পদ্ধতি।

মডেল সমান্তরালতা

#ভাষা

প্রশিক্ষণ বা অনুমান স্কেলিং করার একটি উপায় যা একটি মডেলের বিভিন্ন অংশকে বিভিন্ন ডিভাইসে রাখে। মডেল সমান্তরাল মডেলগুলিকে সক্ষম করে যেগুলি একটি একক ডিভাইসে ফিট করার জন্য খুব বড়।

ডেটা সমান্তরালতাও দেখুন।

বহু-মাথা স্ব-মনোযোগ

#ভাষা

স্ব-মনোযোগের একটি এক্সটেনশন যা ইনপুট অনুক্রমের প্রতিটি অবস্থানের জন্য স্ব-মনোযোগ প্রক্রিয়া একাধিকবার প্রয়োগ করে।

ট্রান্সফরমার মাল্টি-হেড স্ব-মনোযোগ চালু করেছে।

মাল্টিমোডাল মডেল

#ভাষা

একটি মডেল যার ইনপুট এবং/অথবা আউটপুট একাধিক মোডালিটি অন্তর্ভুক্ত করে। উদাহরণ স্বরূপ, এমন একটি মডেল বিবেচনা করুন যা একটি চিত্র এবং একটি পাঠ্য ক্যাপশন (দুটি রূপ) উভয়কেই বৈশিষ্ট্য হিসাবে গ্রহণ করে এবং একটি স্কোর আউটপুট করে যা নির্দেশ করে যে পাঠ্য ক্যাপশনটি চিত্রের জন্য কতটা উপযুক্ত। সুতরাং, এই মডেলের ইনপুট মাল্টিমোডাল এবং আউটপুট ইউনিমডাল।

এন

প্রাকৃতিক ভাষা বোঝা

#ভাষা

ব্যবহারকারী যা টাইপ করেছেন বা বলেছেন তার উপর ভিত্তি করে ব্যবহারকারীর উদ্দেশ্য নির্ধারণ করা। উদাহরণস্বরূপ, ব্যবহারকারী যা টাইপ করেছেন বা বলেছেন তার উপর ভিত্তি করে ব্যবহারকারী কী অনুসন্ধান করছেন তা নির্ধারণ করতে একটি সার্চ ইঞ্জিন প্রাকৃতিক ভাষা বোঝার ব্যবহার করে।

এন-গ্রাম

#সেক
#ভাষা

N শব্দের একটি আদেশকৃত ক্রম। উদাহরণস্বরূপ, সত্যিকারের পাগল হল একটি 2-গ্রাম। কারণ অর্ডার প্রাসঙ্গিক, madly সত্যি সত্যি পাগলের চেয়ে আলাদা 2-গ্রাম।

এন এই ধরনের N-গ্রামের জন্য নাম(গুলি) উদাহরণ
2 বিগগ্রাম বা 2-গ্রাম যেতে, যেতে, দুপুরের খাবার খেতে, রাতের খাবার খেতে
3 ট্রিগ্রাম বা 3-গ্রাম খুব বেশি খেয়েছে, তিনটি অন্ধ ইঁদুর, ঘণ্টা বাজছে
4 4-গ্রাম পার্কে হাঁটা, বাতাসে ধুলো, ছেলেটা মসুর ডাল খেয়েছে

অনেক প্রাকৃতিক ভাষা বোঝার মডেল এন-গ্রামের উপর নির্ভর করে পরবর্তী শব্দ যা ব্যবহারকারী টাইপ করবে বা বলবে তা ভবিষ্যদ্বাণী করতে। উদাহরণস্বরূপ, ধরুন একজন ব্যবহারকারী তিনটি অন্ধ টাইপ করেছেন। ট্রিগ্রামের উপর ভিত্তি করে একটি NLU মডেল সম্ভবত ভবিষ্যদ্বাণী করবে যে ব্যবহারকারী পরবর্তীতে ইঁদুর টাইপ করবে।

শব্দের ব্যাগের সাথে এন-গ্রামের বৈসাদৃশ্য করুন, যা শব্দের বিন্যাসহীন সেট।

এনএলইউ

#ভাষা

প্রাকৃতিক ভাষা বোঝার জন্য সংক্ষিপ্ত রূপ।

পৃ

পাইপলাইন

#ভাষা

মডেলের সমান্তরালতার একটি ফর্ম যেখানে একটি মডেলের প্রক্রিয়াকরণ ধারাবাহিক পর্যায়ে বিভক্ত এবং প্রতিটি পর্যায় একটি ভিন্ন ডিভাইসে কার্যকর করা হয়। একটি পর্যায় একটি ব্যাচ প্রক্রিয়াকরণ করার সময়, পূর্ববর্তী পর্যায়টি পরবর্তী ব্যাচে কাজ করতে পারে।

এছাড়াও মঞ্চস্থ প্রশিক্ষণ দেখুন.

এস

স্ব-মনোযোগ (স্ব-মনোযোগ স্তরও বলা হয়)

#ভাষা

একটি নিউরাল নেটওয়ার্ক স্তর যা এম্বেডিংয়ের একটি ক্রমকে (উদাহরণস্বরূপ, টোকেন এম্বেডিং) এম্বেডিংয়ের আরেকটি ক্রমতে রূপান্তরিত করে। আউটপুট সিকোয়েন্সের প্রতিটি এম্বেডিং একটি মনোযোগ প্রক্রিয়ার মাধ্যমে ইনপুট সিকোয়েন্সের উপাদান থেকে তথ্য একত্রিত করে তৈরি করা হয়।

স্ব -মনোযোগের স্ব- অংশটি অন্য কোনো প্রসঙ্গের পরিবর্তে নিজের প্রতি উপস্থিত থাকা ক্রমকে বোঝায়। স্ব-মনোযোগ হল ট্রান্সফরমারগুলির প্রধান বিল্ডিং ব্লকগুলির মধ্যে একটি এবং অভিধান অনুসন্ধান পরিভাষা ব্যবহার করে, যেমন "কোয়েরি", "কী", এবং "মান"।

একটি স্ব-মনোযোগ স্তর ইনপুট উপস্থাপনাগুলির একটি ক্রম দিয়ে শুরু হয়, প্রতিটি শব্দের জন্য একটি। একটি শব্দের জন্য ইনপুট উপস্থাপনা একটি সাধারণ এমবেডিং হতে পারে। একটি ইনপুট অনুক্রমের প্রতিটি শব্দের জন্য, নেটওয়ার্ক শব্দের পুরো অনুক্রমের প্রতিটি উপাদানের সাথে শব্দের প্রাসঙ্গিকতা স্কোর করে। প্রাসঙ্গিকতা স্কোর নির্ধারণ করে যে শব্দের চূড়ান্ত উপস্থাপনা অন্যান্য শব্দের উপস্থাপনাকে কতটা অন্তর্ভুক্ত করে।

উদাহরণস্বরূপ, নিম্নলিখিত বাক্যটি বিবেচনা করুন:

পশুটি রাস্তা পার হয়নি কারণ এটি খুব ক্লান্ত ছিল।

নিম্নলিখিত চিত্রটি ( ট্রান্সফরমার থেকে: ভাষা বোঝার জন্য একটি নভেল নিউরাল নেটওয়ার্ক আর্কিটেকচার ) সর্বনামের জন্য একটি স্ব-মনোযোগ স্তরের মনোযোগের ধরণ দেখায় , প্রতিটি লাইনের অন্ধকার নির্দেশ করে যে প্রতিটি শব্দ উপস্থাপনে কতটা অবদান রাখে:

নিম্নলিখিত বাক্যটি দুবার দেখা যাচ্ছে: 'প্রাণীটি রাস্তা পার হয়নি কারণ এটি খুব ক্লান্ত ছিল।' লাইনগুলি একটি বাক্যে 'এটি' শব্দটিকে অন্য বাক্যে পাঁচটি টোকেনের ('দ্য', 'প্রাণী', 'রাস্তা', 'এটি' এবং পিরিয়ড) এর সাথে সংযুক্ত করে। 'এটি' এবং 'প্রাণী' এর মধ্যে লাইনটি সবচেয়ে শক্তিশালী।

স্ব-মনোযোগ স্তরটি "এটি" এর সাথে প্রাসঙ্গিক শব্দগুলিকে হাইলাইট করে৷ এই ক্ষেত্রে, মনোযোগ স্তরটি এমন শব্দগুলিকে হাইলাইট করতে শিখেছে যা এটি উল্লেখ করতে পারে, প্রাণীকে সর্বোচ্চ ওজন নির্ধারণ করে।

n টোকেনগুলির একটি ক্রমের জন্য, স্ব-মনোযোগ ক্রমানুসারে প্রতিটি অবস্থানে একবার এম্বেডিংয়ের একটি ক্রম n পৃথক সময়ে রূপান্তরিত করে।

মনোযোগ এবং বহু-মাথা স্ব-মনোযোগও পড়ুন।

অনুভূতির বিশ্লেষণ

#ভাষা

পরিসংখ্যানগত বা মেশিন লার্নিং অ্যালগরিদম ব্যবহার করে একটি পরিষেবা, পণ্য, সংস্থা বা বিষয়ের প্রতি একটি গ্রুপের সামগ্রিক মনোভাব—ইতিবাচক বা নেতিবাচক—নির্ধারণ করা। উদাহরণস্বরূপ, প্রাকৃতিক ভাষা বোঝার ব্যবহার করে, একটি অ্যালগরিদম একটি বিশ্ববিদ্যালয়ের পাঠ্যক্রম থেকে পাঠ্য প্রতিক্রিয়ার অনুভূতি বিশ্লেষণ করতে পারে যাতে শিক্ষার্থীরা সাধারণত কোর্সটি পছন্দ করে বা অপছন্দ করে।

সিকোয়েন্স টু সিকোয়েন্স টাস্ক

#ভাষা

একটি কাজ যা টোকেনের একটি ইনপুট ক্রমকে টোকেনের একটি আউটপুট ক্রম রূপান্তর করে। উদাহরণস্বরূপ, দুটি জনপ্রিয় ধরণের সিকোয়েন্স-টু-সিকোয়েন্স টাস্ক হল:

  • অনুবাদক:
    • নমুনা ইনপুট ক্রম: "আমি তোমাকে ভালোবাসি।"
    • নমুনা আউটপুট ক্রম: "Je t'aime।"
  • প্রশ্নের উত্তর:
    • নমুনা ইনপুট ক্রম: "আমার কি নিউ ইয়র্ক সিটিতে আমার গাড়ি দরকার?"
    • নমুনা আউটপুট ক্রম: "না। অনুগ্রহ করে আপনার গাড়ি বাড়িতে রাখুন।"

মঞ্চস্থ প্রশিক্ষণ

#ভাষা

বিচ্ছিন্ন পর্যায়ের একটি ক্রমানুসারে একটি মডেলকে প্রশিক্ষণের একটি কৌশল। লক্ষ্য হতে পারে প্রশিক্ষণ প্রক্রিয়াকে ত্বরান্বিত করা, অথবা আরও ভালো মডেলের মান অর্জন করা।

প্রগতিশীল স্ট্যাকিং পদ্ধতির একটি দৃষ্টান্ত নীচে দেখানো হয়েছে:

  • পর্যায় 1-এ 3টি লুকানো স্তর রয়েছে, পর্যায় 2-এ 6টি লুকানো স্তর রয়েছে এবং পর্যায় 3-এ 12টি লুকানো স্তর রয়েছে৷
  • পর্যায় 2 পর্যায় 1 এর 3টি লুকানো স্তরগুলিতে শেখা ওজনের সাথে প্রশিক্ষণ শুরু করে। পর্যায় 3 পর্যায় 2 এর 6টি লুকানো স্তরগুলিতে শেখা ওজনের সাথে প্রশিক্ষণ শুরু করে।

তিনটি পর্যায়, যাকে 'পর্যায় 1', 'পর্যায় 2' এবং 'পর্যায় 3' লেবেল করা হয়েছে। প্রতিটি ধাপে বিভিন্ন স্তর রয়েছে: পর্যায় 1-এ 3টি স্তর রয়েছে, পর্যায় 2-এ 6টি স্তর রয়েছে এবং পর্যায় 3-এ 12টি স্তর রয়েছে। পর্যায় 1 থেকে 3টি স্তর পর্যায় 2-এর প্রথম 3টি স্তরে পরিণত হয়। একইভাবে, পর্যায় 2 থেকে 6টি স্তর পর্যায় 3-এর প্রথম 6টি স্তরে পরিণত হয়।

পাইপলাইনিংও দেখুন।

টি

টোকেন

#ভাষা

একটি ভাষার মডেলে , মডেলটি যে পারমাণবিক ইউনিটের উপর প্রশিক্ষণ নিচ্ছে এবং ভবিষ্যদ্বাণী করছে। একটি টোকেন সাধারণত নিম্নলিখিতগুলির মধ্যে একটি:

  • একটি শব্দ—উদাহরণস্বরূপ, "বিড়ালের মতো কুকুর" শব্দটি তিনটি শব্দ টোকেন নিয়ে গঠিত: "কুকুর", "লাইক" এবং "বিড়াল"।
  • একটি অক্ষর-উদাহরণস্বরূপ, "বাইক ফিশ" বাক্যাংশটি নয়টি অক্ষরের টোকেন নিয়ে গঠিত। (মনে রাখবেন যে ফাঁকা স্থানটি টোকেনগুলির মধ্যে একটি হিসাবে গণনা করা হয়।)
  • সাবওয়ার্ড—যেখানে একটি শব্দ একক টোকেন বা একাধিক টোকেন হতে পারে। একটি সাবওয়ার্ড একটি মূল শব্দ, একটি উপসর্গ বা একটি প্রত্যয় নিয়ে গঠিত। উদাহরণস্বরূপ, একটি ভাষা মডেল যা টোকেন হিসাবে সাবওয়ার্ড ব্যবহার করে "কুকুর" শব্দটিকে দুটি টোকেন হিসাবে দেখতে পারে (মূল শব্দ "কুকুর" এবং বহুবচন প্রত্যয় "s")। সেই একই ভাষার মডেলটি একক শব্দ "ট্যালার" দুটি উপশব্দ হিসাবে দেখতে পারে (মূল শব্দ "টল" এবং প্রত্যয় "er")।

ভাষার মডেলের বাইরের ডোমেনে, টোকেনগুলি অন্যান্য ধরণের পারমাণবিক একককে উপস্থাপন করতে পারে। উদাহরণস্বরূপ, কম্পিউটার দৃষ্টিতে, একটি টোকেন একটি চিত্রের একটি উপসেট হতে পারে।

ট্রান্সফরমার

#ভাষা

Google-এ একটি নিউরাল নেটওয়ার্ক আর্কিটেকচার তৈরি করা হয়েছে যা কনভল্যুশন বা পৌনঃপুনিক নিউরাল নেটওয়ার্কের উপর নির্ভর না করে ইনপুট এম্বেডিংয়ের একটি ক্রমকে আউটপুট এম্বেডিংয়ের একটি ক্রমকে রূপান্তর করতে স্ব-মনোযোগ ব্যবস্থার উপর নির্ভর করে। একটি ট্রান্সফরমারকে স্ব-মনোযোগের স্তরগুলির একটি স্ট্যাক হিসাবে দেখা যেতে পারে।

একটি ট্রান্সফরমার নিম্নলিখিত যে কোনো একটি অন্তর্ভুক্ত করতে পারে:

একটি এনকোডার এমবেডিংয়ের একটি ক্রমকে একই দৈর্ঘ্যের একটি নতুন অনুক্রমে রূপান্তরিত করে। একটি এনকোডারে N অভিন্ন স্তর রয়েছে, যার প্রতিটিতে দুটি উপ-স্তর রয়েছে। এই দুটি উপ-স্তর ইনপুট এমবেডিং সিকোয়েন্সের প্রতিটি অবস্থানে প্রয়োগ করা হয়, ক্রমটির প্রতিটি উপাদানকে একটি নতুন এমবেডিংয়ে রূপান্তরিত করে। প্রথম এনকোডার সাব-লেয়ার ইনপুট ক্রম জুড়ে তথ্য একত্রিত করে। দ্বিতীয় এনকোডার সাব-লেয়ারটি একত্রিত তথ্যকে একটি আউটপুট এম্বেডিং-এ রূপান্তরিত করে।

একটি ডিকোডার ইনপুট এম্বেডিংয়ের একটি ক্রমকে আউটপুট এম্বেডিংয়ের একটি ক্রমতে রূপান্তরিত করে, সম্ভবত একটি ভিন্ন দৈর্ঘ্যের সাথে। একটি ডিকোডারে তিনটি সাব-লেয়ার সহ N অভিন্ন স্তরগুলিও রয়েছে, যার মধ্যে দুটি এনকোডার সাব-লেয়ারের মতো। তৃতীয় ডিকোডার সাব-লেয়ার এনকোডারের আউটপুট নেয় এবং এটি থেকে তথ্য সংগ্রহ করার জন্য স্ব-মনোযোগ ব্যবস্থা প্রয়োগ করে।

ব্লগ পোস্ট ট্রান্সফরমার: ভাষা বোঝার জন্য একটি নভেল নিউরাল নেটওয়ার্ক আর্কিটেকচার ট্রান্সফরমারগুলির একটি ভাল পরিচয় প্রদান করে।

trigram

#সেক
#ভাষা

একটি N-গ্রাম যার মধ্যে N=3।

একমুখী

#ভাষা

একটি সিস্টেম যা শুধুমাত্র পাঠ্যের মূল্যায়ন করে যা পাঠ্যের একটি লক্ষ্য বিভাগের আগে থাকে। বিপরীতে, একটি দ্বিমুখী সিস্টেম পাঠ্যের একটি লক্ষ্য বিভাগের পূর্ববর্তী এবং অনুসরণ করে উভয় পাঠ্যকে মূল্যায়ন করে। আরও বিস্তারিত জানার জন্য দ্বিমুখী দেখুন।

একমুখী ভাষা মডেল

#ভাষা

একটি ভাষা মডেল যা তার সম্ভাব্যতাকে ভিত্তি করে শুধুমাত্র টোকেনের আগে প্রদর্শিত, পরে নয়, লক্ষ্য টোকেন(গুলি)। দ্বিমুখী ভাষার মডেলের সাথে বৈসাদৃশ্য।

ডব্লিউ

শব্দ এমবেডিং

#ভাষা

একটি এম্বেডিংয়ের মধ্যে সেট করা একটি শব্দে প্রতিটি শব্দের প্রতিনিধিত্ব করা; অর্থাৎ, 0.0 এবং 1.0 এর মধ্যে ফ্লোটিং-পয়েন্ট মানের ভেক্টর হিসাবে প্রতিটি শব্দকে উপস্থাপন করে। একই অর্থ সহ শব্দের বিভিন্ন অর্থের শব্দের তুলনায় আরও বেশি অনুরূপ উপস্থাপনা রয়েছে। উদাহরণস্বরূপ, গাজর , সেলারি , এবং শসা সবগুলিরই তুলনামূলকভাবে একই রকম উপস্থাপনা থাকবে, যা বিমান , সানগ্লাস এবং টুথপেস্টের উপস্থাপনা থেকে খুব আলাদা হবে।