এমবেডিং

একটি এম্বেডিং একটি অপেক্ষাকৃত নিম্ন-মাত্রিক স্থান যেখানে আপনি উচ্চ-মাত্রিক ভেক্টর অনুবাদ করতে পারেন। এমবেডিংগুলি শব্দের প্রতিনিধিত্বকারী স্পার্স ভেক্টরের মতো বড় ইনপুটগুলিতে মেশিন লার্নিং করা সহজ করে তোলে। আদর্শভাবে, একটি এম্বেডিং এম্বেডিং স্পেসে একই ধরনের ইনপুটগুলিকে কাছাকাছি স্থাপন করে ইনপুটের কিছু শব্দার্থতত্ত্ব ক্যাপচার করে। একটি এমবেডিং শেখা এবং মডেল জুড়ে পুনরায় ব্যবহার করা যেতে পারে।

এমবেডিং

  • ইনপুট: 1,000,000টি চলচ্চিত্র যা 500,000 ব্যবহারকারী দেখার জন্য বেছে নিয়েছে
  • টাস্ক: ব্যবহারকারীদের সিনেমা সুপারিশ

এই সমস্যা সমাধানের জন্য কোন মুভিগুলো একে অপরের সাথে সাদৃশ্যপূর্ণ তা নির্ধারণ করার জন্য কিছু পদ্ধতি প্রয়োজন।

বাম থেকে ডানে এক লাইনে অর্ডার করা সিনেমার একটি তালিকা। বাম থেকে শুরু করে, 'শ্রেক', 'দ্য ইনক্রেডিবলস', 'দ্য ট্রিপলেটস অফ বেলেভিল', 'হ্যারি পটার', 'স্টার ওয়ার্স', 'ব্লু', 'দ্য ডার্ক নাইট রাইজেস', এবং 'মেমেন্টো'

আগের স্লাইডে সিনেমার একই তালিকা কিন্তু দুটি মাত্রা জুড়ে সাজানো হয়েছে, তাই উদাহরণ স্বরূপ 'শ্রেক' 'দ্য ইনক্রেডিবলস'-এর বাম দিকে এবং উপরে

পূর্ববর্তী চিত্রের অনুরূপ কিন্তু প্রতিটি চতুর্ভুজের জন্য অক্ষ এবং লেবেল সহ। সিনেমাগুলির বিন্যাস নিম্নরূপ: প্রথম, উপরের-ডান চতুর্ভুজায় প্রাপ্তবয়স্ক ব্লকবাস্টারগুলি 'স্টার ওয়ার' এবং 'দ্য ডার্ক নাইট রাইজেস' সহ 'হিরো' এবং 'ক্রাচিং টাইগার, হিডেন ড্রাগন' মুভিগুলি যুক্ত করা হয়েছে। প্রাপ্তবয়স্ক ব্লকবাস্টার চতুর্ভুজ। দ্বিতীয়, নীচের ডানদিকের চতুর্ভুজটি হল অ্যাডাল্ট আর্টহাউস যেখানে অ্যাডাল্ট আর্টহাউস চতুর্ভুজে যুক্ত করা 'ওয়েকিং লাইফ' ​​সহ 'ব্লু' এবং 'মেমেন্টো' মুভি রয়েছে। তৃতীয়, নীচের-বাম চতুর্ভুজটি হল চিলড্রেন আর্টহাউস এবং এতে 'দ্য ট্রিপলেটস অফ বেলভিল' এবং 'ওয়ালেস অ্যান্ড গ্রোমিট' মুভিটি চিলড্রেন আর্টহাউস চতুর্ভুজে যুক্ত করা হয়েছে। উপরের-বামদিকে চতুর্থ এবং চূড়ান্ত চতুর্ভুজাটি হল চিলড্রেন ব্লকবাস্টারস যার মধ্যে রয়েছে 'শ্রেক', 'দ্য ইনক্রেডিবলস' এবং 'হ্যারি পটার' এবং 'স্কুল অফ রক' মুভিটি চিলড্রেন ব্লকবাস্টার কোয়াড্রেন্টে যোগ করা হয়েছে।

শেষ স্লাইড হিসাবে একই ব্যবস্থা. 'শ্রেক' এবং 'ব্লু' 2d এম্বেডিং প্লেনে তাদের স্থানাঙ্কের উদাহরণ হিসাবে হাইলাইট করা হয়েছে।

  • ধরে নিই যে সিনেমার প্রতি ব্যবহারকারীর আগ্রহ মোটামুটিভাবে d দিক দিয়ে ব্যাখ্যা করা যেতে পারে
  • প্রতিটি মুভি একটি d-মাত্রিক বিন্দুতে পরিণত হয় যেখানে d-এর মানটি চিত্রটি সেই দিকটির সাথে কতটা মানানসই হয় তা প্রতিনিধিত্ব করে
  • এম্বেডিং ডেটা থেকে শেখা যায়
  • কোন পৃথক প্রশিক্ষণ প্রক্রিয়ার প্রয়োজন নেই -- এম্বেডিং স্তরটি শুধুমাত্র একটি লুকানো স্তর যার প্রতি মাত্রা প্রতি একক
  • তত্ত্বাবধানে থাকা তথ্য (যেমন ব্যবহারকারীরা একই দুটি সিনেমা দেখেছেন) পছন্দসই কাজের জন্য শেখা এমবেডিংগুলিকে টেইলার করে
  • স্বজ্ঞাতভাবে লুকানো ইউনিটগুলি আবিষ্কার করে যে কীভাবে ডি-ডাইমেনশনাল স্পেসে আইটেমগুলিকে চূড়ান্ত উদ্দেশ্যকে সর্বোত্তমভাবে অপ্টিমাইজ করতে হয়।
  • প্রতিটি উদাহরণ (এই ম্যাট্রিক্সের একটি সারি) বৈশিষ্ট্যগুলির একটি স্পার্স ভেক্টর (চলচ্চিত্র) যা ব্যবহারকারী দেখেছেন
  • এই উদাহরণের ঘন উপস্থাপনা যেমন: (0, 1, 0, 1, 0, 0, 0, 1)

স্থান এবং সময়ের পরিপ্রেক্ষিতে দক্ষ নয়।

একটি টেবিল যেখানে প্রতিটি কলাম শিরোনাম একটি চলচ্চিত্র এবং প্রতিটি সারি একজন ব্যবহারকারী এবং তারা যে চলচ্চিত্রগুলি দেখেছে তার প্রতিনিধিত্ব করে৷
  • প্রতিটি বৈশিষ্ট্যকে 0, ..., # চলচ্চিত্র - 1 থেকে একটি পূর্ণসংখ্যাতে ম্যাপিং একটি অভিধান তৈরি করুন৷
  • স্পার্স ভেক্টরকে দক্ষতার সাথে উপস্থাপন করে ঠিক যেমন ব্যবহারকারী দেখেছেন সিনেমাগুলি। এই হিসাবে প্রতিনিধিত্ব করা যেতে পারে: ডানদিকে প্রদর্শিত স্পার্স ভেক্টরে সিনেমার কলামের অবস্থানের উপর ভিত্তি করে, 'দ্য ট্রিপলেটস ফ্রম বেলেভিল', 'ওয়ালেস অ্যান্ড গ্রোমিট' এবং 'মেমেন্টো'কে দক্ষতার সাথে উপস্থাপন করা যেতে পারে (0,1, 999999)
একটি স্পার্স ভেক্টর একটি টেবিল হিসাবে উপস্থাপিত প্রতিটি কলাম একটি মুভি এবং প্রতিটি সারি একটি ব্যবহারকারীর প্রতিনিধিত্ব করে। সারণীতে পূর্ববর্তী ডায়াগ্রামের মুভি রয়েছে এবং 1 থেকে 999999 পর্যন্ত সংখ্যা করা হয়েছে৷ কোনও ব্যবহারকারী কোনও সিনেমা দেখেছেন কিনা তা টেবিলের প্রতিটি কক্ষ চেক করা হয়৷

বাড়ির বিক্রয় মূল্যের পূর্বাভাস দিতে রিগ্রেশন সমস্যা:

বাড়ির বিক্রয় মূল্যের পূর্বাভাস দিতে ব্যবহৃত একটি গভীর নিউরাল নেটওয়ার্কের একটি চিত্র

বাড়ির বিক্রয় মূল্যের পূর্বাভাস দিতে রিগ্রেশন সমস্যা:

বাড়ির বিক্রয় মূল্যের পূর্বাভাস দিতে ব্যবহৃত একটি গভীর নিউরাল নেটওয়ার্কের একটি চিত্র (স্পার্স ভেক্টর এনকোডিং হাইলাইট করা হয়েছে)

বাড়ির বিক্রয় মূল্যের পূর্বাভাস দিতে রিগ্রেশন সমস্যা:

বাড়ির বিক্রয় মূল্যের পূর্বাভাস দিতে ব্যবহৃত একটি গভীর নিউরাল নেটওয়ার্কের একটি চিত্র (লুকানো ত্রিমাত্রিক এম্বেডিং স্তর হাইলাইট করা হয়েছে)

বাড়ির বিক্রয় মূল্যের পূর্বাভাস দিতে রিগ্রেশন সমস্যা:

বাড়ির বিক্রয় মূল্যের পূর্বাভাস দিতে ব্যবহৃত একটি গভীর নিউরাল নেটওয়ার্কের একটি চিত্র (অতিরিক্ত অক্ষাংশ এবং দ্রাঘিমাংশের ইনপুট বৈশিষ্ট্যগুলি হাইলাইট করা হয়েছে)

বাড়ির বিক্রয় মূল্যের পূর্বাভাস দিতে রিগ্রেশন সমস্যা:

বাড়ির বিক্রয় মূল্যের পূর্বাভাস দিতে ব্যবহৃত একটি গভীর নিউরাল নেটওয়ার্কের একটি চিত্র (একাধিক লুকানো স্তরগুলিতে ফিডিং ইনপুট বৈশিষ্ট্যগুলি হাইলাইট করা হয়েছে)

বাড়ির বিক্রয় মূল্যের পূর্বাভাস দিতে রিগ্রেশন সমস্যা:

বাড়ির বিক্রয় মূল্যের পূর্বাভাস দিতে ব্যবহৃত একটি গভীর নিউরাল নেটওয়ার্কের একটি চিত্র (ডিপ নিউরাল নেটওয়ার্কের আউটপুট হাইলাইট করা হয়েছে)

একটি হাতে লেখা অঙ্কের ভবিষ্যদ্বাণী করার জন্য মাল্টিক্লাস শ্রেণীবিভাগ:

হস্তলিখিত সংখ্যার পূর্বাভাস দিতে ব্যবহৃত একটি গভীর নিউরাল নেটওয়ার্কের চিত্র

একটি হাতে লেখা অঙ্কের ভবিষ্যদ্বাণী করার জন্য মাল্টিক্লাস শ্রেণীবিভাগ:

হস্তলিখিত সংখ্যার পূর্বাভাস দিতে ব্যবহৃত একটি গভীর নিউরাল নেটওয়ার্কের ডায়াগ্রাম (ইনপুট স্পারস ভেক্টর এনকোডিং হাইলাইট করা হয়েছে)

একটি হাতে লেখা অঙ্কের ভবিষ্যদ্বাণী করার জন্য মাল্টিক্লাস শ্রেণীবিভাগ:

হস্তলিখিত সংখ্যার পূর্বাভাস দিতে ব্যবহৃত একটি গভীর নিউরাল নেটওয়ার্কের ডায়াগ্রাম (অন্যান্য বৈশিষ্ট্যগুলি হাইলাইট করা হয়েছে)

একটি হাতে লেখা অঙ্কের ভবিষ্যদ্বাণী করার জন্য মাল্টিক্লাস শ্রেণীবিভাগ:

হস্তলিখিত সংখ্যার পূর্বাভাস দিতে ব্যবহৃত একটি গভীর নিউরাল নেটওয়ার্কের ডায়াগ্রাম (ত্রিমাত্রিক এম্বেডিং হাইলাইট করা হয়েছে)

একটি হাতে লেখা অঙ্কের ভবিষ্যদ্বাণী করার জন্য মাল্টিক্লাস শ্রেণীবিভাগ:

হস্তলিখিত সংখ্যার পূর্বাভাস দিতে ব্যবহৃত একটি গভীর নিউরাল নেটওয়ার্কের ডায়াগ্রাম (লুকানো স্তরগুলি হাইলাইট করা হয়েছে)

একটি হাতে লেখা অঙ্কের ভবিষ্যদ্বাণী করার জন্য মাল্টিক্লাস শ্রেণীবিভাগ:

হস্তলিখিত সংখ্যার পূর্বাভাস দিতে ব্যবহৃত একটি গভীর নিউরাল নেটওয়ার্কের ডায়াগ্রাম (লগিট স্তর হাইলাইট করা হয়েছে)

একটি হাতে লেখা অঙ্কের ভবিষ্যদ্বাণী করার জন্য মাল্টিক্লাস শ্রেণীবিভাগ:

হস্তলিখিত সংখ্যার পূর্বাভাস দিতে ব্যবহৃত একটি গভীর নিউরাল নেটওয়ার্কের ডায়াগ্রাম (লক্ষ্য শ্রেণীর স্তর হাইলাইট করা হয়েছে)

প্রস্তাবিত সিনেমাগুলির পূর্বাভাস দিতে সহযোগী ফিল্টারিং:

একটি গভীর নিউরাল নেটওয়ার্কের ডায়াগ্রাম যা পূর্বাভাস দিতে ব্যবহৃত হয় কোন চলচ্চিত্রগুলি সুপারিশ করবে৷

প্রস্তাবিত সিনেমাগুলির পূর্বাভাস দিতে সহযোগী ফিল্টারিং:

কোন সিনেমাগুলি সুপারিশ করতে হবে তা পূর্বাভাস দিতে ব্যবহৃত একটি গভীর নিউরাল নেটওয়ার্কের ডায়াগ্রাম (টার্গেট ক্লাস লেয়ার হাইলাইট করা হয়েছে)

প্রস্তাবিত সিনেমাগুলির পূর্বাভাস দিতে সহযোগী ফিল্টারিং:

একটি গভীর নিউরাল নেটওয়ার্কের ডায়াগ্রাম যা পূর্বাভাস দিতে ব্যবহৃত হয় কোন চলচ্চিত্রগুলি সুপারিশ করবে (স্পার্স ভেক্টর এনকোডিং হাইলাইট করা হয়েছে)

প্রস্তাবিত সিনেমাগুলির পূর্বাভাস দিতে সহযোগী ফিল্টারিং:

একটি গভীর নিউরাল নেটওয়ার্কের ডায়াগ্রাম যা পূর্বাভাস দিতে ব্যবহৃত হয় কোন চলচ্চিত্রগুলি সুপারিশ করবে (ত্রি-মাত্রিক এম্বেডিং হাইলাইট)

প্রস্তাবিত সিনেমাগুলির পূর্বাভাস দিতে সহযোগী ফিল্টারিং:

কোন সিনেমার সুপারিশ করা হবে তা পূর্বাভাস দিতে ব্যবহৃত একটি গভীর নিউরাল নেটওয়ার্কের ডায়াগ্রাম (অন্যান্য বৈশিষ্ট্যগুলি হাইলাইট করা হয়েছে)

প্রস্তাবিত সিনেমাগুলির পূর্বাভাস দিতে সহযোগী ফিল্টারিং:

একটি গভীর নিউরাল নেটওয়ার্কের ডায়াগ্রাম যা পূর্বাভাস দিতে ব্যবহৃত হয় কোন চলচ্চিত্রগুলি সুপারিশ করবে (লুকানো স্তরগুলি হাইলাইট করা হয়েছে)

প্রস্তাবিত সিনেমাগুলির পূর্বাভাস দিতে সহযোগী ফিল্টারিং:

একটি গভীর নিউরাল নেটওয়ার্কের ডায়াগ্রাম যা পূর্বাভাস দিতে ব্যবহৃত হয় কোন চলচ্চিত্রগুলি সুপারিশ করবে (লগিট স্তর হাইলাইট করা হয়েছে)

গভীর নেটওয়ার্ক

  • লুকানো ইউনিটগুলির প্রতিটি একটি মাত্রার (সুপ্ত বৈশিষ্ট্য) অনুরূপ
  • একটি মুভি এবং লুকানো স্তরের মধ্যে প্রান্তের ওজন হল সমন্বয় মান
  • একটি গভীর নিউরাল নেটওয়ার্কের একটি ট্রি ডায়াগ্রাম যার নিম্নতম স্তরের একটি নোড পরবর্তী উচ্চ স্তরের তিনটি পয়েন্টের সাথে সংযুক্ত

একটি একক মুভি এমবেডিংয়ের জ্যামিতিক দৃশ্য

গভীর নিউরাল নেটওয়ার্ক ডিসাগ্রামে নিম্ন স্তরের নোডের সাথে সম্পর্কিত 3 মাত্রিক স্থানের একটি বিন্দু।
  • উচ্চ-মাত্রিক এম্বেডিং ইনপুট মানগুলির মধ্যে সম্পর্ককে আরও সঠিকভাবে উপস্থাপন করতে পারে
  • কিন্তু আরো মাত্রা অতিরিক্ত ফিটিং এর সুযোগ বাড়ায় এবং ধীর প্রশিক্ষণের দিকে নিয়ে যায়
  • অভিজ্ঞতামূলক নিয়ম-অনুষ্ঠান (একটি ভাল সূচনা পয়েন্ট কিন্তু বৈধতা ডেটা ব্যবহার করে টিউন করা উচিত):
  • $$ dimensions \approx \sqrt[4]{possible\;values} $$
  • এম্বেডিং ম্যাপ আইটেমগুলি (যেমন চলচ্চিত্র, পাঠ্য,...) নিম্ন-মাত্রিক বাস্তব ভেক্টরগুলিতে এমনভাবে যাতে অনুরূপ আইটেম একে অপরের কাছাকাছি থাকে
  • একটি অর্থপূর্ণ মিল মেট্রিক তৈরি করতে ঘন ডেটাতে (যেমন অডিও) এমবেডিং প্রয়োগ করা যেতে পারে
  • যৌথভাবে বিভিন্ন ধরনের ডেটা এম্বেড করা (যেমন পাঠ্য, ছবি, অডিও, ...) তাদের মধ্যে একটি সাদৃশ্য নির্ধারণ করে