এমবেডিং থেকে সাদৃশ্য পরিমাপ

আপনার কাছে এখন যেকোনো জোড়া উদাহরণের জন্য এম্বেডিং আছে। একটি সাদৃশ্য পরিমাপ এই এমবেডিংগুলি নেয় এবং তাদের মিল পরিমাপ করে একটি সংখ্যা প্রদান করে। মনে রাখবেন যে এম্বেডিংগুলি কেবল সংখ্যার ভেক্টর। দুটি ভেক্টর \(A = [a_1,a_2,...,a_n]\) এবং \(B = [b_1,b_2,...,b_n]\)এর মধ্যে মিল খুঁজে পেতে, নীচের সারণীতে তালিকাভুক্ত হিসাবে আপনার বেছে নেওয়ার জন্য তিনটি সাদৃশ্য পরিমাপ আছে।

পরিমাপ করা অর্থ সূত্র ক্রমবর্ধমান মিলের সম্পর্ক
ইউক্লিডীয় দূরত্ব ভেক্টরের প্রান্তের মধ্যে দূরত্ব\(\sqrt{(a_1-b_1)^2+(a_2-b_2)^2+...+(a_N-b_N)^2}\) কমে যায়
কোসাইন ভেক্টরের মধ্যে কোণ \(\theta\) এর কোসাইন\(\frac{a^T b}{|a| \cdot |b|}\) বাড়ে
বিন্দু পণ্য কোসাইন উভয় ভেক্টরের দৈর্ঘ্য দ্বারা গুণিত\(a_1b_1+a_2b_2+...+a_nb_n\) \(=|a||b|cos(\theta)\) বাড়ে। এছাড়াও ভেক্টরের দৈর্ঘ্যের সাথে বৃদ্ধি পায়।

একটি সাদৃশ্য পরিমাপ নির্বাচন

কোসাইনের বিপরীতে, ডট পণ্যটি ভেক্টর দৈর্ঘ্যের সমানুপাতিক। এটি গুরুত্বপূর্ণ কারণ যে উদাহরণগুলি প্রশিক্ষণ সেটে খুব ঘন ঘন দেখা যায় (উদাহরণস্বরূপ, জনপ্রিয় ইউটিউব ভিডিও) সেগুলি বড় দৈর্ঘ্যের সাথে এম্বেডিং ভেক্টর থাকে৷আপনি যদি জনপ্রিয়তা পেতে চান, তাহলে ডট প্রোডাক্ট বেছে নিন। যাইহোক, ঝুঁকি হল যে জনপ্রিয় উদাহরণগুলি সাদৃশ্য মেট্রিককে তিরস্কার করতে পারে। এই তির্যক ভারসাম্যের জন্য, আপনি দৈর্ঘ্যকে একটি সূচক \(\alpha\ < 1\) এ বাড়াতে পারেন যাতে ডট পণ্যটিকে \(|a|^{\alpha}|b|^{\alpha}\cos(\theta)\)হিসাবে গণনা করা যায়।

ভেক্টরের দৈর্ঘ্য কীভাবে সাদৃশ্য পরিমাপকে পরিবর্তন করে তা আরও ভালভাবে বোঝার জন্য, ভেক্টর দৈর্ঘ্যকে 1-এ স্বাভাবিক করুন এবং লক্ষ্য করুন যে তিনটি পরিমাপ একে অপরের সমানুপাতিক হয়ে গেছে।

প্রমাণ: সাদৃশ্য ব্যবস্থার সমানুপাতিকতা
a এবং b কে স্বাভাবিক করার পর যেমন \(||a||=1\) এবং \(||b||=1\), এই তিনটি ব্যবস্থা এইভাবে সম্পর্কিত:
  • ইউক্লিডীয় দূরত্ব = \(||a-b|| = \sqrt{||a||^2 + ||b||^2 - 2a^{T}b} = \sqrt{2-2\cos(\theta_{ab})}\)।
  • ডট পণ্য = \( |a||b| \cos(\theta_{ab}) = 1\cdot1\cdot \cos(\theta_{ab}) = cos(\theta_{ab})\)।
  • কোসাইন = \(\cos(\theta_{ab})\)।
এইভাবে, তিনটি সাদৃশ্য পরিমাপ সমতুল্য কারণ তারা \(cos(\theta_{ab})\)এর সমানুপাতিক।