Robots মেটা ট্যাগ, data-nosnippet ও X-Robots-Tag সংক্রান্ত স্পেসিফিকেশন

সারসংক্ষেপ

পৃষ্ঠা- ও টেক্সট-লেভেল সেটিংস ব্যবহার করে কীভাবে সার্চ ফলাফলে Google আপনার কন্টেন্ট দেখাবে সেটি পরিবর্তন করার ব্যাপারে এই ডকুমেন্ট থেকে জানতে পারবেন। HTML পৃষ্ঠা বা HTTP হেডারে মেটা ট্যাগ ব্যবহার করে আপনি পৃষ্ঠা-লেভেল সেটিংস উল্লেখ করতে পারেন। পৃষ্ঠার HTML এলিমেন্টে data- nosnippet অ্যাট্রিবিউট যোগ করে আপনি টেক্সট-লেভেল সেটিংস উল্লেখ করতে পারেন।

robots মেটা ট্যাগ ব্যবহার করা

কোনও নির্দিষ্ট পৃষ্ঠা কীভাবে ইন্ডেক্স করে এবং Google Search ফলাফলে ব্যবহারকারীদের দেখানো হবে, তা robots মেটা ট্যাগের মাধ্যমে আপনি নির্দিষ্ট পৃষ্ঠা হিসেবে, সঠিকভাবে নিয়ন্ত্রণ করতে পারেন। পৃষ্ঠার <head> বিভাগে এইভাবে robots মেটা ট্যাগ যোগ করুন:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>

উপরের উদাহরণে উল্লেখ করা robots মেটা ট্যাগটি সার্চ ইঞ্জিনকে সার্চ ফলাফলে পৃষ্ঠাটি না দেখানোর জন্য নির্দেশ দিচ্ছে। name অ্যাট্রিবিউটের মান (robots) থেকে বোঝা যায় যে নির্দেশটি সব ক্রলারের ক্ষেত্রে প্রযোজ্য হয়। কোনও নির্দিষ্ট ক্রলারকে নির্দেশ দিতে চাইলে, name অ্যাট্রিবিউটের মান হিসেবে robots-এর পরিবর্তে সেই ক্রলারের নাম ব্যবহার করুন। নির্দিষ্ট ক্রলারকে ইউজার-এজেন্টও (কোনও পৃষ্ঠার অনুরোধ করার জন্য ক্রলার নিজস্ব ইউজার-এজেন্ট ব্যবহার করে) বলে। Google সাধারণত যে ওয়েব ক্রলারটি ব্যবহার করে, সেটির ইউজার-এজেন্ট Googlebot নামে পরিচিত। শুধুমাত্র Googlebot-কে আপনার পৃষ্ঠাটি ইন্ডেক্স করতে বাধা দিতে ট্যাগটি এইভাবে আপডেট করুন:

<meta name="googlebot" content="noindex" />

এই ট্যাগ এখন Google-কে সেটির ওয়েব সার্চ ফলাফলে পৃষ্ঠাটি না দেখানোর জন্য বিশেষভাবে নির্দেশ দিচ্ছে। namecontent অ্যাট্রিবিউটগুলির ক্ষেত্রে, ছোট ও বড় হাতের অক্ষরের মধ্যে পার্থক্য করা হয় না।

বিভিন্ন প্রপার্টি ও প্রয়োজনের জন্য সার্চ ইঞ্জিনের বিভিন্ন ধরনের ক্রলার থাকতে পারে। Google-এর ক্রলারের সম্পূর্ণ তালিকা দেখুন। যেমন, আপনি কোনও পৃষ্ঠা Google News-এ না দেখিয়ে Google-এর ওয়েব সার্চ ফলাফলে দেখাতে চাইলে নিম্নলিখিত মেটা ট্যাগটি ব্যবহার করুন:

<meta name="googlebot-news" content="noindex" />

একাধিক ক্রলার আলাদাভাবে উল্লেখ করার প্রয়োজন থাকলে, একাধিক robots মেটা ট্যাগ ব্যবহার করুন:

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

X-Robots-Tag HTTP হেডার ব্যবহার করা

কোনও নির্দিষ্ট ইউআরএলের জন্য HTTP হেডার প্রতিক্রিয়ার এলিমেন্ট হিসেবে X-Robots-Tag ব্যবহার করা যেতে পারে। robots মেটা ট্যাগে যে নির্দেশ ব্যবহার করা যায় সেটি X-Robots-Tag হিসেবেও উল্লেখ করা যেতে পারে। ক্রলারকে কোনও পৃষ্ঠা ইন্ডেক্স না করার নির্দেশ দিচ্ছে এমন X-Robots-Tag সহ HTTP প্রতিক্রিয়ার উদাহরণ নিচে দেওয়া হল:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

আপনি HTTP প্রতিক্রিয়াতে একাধিক X-Robots-Tag হেডার একসাথে ব্যবহার করতে পারেন অথবা কমা দিয়ে আলাদা করা একাধিক নির্দেশ সহ একটি সূচিও উল্লেখ করতে পারেন। unavailable_after X-Robots-Tag-এর সাথে noarchive X-Robots-Tag আছে এমন একটি HTTP হেডার প্রতিক্রিয়ার উদাহরণ নিচে দেওয়া হল।

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

নির্দেশের আগে X-Robots-Tag ঐচ্ছিকভাবে একটি ইউজার-এজেন্টও উল্লেখ করতে পারে। যেমন, বিভিন্ন সার্চ ইঞ্জিনের ফলাফলে কোনও একটি পৃষ্ঠাকে শর্ত মেনে দেখানোর অনুমতি দেওয়ার জন্য এই X-Robots-Tag HTTP হেডারগুলি ব্যবহার করা যেতে পারে:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

নির্দেশে ইউজার-এজেন্ট লেখা না থাকলে, সেটি সব ক্রলারের ক্ষেত্রে প্রযোজ্য হয়। HTTP হেডার, ইউজার-এজেন্টের নাম এবং উল্লিখিত মানগুলির ক্ষেত্রে ছোট ও বড় হাতের অক্ষরের মধ্যে পার্থক্য করা হয় না।

ইন্ডেক্সিং ও সার্ভিংয়ের জন্য সঠিক নির্দেশ

স্নিপেটের ইন্ডেক্সিং ও সার্ভিং নিয়ন্ত্রণ করার জন্য robots মেটা ট্যাগ ও X-Robots-Tag-এর সাথে নিম্নলিখিত নির্দেশকাগুলি ব্যবহার করা যেতে পারে। ব্যবহারকারীর কোয়েরি অনুযায়ী কোনও ডকুমেন্ট কতটা প্রাসঙ্গিক তা বোঝাতে সার্চ ফলাফলে টেক্সটের একটি সারসংক্ষেপ দেখানো হয়। এটি স্নিপেট নামে পরিচিত। Google মেনে চলে এমন নির্দেশকাগুলির অর্থ নিচের সারণীতে দেওয়া হল। প্রতিটি মান একটি নির্দিষ্ট নির্দেশকাকে বোঝায়। আপনি কমা দিয়ে আলাদা করা একাধিক নির্দেশকা সহ একটি তালিকা উল্লেখ করতে পারেন। এই নির্দেশকাগুলির ক্ষেত্রে ছোট ও বড় হাতের অক্ষরের মধ্যে পার্থক্য করা হয়।

নির্দেশ

all

ইন্ডেক্সিং বা সার্ভিংয়ের উপরে কোনও বিধিনিষেধ নেই। এই নির্দেশ ডিফল্ট হিসেবে ধরে নেওয়া হয় এবং আলাদা করে সূচিবদ্ধ করলেও এটির বিশেষ কোনও প্রভাব থাকে না।

noindex

সার্চ ফলাফলে এই পৃষ্ঠা দেখাবেন না।

nofollow

এই পৃষ্ঠার লিঙ্কগুলি অনুসরণ করবেন না।

none

noindex, nofollow-এর সমতুল্য।

noarchive

সার্চ ফলাফলে ক্যাশে করা লিঙ্ক দেখাবেন না।

nosnippet

সার্চ ফলাফলে এই পৃষ্ঠার টেক্সট স্নিপেট অথবা ভিডিও প্রিভিউ দেখাবেন না। ব্যবহারকারীকে ভাল অভিজ্ঞতা প্রদান করতে, একটি স্ট্যাটিক থাম্বনেল (উপলভ্য থাকলে) তবুও দেখানো হতে পারে। এটি সব ধরনের সার্চ ফলাফলের (Google ওয়েব সার্চ, Google Images, Discover) ক্ষেত্রে প্রযোজ্য।

max-snippet:[number]

এই সার্চ ফলাফলের জন্য টেক্সট স্নিপেট হিসেবে সর্বাধিক [number]টি অক্ষর ব্যবহার করুন। (মনে রাখবেন যে কোনও ইউআরএল সার্চ ফলাফল পৃষ্ঠার একাধিক ফলাফলে দেখানো হতে পারে।) এর ফলে ছবি বা ভিডিও প্রিভিউয়ের উপর কোনও প্রভাব পড়ে না। এটি সব ধরনের সার্চ ফলাফলের (যেমন Google ওয়েব সার্চ, Google Images, Discover, Assistant) ক্ষেত্রে প্রযোজ্য। তবে যেসব ক্ষেত্রে প্রকাশক কন্টেন্ট ব্যবহার করার জন্য আলাদাভাবে অনুমতি দেন, সেখানে এই সীমা প্রযোজ্য হয় না। যেমন, প্রকাশক ইন-পেজ স্ট্রাকচার্ড ডেটা হিসেবে কন্টেন্ট প্রদান করলে অথবা Google-এর সাথে তার লাইসেন্সের চুক্তি থাকলে, সেই বিশেষ ব্যবহারের ক্ষেত্রে এই সেটিং কোনও বাধা সৃষ্টি করে না। পার্স করার মতো [number] উল্লেখ না করলে এই নির্দেশ উপেক্ষা করা হয়।

বিশেষ মান:

  • 0: কোনও স্নিপেট দেখানো হবে না। nosnippet-এর সমতুল্য।
  • -1: Google-এর মতে যে দৈর্ঘ্যের স্নিপেট, ব্যবহারকারীদের আপনার কন্টেন্ট খুঁজে পেতে এবং সাইটে পাঠাতে সবচেয়ে বেশি সাহায্য করে, সেটি সে বেছে নেবে।

যেমন:


<meta name="robots" content="max-snippet:20">

max-image-preview:[setting]

সার্চ ফলাফলে এই পৃষ্ঠার ছবির প্রিভিউয়ের সর্বাধিক সাইজ সেট করুন।

setting-এর গ্রহণযোগ্য মান:

  • none: ছবির কোনও প্রিভিউ দেখানো হবে না।
  • standard: ছবির একটি ডিফল্ট প্রিভিউ দেখানো হতে পারে।
  • large: ভিউপোর্টের সম্পূর্ণ প্রস্থ পর্যন্ত প্রসারিত হয় এমন আরও বড় ছবির প্রিভিউ দেখানো হতে পারে।

এটি সব ধরনের সার্চ ফলাফলের (যেমন Google ওয়েব সার্চ, Google Images, Discover, Assistant) ক্ষেত্রে প্রযোজ্য। তবে যেসব ক্ষেত্রে প্রকাশক কন্টেন্ট ব্যবহার করার জন্য আলাদাভাবে অনুমতি দেন, সেখানে এই সীমা প্রযোজ্য হয় না। যেমন, প্রকাশক ইন-পেজ স্ট্রাকচার্ড ডেটা হিসেবে কন্টেন্ট (যেমন, কোনও নিবন্ধের এএমপি অথবা সেরা ভার্সন) প্রদান করলে অথবা Google-এর সাথে তার লাইসেন্সের চুক্তি থাকলে, সেই বিশেষ ব্যবহারের ক্ষেত্রে এই সেটিং কোনও বাধা সৃষ্টি করে না।

Search বা Discover-এ নিবন্ধের এএমপি পৃষ্ঠা অথবা সেরা ভার্সন দেখানোর সময় Google বড় থাম্বনেল ব্যবহার করুক বলে প্রকাশক না চাইলে, তাকে standard বা none-এর max-image-preview মান উল্লেখ করতে হবে।

যেমন:


<meta name="robots" content="max-image-preview:standard">

max-video-preview:[number]

সার্চ ফলাফলে এই পৃষ্ঠার ভিডিওর জন্য সর্বাধিক [number] সেকেন্ডের ভিডিও স্নিপেট ব্যবহার করুন।

অন্যান্য ব্যবহারযোগ্য মান:

  • 0: খুব বেশি হলে, max-image-preview সেটিং অনুযায়ী একটি স্ট্যাটিক ছবি ব্যবহার করা যেতে পারে।
  • -1: কোনও সীমা নেই।

এটি সব ধরনের সার্চ ফলাফলের (Google ওয়েব সার্চ, Google Images, Google Videos, Discover, Assistant) ক্ষেত্রে প্রযোজ্য। পার্স করার মতো [number] উল্লেখ না করলে এই নির্দেশ উপেক্ষা করা হয়।

যেমন:


<meta name="robots" content="max-video-preview:-1">

notranslate

সার্চ ফলাফলে এই পৃষ্ঠা অনুবাদ করে দেখানোর বিকল্প রাখবেন না।

noimageindex

এই পৃষ্ঠার ছবি ইন্ডেক্স করবেন না।

unavailable_after: [date/time]

উল্লিখিত তারিখ/সময়ের পরে এই পৃষ্ঠা সার্চ ফলাফলে আর দেখাবেন না। তারিখ/সময় এগুলির মতো ব্যাপকভাবে গ্রহণযোগ্য ফর্ম্যাটে উল্লেখ করতে হবে: RFC 822, RFC 850ISO 8601 সঠিক [date/time] উল্লেখ না করলে এই নির্দেশ উপেক্ষা করা হয়। ডিফল্ট হিসেবে, কন্টেন্টের মেয়াদ শেষ হওয়ার কোনও তারিখ থাকে না।

যেমন:


<meta name="robots" content="unavailable_after: 2020-09-21">

ইন্ডেক্সিং ও সার্ভিংয়ের জন্য নির্দেশ একসাথে ব্যবহার করা

আপনি একাধিক robots মেটা ট্যাগের মাঝে কমা দিয়ে একসাথে অনেকগুলি নির্দেশ দিতে পারেন। একটি পৃষ্ঠা একইসাথে ইন্ডেক্স না করা ও সেটির কোনও লিঙ্ক ক্রল না করার নির্দেশ দেয় এমন একটি robots মেটা ট্যাগের উদাহরণ নিচে দেওয়া হল:

<meta name="robots" content="noindex, nofollow">

টেক্সট স্নিপেটকে ২০ অক্ষরের মধ্যে সীমাবদ্ধ করে এবং ছবির একটি বড় প্রিভিউ দেখাতে দেয় এমন একটি উদাহরণ নিচে দেওয়া হল:

<meta name="robots" content="max-snippet:20, max-image-preview:large">

একাধিক ক্রলারের জন্য আলাদা নির্দেশ দেওয়া থাকলে, সার্চ ইঞ্জিন নেতিবাচক নির্দেশগুলি সম্মিলিত করে ব্যবহার করে। যেমন:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

কোনও পৃষ্ঠায় এই মেটা ট্যাগগুলি থাকলে, Googlebot সেটি ক্রল করার সময় নির্দেশকে noindex, nofollow হিসেবে ধরে নেয়।

data-nosnippet HTML অ্যাট্রিবিউট ব্যবহার করা

HTML পৃষ্ঠার টেক্সট অংশ স্নিপেট হিসেবে না দেখানোর জন্য আপনি নির্দিষ্ট করে দিতে পারেন। span, divsection এলিমেন্টে data-nosnippet HTML অ্যাট্রিবিউটের সাহায্যে HTML-এলিমেন্ট লেভেলে এটি করা যেতে পারে। data-nosnippet-কে বুলিয়ান অ্যাট্রিবিউট হিসেবে বিবেচনা করা হয়। এটি মান সহ বা মান ছাড়া ব্যবহার করা যেতে পারে। মেশিন যাতে পড়তে পারে, সেই জন্য HTML বিভাগে সঠিক HTML কোড লিখতে হবে এবং সব উপযুক্ত ট্যাগ ঠিকভাবে বন্ধ করতে হবে।

যেমন:

<p>This text can be shown in a snippet
 <span data-nosnippet>and this part would not be shown</span>.</p>

<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>

<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->

<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->

Google কোনও পৃষ্ঠা ইন্ডেক্স করার জন্য রেন্ডার করে, তবে রেন্ডার যে করা হবেই সেই বিষয়ে কোনও গ্যারান্টি দেওয়া হয় না। তাই, রেন্ডারিংয়ের আগে ও পরে data-nosnippet এক্সট্র্যাক্ট করা হতে পারে। রেন্ডারিংয়ের অনিশ্চয়তা এড়াতে, জাভাস্ক্রিপ্টের মাধ্যমে আগে থেকেই আছে এমন নোডগুলির সাথে data-nosnippet অ্যাট্রিবিউট যোগ করবেন না বা সেটি সরিয়েও দেবেন না। পৃষ্ঠার DOM-এ জাভাস্ক্রিপ্টের মাধ্যমে প্রথমবার এলিমেন্ট যোগ করার সময়, প্রয়োজন হলে data-nosnippet অ্যাট্রিবিউট অন্তর্ভুক্ত করুন। data- nosnippet ব্যবহার করার প্রয়োজন হলে এবং কাস্টম এলিমেন্ট ব্যবহার করা হলে, div, span বা section এলিমেন্ট দিয়ে সেটিকে র‍্যাপ বা রেন্ডার করুন।

স্ট্রাকচার্ড ডেটা ব্যবহার করা

সার্চ ফলাফল হিসেবে দেখানোর জন্য ওয়েব পৃষ্ঠা থেকে কতখানি কন্টেন্ট Google এক্সট্র্যাক্ট করবে তা robots মেটা ট্যাগ দ্বারা নিয়ন্ত্রিত হয়। নির্দিষ্ট তথ্য সার্চ ফলাফলে দেখানোর জন্য অনেক প্রকাশক schema.org স্ট্রাকচার্ড ডেটাও ব্যবহার করেন। অন্যান্য রচনাত্মক কাজের জন্য নির্দিষ্ট article.description এবং description মানের স্ট্রাকচার্ড ডেটা, যার ব্যবহার Robots মেটা ট্যাগের সীমাবদ্ধতার জন্য প্রভাবিত হয় না। এই description-এর মানের ভিত্তিতে সর্বোচ্চ প্রিভিউ নির্দিষ্ট করতে, max-snippet রোবট মেটা ট্যাগ ব্যবহার করুন। যেমন, টেক্সট প্রিভিউ অন্য উপায়ে সীমাবদ্ধ থাকলেও, কোনও পৃষ্ঠায় উল্লেখ করা recipe স্ট্রাকচার্ড ডেটা রেসিপি ক্যারোজেল অন্তর্ভুক্ত করতে পারবে। max-snippet ব্যবহার করে আপনি টেক্সট প্রিভিউ সীমিত করতে পারেন, তবে বিশিষ্ট ফলাফলের জন্য স্ট্রাকচার্ড ডেটা ব্যবহার করে তথ্য সরবরাহ করার সময়ে রোবট মেটা ট্যাগ প্রযোজ্য হবে না।

আপনি কেবলমাত্র যে ডেটা দেখাতে চান সেটি সরবরাহ করতে এবং ওয়েব পৃষ্ঠায় স্ট্রাকচার্ড ডেটার ব্যবহারকে ম্যানেজ করার জন্য শুধু স্ট্রাকচার্ড ডেটার ধরন ও মানে পরিবর্তন করে তথ্য যোগ করতে বা সরিয়ে দিতে পারেন। এছাড়াও মনে রাখবেন যে data-nosnippet এলিমেন্টের মধ্যে স্ট্রাকচার্ড ডেটা উল্লেখ করলে, সেটি সার্চের ফলাফলের ব্যবহারের উপযোগী হয়।

X-Robots-Tag-এর বাস্তব প্রয়োগ

সাইটের ওয়েব সার্ভার সফ্টওয়্যারের কনফিগারেশন ফাইলগুলির মাধ্যমে আপনি সাইটের HTTP প্রতিক্রিয়ায় X-Robots-Tag যোগ করতে পারেন। যেমন, অ্যাপাচি-ভিত্তিক ওয়েব সার্ভারে আপনি .htaccess ও httpd.conf ফাইল ব্যবহার করতে পারেন। HTTP প্রতিক্রিয়ায় X-Robots-Tag ব্যবহার করলে আপনি সম্পূর্ণ সাইট ক্রল করার জন্য নির্দেশ প্রয়োগ করতে পারেন। রেগুলার এক্সপ্রেশন ব্যবহার করা যায় বলে আপনি সেগুলির মাধ্যমে বিভিন্ন ধরনের নির্দেশ দিতে পারেন।

যেমন, সম্পূর্ণ সাইটের সব .PDF ফাইলে HTTP প্রতিক্রিয়ার সাথে noindex, nofollow X-Robots-Tag যোগ করতে সাইটের রুট .htaccess ফাইল, অ্যাপাচিতে httpd.conf ফাইল বা NGINX-এ সাইটের .conf ফাইলে নিম্নলিখিত স্নিপেট যোগ করুন

অ্যাপাচি:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

যেখানে robots মেটা ট্যাগ ব্যবহার করা যায় না সেখানে X-Robots-Tag ব্যবহার করতে পারেন, যেমন ছবির ফাইলের মতো HTML নয় এমন ফাইল। কোনও সাইটের সব ছবির ফাইলে (.png, .jpeg, .jpg, .gif) noindex X-Robots-Tag নির্দেশ ব্যবহার করার একটি উদাহরণ নিচে দেওয়া হল:

অ্যাপাচি:

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

NGINX:

location ~* \.(png|jpe?g|gif)$ {
  add_header X-Robots-Tag "noindex";
}

ইন্ডেক্সিং / সার্ভিংয়ের সাথে ক্রলিংয়ের জন্য নির্দেশ ব্যবহার করা

কোনও ইউআরএল ক্রল করার সময় সেটির robots মেটা ট্যাগ ও X-Robots-Tag HTTP হেডার দেখা হয়। robots.txt ফাইলের মাধ্যমে কোনও পৃষ্ঠাকে ক্রল করার অনুমতি না দেওয়া হলে, সেটি থেকে ইন্ডেক্সিং বা সার্ভিংয়ের জন্য কোনও নির্দেশ খুঁজে পাওয়া যায় না, তাই সেগুলিকে উপেক্ষা করা হয়। ইন্ডেক্সিং বা সার্ভিংয়ের জন্য নির্দেশ অনুসরণ করতে হলে, যে ইউআরএলে নির্দেশগুলি আছে সেটি ক্রল করতে দিতে হবে।