মেটা রোবটস ট্যাগ হলো একটি HTML ট্যাগ, যা পেজেরসেকশনে যোগ করা হয় এবং সার্চ ইঞ্জিন ক্রলারদের নির্দিষ্ট নির্দেশনা প্রদান করে সেই পেজটি কীভাবে আচরণ করা উচিত সে সম্পর্কে।
সবচেয়ে সাধারণ ব্যবহৃত ভ্যালু হলো ‘index, follow’ (ডিফল্ট আচরণ, পেজ ইনডেক্স হবে এবং লিংক অনুসরণ করা হবে), ‘noindex, follow’ (পেজ ইনডেক্স হবে না, কিন্তু লিংক অনুসরণ করা হবে), এবং ‘noindex, nofollow’ (পেজ ইনডেক্স হবে না এবং কোনো লিংকও অনুসরণ করা হবে না)। noindex ট্যাগ বিশেষভাবে উপযোগী থ্যাংক ইউ পেজ, লগইন পেজ, অভ্যন্তরীণ সার্চ রেজাল্ট পেজ, অথবা ডুপ্লিকেট বা কম গুরুত্বপূর্ণ পেজের জন্য, যেগুলো সার্চ ফলাফলে দেখাতে চান না।
robots.txt-এর সাথে মেটা রোবটস ট্যাগের একটি গুরুত্বপূর্ণ পার্থক্য হলো, robots.txt শুধু ক্রলিং প্রতিরোধ করে কিন্তু ইতিমধ্যে ইনডেক্স করা পেজ সরায় না, অন্যদিকে noindex ট্যাগ সরাসরি পেজটিকে ইনডেক্স থেকে সরিয়ে দেয়, তবে এর জন্য পেজটি অবশ্যই ক্রলযোগ্য থাকতে হবে। max-snippet, max-image-preview এবং max-video-preview-এর মতো অতিরিক্ত ডিরেক্টিভও মেটা রোবটস ট্যাগে ব্যবহার করা যায়, যা সার্চ ফলাফলে কতটুকু কনটেন্ট প্রিভিউ দেখানো হবে তা নিয়ন্ত্রণ করে।
