جان مولر از گوگل به سوالی در Reddit در مورد متا تگ روبات‌ها و اینکه در صورت گم شدن آن چه اتفاقی می‌افتد پاسخ داد. پاسخ مولر، اگرچه منطقی و مستند است، اما ممکن است برای بسیاری از ناشران و سئوکاران شگفت‌انگیز باشد.

متا تگ روبات ها

عنصر متا HTML ابرداده ها را با هم ارتباط می دهد. فراداده اطلاعات قابل خواندن ماشینی است که خزنده ای مانند Googlebot می تواند آن را بخواند. انواع مختلفی از عناصر متا مانند عنصر توضیحات متا وجود دارد، اما عنصر متا Robots از این نظر متفاوت است که می تواند خزنده های موتور جستجو را کنترل کند. اطلاعاتی که توسط متا تگ روبات ارسال می شود، دستورالعمل نامیده می شود، به این معنی که خزنده های ربات موظف به اطاعت از دستورالعمل های موجود در متا تگ روبات هستند. مسیرهای زیادی برای عبور از متای روبات ها وجود دارد، اما متا تگ زیر با سوالی که جان مولر به آن پاسخ داد مرتبط است. متا تگ noindex، no follow:

<meta name="robots" content="noindex, nofollow">

متا تگ فوق به خزنده های موتورهای جستجو می گوید که محتوا را در صفحه وب فهرست نکنند و هیچ پیوندی را دنبال نکنند. یکی از رایج ترین متا تگ ها این است که به موتورهای جستجو دستور می دهد محتوا را فهرست کرده و همه پیوندها را دنبال کنند:

<meta name="robots" content="index, follow">

در حالی که متا تگ فوق رایج است، سوء تفاهم زیادی در مورد آن وجود دارد. استدلالی وجود دارد که از آنجایی که Google از nofollow پشتیبانی می کند، باید به این معنی باشد که Google از دستورالعمل فالو پشتیبانی می کند. ما در تیم بکلینو تعدادی وب سایت معتبر پیدا کردیم که می گویند گوگل از فهرست متا روبات ها استفاده می کند، متا تگ را فالو کنید نه نو فالو ! اما همانطور که جان مولر در پاسخ خود به وضوح بیان می کند، در واقع گوگل از این دستورالعمل ها استفاده می کند.

تأثیر حذف تگ شاخص متا روبات ها چیست؟

شخصی در Reddit سؤال زیر را پرسید:

“من با وب سایتی که روی آن کار می کنم کمی گیج شده ام. بنابراین، متا اسنیپت ها در اکثر وب سایت هایی که من روی آنها کار می کنم به این صورت است: اما، در وب‌سایت موجود، برچسب «شاخص» را از دست داده است. سوال من این است: از دست دادن تگ “index” سایت چه تاثیری دارد.”

جان مولر پاسخ داد:

متا تگ ربات «شاخص» هیچ عملکردی ندارد (حداقل در گوگل) – کاملاً نادیده گرفته شده است.

چرا گوگل فهرست و فالو روبات ها را نادیده می گیرد؟

دلیل ساده نادیده گرفتن ایندکس روبات‌ها و فالو کردن متا تگ توسط گوگل این است که ایندکس و فالو پیش‌فرض هستند. نمایه سازی و دنبال کردن لینک ها کاری است که روبات های موتورهای جستجو انجام می دهند، لازم نیست به آنها گفته شود که محتوا را فهرست کنند و پیوندها را دنبال کنند زیرا هدف آنها این است. اسناد گوگل در مورد برچسب های روبات ها توصیه می کند:

مقادیر پیش‌فرض ایندکس هستند، دنبال می‌شوند و نیازی به تعیین ندارند.

لیست کامل دستورالعمل های معتبر برای Google در اینجا است. اگر متای روبات‌هایی که می‌خواهید استفاده کنید در آنجا فهرست نشده است، Googlebot آن را نادیده می‌گیرد.

آیا Index، Follow کاملا بی فایده است؟

این یک سخن درست، مستند و رسمی است که وقتی صحبت از Googlebot به میان می‌آید،این امر فقط اتلاف فضای HTML است و توسط Googlebot نادیده گرفته می‌شود. هرچند که Bing با شاخص رفتار می کند، همانطور که در مستندات رسمی Bing برای متا تگ ها توضیح داده شده است، به روشی مشابه اما با کمی تفاوت دنبال کنید. این چیزی است که مستندات بینگ در مورد دستورالعمل شاخص می گوید:

“به طور پیش فرض ما “index” را فرض می کنیم، اما در صورت نیاز می توانید از این تگ استفاده کنید تا صریحاً بیان کنید که ممکن است صفحه را ایندکس کنیم.

و این چیزی است که در مورد دستورالعمل زیر می گوید:

“به طور پیش فرض ما صفحات را “follow”  فرض می کنیم، اما در صورت تمایل می توانید به صراحت از تگ “follow” نیز استفاده کنید

در بیش از 20 سال کار خود در زمینه SEO ایجاد وب سایت ها، بهینه سازی آنها و رتبه بندی آنها، من همیشه این را یک سیاست خوب در نظر گرفته ام که به ربات ها آنچه را که انتظار دارند ارائه دهم و سعی کنم چیزی غیرمنتظره به آنها ندهم. بنابراین اگر توضیحات متا ضروری نباشد، انگیزه من این است که آن را کنار بگذارم، زیرا هدف اصلی بهینه سازی این است که تا حد امکان ایندکس کردن و درک محتوا را برای موتورهای جستجو آسان کند، که به معنای خلاص شدن از شر هر چیزی است که ممکن است بر خلاف آن هدف کار کند. در این مورد، به احتمال زیاد استفاده از متا تگ های بدیهی به هر طریقی تأثیری نخواهد داشت. اما… راه دیگری نیز وجود دارد که برای فالو و ایندکس نشدن صفحات از آن استفاده میکنند برخی از ناشران از این متا تگ روبات استفاده می کنند:

<meta name="robots" content="noindex, follow">

برخی از سایت ها توصیه می کنند که اگر صفحه ایندکس نشده است، استفاده از دستورالعمل “دنبال کردن” موتور جستجو را وادار می کند که لینک ها را دنبال کند. فرقی هم نمیکند که این پیوندها از نوع خرید بک لینک باشند یا خرید رپورتاژ آگهی اما این برداشت که اگر دستورالعمل “noindex” وجود داشته باشد، به این دلایل ساده که گوگل نمی تواند لینکی را در صفحه ای که ایندکس نشده است دنبال کند،  برداشت درستی نیست. اگر آن صفحه در ایندکس نباشد، طبیعتا لینکهای آن صفحه هم نیز در فهرست نتایج نخواهند بود.