فایل robots.txt چیست و چگونه می توان آن را ساخت؟

ما همیشه از خدامونه که گوگل هرچه زودتر بیاد و محتوای مارو ایندکس کنه! اما بعضی وقتا اتفاقا برعکسش صادقه یعنی ممکنه بخوایم که گوگل بعضی از صفحات رو اصلا نبینه یا صفحات سایت رو ایندکس نکنه. بله! اینم ممکنه!

اینجاست که فایل robots.txt میتونه خیلی کمک حالمون باشه. اگه می‌پرسی چطور، با من، عرفان پردیسان از استودیو راست‌کلیک همراه باش.

چرا باید از فایل robots.txt استفاده کنیم؟

موتور جستجوی گوگل برای پیدا کردن و ایندکس کردن صفحات وب‌سایت‌ها از ربات‌های مختلف استفاده می کنه که بهشون Crawler ها یا خزنده های گوگل هم میگن.

این ربات ها با خزیدن در صفحه های وب اطلاعات مربوط به صفحات مختلف رو به دست آورده و برای موتور جستجو ارسال می‌کنند.

با این وجود بعضی از وبمستر ها علاقه ای ندارند که بعضی از صفحات وبسایتشون که اهمیتی نداره تو گوگل ایندکس بشه و میخوان یه جوری به ربات های گوگل بفهمونن که این صفحات رو ایندکس نکن!

بیا و فرض کن یه سایت فروشگاهی طراحی کردی و کاربرات باید یه صفحه پنل کاربری یا سابقه سفارش داشته باشن. آیا درسته که این صفجه‌ی بی ارزش (از لحاظ گوگلی) ایندکس بشه؟

یا فرض کن یه سایت شرکتی یا آموزشگاه آنلاین داری و حالا هنرجوها باید یه صفحه VIP یا محدودشده برای اعضا داشته باشن که توی اون دوره‌ها و فایل‌های پولی قرار داره! آیا می‌خوای اونو برای همه قابل دسترسی کنی؟ بعید می‌دونم!

خب حالا ما برای این که به گوگل بفهمونیم که بعضی از صفحات سایتمون نباید ایندکس بشن و ارزش ایندکس شدن هم ندارند از فایل robots.txt استفاده می کنیم که یه فایل متنی هست که شما یه سری کد ها رو توش وارد می کنید و توی اون کد ها به صفحاتی که نباید ایندکس بشن اشاره می کنید.

فایل robots.txt از چه آدرسی قابل مشاهده است؟

اکثر سایت های معروفی که شما تو فضای اینترنت می بینید از فایل robots.txt و مزایا و ویژگی هایی که این فایل داره استفاده می کنند از دیجی کالا گرفته تا خود استودیو راست کلیک!

برای دسترسی به فایل robots.txt سایت های مختلف و آنالیز اون ها کافیه که به آخر دامین سایت مورد نظرتون “robots.txt/” رو اضافه کنید.

• برای مثال فایل robots.txt سایت خود ما از این آدرس قابل دسترسی هست: https://rastclick.co/robots.txt

آشنایی با دستورات فایل robots.txt و معنی آن ها

برای این که از قابلیت های فایل robots.txt برای سئوی وب‌سایت خودتون استفاده کنید، به تخصص در کدنویسی ندارید و استفاده از کد های پیچیده نیازی ندارید. ما تو همین پست بهتون انواع کد هایی که نیاز دارید رو آموزش می دیم و شما با مطالعه کامل این پست قادر خواهید بود که فایل robots.txt سایت خودتون رو در بهینه ترین حالت ایجاد کنید.

دستورات فایل robots.txt به ۳ بخش کلی تقسیم می شوند:

1. User-agent
2. Disallow
3. Allow

دستور User-agent

همونطور که قبلا هم اشاره کردیم، گوگل از خزنده ها و ربات های مختلفی برای پیدا کردن و ایندکس کردن صفحات سایت های مختلف استفاده می کنه. شما قبل از نوشتن فایل robots.txt باید مشخص کنید که کدوم ربات گوگل نباید وبسایت شما رو بررسی کنه. با این حال، معمولا اکثر وبسایت ها همه ربات های گوگل رو هدف قرار میدن و به همه این ربات ها مثل هم دستور میدن.

• پیشنهاد میکنیم که شما هم همینکارو انجام بدید، مخصوصا اگه در این زمینه مبتدی هستید.

اگه خواستید که به تمام ربات‌های خزنده مثل هم دستور بدید، کافیه که بعد از عبارت User-agent از علامت “*” استفاده کنید. مثلا اینطوری:

User-agent: *

ولی اگه تمایل داشتید که فقط به یه ربات خزنده گوگل دستور بدید مثل دستور زیر اقدام کنید:

User-agent: Googlebot Images

دستور بالا فقط ربات خزنده مربوط به تصاویر گوگل رو مورد خطاب قرار میده.

دستور Disallow

از دستور Disallow برای محدود کردن صفحاتی خاص از وبسایت استفاده می شه. اگه تمایل دارید که بعضی از صفحات سایت شما که ارزش بالایی ندارند تو گوگل ایندکس نشن باید از این دستور استفاده کنید.

فرض کنید که سایت شما یه بخش دانلود هم داره که شما نمیخواید تو گوگل ایندکس بشه. در این صورت شما باید از یه کدی مثل کد زیر استفاده کنید.

User-agent: *
Disallow: /dl

این دستور به این معنا هست که همه صفحات سایت شما ایندکس بشن به جز صفحاتی که آدرس اون ها با dl شروع شده اند.

دستور Allow

از دستور Allow نیز برای این استفاده میشه که به ربات گوگل اجازه دسترسی به یه فایلی که داخل پوشه ای که Disallow شده رو بدید. برای توضیح بیشتر یه مثال میزنیم:

فرض کنید که شما پوشه dl رو محدود کردید و ربات خزنده گوگل اجازه دسترسی بهش رو نداره. حالا یه فایلی داخل پوشه dl به نام rastclick هست که شما تمایل دارید که توی گوگل ایندکس بشه برای این کار از این کد استفاده می شه:

User-agent: *
Disallow: /dl
Allow: /dl/rastclick

نحوه ساخت فایل robots.txt

برای ساخت فایل robots.txt باید ابتدا کد مورد نظرتون رو توی نرم افزار notepad تایپ و آماده کنید و سپس این فایل رو با نام “robots.txt” ذخیره کنید.

حالا باید این فایل رو توی توی صفحه اصلی سایت از طریق هاست آپلود کنید. برای این کار مطابق تصویر زیر به بخش File Manager هاست cPanel برید.

سپس وارد پوشه Public html شوید.

پس از وارد شدن به این پوشه با یه سری فایل روبرو خواهید شد که این فایل ها در مسیر اصلی سایت شما وجود دارند. حالا شما باید فایل robots.txt رو در همین صفحه و مطابق با تصویر زیر آپلود کنید.

در این بخش باید فایل robots.txt رو از هارد دیسک خودتون و جایی که ذخیره ش کردید انتخاب کنید و با اتمام این کار، شما تونستید که فایل robots.txt رو با موفقیت ایجاد کنید.

جمع‌بندی

ما خیلی وقتا می خوایم که گوگل صفحات خاص یا بی اهمیت سایتمون رو ایندکس نکنه و در نتایج جستجوی خودش نیاره. یکی از راه هایی که برای فهماندن این موضوع به گوگل هست، استفاده از فایل robots.txt است.
البته بگم که من خودم اکثرا از تگ noindex استفاده می‌کنم و فقط وقتی یه الگویی یا چیزایی رو کلا بخوام از گوگل قایم کنم، دست به دامان robots.txt میشم!