استودیو راست کلیکاستودیو راست کلیکاستودیو راست کلیکاستودیو راست کلیک
  • طراحی سایت وردپرس
    • طراحی سایت آموزشی
    • طراحی سایت فروشگاهی
    • طراحی سایت شرکتی
    • طراحی سایت شخصی
  • مشاوره کسب‌وکار
  • وبلاگ
  • نمونه‌کارها
  • درباره ما
  • ارتباط با ما
سفارش طراحی سایت
✕

فایل robots.txt چیست و چگونه می توان آن را ساخت؟

فایل robots.txt چیست
فایل robots.txt چیست
  • چرا باید از robots.txt استفاده کنیم؟
  • robots.txt کجاست؟
  • دستورات فایل robots.txt
  • نحوه ساخت فایل robots.txt
  • جمع‌بندی
سرفصل مطالب
این مقاله چقدر مفید بود؟

به این آموزش چه امتیازی می دهید؟

میانگین امتیاز 4.5 / 5. تعداد آرا: 4

فایل robots.txt چیست و چگونه می توان آن را ساخت؟

ما همیشه از خدامونه که گوگل هرچه زودتر بیاد و محتوای مارو ایندکس کنه! اما بعضی وقتا اتفاقا برعکسش صادقه یعنی ممکنه بخوایم که گوگل بعضی از صفحات رو اصلا نبینه یا صفحات سایت رو ایندکس نکنه. بله! اینم ممکنه!

اینجاست که فایل robots.txt میتونه خیلی کمک حالمون باشه. اگه می‌پرسی چطور، با من، عرفان پردیسان از استودیو راست‌کلیک همراه باش.

 

چرا باید از فایل robots.txt استفاده کنیم؟

موتور جستجوی گوگل برای پیدا کردن و ایندکس کردن صفحات وب‌سایت‌ها از ربات‌های مختلف استفاده می کنه که بهشون Crawler ها یا خزنده های گوگل هم میگن.

این ربات ها با خزیدن در صفحه های وب اطلاعات مربوط به صفحات مختلف رو به دست آورده و برای موتور جستجو ارسال می‌کنند.

با این وجود بعضی از وبمستر ها علاقه ای ندارند که بعضی از صفحات وبسایتشون که اهمیتی نداره تو گوگل ایندکس بشه و میخوان یه جوری به ربات های گوگل بفهمونن که این صفحات رو ایندکس نکن!

بیا و فرض کن یه سایت فروشگاهی طراحی کردی و کاربرات باید یه صفحه پنل کاربری یا سابقه سفارش داشته باشن. آیا درسته که این صفجه‌ی بی ارزش (از لحاظ گوگلی) ایندکس بشه؟

یا فرض کن یه سایت شرکتی یا آموزشگاه آنلاین داری و حالا هنرجوها باید یه صفحه VIP یا محدودشده برای اعضا داشته باشن که توی اون دوره‌ها و فایل‌های پولی قرار داره! آیا می‌خوای اونو برای همه قابل دسترسی کنی؟ بعید می‌دونم!

خب حالا ما برای این که به گوگل بفهمونیم که بعضی از صفحات سایتمون نباید ایندکس بشن و ارزش ایندکس شدن هم ندارند از فایل robots.txt استفاده می کنیم که یه فایل متنی هست که شما یه سری کد ها رو توش وارد می کنید و توی اون کد ها به صفحاتی که نباید ایندکس بشن اشاره می کنید.


یک پیشنهاد جذاب برای خوندن…

اگه کار از کار گذشته و ایندکس شدی رفته، برای رفعش می‌تونی از این آموزش هم استفاده کنی




فایل robots.txt از چه آدرسی قابل مشاهده است؟

اکثر سایت های معروفی که شما تو فضای اینترنت می بینید از فایل robots.txt و مزایا و ویژگی هایی که این فایل داره استفاده می کنند از دیجی کالا گرفته تا خود استودیو راست کلیک!

برای دسترسی به فایل robots.txt سایت های مختلف و آنالیز اون ها کافیه که به آخر دامین سایت مورد نظرتون “robots.txt/” رو اضافه کنید.

  • برای مثال فایل robots.txt سایت خود ما از این آدرس قابل دسترسی هست: https://rastclick.co/robots.txt

 

آشنایی با دستورات فایل robots.txt و معنی آن ها

آشنایی با دستورات فایل robots.txt

برای این که از قابلیت های فایل robots.txt برای سئوی وب‌سایت خودتون استفاده کنید، به تخصص در کدنویسی ندارید و استفاده از کد های پیچیده نیازی ندارید. ما تو همین پست بهتون انواع کد هایی که نیاز دارید رو آموزش می دیم و شما با مطالعه کامل این پست قادر خواهید بود که فایل robots.txt سایت خودتون رو در بهینه ترین حالت ایجاد کنید.

دستورات فایل robots.txt به ۳ بخش کلی تقسیم می شوند:

  1. User-agent
  2. Disallow
  3. Allow

 

دستور User-agent

همونطور که قبلا هم اشاره کردیم، گوگل از خزنده ها و ربات های مختلفی برای پیدا کردن و ایندکس کردن صفحات سایت های مختلف استفاده می کنه. شما قبل از نوشتن فایل robots.txt باید مشخص کنید که کدوم ربات گوگل نباید وبسایت شما رو بررسی کنه. با این حال، معمولا اکثر وبسایت ها همه ربات های گوگل رو هدف قرار میدن و به همه این ربات ها مثل هم دستور میدن.

  • پیشنهاد میکنیم که شما هم همینکارو انجام بدید، مخصوصا اگه در این زمینه مبتدی هستید.

اگه خواستید که به تمام ربات‌های خزنده مثل هم دستور بدید، کافیه که بعد از عبارت User-agent از علامت “*” استفاده کنید. مثلا اینطوری:

User-agent: *

ولی اگه تمایل داشتید که فقط به یه ربات خزنده گوگل دستور بدید مثل دستور زیر اقدام کنید:

User-agent: Googlebot Images

دستور بالا فقط ربات خزنده مربوط به تصاویر گوگل رو مورد خطاب قرار میده.

لیست همه User agent ها و ربات های گوگل رو میتونید از این لینک مشاهده کنید.

 

دستور Disallow

از دستور Disallow برای محدود کردن صفحاتی خاص از وبسایت استفاده می شه. اگه تمایل دارید که بعضی از صفحات سایت شما که ارزش بالایی ندارند تو گوگل ایندکس نشن باید از این دستور استفاده کنید.

فرض کنید که سایت شما یه بخش دانلود هم داره که شما نمیخواید تو گوگل ایندکس بشه. در این صورت شما باید از یه کدی مثل کد زیر استفاده کنید.

User-agent: *
Disallow: /dl

این دستور به این معنا هست که همه صفحات سایت شما ایندکس بشن به جز صفحاتی که آدرس اون ها با dl شروع شده اند.

 

دستور Allow

از دستور Allow نیز برای این استفاده میشه که به ربات گوگل اجازه دسترسی به یه فایلی که داخل پوشه ای که Disallow شده رو بدید. برای توضیح بیشتر یه مثال میزنیم:

فرض کنید که شما پوشه dl رو محدود کردید و ربات خزنده گوگل اجازه دسترسی بهش رو نداره. حالا یه فایلی داخل پوشه dl به نام rastclick هست که شما تمایل دارید که توی گوگل ایندکس بشه برای این کار از این کد استفاده می شه:

User-agent: *
Disallow: /dl
Allow: /dl/rastclick

 

نحوه ساخت فایل robots.txt

برای ساخت فایل robots.txt باید ابتدا کد مورد نظرتون رو توی نرم افزار notepad تایپ و آماده کنید و سپس این فایل رو با نام “robots.txt” ذخیره کنید.

حالا باید این فایل رو توی توی صفحه اصلی سایت از طریق هاست آپلود کنید. برای این کار مطابق تصویر زیر به بخش File Manager هاست cPanel برید.

سپس وارد پوشه Public html شوید.

 

پس از وارد شدن به این پوشه با یه سری فایل روبرو خواهید شد که این فایل ها در مسیر اصلی سایت شما وجود دارند. حالا شما باید فایل robots.txt رو در همین صفحه و مطابق با تصویر زیر آپلود کنید.

 

در این بخش باید فایل robots.txt رو از هارد دیسک خودتون و جایی که ذخیره ش کردید انتخاب کنید و با اتمام این کار، شما تونستید که فایل robots.txt رو با موفقیت ایجاد کنید.

 

جمع‌بندی

ما خیلی وقتا می خوایم که گوگل صفحات خاص یا بی اهمیت سایتمون رو ایندکس نکنه و در نتایج جستجوی خودش نیاره. یکی از راه هایی که برای فهماندن این موضوع به گوگل هست، استفاده از فایل robots.txt است.
البته بگم که من خودم اکثرا از تگ noindex استفاده می‌کنم و فقط وقتی یه الگویی یا چیزایی رو کلا بخوام از گوگل قایم کنم، دست به دامان robots.txt میشم!



دعوت به گذاشتن کامنت


شما چی؟ از کدوم روش برای قایم کردن این صفحات از گوگل استفاده می‌کنید؟
کدومش به نظرت بهتره؟
ارسال دیدگاه



یک لقمه تجربه برای رشد بیشتر کسب‌وکار شما

دنیای رقابتی امروز، فرصت تصمیم گیری اشتباه را به هیچ کسب‌و‌کاری نمی‌دهد. احتمال بی‌راهه رفتن بسیار زیاد شده که شاید موجب شود میلیون‌ها تومان ضرر مالی کنید و هیچ‌گاه به کسب‌وکار رویایی خود نرسید. اما شاید یک سوال یا یک تجربه بتواند مانع از چنین رویدادی شود…



اشتراک گذاری

مطالب مرتبط

مهارت شبکه سازی چیست؟ - استفاده از مهارت‌های شبکه‌سازی در کسب و کار

احتمالا با شنیدن اسم شبکه سازی، با ترس از چگونگی انجام آن مواجه می‌شوید. حالا وقت آن رسیده که با مفهوم شبکه سازی آشنا شوید و مهارت لازم برای Networking در کار و نیازهای خود را کسب کنید.

۲۸ خرداد ۱۴۰۱

مهارت شبکه سازی چیست؟ – استفاده از مهارت‌های شبکه‌سازی در کسب و کار


اطلاعات بیشتر
7 اشتباه رایج در طراحی صفحه اصلی سایت

صفحه اصلی سایت شما مهم‌ترین صفحه‌ای است که باید با دقت به تمام اجزای آن توجه کنید.

۲۱ خرداد ۱۴۰۱

آشنایی با رشته کامپیوتر – معرفی رشته مهندسی کامپیوتر


اطلاعات بیشتر
تفاوت Frontend و Backend - فرق فرانت اند و بک اند

فرق فرانت اند و بک اند در اقدامات مربوط به ظاهر سایت که وظیفه فرانت اند کار و اقدامات مربوط به تولید محصول نهایی که وظیفه بک اند کار است، می‌باشد.

۱۴ خرداد ۱۴۰۱

تفاوت Frontend و Backend – فرق فرانت اند و بک اند


اطلاعات بیشتر

دیدگاهتان را بنویسید لغو پاسخ

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

تمامی حقوق این وبسایت متعلق به استودیو راست‌کلیک می‌باشد.

سایت شخصی | سایت شرکتی | سایت آموزشی | فروشگاه اینترنتی

logo-samandehi