فایل robots.txt وب سایت وردپرسی، درواقع به موتور های جستجوگر دستور می دهد که چگونه وب سایت را بخزند و بررسی کنند. همین موضوع باعث می شود که فایل robots.txt بتواند یک ابزار بسیار عالی برای سئو وب سایت باشد.

در این مقاله از کانی تمز قرار است به شما نحوه بهینه سازی به صورت صحیح فایل robots.txt را آموزش دهیم.

فایل Robots.txt چیست؟

همانطور که گفتیم، فایل robots.txt فایلی است که صاحب وب سایت می تواند با استفاده از آن، به موتور های جستجوگر بگوید که چگونه وب سایت را بخزند (Crawl) و چگونه صفحات را ایندکس کنند.

به طور معمول، این فایل در ریشه (Root) اصلی وب سایتتان قرار دارد و ساختار پیش فرض آن به صورت زیر است:

شما در این فایل، می توانید خط های مختلفی را برای اجازه یا اجازه ندادن آدرس های مختلف و یا افزودن چند نقشه وب سایت (Sitemap) استفاده کنید. حال اگر شما یک آدرس خاصی را در حالت disallow یا همان “اجازه ندادن” قرار ندهید، ربات های خزنده موتور های جستجوگر فکر می کنند که این آدرس باید خزیده و ایندکس شود.

در ادامه، یک مثال از آنچه که یک فایل Robots.txt بنظر می رسد، وجود دارد:

در فایل robots.txt بالا، ما به موتور های جستجوگر اجازه داده ایم که فایل های آپلود شده وردپرس را بررسی و ایندکس کنند.

سپس به موتور های جستجوگر دستور داده ایم که پوشه های افزونه ها و Admin وردپرس را بررسی و ایندکس نکنند.

در آخر نیز ما لینک نقشه وب سایتمان را ارائه کرده ایم.

آیا ما به یک فایل Robots.txt برای وب سایت وردپرس نیاز داریم؟

اگر شما یک فایل robots.txt برای وب سایت خود نداشته باشید، موتور های جستجوگر باز هم به بررسی و ایندکس کردن وب سایت شما ادامه می دهند. با این حال، شما نمی توانید به موتور های جستجوگر بگویید که کدام صفحه یا کدام پوشه را بررسی و ایندکس نکنند.

البته این موضوع برای زمانی که شما یک وب سایت تازه و جدید راه اندازی کرده اید، اهمیت و تاثیر خاصی ندارد، زیرا وب سایت شما هنوز دارای محتوای کم می باشد.

با این حال، پس از اینکه وب سایت خود را توسعه دادید و محتویات وب سایتتان رشد پیدا کرد، تمایل پیدا می کنید که بر روی محتویات وب سایتتان کنترل بیشتری داشته باشید و بر ایندکس شدن محتویاتتان نظارت دقیقی داشته باشید.

ربات های جستجو، برای هر یک از وب سایت ها، یک سهمیه خزیدن دارد. این بدین معنیست که ربات ها در حین خزیدن، تعداد معینی از صفحات وب سایت شما را بررسی و ایندکس می کنند. حال اگر این بررسی و ایندکس کردن ربات ها به صورت کامل تمام نشود، دوباره در آینده باز می گردند و کار خود را تمام می کنند.

همین موضوع باعث می شود که سرعت ایندکس شدن صفحات وب سایت شما کند باشد.

حال شما می توانید این مشکل را با اجازه ندادن به بررسی و ایندکس کردن صفحات و پوشه های غیر ضروری مانند پوشه و صفحات ادمین وردپرس، افزونه ها و قالب ها، رفع کنید. در نتیجه می توانید با disallow (اجازه ندادن) برخی از صفحات غیر ضروری وب سایتتان، سهمیه ایندکس را برای خود ذخیره کرده و به ربات ها این امکان را بدهید تا روزانه بتوانند صفحات اصلی وب سایتتان را بیشتر ایندکس کنند.

یکی دیگر از مزیت های فایل robots.txt این است که شما می توانید جلوی ربات های موتور های جستجوگر را از ایندکس کردن برخی از صفحات و محتویات وب سایتتان، بگیرید. البته باید بگوییم که این راه، راهی امن برای پنهان کردن محتوا و برخی از صفحات وب سایت از دسترس عموم نیست ولی باز هم می توان از این راه برای جلوگیری از نمایش برخی از صفحات وب سایت در نتایج جستجو، استفاده کرد.

یک فایل Robots.txt ایده‌آل، چگونه باید بنظر برسد؟

بسیاری از وب سایت های پربازدید و معروف، از یک فایل robots.txt ساده استفاده می کنند. درواقع، هر یک از وب سایت ها می توانند بر اساس نیاز های خود، فایل robots.txt را تنظیم کنند.

در فایل robots.txt بالا، ما به ربات های جستجو اجازه داده ایم تا تمامی محتویات وب سایت را بررسی کنند و برای هر کدام از آن ها، یک لینک در نقشه وب سایت ارائه کنند.

برای وب سایت های وردپرسی، ما قوانین زیر را برای فایل Robots.txt پیشنهاد می کنیم:

فایل robots.txt بالا به موتور های جستجوگر می گوید که تمامی فایل ها و تصاویر وردپرس را ایندکس کنند. همچنین به ربات های جستجو دستور داده ایم که فایل های افزونه، ادمین وردپرس، قالب ها و لینک های وابسته را ایندکس نکنند.

با افزودن نقشه وب سایت در فایل robots.txt، کار را برای ربات های جستجو جهت پیدا کردن صفحات وب سایت، آسان می کند.

حال با اینکه یاد گرفتید یک فایل Robots.txt ایده آل چگونه بنظر می رسد، بیاید نگاهی به چگونگی ایجاد یک فایل Robots.txt بیندازیم.

چگونه یک فایل Robots.txt در وردپرس ایجاد کنیم؟

برای ایجاد یک فایل robots.txt دو راه وجود دارد که شما می توانید به دلخواه، یکی از آن ها را انتخاب کنید.

روش اول: ایجاد یک فایل Robots.txt با استفاده از افزونه Yoast SEO

اگر شما درحال استفاده از افزونه Yoast SEO هستید، این افزونه به صورت خودکار یک فایل Robots.txt ایجاد می کند.

درواقع شما می توانید از این افزونه برای ایجاد و ویرایش فایل Robots.txt در وردپرس خود به صورت مستقیم، استفاده کنید.

به راحتی وارد بخش سئو >> ابزارها بشوید و سپس بر روی گزینه “ویرایشگر فایل” کلیک کنید:

در صفحه بعدی، افزونه Yoast SEO به شما فایل robots.txt موجود در وب سایتتان را نشان می دهد.

حال اگر شما فایل robots.txt در وب سایت خود نداشته باشید، افزونه Yoast SEO به صورت خودکار یک عدد برای شما ایجاد می کند.

به صورت پیش فرض، ربات تولید کننده فایل robots.txt افزونه Yoast SEO، قوانین زیر را برای فایل Robots.txt وب سایت شما تعریف می کند:

حال کار مهمی که شما باید در اینجا انجام دهید این است که این دو خط را از فایل robots.txt وب سایت خود حذف کنید! زیرا این قانون به طور کلی، دسترسی ربات های جستجو را برای ایندکس کردن وب سایت شما مسدود می کند.

پس از حذف قوانین پیش فرض، می توانید قانون های خود را در فایل Robots.txt قرار دهید. ما پیشنهاد می کنیم که از قوانین ایده آلی که قرار دادیم، برای فایل Robots.txt وب سایت خود استفاده کنید.

روش دوم: ایجاد فایل Robots.txt به صورت دستی

در این روش، شما باید به صورت مستقیم با استفاده از اتصال FTP یا فایل منیجر کنترل پنل هاست خود، فایل Robots.txt را ایجاد کنید.

به راحتی وارد فایل منیجر کنترل پنل هاست خود بشوید. سپس در روت هاست وب سایت خود، فایل با عنوان robots.txt همانند تصویر زیر می توانید مشاهده کنید:

حال اگر فایلی با این عنوان مشاهده نکردید، می توانید به راحتی مانند تصویر زیر، یک فایل robots.txt ایجاد کنید:

فایل Robots.txt را شما می توانید در کامپیوتر شخصی خود نیز با استفاده از ویرایشگر های ساده مانند Notepad ویرایش کنید. سپس بعد از اعمال تغییرات، می توانید آن را مجدداً در روت هاست وب سایت خود آپلود نمایید.

چگونه می توا فایل Robots.txt را تست نمود؟

همیشه ایده خوبیست که پس از ایجاد فایل robots.txt، آن را تست کنیم و از کارایی صحیح آن، مطلع شویم.

ابزار های بسیاری برای تست فایل robots.txt وجود دارد اما ما ابزار Google Search Console را برای اینکار پیشنهاد می کنیم.

برای اینکار، به راحتی وارد کنترل پنل سرچ کنسول گوگل خود شده و به ورژن قدیمی، سوییچ کنید:

با اینکار، شما به رابط کاربری قدیمی سرچ کنسول منتقل می شوید. سپس باید در زیر منو Crawl بر روی robots.txt Tester کلیک کنید:

سپس، آزمایشگر گوگل شروع به بررسی فایل robots.txt شما می کند و خطا های موجود در آن را به صورت هایلایت شده نشان می دهد.

سخن آخر

هدف اصلی ما از بهینه سازی فایل robots.txt این است که به ربات های جستجو دستور دهیم تا صفحات و پوشه هایی که در دسترس عموم قرار ندارند را بررسی و ایندکس نکنند. مانند پوشه و فایل های افزونه، ادمین وردپرس و قالب ها.

یکسری نکات توسط متخصصین سئو مطرح شده، به صورتی که گفته اند اگر ما، به ربات های جستجو دستور دهیم که تگ ها، دسته بندی ها و صفحات آرشیو را بررسی نکنند، می تواند بر روی روند ایندکس شدن صفحات وب سایت ما تاثر مطلوبی داشته باشد؛ که این موضوع از نظر ما کاملاً غلط بوده و انجام چنین کاری بر خلاف قوانین گوگل می باشد.

پیشنهاد می کنیم برای دریافت آخرین مطالب کانال تلگرام کانی تمزرا دنبال کنید .