همه چیز در رابطه با فایل robot.txt: در همین ابتدا بهتر است بگوییم که این آموزش و استفاده از فایل robot.txt تماماً مربوط به سئو سایت شما می شود. اگر از وردپرس برای طراحی سایت خود استفاده می کنید، حتما برای سئو هم از افزونه های مرتبط در این قضیه استفاده کرده اید. این افزونه ها بطور خودکار این فایل را ایجاد می کنند. اما در صورتی که از سیستم های مدیریت محتوا استفاده نمی کنید و یا وب سایت خود را کاملا کدنویسی کرده اید، نیاز دارید تا خودتان بطور کامل این فایل را ایجاد کرده و ان را تنظیم کنید. در ادامه با آویناوب همراه باشید تا کمی در رابطه با این فایل صحبت کرده و در نهایت در مورد بهینه سازی و همچنین کنترل این فایل صحبت کنیم.

همه چیز در رابطه با فایل robot.txt

فایل robot.txt نقش بسیار مهمی در سئو سایت شما دارد. این فایل دقیقا برای روبات جستجوگرهایی مثل گوگل ایجاد می شوند تا مشخص کنند این روبات ها باید چه فایل هایی را بررسی کرده و کدام از فایل ها را دسترسی داشته باشد و کدام را دسترسی نداشته باشد و در نهایت طبق قوانین مشخصی آن را به گوگل جهت ایندکس معرفی کند. منظور از ایندکس شدن مطالب، پیدا شدن آن ها در نتایج جستجوها می باشد. این فایل دستورهای بسیار زیاد و مختلفی دارد که در ادامه برخی از آن ها را توضیح خواهیم داد و آن ها را بهینه خواهیم کرد.

بهینه سازی فایل وردپرس robot.txt

یکی از دستورات این فایل روبات، معرفی فایل نقشه سایت به روبات ها است. البته در صورتی که سایت مپ خود را در گوگل وبمستر اضافه کرده باشید، نیازی به انجام این کار نیست، ولی کار از محکم کاری عیب نمی کند. زیرا این روبات ها جهت خزیدن در وب سایت، می توانند مجددا فایل سایت مپ را بررسی کنند. تمام چیزی که باید از نقشه سایت وردپرس بدانید در مقاله مذکور گفته شده است. پیشنهاد می کنیم مطالعه فرمایید. این فایل نیز جهت سئو همانند فایل های دیگر وردپرس، نیاز به بهینه سازی دارد. اما ابتدا باید آن را ایجاد کرد یا از ایجاد شدن آن مطمئن شویم.

ایجاد فایل robot.txt

جهت اطمینان از وجود این فایل، می توانید دقیقاً نام آن را در بعد از وب سایت خود وارد کنید، بطور مثال به شکل مقابل: http://avinaweb/robot.txt. اگر خطای ۴۰۴ یا پیدا نشد داشتید، یعنی این فایل وجود ندارد و باید آن را ایجاد کنید. جهت ایجاد این فایل، می توانید در هاست خود(در ریشه هاست، یعنی فولدر اصلی) این فایل را با همین نام دقیقاً ایجاد کنید. روش دیگر ایجاد این فایل این است که در یک فایل txt در محیط ویندوز با همین نام ایجاد کرده و آن را در پوشه اصلی هاست خود بارگزاری کنید.

نحوه استفاده از فایل وردپرس robot.txt

تنها ایجاد و وجود این فایل در هاست شما سود و منفعتی برای وب سایتتان ندارد. این فایل علاوه بر ایجاد در جای مناسب خود، باید دارای محتوای مناسبی باشد. حال این که چه محتوایی باید در فایل robot.txt باشد را در ادامه خواهیم گفت. فرمت کلی این فایل بسیار ساده و به زبان نزدیک به انسان می باشد. یعنی قرار نیست هیچ کدی به زبان ماشین در این فایل وارد شود که شما متوجه آن نشوید. در ابتدای این فایل عبارت user agent باید وارد شود که به معنای عامل کاربر می باشد. این خط کد در واقع نام ربات جستجوگری است که شما در تلاش هستید که با آن ارتباط برقرار کنید. می توان مقدار این عامل را مثلا با عبارت Googlebot مقداردهی کرد که بدین معناست که فقط ربات گوگل به این فایل دسترسی داشته باشد. پیشنهاد می شود از عبارت * برای آن استفاده شود. در این صورت تمام ربات ها می توانند به این فایل دسترسی داشته باشند. دو دستور دیگری که بعد از دستور user agent وارد می شود، دستور های Allow و Disallow است. همانطور که از نامشان مشخص است، دستور Allow مشخص می کند که به چه فایل هایی به روبات دسترسی داده شود که آن ها را ایندکس کند، و دستور Disallow نیز مشخص می کند که روبات به چه فایل هایی دسترسی نداشته باشد. دستور Disallow بیشتر برای این استفاده می شود که روبات جستجوگرها دیگر مدیریت محتوای وب سایت ها را بررسی نکنند.

کد زیر نمونه ای از فایل وردپرس robot.txt است:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
sitemap: http://avinaweb.com/robot.txt

با توجه به مثال وردپرس robot.txt فوق داریم:

خط ۲، نشان دهنده ایندکس پوشه تصاویر آپلود شده توسط موتورهای جستجو است. یعنی موتورهای جستجو می توانند پوشه تصاویر را ایندکس کنند!

خط ۳ و ۴، نشان دهنده عدم ایندکس  پوشه افزونه ها و فایل readme.html توسط موتورهای جستجو است. به عبارتی موتورهای جستجو نمی توانند این دو بخش را با توجه به مثال فوق ایندکس کنند.

افزودن نقشه XML سایت به فایل وردپرس robot.tx

Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml

فایل ایده آل وردپرس robot.txt به چه صورتی است؟

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: http://avinaweb.com/sitemap.xml

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

این فیلد را پر کنید
این فیلد را پر کنید
لطفاً یک نشانی ایمیل معتبر بنویسید.
شما برای ادامه باید با شرایط موافقت کنید

فهرست