ما هو ملف Robots.txt وما عمله؟
باختصار شديد ملف Robots.txt هو ملف يتم انشائه على المجلد الرئيسي لموقعك والذي يقوم بدوره بتوجيه روبوتات وعناكب البحث للصفحات المهمة علي موقعك او الصفحات التي سيتم ارشفتها حيث يخبر هذا الملف عناكب البحث بان هذه الصفحات هي الاهم علي موقعك وهي التي سوف يتم ارشفتها, ويبعدهم ايضاً عن الصفحات غير المهمة والتي لايجب علي عناكب البحث ارشفتها واظهارها علي محركات البحث الخاصة بهم.
كيف يمكنك إنشاء ملف Robots.txt
- تقوم بإنشاء ملف نصي بصيغة txt على المجلد الرئيسي لموقعك بإسم robots ليكون اسم الملف الكامل هو robots.txt.
- نقوم بمليء الملف بالأوامر التي نريد اعطائها لمحركات البحث.
البدء في كتابة أوامر ملف Robots.txt
لنفرض وجود موقع رابطه الرئيسي هو www.gredev.net وهنالك صفحة تسمى blog
للدخول لهذه الصفحة تحتاج الانتقال الى هذا الرابط www.gredev.net/blog اليس كذلك؟
الأن نريد حظر محركات البحث من الدخول الى هذه الصفحة وأرشفة محتوياته، سنقوم بكتابة التالي داخل ملف Robots.txt:
User-agent: Googlebot
Disallow: /blogالسطر الأول نخبر بيه محرك البحث جوجل (تحديداً) بالأوامر التي تلي هذا السطر
السطر الثاني نخبر محرك البحث جوجل بعدم ارشفة الصفحة blog او محتوياتها الفرعية من خلال تعليمة Disallow
يمكنك أيضاً إستخدام علامة النجمة (*) للدلالة عن "الكل" فمثلاً تريد ان يتم تطبيق هذه التعليمات على جميع محركات البحث سوف تستخدم هذه العلامة بدل كلمة Googlebot ليصبح كالتالي:
User-agent: *
Disallow: /blog
أفضل الممارسات المتبعة في إعدادات ملف Robots.txt
الكود التالي يمكنك إستخدامه في موقعك من دون اي مشاكل (في حال اذا كنت لا تود حظر محركات البحث من ارشفة مسار معين):
User-agent: *
Allow: /
Sitemap: http://www.gredev.net/sitemap.xml
السطر الأول يوجه امر لجميع محركات البحث بتطبيق الأوامر التي بأسفله.
السطر الثاني يخبر محركات البحث بالسماح بأرشفة جميع الصفحات الموجودة في الموقع.
السطر الثالث من اهم الاساليب المتبعة لأرشفة الموقع بسرعة هو تقديم خريطة الموقع وهو من خلال استخدام تعليمة Sitemap ويليها رابط خريطة الموقع.
* يمكنك الرجوع الى هذه المقالة التي شرحنا بها موضوع خريطة الموقع بالتفصيل.
تطبيق هذه الممارسات فعلياً
لتطبيق هذه الممارسات تحتاج الوصول الى ملفات الموقع اما من خلال لوحة تحكم الموقع الرئيسية مثل cPanel او من خلال الإتصال بالموقع من خلال خدمة FTP. أما بالنسبة للمواقع التي تستخدم سكربت الـ WordPress فيمكنهم تنصيب إضافات للتحكم بهذا الملف مثل إضافة Virtual Robots.txt أو أي إضافة اخرى تقدم نفس الخدمة.