يخبر ملف Robots.txt محركات البحث بكيفية الزحف إلى موقعك على الويب مما يجعله أداة تحسين محركات البحث قوية بشكل لا يصدق.
في هذه المقالة ، سنوضح لك كيفية إنشاء ملف robots.txt مثالي لتحسين محركات البحث واضافته في ووردبريس.
ما هو ملف robots.txt؟
ملف Robots.txt هو ملف نصي يمكن لمالكي مواقع الويب إنشاؤه ليخبروا روبوتات محرك البحث عن كيفية الزحف إلى الصفحات وفهرستها على مواقعهم.
عادةً ما يتم تخزينه في الدليل الجذر المعروف أيضًا باسم المجلد الرئيسي لموقعك على الويب. يبدو التنسيق الأساسي لملف robots.txt كما يلي:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
يمكنك الحصول على عدة أسطر من التعليمات للسماح بعناوين URL معينة أو عدم السماح بها وإضافة ملفات sitemap متعددة. إذا كنت لا تمنع عنوان URL ، فإن محركات البحث تفترض أنه يُسمح لها بالزحف إليه.
إليك ما يمكن أن يبدو عليه ملف مثال robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
في مثال ملف robots.txt أعلاه ، سمحنا لمحركات البحث بالزحف إلى الملفات وفهرستها في مجلد تحميلات ووردبريس.
بعد ذلك ، منعنا برامج البحث من الزحف إلى الإضافات وفهرستها ومجلدات المشرف في ووردبريس.
أخيرًا ، قدمنا عنوان URL لخريطة موقع XML الخاصة بنا.
هل تحتاج إلى ملف Robots.txt لموقع ووردبريس الخاص بك؟
إذا لم يكن لديك ملف robots.txt ، فستستمر محركات البحث في الزحف إلى موقعك على الويب وفهرسته. ومع ذلك ، لن تتمكن من إخبار محركات البحث بالصفحات أو المجلدات التي يجب ألا تقوم بالزحف إليها.
لن يكون لهذا تأثير كبير عند بدء مدونة لأول مرة وليس لديك الكثير من المحتوى.
ولكن مع نمو موقع الويب الخاص بك ولديك الكثير من المحتوى ، فمن المحتمل أن ترغب في التحكم بشكل أفضل في كيفية الزحف إلى موقع الويب وفهرسته.
هنا لماذا.
برامج البحث لها حصة زحف لكل موقع ويب.
هذا يعني أنهم يزحفون إلى عدد معين من الصفحات أثناء جلسة الزحف. إذا لم ينتهوا من الزحف إلى جميع الصفحات على موقعك ، فسيعودون ويستأنفون الزحف في الجلسة التالية.
هذا يمكن أن يبطئ معدل فهرسة موقع الويب الخاص بك.
يمكنك إصلاح هذا عن طريق منع برامج البحث من محاولة الزحف إلى الصفحات غير الضرورية مثل صفحات مسؤول ووردبريس وملفات الإضافات ومجلد القوالب.
من خلال منع الصفحات غير الضرورية ، يمكنك حفظ حصة الزحف الخاصة بك. يساعد ذلك محركات البحث في الزحف إلى المزيد من الصفحات على موقعك وفهرستها في أسرع وقت ممكن.
سبب آخر جيد لاستخدام ملف robots.txt هو عندما تريد إيقاف محركات البحث من فهرسة منشور أو صفحة على موقع الويب الخاص بك.
إنها ليست الطريقة الأكثر أمانًا لإخفاء المحتوى عن عامة الناس ، ولكنها ستساعدك على منع ظهورهم في نتائج البحث.
ما الذي يجب أن يبدو عليه ملف Robots.txt المثالي؟
تستخدم العديد من المدونات الشائعة ملف robots.txt بسيط للغاية. قد يختلف محتواها ، اعتمادًا على احتياجات الموقع المحدد:
User-agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
يسمح ملف robots.txt لجميع برامج الروبوت بفهرسة كل المحتوى ويوفر لهم رابطًا إلى خرائط مواقع XML الخاصة بموقع الويب .
بالنسبة لمواقع ووردبريس ، نوصي بالقواعد التالية في ملف robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
هذا يخبر روبوتات البحث بفهرسة جميع صور وملفات موقع ووردبريس .
لا يسمح بتتبع برامج البحث في فهرسة ملفات الموقع الإضافية ، ومنطقة إدارة الادمن ، وملف ووردبريس التمهيدي ، وارتباطات الشركاء التابعين.
من خلال إضافة ملفات sitemap إلى ملف robots.txt ، فإنك تسهل على روبوتات Google العثور على جميع الصفحات على موقعك.
الآن بعد أن عرفت كيف يبدو ملف robots.txt المثالي ، دعنا نلقي نظرة على كيفية إنشاء ملف robots.txt في موقع ووردبريس.
كيفية إنشاء ملف Robots.txt في ووردبريس؟
هناك طريقتان لإنشاء ملف robots.txt في ووردبريس . يمكنك اختيار الطريقة التي تناسبك بشكل أفضل.
الطريقة 1: تحرير ملف Robots.txt باستخدام Yoast SEO
إذا كنت تستخدم المكوّن الإضافي Yoast SEO ، فإنه يأتي مع منشئ ملف robots.txt.
يمكنك استخدامه لإنشاء وتحرير ملف robots.txt مباشرة من منطقة مدير ووردبريس WordPress الخاص بك.
ما عليك سوى الانتقال إلى صفحة SEO في لوحة تحكم ووردبريس الخاص بك والنقر على رابط محرر الملفات.
في الصفحة التالية ، ستعرض صفحة Yoast SEO ملف robots.txt الحالي.
إذا لم يكن لديك ملف robots.txt ، فسيقوم Yoast SEO بإنشاء ملف robots.txt لك.
بشكل افتراضي ، سيضيف منشئ ملف robots.txt الخاص بـ Yoast SEO القواعد التالية إلى ملف robots.txt الخاص بك:
User-agent: *
Disallow: /
من المهم حذف هذا النص لأنه يمنع جميع محركات البحث من الزحف إلى موقعك على الويب.
بعد حذف النص الافتراضي ، يمكنك المتابعة وإضافة قواعد robots.txt الخاصة بك. نوصي باستخدام تنسيق robots.txt المثالي الذي شاركناه أعلاه.
بمجرد الانتهاء ، لا تنس النقر على زر "حفظ ملف robots.txt" لتخزين التغييرات.
الطريقة 2: تحرير ملف Robots.txt باستخدام Rank Math
إذا كنت تستخدم المكوّن الإضافي Rank Math (وهو ما أوصي به) ، فإنه يأتي مع منشئ ملف robots.txt.يمكنك استخدامه لإنشاء وتحرير ملف robots.txt مباشرة من منطقة مدير ووردبريس WordPress الخاص بك.
ما عليك سوى الانتقال إلى Rank Math في لوحة تحكم ووردبريس الخاص بك والنقر على General Settings وأختيارEdit robots.txt.
يمكنك المتابعة وإضافة قواعد robots.txt الخاصة بك. نوصي باستخدام تنسيق robots.txt المثالي الذي شاركناه أعلاه.
بمجرد الانتهاء ، لا تنس النقر على زر "حفظ ملف robots.txt" لتخزين التغييرات.
بمجرد الانتهاء ، لا تنس النقر على زر "حفظ ملف robots.txt" لتخزين التغييرات.
الطريقة 3. تحرير ملف Robots.txt يدويًا باستخدام FTP
لهذه الطريقة ، ستحتاج إلى استخدام عميل FTP لتحرير ملف robots.txt.
ما عليك سوى الاتصال بحساب استضافة ووردبريس الخاص بك باستخدام عميل FTP.
بمجرد الدخول ، ستتمكن من رؤية ملف robots.txt في المجلد الجذر لموقع الويب الخاص بك.
إذا لم تشاهد أحدها ، فمن المحتمل ألا يكون لديك ملف robots.txt. في هذه الحالة ، يمكنك المتابعة وإنشاء واحد جديد.
Robots.txt هو ملف نص عادي ، مما يعني أنه يمكنك تنزيله على جهاز الكمبيوتر الخاص بك وتحريره باستخدام أي محرر نص عادي مثل Notepad أو TextEdit.
بعد حفظ التغييرات ، يمكنك تحميلها مرة أخرى إلى المجلد الجذر لموقع الويب الخاص بك.
كيفية اختبار ملف Robots.txt الخاص بك؟
بمجرد إنشاء ملف robots.txt الخاص بك ، من الجيد دائمًا اختباره باستخدام أداة اختبار robots.txt.
هناك العديد من أدوات اختبار ملف robots.txt
الهدف من تحسين ملف robots.txt هو منع محركات البحث من الزحف إلى الصفحات غير المتاحة بشكل عام. على سبيل المثال ، الصفحات في مجلد wp-plugins أو الصفحات في مجلد مدير ووردبريس WordPress الخاص بك.
هناك خرافة شائعة بين خبراء تحسين محركات البحث وهي أن حظر تصنيفات WordPress والوسوم وصفحات الأرشيف سيحسن معدل الزحف ويؤدي إلى فهرسة أسرع وترتيب أعلى.
هذا ليس صحيحا. إنه أيضًا ضد إرشادات مشرفي المواقع من Google.
نوصي باتباع تنسيق robots.txt أعلاه لإنشاء ملف robots.txt لموقع الويب الخاص بك.
نأمل أن تساعدك هذه المقالة على تعلم كيفية تحسين ملف robots.txt في ووردبريس WordPress من أجل تحسين محركات البحث.
إذا أعجبك هذا المقال ، فالرجاء أضافة تعليق وتققيم للموضوع .
أذا كان لديك أي أستفسار لاتتردد بمراسلتنا هنا
يمكنك أيضًا العثور علينا على Twitter و Facebook
0 التعليقات
