ملف Robots.txt هو أداة فعالة تساعد في توجيه محركات البحث أثناء فهرسة موقع الويب الخاص بك. في هذا المقال، سنتعرف على كيفية إنشاء وتكوين ملف Robots.txt بشكل أفضل لتحسين تجربة تصفح محركات البحث لك.
ما هو ملف Robots.txt؟
يعتبر ملف Robots.txt ملفًا بشكل نصي ويقوم بالبحث عن الأماكن التي يمكن أو لا يمكن أن يمكن أن يكون على موقع الويب الخاص بك. ولهذا السبب يرجى العلم أن فهرسة الأقسام غير المرغوب فيها وتشمل محركات البحث إلى المحتوى الأساسي.
الخطوة 1: إنشاء ملف Robots.txt
قم بزيارة أي محرر نصي (مثل Notepad) على جهاز الكمبيوتر الخاص بك.
قم بوجود ملف جديد واحفظه بالاسم "robots.txt".
الخطوة 2: هيكلة ملف Robots.txt
قد تحتاج إلى إضافة متطلبات متنوعة وفقًا لاحتياجاتك أدناه، ولكن هناك بعض الأمور الأساسية التي يمكن أن تكون مفيدة:
User-agent:: يشير إلى محرك البحث الذي يستخدم في القاعدة. استخدم () لتطبيق القاعدة على جميع محركات البحث.
عدم السماح: يحدد الصفحات أو المجلدات التي يجب على المحرك عدم البحث عنها. يمكنك استخدام العلامة (/) لحظر جميع الصفحات في الموقع.
السماح: يشير إلى الصفحات أو المجلدات التي لمحرك البحث بزيارتها على الرغم من وجود قاعدة عدم السماح بشكل عام.
الخطوة 3: تحديث موقعك على الخادم
تسجيل الدخول إلى برنامج نقل الملفات FTP وقم بتسجيل الدخول إلى الخادم الأصلي.
قم برفع ملف Robots.txt إلى الدليل الرئيسي لك.
الخطوة 4: اختبار ملف Robots.txt
قم بزيارة "www.yourdomain.com/robots.txt" في المتصفح المرغوب من أن الملف يُظهر بشكل صحيح.
استخدم أدوات تحليل Robots.txt المتاحة عبر الإنترنت ولهذا السبب والتحسين.
المعرفة الإضافية:
استخدم تعليقات (#) لشرح التعليمات في ملف Robots.txt.
تأكد من إضافة ملف Sitemap.xml لتسهيل فرسة محتوى بموقعك.
يقوم تحديث ملف Robots.txt بشكل دوري باستعراض الخيارات المحتملة في هيكل الموقع.
الوقت:
بإتقان الملف Robots.txt، يمكنك تحسين محركات البحث بالموقع الأصلي. تأكد من فحص وتحديث هذا الملف لضمان أن تخضع لذاته بشكل صحيح وفقًا لاحتياجاتك.