 |
| ملف الروبوتات بلوجر لتحسين السيو |
ملف robots.txt
يعد ملف Robots.txt مهمًا جدًا بالنسبة إلى موقع الويب ويجب أن يحتوي كل موقع ويب على ملف robots.txt هذا حيث ينصح به محرك البحث Google ومحركات البحث الأخرى للحصول على ملف robots.txt ويخبر ملف robots.txt محرك البحث عناوين URL المراد الزحف إليها والوصول إليها عبر ملف Robots.txt فقط. بشكل عام .
سابقاً تطرقنا في أحد الحلقات دورة بلوجر التي قمنا ببنائها على مدونتنا والتي يمكنك الرجوع إليها من مقالة دورة بلوجر ومراجعتها.
يحترم كل محرك بحث التعليمات المقدمة إلى روبوتات محرك البحث عبر ملف robots.txt ويزحف إلى موقع الويب وفقًا لذلك. إذا كنت تريد تثبيط محركات البحث ، فهذا هو المكان الذي تخبر فيه محركات البحث بحظر عناوين URL من خلال محركات البحث.سبق ان شرحنا حل للمشكل تم حظر عنوان URL الذي تم إرساله باستخدام ملف robots txt.
كيفية إنشاء ملف Robots.txt
إليك القواعد الأساسية لعدم السماح لبرنامج google bot من خلال ملف robots.txt الذي يقدم تعليمات لوكيل مستخدم google bot ولا يسمح لـ nogoogle بالزحف إلى موقعك على الويب.
- ما هي قواعد ملف Robots.txt:
# المادة 1
وكيل المستخدم: Googlebot
Disallow: / nogooglebot /
لإنشاء ملف robots.txt لموقع الويب الخاص بك وإعطاء تعليمات لمحرك البحث جوجل يوفر وثائق سهلة لملف robots.txt والتي ستساعد مشرفي المواقع على بناء ملف robots.txt وكتابة قواعد لملف robots.txt وتقديم التضمينات والاستثناءات عبر ملف robots.txt بالسماح وعدم السماح.
ماذا لو لم يتمكن محرك البحث Google ومحركات البحث الأخرى من العثور على ملف robots.txt ؟
إذا تعذر على google وبرامج الروبوت الأخرى لمحركات البحث العثور على ملف robots.txt لموقع الويب الخاص بك أو تحديد موقعه ، فسيزحفون إلى موقع الويب الخاص بك بالتأكيد ، لكنهم سيحمّلون موقع الويب الخاص بك في بعض الأحيان ، لذلك من خلال تقديم تعليمات ملف robots.txt محددة ، يمكنك حظر وكيل مستخدم محرك البحث مثل جوجل والآخرين الذين ضربوا موقع الويب الخاص بك والخادم باستمرار وتعطل موقع الويب الخاص بك.
كيفية البحث عن ملف robots.txt
للعثور على ملف robots.txt على موقع الويب الخاص بك ، ما عليك سوى الانتقال إلى موقع الويب الخاص بك ووضع شرطة مائلة إلى الأمام وكتابة ملف robots.txt وإدخال ، على سبيل المثال: www.example.com/robots.txt وملف robots.txt يجب أن يعيش في هذا الموقع وتقوم محركات البحث بالزحف وفقًا للإرشادات الواردة في ملف robots.txt.
5- هل تحتاج ملف Robots.txt :
نعم ، كل موقع يحتاج إلى ملف robots.txt. يعد وجود ملف robots.txt مفيدًا من خلال حظر محركات البحث والحفاظ على تقييد برامج الروبوت للزحف إلى موقعك على الويب. إذا كان لديك ملف robots.txt ، فيمكنك بسهولة منع محركات البحث من عدم الزحف إلى عناوين URL لصفحات الويب والمجلدات المعينة التي لا تريد أن تقوم محركات بحث Google أو محركات البحث الأخرى بالزحف إليها والفهرسة في تصنيفات بحث google.
- أقرأ أيضا : كيفيه اضافه موقعك فى ادوات مشرفي المواقع على google search console
أهمية ملف robots.txt
ستسمح لك كتل ملف Robots.txt على موقع الويب الخاص بك إما بحظر أجزاء من موقع الويب أو فهرسة موقع الويب. هذا هو ما يفعله ملف robots.txt في الأساس ، وهو مجرد طريقة للسماح لموقعك بأن يكون داخل google أم لا.
ما المدة التي يستغرقها ملف robots.txt للعمل
إذا قمت بتحرير أو تحديث ملف robots.txt لموقع الويب الخاص بك ، فبمجرد تحديث محرك البحث الخاص بك على الويب ، قد يزحف إليه على الفور أو وفقًا لـ google ، قد يستغرق الأمر بعض الوقت لتحديث ملف robots.txt.
كيفية التحقق مما إذا كان موقعك الإلكتروني محظورًا بواسطة ملف Robots.txt في البحث
وحدة التحكم
في وحدة تحكم البحث ، إذا قال google أن بعض الموارد محظورة بواسطة google bot ، لذلك يتعذر عليها الزحف إلى صفحات الويب. إذا لاحظت هذا الخطأ في Search Console ، إذا كنت ترغب في التحقق من أي جزء أو جزء من الموقع المحظور لتحديد هذه الأشياء ،
فإن google توفر أداة اختبار robots.txt في أداة google search console التي تجعل من السهل جدًا التحقق منها وفهمها ملفات الروبوتات هذه. كل ما عليك فعله هو كتابة جزء من موقع الويب الخاص بك وسيخبرك أي جزء تم حظره وأي جزء أو مجلدات من موقع الويب الخاص بك يسمح لـ bot google بالزحف.
