أي حد عنده موقع على الإنترنت لازم يكون عارف إزاي يقدر يوجه محركات البحث إنها تفهم موقعه بطريقة صحيحة عشان تقدر تفهرسه وتظهر صفحاته في نتائج البحث بسرعة. في أدوات كتير بتساعد في الموضوع ده، لكن من أهم الأدوات اللي لازم أي صاحب موقع يعرفها هما ملف robots.txt وsitemaps.

• ملف robots.txt هو ملف بسيط بيكون موجود في جذر الموقع وبيتحكم في حركة عناكب محركات البحث، زي عناكب جوجل، عشان يعرفوا إيه الصفحات اللي المفروض يزوروها وإيه اللي المفروض ما يدخلوش عليها. أما sitemaps فهو عبارة عن خريطة لموقعك بتوضح كل الروابط الموجودة فيه وبتساعد محركات البحث على فهم هيكلة الموقع بشكل أسرع.
  ملف robots.txt هو ببساطة ملف نصي بيتم إنشاؤه عشان يحدد لمحركات البحث الصفحات اللي يُسمح ليها بفهرستها والصفحات اللي مش مسموح ليها. الملف ده بيبقى ضروري في حالة إنك عايز تمنع عناكب البحث من الوصول لصفحات معينة، زي صفحات تسجيل الدخول أو صفحات خاصة بالمستخدمين.
  مثلاً، لو عندك موقع زي “www.mymarket.com” وعايز تمنع محركات البحث من الوصول لصفحة تسجيل الدخول اللي لينكها مثلاً “www.mymarket.com/login”، فهتكتب في ملف robots.txt بالشكل ده:
  User-agent: *
  Disallow: /login
  في الكود ده، “User-agent: *” معناها إن التعليمات دي موجهة لكل محركات البحث، و”Disallow: /login” معناها إن الصفحة دي ممنوع يتم فهرستها.
• ملف sitemaps هو عبارة عن ملف XML بيحتوي على كل الروابط اللي في الموقع، وده بيسهل على محركات البحث إنها تلاقي كل الصفحات بسرعة. عشان تضيف خريطة الموقع في ملف robots.txt، كل اللي عليك تعمله هو إضافة السطر ده في نهاية الملف: Sitemap: https://www.mymarket.com/sitemap.xml

الخطوة دي بتساعد محركات البحث إنها تلاقي خريطة الموقع بسهولة، وده بيخليها تقدر تفهرس الموقع بسرعة.

• أول حاجة، هتفتح أي محرر نصوص زي Notepad على الكمبيوتر، وبعد كده هتكتب القواعد اللي عايز تطبقها على موقعك. لو مش عايز أي قيود على فهرسة الموقع، ممكن تكتب
  User-agent: *
  Disallow:
• لكن لو عندك صفحات معينة عايز تمنع محركات البحث منها، هتستخدم “Disallow” زي ما شرحنا فوق.
• بعد كده، هتحفظ الملف باسم “robots.txt” وترفعه على السيرفر في جذر الموقع، يعني يكون متاح على الرابط: https://www.mymarket.com/robots.txt
  جوجل عندها أداة قوية اسمها Google Search Console بتساعدك تتأكد إن ملف robots.txt مكتوب بطريقة صحيحة. عشان تستخدم الأداة، هتدخل على Google Search Console، وتروح لقسم “robots.txt Tester” وتدخل الرابط بتاع الملف عشان تشوف لو فيه أي أخطاء.
• فيه طريقة تانية ممكن تمنع بيها محركات البحث من فهرسة صفحة معينة، وهي عن طريق استخدام ميتا تاج “meta robots” في كود HTML بتاع الصفحة نفسها. لو مثلاً عندك صفحة وعايز تخليها مش متاحة لمحركات البحث، هتضيف الكود ده في بتاع الصفحة: <meta name=”robots” content=”noindex, nofollow”>
  “noindex” معناها إن الصفحة دي مش هتظهر في نتائج البحث.
  “nofollow” معناها إن أي روابط جوه الصفحة دي مش هتاخد أهمية من محركات البحث.
• عندى موقع  كنت بسستخدم فية robots.txt عشان يمنع محركات البحث من الوصول لصفحات عربات التسوق وصفحات تسجيل الدخول، وده لأنه ملوش فايدة إن الصفحات دي تتأرشف في نتائج البحث.

دان لوك بيستخدم sitemaps بطريقة احترافية جدًا، وبيعمل ملفات Sitemap متفرعة لكل قسم في الموقع، فمثلًا عنده خريطة منتجات، وخريطة مقالات، وخريطة للعروض. وده بيخلي جوجل تقدر توصل لكل حاجة بسهولة.

بعد ما تجهز الملفات، لازم تسجل الدخول لحسابك في Google Search Console، وتضيف موقعك لو مش مضاف، وبعد كده

• ادخل على “Sitemaps”.
• ضع رابط الـ Sitemap بتاعك واضغط “Submit”.
• تابع الأداء وشوف لو جوجل قدر يفهرس كل الصفحات.
• روح لقسم “robots.txt Tester” عشان تتأكد إن ملف robots.txt شغال صح.

ليه الحاجات دي مهمة؟ لأن محركات البحث هي المصدر الأساسي للزوار في أي موقع. لو موقعك مش متأرشف كويس، مش هيظهر في نتائج البحث، وده معناه إنك هتفقد فرص كبيرة لجذب عملاء وزوار.

فـ سواء كنت شغال على موقع جديد أو عندك موقع قائم، لازم تهتم بتنظيم ملفات robots.txt وsitemaps عشان تسهل على محركات البحث الوصول لموقعك وتضمن إنه يتفهرس بسرعة وبشكل صحيح.