# =====================================================
# 📌 ملف robots.txt - تحسين الأرشفة والتحكم في الزحف
# تم تحسينه بناءً على أفضل الممارسات في SEO و Lighthouse
# =====================================================

# ------------------------------
# 🟢 1. تحديد قواعد خاصة بمحركات البحث
# ------------------------------

# السماح لـ Googlebot بالوصول الكامل للموقع
User-Agent: Googlebot
Allow: /

# السماح لـ OAI-SearchBot و PerplexityBot بالزحف دون قيود
User-Agent: OAI-SearchBot
User-Agent: PerplexityBot
Allow: /

# ------------------------------
# 🔵 2. القواعد العامة لجميع محركات البحث
# ------------------------------

User-Agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# ------------------------------
# 🛒 3. منع الزحف إلى صفحات WooCommerce غير المفيدة
# ------------------------------

# منع الزحف إلى الروابط المؤقتة مثل إضافة المنتجات إلى السلة
Disallow: /*?add-to-cart=

# حظر الوصول إلى صفحات غير مفيدة لمحركات البحث
Disallow: /cart/
Disallow: /checkout/
Disallow: /thank-you/
Disallow: /order-received/

# السماح بفهرسة صفحة "حسابي" لأنها قد تحتوي على محتوى مفيد
Allow: /my-account/

# ------------------------------
# 🔐 4. تحسين الأمان - منع الوصول إلى الصفحات الحساسة
# ------------------------------

Disallow: /wp-login.php
Disallow: /wp-signup.php
Disallow: /readme.html
Disallow: /license.txt

# منع الوصول إلى ملفات WooCommerce الحساسة
Disallow: /wp-content/uploads/wc-logs/
Disallow: /wp-content/uploads/woocommerce_transient_files/
Disallow: /wp-content/uploads/woocommerce_uploads/

# ------------------------------
# 🗺️ 5. خريطة الموقع - Sitemap
# ------------------------------

Sitemap: https://www.awtadspace.com/sitemap_index.xml