فحص robots.txt لبرامج زحف الذكاء الاصطناعي
الصق ملف robots.txt لتعرف أي برامج زحف الذكاء الاصطناعي يحظرها، مثل GPTBot وClaudeBot وGoogle-Extended وPerplexityBot. أداة مجانية في متصفحك.
الصق أزواج url -> canonical، وتتبّع كل قفزة، واكشف الحلقات والسلاسل متعددة القفزات بين العناوين الأساسية. مجانية وتعمل في متصفحك.
تعمل بالكامل في متصفحك. لا يُرفع ما تُدخله، ولا يُسجَّل، ولا يُحفظ.
توصي مستندات Google بإضافة rel="canonical" ذاتي المرجعية إلى الصفحة الأساسية نفسها، وتعامل كل
عنوان أساسي مُعلن كتلميح لا كقاعدة.
السلسلة تكسر الفكرة الأولى: الصفحة A تشير إلى B، وB تشير إلى C، وC وحدها تشير إلى نفسها. أما الحلقة فتكسرها تمامًا: A تشير إلى B، وB إلى C، وC تعود إلى A، فلا توجد صفحة تطلب فهرستها هي. ولا يظهر أي منهما عند فحص علامات canonical صفحة بصفحة.
تقرأ كل سطر ملصق بصيغة url -> canonical، وتحلّل الطرفين بمحلّل URL في المتصفح، وتبني جدولًا من كل
عنوان في الجانب الأيسر إلى هدفه. وتعرض برقم السطر كل سطر ليس فيه سهم واحد بالضبط أو فيه عنوان لا
يمكن تحليله.
ثم تتبّع السلسلة من عنوان البداية الذي تختاره، قفزة بعد قفزة، وتتوقف عند أول حالة من هذه:
حد التتبّع 25 قفزة حتى لا يجمّد لصق خاطئ علامة التبويب. ولا تنشر Google حدًا لطول سلاسل العناوين الأساسية، لأن السلاسل ليست نمطًا توصي به مستنداتها.
ترقّم قائمة القفزات كل عنوان بدءًا من 0، وهو عنوان البداية، بالترتيب الذي تتبّعته الأداة. وتحتها حكم مع شارة ناجح أو تحذير أو مشكلة:
| النتيجة | الشارة |
|---|---|
| ذاتي المرجعية بلا سلسلة (0 قفزة) | ناجح |
| قفزة واحدة إلى عنوان ذاتي المرجعية | ناجح |
| قفزتان أو أكثر إلى عنوان ذاتي المرجعية | تحذير |
| قفزة واحدة وتنتهي خارج الأزواج | ناجح |
| قفزتان أو أكثر وتنتهي خارج الأزواج | تحذير |
| توجد حلقة | مشكلة |
النتيجة ذات القفزة الواحدة التي تنتهي خارج الأزواج تعني فقط أن العنوان النهائي لم يُلصق. أضِف له سطرًا، ويُفضّل أن يشير إلى نفسه، ليمكن تأكيد السلسلة.
تبدأ الأداة بأربعة أزواج مبنية حول عنوان الفساتين الذي يحمل معامل تتبّع، وهو المثال الذي تستخدمه Google:
https://example.com/dresses/cocktail?gclid=1 -> https://example.com/dresses/cocktail
https://example.com/dresses/cocktail -> https://example.com/dresses/party
https://example.com/dresses/party -> https://example.com/dresses/formal
https://example.com/dresses/formal -> https://example.com/dresses/cocktail
من عنوان التتبّع، تظهر القفزات هكذا: 0 عنوان ?gclid=1، ثم 1 cocktail، ثم 2 party، ثم 3 formal، ثم
4 cocktail مرة أخرى مع علامة العودة إلى قفزة سابقة. والحكم أن هناك حلقة، بشارة مشكلة.
أدّى عنوان التتبّع دوره، لكن العنوان النظيف الذي أشار إليه لا يستقر أبدًا.
غيّر السطر الأخير إلى https://example.com/dresses/formal -> https://example.com/dresses/formal،
فيصبح الحكم 3 قفزات حتى عنوان أساسي ذاتي المرجعية، بشارة تحذير. والحل أن يشير عنوان التتبّع
وcocktail وparty مباشرة إلى formal.
/page مقابل /page/ كأنها تنتهي خارج الأزواج.هي أن يشير rel=canonical في الصفحة A إلى الصفحة B، ثم يشير العنوان الأساسي في B إلى C بدل أن يشير إلى نفسه. يجب أن تشير كل نسخة مكررة مباشرة إلى العنوان النهائي، وأن يحمل هذا العنوان رابطًا أساسيًا ذاتي المرجعية.
لا تستطيع صفحة في المتصفح قراءة HTML من نطاق آخر بطلب fetch عادي إلا إذا سمح ذلك النطاق صراحة بعناوين CORS، وأغلب المواقع لا تفعل ذلك لأي صفحة. ولصق الأزواج يتجاوز هذا القيد تمامًا.
ليست مخالفة لقاعدة صريحة، فمستندات Google لا تحدد طولًا أقصى للسلسلة. لكنها خطوة غير ضرورية بعد معرفة العنوان النهائي، وتخفي أي حلقة حتى يتتبّع أحد السلسلة كاملة.
تتوقف الأداة وتنبّه إلى حلقة بمجرد أن تشير قفزة إلى عنوان URL سبقت زيارته في التتبّع نفسه، بما في ذلك عنوانان يشير كل منهما إلى الآخر فقط.
يوحّد محلّل URL في المتصفح كل عنوان، فيضيف شرطة مائلة إلى النطاق المجرد، لكنه يُبقي المسارات كما كُتبت. لذلك فإن /page و/page/ عنوانان مختلفان هنا، كما قد يكونان مختلفين لبرنامج الزحف.
الصق ملف robots.txt لتعرف أي برامج زحف الذكاء الاصطناعي يحظرها، مثل GPTBot وClaudeBot وGoogle-Extended وPerplexityBot. أداة مجانية في متصفحك.
افحص كود RSS 2.0 وAtom 1.0: أخطاء التحليل، والعناصر الإلزامية، والتواريخ، وguid وenclosure والروابط النسبية. أداة مجانية تعمل في متصفحك.
الصق صفحات كثيرة واعرف أي العناوين والأوصاف التعريفية ستُقتطع في نتائج البحث، مقيسة بالبكسل. أداة مجانية تعمل في متصفحك.
افحص عنوان الصفحة ووسم rel=canonical فيها: العنوان المطلق، وHTTPS، والإشارة الذاتية أو لصفحة أخرى، والنطاق، ومعلمات التتبّع. مجانية في متصفحك.