بودجه خزش چیست؟
بودجه خزش تعداد صفحاتی است که موتورهای جستجو در یک بازه زمانی مشخص بر روی یک وب‌سایت خزیده می‌شوند.
چرا موتورهای جستجو بودجه خزش را به وب‌سایت‌ها اختصاص می‌دهند؟
زیرا منابع نامحدودی ندارند و توجه خود را به میلیون‌ها وب‌سایت تقسیم می‌کنند. بنابراین آن‌ها به روشی نیاز دارند که تلاش خزش خود را در اولویت قرار دهد. اختصاص بودجه خزش به هر وب‌سایت به آن‌ها در انجام این کار کمک می‌کند.
چگونه بودجه خزش را به وب‌سایت‌ها اختصاص می‌دهند؟
این بر اساس دو عامل، محدودیت خزش و تقاضای خزش است:
محدودیت خزش / بار میزبان: یک وب‌سایت چقدر می‌تواند خزش را انجام دهد و توقعات صاحب آن چیست؟
تقاضای خزش / زمان‌بندی خزش: کدام URL ها بر اساس محبوبیت و تعداد دفعاتی که به روز می‌شوند بیشتر (دوباره) ارزش خزش را دارند.
بودجه خزش یک اصطلاح رایج در SEO است. بودجه خزش گاهی اوقات به عنوان فضای خزش یا زمان خزش نیز شناخته می‌شود.
آیا بودجه خزش فقط مربوط به صفحات است؟
در واقع، به خاطر سهولت ما در مورد صفحات صحبت نمی‌کنیم، اما در واقع در مورد هر سندی است که موتورهای جستجو در آن جستجو می‌کنند. چند نمونه از اسناد دیگر: فایل‌های جاوا اسکریپت و CSS، انواع صفحات تلفن همراه، انواع hreflang و فایل‌های PDF.
محدودیت خزش / بار میزبان در عمل چگونه عمل می‌کند؟
محدودیت خزش، یا بار میزبان در صورت تمایل، بخش مهمی از بودجه خزش است. خزش‌های موتورهای جستجو به گونه‌ای طراحی شده‌اند که از بارگذاری بیش از حد یک سرور وب با درخواست‌ها جلوگیری کنند، بنابراین در این مورد مراقب هستند.
چگونه موتورهای جستجو محدودیت خزش یک وب‌سایت را تعیین می‌کنند؟
عوامل مختلفی بر محدوده خزش تأثیر می‌گذارد. چند مورد را نام برد:
علائم پلتفرم در وضعیت نامناسب:
تعداد دفعاتی که URL ها درخواست می‌کنند زمان خروج یا خطاهای سرور را برمی گردانند.
تعداد وب‌سایت‌هایی که بر روی میزبان اجرا می‌شوند:
اگر وب‌سایت شما بر روی یک پلتفرم میزبانی مشترک با صدها وب‌سایت دیگر اجرا می‌شود و یک وب‌سایت نسبتاً بزرگ دارید، محدودیت خزش برای وب‌سایت شما بسیار محدود است زیرا محدودیت خزش در سطح میزبان شما باید محدودیت خزش میزبان را با سایر سایت‌هایی که بر روی آن اجرا می‌شوند به اشتراک بگذارید. در این صورت بهتر است از یک سرور اختصاصی استفاده کنید، که به احتمال زیاد زمان بارگذاری را برای بازدیدکنندگان شما بسیار کاهش می‌دهد.
نکته دیگری که باید مورد توجه قرار گیرد این است که سایت‌های جداگانه تلفن همراه و دسکتاپ در یک میزبان اجرا شوند. آن‌ها همچنین دارای محدودیت خزش مشترک هستند. پس این را در نظر داشته باشید.
برنامه زمان‌بندی تقاضا / خزش در عمل چگونه عمل می‌کند؟
تقاضای خزش یا برنامه‌ریزی خزش در مورد تعیین ارزش خزش مجدد URL ها است. باز هم، عوامل زیادی بر تقاضای خزش تأثیر می‌گذارد، از جمله:
- محبوبیت: تعداد پیوندهای داخلی و خارجی داخلی یک URL، همچنین میزان پرس و جوهایی که برای آن‌ها رتبه‌بندی می‌شود.
- تازه بودن: هر چند وقت یکبار URL به روز می‌شود.
- نوع صفحه: نوع صفحه‌ای است که احتمال تغییر آن وجود دارد. به عنوان مثال یک صفحه دسته محصول و صفحه شرایط و ضوابط را در نظر بگیرید – به نظر شما کدام صفحه بیشتر تغییر می‌کند و شایسته است بیشتر مرور شود؟
وادار کردن خزش‌های گوگل به سایت شما بازگردند زمانی که هیچ چیز مهم‌تری برای یافتن وجود ندارد (یعنی تغییرات معنی‌دار) استراتژی خوبی نیست و آن‌ها در تشخیص اینکه آیا تعداد دفعات تغییر صفحات در واقع به ارزش خود می‌افزاید، بسیار هوشمند هستند. بهترین توصیه‌ای که می‌توانم ارائه دهم این است که بر اهمیت بیشتر صفحات تمرکز کنم (افزودن اطلاعات مفیدتر، غنی‌سازی محتوای صفحات (به طور طبیعی به عنوان پیش فرض تا زمانی که تمرکز یک موضوع حفظ شود، پرس و جوها بیشتری را فعال می‌کند). سؤالات بیشتری به عنوان بخشی از “فراخوانی” (برداشت‌ها) شما صفحات خود را مهمتر می‌کنید و ببینید: به احتمال زیاد مکرراً خزیده خواهید شد.
داون اندرسون، برتی
فراموش نکنید: ظرفیت خزش خود سیستم
در حالی که سیستم‌های خزش موتورهای جستجو ظرفیت خزش عظیمی دارند، در پایان روز محدود است. بنابراین در سناریویی که 80 درصد از مراکز داده گوگل به طور همزمان آفلاین می‌شوند، ظرفیت خزش آن‌ها به شدت کاهش می‌یابد و به نوبه خود بودجه خزش همه وب‌سایت‌ها را کاهش می‌دهد.
با تشکر فراوان از داون اندرسون (در یک برگه جدید باز می‌شود) که جزئیات محدودیت خزش، تقاضای خزش و ظرفیت خزش را در اختیار ما قرار داده است!
همچنین شما می‌توانید برای یادگیری مهارت لینک‌سازی از کتاب Ultimate Guide to Link Building نیز استفاده نمائید.
چرا باید به بودجه خزش اهمیت دهید؟
شما می‌خواهید موتورهای جستجو تا حد امکان صفحات نمایه‌سازی شما را پیدا کرده و درک کنند، و می‌خواهید آن‌ها را در اسرع وقت این کار را انجام دهند. وقتی صفحات جدیدی اضافه می‌کنید و صفحات موجود را به روز می‌کنید، می‌خواهید موتورهای جستجو در اسرع وقت آن‌ها را انتخاب کنند. هرچه زودتر صفحات را فهرست‌بندی کنند، زودتر می‌توانید از آن‌ها سود ببرید.
اگر بودجه خزش را به هدر می‌دهید، موتورهای جستجو نمی‌توانند به طور موثر وب‌سایت شما را خزند. آن‌ها وقت خود را صرف قسمت‌هایی از سایت شما می‌کنند که اهمیتی ندارد، که می تواند منجر به کشف قسمت‌های مهم وب‌سایت شما شود. اگر آن‌ها از صفحات آگاهی ندارند، آن‌ها را خزیده و فهرست‌بندی نمی‌کنند و شما نمی‌توانید بازدیدکنندگان را از طریق موتورهای جستجو به آن‌ها وارد کنید.
می‌توانید ببینید این امر به کجا می‌انجامد: هدر دادن بودجه خزش به عملکرد SEO شما آسیب می‌رساند.
لطفاً توجه داشته باشید که اگر یک وب‌سایت بزرگ دارید، مثلاً از 10 هزار صفحه به بالا، بودجه خزش عموماً نگران‌کننده است.
یکی از جنبه‌های کم ارزش بودجه خزش سرعت بار است. بارگیری سریعتر وب‌سایت به این معنی است که Google می‌تواند در مدت زمان مشابه URL های بیشتری را خزش کند. اخیراً با ارتقاء سایت مشارکت داشتم که در آن سرعت بار مهمترین تمرکز بود. سایت جدید دو برابر سریعتر از سایت قبلی بارگیری شد. هنگامی که به صورت زنده تحت فشار قرار گرفت، تعداد URL هایی که گوگل در روز خزید از 150،000 به 600،000 افزایش یافت – و در آنجا ماند. برای سایتی با این اندازه و گستردگی، میزان بهبود خزش به این معنی است که محتوای جدید و تغییر یافته بسیار سریعتر خزیده می‌شود و ما تأثیر بسیار سریعتری از تلاش‌های SEO خود را در SERP ها مشاهده می‌کنیم.
بری آدامز، مشاور SEO مستقل، Polemic Digital (در یک برگه جدید باز می‌شود)
سیروس شپرد:
یک SEO بسیار عاقلانه (خوب، AJ Kohn بود) یکبار معروف گفت “شما همان چیزی هستید که Googlebot می‌خورد.” رتبه‌بندی و قابلیت جستجو شما نه تنها به آنچه Google در سایت شما می‌خزد، بلکه اغلب اوقات آن‌ها را خزیده است.
اگر Google محتوای سایت شما را از دست بدهد یا به دلیل محدودیت/عدم بهینه‌سازی بودجه به طور مکرر نشانی‌های اینترنتی مهم را به اندازه کافی جستجو نکند، در واقع به سختی رتبه‌بندی خواهید شد. برای سایت‌های بزرگتر، بهینه‌سازی بودجه خزش می‌تواند مشخصات صفحات نامرئی قبلی را تا حد زیادی افزایش دهد. در حالی که سایت‌های کوچکتر باید کمتر نگران خزش بودجه باشند، همان اصول بهینه‌سازی (سرعت، اولویت‌بندی، ساختار پیوند، حذف تکرار و غیره) همچنان می‌تواند به شما در رتبه‌بندی کمک کند.
LinkedIn (در یک برگه جدید باز می‌شود) Cyrus Shepard، Zyppy (در یک برگه جدید باز می‌شود)
پل شاپیرو:
من اکثراً با گوگل موافقم و در بیشتر موارد بسیاری از وب‌سایت‌ها نباید نگران خزش بودجه باشند. اما برای وب‌سایت‌های بزرگ و به ویژه وب‌سایت‌هایی که اغلب به روز می‌شوند مانند ناشران، بهینه‌سازی می‌تواند تفاوت قابل توجهی ایجاد کند.
پل شاپیرو، مدیر جهانی، SEO فنی، Condé Nast
بودجه خزش برای وب‌سایت من چقدر است؟
از بین همه موتورهای جستجو، Google شفاف ترین بودجه خزش وب‌سایت شما را دارد.
بودجه را در کنسول جستجوی Google جستجو کنید
اگر وب‌سایت خود را در Google Search Console تأیید کرده‌اید، می توانید کمی از بودجه خزش وب‌سایت خود برای Google مطلع شوید.
این مراحل را دنبال کنید:
- وارد کنسول جستجوی Google شوید و یک وب‌سایت را انتخاب کنید.
- به Crawl > Crawl Stats بروید. در آنجا می‌توانید تعداد صفحاتی را که گوگل در روز خزیده است مشاهده کنید.
در تابستان سال 2016، بودجه خزش ما به این شکل بود:
در اینجا می‌بینیم که متوسط بودجه خزش 27 صفحه در روز است. بنابراین از لحاظ تئوری، اگر این بودجه خزندگی متوسط ثابت بماند، بودجه خزش ماهانه 27 صفحه در 30 روز = 810 صفحه خواهید داشت.
2 سال سریع جلو بروید و ببینید بودجه خزش ما در حال حاضر چقدر است:
میانگین بودجه خزش ما 253 صفحه در روز است، بنابراین می‌توانید بگویید که بودجه خزش ما در 2 سال 10 برابر افزایش یافته است.
به منبع: گزارشات سرور بروید
بسیار جالب است که گزارش‌های سرور خود را بررسی کنید تا ببینید خزش‌های گوگل چقدر به وب‌سایت شما ضربه می‌زنند. جالب است که این آمار را با آمارهایی که در Google Search Console گزارش شده است مقایسه کنید. همیشه بهتر است به منابع متعددی تکیه کنید.
چگونه بودجه خزش خود را بهینه می‌کنید؟
بهینه‌سازی بودجه خزش شما به این معناست که مطمئن شوید هیچ بودجه خزش ای هدر نمی رود. در اصل ، رفع دلایل هدر رفت بودجه خزش. ما هزاران وب‌سایت را زیر نظر داریم. اگر بخواهید هر یک از آن‌ها را برای مشکلات مربوط به بودجه بررسی کنید، به سرعت الگویی را مشاهده خواهید کرد: اکثر وب‌سایت‌ها از مشکلات مشابهی رنج می برند.
دلایل متداول برای هدر رفتن بودجه خزش که با آن مواجه می‌شویم:
آدرس‌های اینترنتی قابل دسترسی با پارامترها: نمونه URL با پارامتر https://www.example.com/toys/cars؟color=black است. در این مورد، پارامتر برای ذخیره انتخاب بازدیدکنندگان در فیلتر محصول استفاده می‌شود.
محتوای تکراری:
ما صفحات بسیار مشابه یا دقیقاً یکسان را “محتوای تکراری” می‌نامیم. مثال‌ها عبارتند از: صفحات کپی شده، صفحات نتایج جستجوی داخلی و صفحات برچسب‌دار.
محتوای بی‌کیفیت:
صفحات با محتوای بسیار کم، یا صفحاتی که هیچ ارزشی ندارند.
پیوندهای خراب و تغییر مسیر:
پیوندهای شکسته پیوندهایی هستند که به صفحاتی اشاره می‌کنند که دیگر وجود ندارند و پیوندهای هدایت شده پیوندهایی به URL هایی هستند که به URL های دیگر هدایت می‌شوند.
شامل نشانی‌های اینترنتی نادرست در نقشه‌های سایت XML:
صفحات غیر قابل فهرست‌بندی و صفحات غیر مانند URL های 3xx ،4xx و 5xx نباید در نقشه سایت XML شما گنجانده شود.
صفحات با زمان بارگذاری بالا / زمان استراحت:
صفحاتی که بارگیری آن‌ها زیاد طول می‌کشد یا اصلاً بارگیری نمی‌شوند، بر بودجه خزش شما تأثیر منفی می‌گذارد، زیرا این نشانه موتورهای جستجو است که وب‌سایت شما نمی‌تواند از عهده آن‌ها برآید درخواست، و بنابراین ممکن است محدودیت خزش شما را تنظیم کنند.
تعداد زیاد صفحات غیر قابل فهرست‌بندی:
وب‌سایت شامل صفحات زیادی است که نمایه‌سازی نمی‌شوند.
ساختار پیوند داخلی بد:
اگر ساختار پیوند داخلی شما به درستی تنظیم نشده باشد، موتورهای جستجو ممکن است به برخی از صفحات شما توجه کافی نکنند.
من بارها گفته‌ام که گوگل مانند رئیس شماست. شما نمی‌توانید با رئیس خود ملاقات کنید مگر اینکه بدانید در مورد چه چیزی صحبت خواهید کرد، نکات برجسته کار خود، اهداف جلسه خود. به طور خلاصه، شما یک دستور کار خواهید داشت. وقتی وارد “دفتر” گوگل می‌شوید، به همان چیز نیاز دارید. سلسله مراتب واضح سایت بدون هیچ‌گونه پیچیدگی، نقشه سایت XML مفید و زمان پاسخ سریع همه به Google کمک می‌کند تا به آنچه مهم است برسد. این عنصر غالباً سوء فهم SEO را نادیده نگیرید.
Jenny Halasz، مشاور بازاریابی جستجو، بازاریابی JLH (در یک برگه جدید باز می‌شود)
کوین ایندیگ:
برای من، مفهوم بودجه خزش یکی از نکات کلیدی SEO فنی است. وقتی برای بودجه خزش بهینه‌سازی می‌کنید، همه چیز دیگر سر جایش قرار می‌گیرد: پیوند داخلی، رفع خطاها، سرعت صفحه، بهینه‌سازی URL، محتوای با کیفیت پایین و موارد دیگر. افراد برای کنترل بودجه خزش برای URL های خاص، زیر دامنه‌ها، فهرست و غیره باید بیشتر در پرونده‌های گزارش خود وارد شوند. نظارت بر فرکانس خزش بسیار مربوط به بودجه خزش و فوق‌العاده قدرتمند است.
LinkedIn (در یک برگه جدید باز می‌شود) Kevin Indig (در یک برگه جدید باز می‌شود)، مدیر SEO ،Shopify
آدرس‌های اینترنتی قابل دسترسی با پارامترها
در بیشتر موارد، نشانی اینترنتی با پارامترها نباید برای موتورهای جستجو قابل دسترسی باشد، زیرا آن‌ها می‌توانند تقریباً بی‌نهایت URL ایجاد کنند. ما در مقاله خود در مورد این نوع مسائل در مورد تله‌های خزش به طور گسترده نوشتیم.
هنگام پیاده‌سازی فیلترهای محصول در سایت‌های تجارت الکترونیک، معمولاً از URL های دارای پارامتر استفاده می‌شود. استفاده از آن‌ها خوب است؛ فقط مطمئن شوید که آن‌ها برای موتورهای جستجو قابل دسترسی نیستند.
چگونه می‌توانید آن‌ها را برای موتورهای جستجو غیرقابل دسترسی کنید؟
از فایل robots.txt خود برای راهنمایی موتورهای جستجو برای دسترسی به چنین آدرس های اینترنتی استفاده کنید. اگر به دلایلی این گزینه نیست، از تنظیمات مربوط به پارامترهای URL در Google Search Console و Bing Webmaster Tools استفاده کنید تا به Google و Bing دستور دهید که در کدام صفحات خزش نشوند.
مقدار ویژگی nofollow را به پیوندهای پیوندهای فیلتر اضافه کنید. لطفاً توجه داشته باشید که از مارس 2020، Google ممکن است نادیده گرفتن را نادیده بگیرد. بنابراین مرحله 1 حتی مهمتر است.
محتوای تکراری
شما نمی‌خواهید موتورهای جستجو وقت خود را در صفحات محتوای تکراری صرف کنند، بنابراین مهم است که از محتوای تکراری در سایت خود جلوگیری کرده یا حداقل آن را به حداقل برسانید.
چگونه این کار را انجام می‌دهید؟ توسط…
- راه‌اندازی تغییر مسیر سایت برای همه انواع دامنه (HTTP ،HTTPS، غیر WWW و WWW).
- با استفاده از robots.txt صفحات نتایج جستجوی داخلی را برای موتورهای جستجو غیرقابل دسترسی کنید. در اینجا یک مثال robots.txt برای وب‌سایت وردپرس وجود دارد.
- غیرفعال کردن صفحات اختصاصی برای تصاویر (به عنوان مثال: صفحات پیوست بدنام در وردپرس).
- در استفاده از طبقه‌بندی‌ها مانند دسته‌ها و برچسب‌ها دقت کنید.
- برخی دلایل فنی بیشتر برای محتوای تکراری و نحوه رفع آن‌ها را بررسی کنید.
محتوای بی‌کیفیت
صفحات با محتوای بسیار کم برای موتورهای جستجو جالب نیستند. آن‌ها را به حداقل برسانید، یا در صورت امکان به طور کامل از آن‌ها اجتناب کنید. یک مثال از محتوای با کیفیت پایین، بخش پرسش‌های متداول با پیوندهایی برای نشان دادن سؤالات و پاسخ‌ها است، که در آن هر پرسش و پاسخ در یک نشانی اینترنتی جداگانه ارائه می‌شود.
لینک‌های خراب و تغییر مسیر
پیوندهای شکسته و زنجیره‌های طولانی تغییر مسیرها برای موتورهای جستجو بن‌بست هستند. مشابه مرورگرها، به نظر می‌رسد که گوگل حداکثر پنج تغییر مسیر زنجیره‌ای را در یک خزش دنبال می‌کند (ممکن است بعداً خزش آن را از سر بگیرند).
مشخص نیست که موتورهای جستجو دیگر چقدر با تغییر مسیرهای بعدی برخورد می‌کنند، اما ما اکیداً توصیه می‌کنیم که از تغییر مسیرهای زنجیره‌ای به طور کامل اجتناب کرده و استفاده از تغییر مسیرها را به حداقل برسانید.
واضح است که با تعمیر پیوندهای خراب و تغییر مسیر پیوندها، می‌توانید به سرعت بودجه خزش خزش را بازیابی کنید. علاوه بر بازیابی بودجه خزش، تجربه کاربری بازدیدکنندگان را نیز به میزان قابل توجهی بهبود می بخشید. تغییر مسیرها، و به طور خاص زنجیره‌های تغییر مسیر، زمان بارگذاری صفحه را طولانی‌تر می‌کند و در نتیجه به تجربه کاربر آسیب می‌رساند.
برای سهولت یافتن پیوندهای خراب و تغییر مسیر، ما مسائل خاصی را در ContentKing به این موضوع اختصاص داده‌ایم.
به Issues > Links بروید تا دریابید که آیا بودجه های خزش را به دلیل پیوندهای معیوب هدر می‌دهید یا خیر. هر پیوند را به گونه‌ای به روز کنید که به صفحه‌ای با فهرست بندی پیوند داده شود یا در صورت عدم نیاز پیوند را حذف کنید.
همچنین شما می‌توانید برای مطالعه‌ی چک‌لیست‌های سئو و یادگیری نکات آن از کتاب SEO Checklist نیز استفاده نمائید.
نشانی‌های اینترنتی نادرست در نقشه‌های سایت XML
همه نشانی‌های وب موجود در نقشه‌های سایت XML باید برای صفحات نمایه شوند. به ویژه در وب‌سایت‌های بزرگ، موتورهای جستجو برای یافتن همه صفحات شما به نقشه‌های سایت XML تکیه می‌کنند. اگر نقشه‌های سایت XML شما دارای صفحاتی است که به عنوان مثال دیگر وجود ندارند یا در حال تغییر مسیر هستند، بودجه خزش را هدر می‌دهید.
به طور مرتب نقشه سایت XML خود را برای نشانی‌های اینترنتی غیر نمایه‌ای (NoIndexing) که به آن تعلق ندارند بررسی کنید. برعکس آن را نیز بررسی کنید: به دنبال صفحاتی باشید که به اشتباه از نقشه سایت XML حذف شده‌اند. نقشه سایت XML یک راه عالی برای کمک به موتورهای جستجو برای خرج کردن عاقلانه بودجه است.
Google Searche Console
نحوه پیدا کردن گزارشات مربوط به مشکلات نقشه سایت XML در GSC:
- وارد کنسول جستجوی Google شوید
- روی برگه Crawl کلیک کنید
- روی برگه نقشه‌های سایت کلیک کنید
Bing Webmaster Tools
نحوه یافتن گزارشات مربوط به مسائل مربوط به نقشه سایت XML در بینگ:
- وارد حساب Bing Webmaster Tools خود شوید
- روی برگه پیکربندی سایت من کلیک کنید
- روی برگه نقشه‌های سایت کلیک کنید
یکی از بهترین روش‌ها برای بهینه‌سازی بودجه خزش این است که نقشه‌های سایت XML خود را به نقشه‌های سایت کوچکتر تقسیم کنید. برای مثال می‌توانید برای هر بخش وب‌سایت خود نقشه سایت XML ایجاد کنید.
اگر این کار را انجام داده‌اید، می‌توانید به سرعت تعیین کنید که آیا مشکلی در بخش‌های خاصی از وب‌سایت شما وجود دارد یا خیر.
بگویید نقشه سایت XML شما برای بخش A شامل 500 پیوند است و 480 فهرست‌بندی شده است:
در این صورت کار شما بسیار خوب است. اما اگر نقشه سایت XML شما برای بخش B شامل 500 پیوند است و فقط 120 فهرست‌بندی شده است، این موردی است که باید به آن توجه کنید. ممکن است تعداد زیادی آدرس اینترنتی غیر قابل فهرست‌بندی در نقشه سایت XML بخش B وارد کرده باشید.
- صفحات با زمان بارگذاری / وقفه زیاد
- بودجه خزش: صفحاتی با زمان بارگذاری زیاد یا مهلت زمانی
- صفحات با زمان بارگذاری بالا / زمان پایان به روند خزش آسیب می‌رسانند
هنگامی که صفحات بارگذاری بالایی دارند یا زمان آن‌ها تمام می‌شود، موتورهای جستجو می‌توانند از صفحات کمتری در بودجه خزش اختصاص داده شده برای وب‌سایت شما بازدید کنند. علاوه بر این نقطه ضعف، زمان بارگذاری و زمان زیاد بارگذاری صفحه به میزان قابل توجهی به تجربه کاربر بازدیدکنندگان شما آسیب می رساند و در نتیجه نرخ تبدیل کمتری دارد.
زمان بارگذاری صفحه بالای دو ثانیه یک مشکل است. در حالت ایده‌آل، صفحه شما در کمتر از یک ثانیه بارگیری می‌شود. به طور مرتب زمان بارگذاری صفحه خود را با ابزارهایی مانند Pingdom (در یک برگه جدید باز می‌شود)، WebPagetest (در یک برگه جدید باز می‌شود) یا GTmetrix (در یک برگه جدید باز می‌شود) بررسی کنید.
Google زمان بارگذاری صفحه را در Google Analytics (تحت رفتار > سرعت سایت) و کنسول جستجوی Google تحت Crawl > Crawl Stats گزارش می‌دهد.
Google Search Console و Bing Webmaster Tools هر دو زمان وقفه صفحه را گزارش می‌دهند.
در کنسول جستجوی Google، این مورد را می‌توان در Crawl> Crawl Errors و در Bing Webmaster Tools، در بخش Reports & Data> Crawl Information یافت.
مرتباً بررسی کنید که آیا صفحات شما به اندازه کافی سریع بارگیری می‌شوند یا خیر، در صورت عدم بارگذاری سریعاً اقدام کنید. بارگذاری سریع صفحات برای موفقیت آنلاین شما حیاتی است.
تعداد صفحات غیر قابل فهرست‌بندی
اگر وب‌سایت شما دارای تعداد زیادی صفحه غیر قابل فهرست‌بندی است که برای موتورهای جستجو قابل دسترسی است، شما اساساً موتورهای جستجو را مشغول جستجوی صفحات نامربوط می‌کنید.
ما انواع زیر را صفحات غیر نمایه می‌دانیم:
- تغییر مسیرها (3xx)
- صفحاتی که پیدا نمی‌شوند (4xx)
- صفحات دارای خطای سرور (5xx)
- صفحاتی که نمایه‌سازی نمی‌شوند (صفحاتی که حاوی دستورالعمل noindex روبات ها یا URL متعارف هستند)
برای اینکه بدانید تعداد صفحات غیر قابل فهرست‌بندی زیادی دارید، تعداد کل صفحاتی را که خزش‌ها در وب‌سایت شما پیدا کرده‌اند و نحوه تجزیه آن‌ها را جستجو کنید. به راحتی می‌توانید این کار را با استفاده از ContentKing انجام دهید:
در این مثال، 63،137 آدرس اینترنتی یافت شده است که از این تعداد تنها 20،528 صفحه است.
تجزیه‌پذیری صفحه در ContentKing تجزیه می‌شود و از بین این صفحات، تنها 4663 مورد برای موتورهای جستجو نمایه‌سازی می‌شوند. فقط 7.4 درصد از آدرس‌های اینترنتی که توسط ContentKing یافت می‌شود توسط موتورهای جستجو فهرست‌بندی می‌شوند. این نسبت خوبی نیست و این وب‌سایت قطعاً باید با پاک کردن تمام مراجع غیر ضروری به آن‌ها، از جمله:
- نقشه سایت XML (بخش قبل را ببینید)
- پیوندها
- URL های متعارف
- منابع Hreflang
- مراجع صفحه‌بندی (پیوند مربوط به قبل/بعدی)
- ساختار پیوند داخلی اشتباه است
نحوه پیوند صفحات درون وب‌سایت شما به یکدیگر در بهینه‌سازی بودجه خزش نقش دارد. ما این را ساختار پیوند داخلی وب‌سایت شما می‌نامیم. پیوندها را کنار بگذاریم، صفحاتی که پیوندهای داخلی کمی دارند از موتورهای جستجو بسیار کمتر مورد توجه قرار می‌گیرند تا صفحاتی که توسط بسیاری از صفحات به آن‌ها لینک شده است.
از ساختار پیوندهای بسیار سلسله مراتبی اجتناب کنید، زیرا صفحات در وسط دارای پیوندهای کمی هستند. در بسیاری از موارد این صفحات به طور مکرر خزیده نخواهند شد. حتی برای صفحات پایین سلسله مراتب بدتر است: به دلیل تعداد محدود پیوندها، ممکن است موتورهای جستجو آن‌ها را نادیده بگیرند.
اطمینان حاصل کنید که مهمترین صفحات شما دارای پیوندهای داخلی زیادی هستند. صفحاتی که اخیراً خزیده شده‌اند معمولاً در موتورهای جستجو رتبه بهتری دارند. این را در نظر داشته باشید و ساختار پیوند داخلی خود را برای این کار تنظیم کنید.
به عنوان مثال، اگر یک مقاله وبلاگ متعلق به سال 2011 دارید که ترافیک ارگانیک زیادی را ایجاد می‌کند، اطمینان حاصل کنید که پیوند آن را از سایر مطالب پیوند دهید. از آنجا که شما در طول این سال‌ها مقالات وبلاگ زیادی تولید کرده‌اید، آن مقاله از سال 2011 به طور خودکار در ساختار پیوند داخلی وب‌سایت شما پایین می‌آید.
پاتریک استوکس
معمولاً لازم نیست نگران سرعت خزش صفحات مهم خود باشید. معمولاً صفحاتی هستند که جدید هستند، به آن‌ها پیوند نداده‌اید و افرادی که به آن نمی‌روند ممکن است اغلب خزیده نشوند.
LinkedIn (در یک برگه جدید باز می‌شود) پاتریک استوکس، SEO فنی مبتنی بر رالی (در یک برگه جدید باز می‌شود)
چگونه بودجه خزش وب‌سایت خود را افزایش می‌دهید؟
طی مصاحبه‌ای (در برگه جدیدی باز می‌شود) بین اریک انج و سرپرست سابق تیم وب اسپم گوگل مت کاتس، رابطه بین اعتبار و بودجه خزش مطرح شد:
مت کاتز:
بهترین راه برای فکر کردن در این مورد این است که تعداد صفحاتی که ما در آن‌ها جستجو می‌کنیم تقریباً متناسب با رتبه سایت شما است. بنابراین اگر تعداد زیادی پیوند ورودی در صفحه اصلی خود دارید، مطمئناً آن را بررسی می‌کنیم. سپس صفحه اصلی شما ممکن است به صفحات دیگر پیوند داشته باشد، و آن‌ها صفحات رتبه (PageRank) را دریافت خواهند کرد و ما نیز آن‌ها را خز خواهیم کرد. با این حال، هرچه عمیق‌تر و دقیق‌تر در سایت خود می‌شوید، PageRank تمایل به کاهش دارد.
مت کاتز:
اگرچه گوگل به روزرسانی مقادیر PageRank صفحات را به صورت عمومی کنار گذاشته است، اما ما فکر می‌کنیم (نوعی) PageRank هنوز در الگوریتم‌های آن‌ها استفاده می‌شود. از آنجا که PageRank یک اصطلاح بد فهمیده و گیج‌کننده است، بگذارید آن را اقتدار صفحه بنامیم. نکته مهم اینجاست که مت کاتس اساساً می‌گوید: بین قدرت صفحه و بودجه خزش رابطه بسیار قوی وجود دارد.
بنابراین، برای افزایش بودجه خزش وب‌سایت خود، باید قدرت وب‌سایت خود را افزایش دهید. بخش عمده‌ای از این کار با به دست آوردن پیوندهای بیشتر از وب‌سایت‌های خارجی انجام می‌شود. اطلاعات بیشتر در این مورد را می توانید در راهنمای ساخت لینک ما بیابید.
راس تاوندیل:
وقتی می‌شنوم که صنعت در مورد بودجه خزش صحبت می‌کند، ما معمولاً در مورد تغییرات داخلی و فنی که می‌توانیم برای افزایش بودجه خزش در طول زمان ایجاد کنیم صحبت می‌کنیم. با این حال، از پس زمینه ایجاد پیوند، بزرگترین جهش در صفحات خزش‌ای که در کنسول جستجوی Google مشاهده می‌کنیم مستقیماً مربوط به زمانی است که برای مشتریان خود پیوندهای بزرگی کسب می‌کنیم.
LinkedIn (در یک برگه جدید باز می‌شود) راس تاوندیل، رسانه A نوع (در یک برگه جدید باز می‌شود)
سؤالات متداول در مورد بودجه خزش
- بودجه خزش چیست؟
- ? چگونه می‌توانم بودجه خزش خود را افزایش دهم؟
- What️ چه چیزی می‌تواند بودجه خزش من را محدود کند؟
- ? آیا باید از URL های معمولی و روبات‌های متا استفاده کنم؟
1. بودجه خزش چیست؟
بودجه خزش تعداد صفحاتی است که موتورهای جستجو در یک بازه زمانی مشخص بر روی یک وب‌سایت خزیده می‌شوند.
2. ? چگونه می‌توانم بودجه خزش خود را افزایش دهم؟
گوگل نشان داده است که بین قدرت صفحه و بودجه خزش رابطه قوی وجود دارد. هرچه قدرت صفحه بیشتر باشد، بودجه خزش بیشتری نیز دارد. به زبان ساده، برای افزایش بودجه خزش خود، اقتدار صفحه خود را ایجاد کنید.
3. ? چه چیزی می‌تواند بودجه خزش من را محدود کند؟
محدودیت خزش، که به عنوان بار خزش میزبان نیز شناخته می‌شود، بر اساس عوامل زیادی مانند وضعیت وب‌سایت و قابلیت‌های میزبانی است. خزش‌های موتور جستجو طوری تنظیم شده‌اند که از اضافه بار سرور وب جلوگیری کنند.
اگر وب‌سایت شما خطاهای سرور را برمی‌گرداند، یا اگر نشانی‌های اینترنتی درخواستی اغلب به پایان می‌رسد، بودجه خزش محدودتر می‌شود. به طور مشابه، اگر وب‌سایت شما بر روی یک پلتفرم میزبانی مشترک اجرا می‌شود، محدودیت خزش بیشتر خواهد بود زیرا باید بودجه خزش خود را با سایر وب‌سایت‌هایی که در میزبانی اجرا می‌شوند به اشتراک بگذارید.
4. ? آیا باید از URL های معمولی و روبات‌های متا استفاده کنم؟
بله، و درک تفاوت بین مسائل نمایه‌سازی و مسائل خزش بسیار مهم است.
URL های متعارف و برچسب‌های meta robots یک سیگنال واضح به موتورهای جستجو می‌دهند که باید چه صفحه‌ای را در فهرست خود نشان دهند، اما مانع از خزش آن صفحات دیگر نمی‌شود.
برای مقابله با مسائل خزش می‌توانید از فایل robots.txt و رابطه پیوند nofollow استفاده کنید.
منبع:
