بودجه خزش چیست؟

مطمئناً تا به الآن برایتان سؤال ایجاد شده که بودجه خزش چیست؟ قبل از رسیدن به پاسخ این سؤال، به موضوع دیگری می‌پردازیم. اگر دستی در سئو داشته باشید، مطمئناً می‌دانید که کرال کردن صفحات سایت توسط گوگل بلافاصله انجام نمی‌شود و گاهی اوقات حتی ممکن است چند هفته طول بکشد. یکی از مواردی که می‌تواند روی سئو تأثیر بگذارد، کرال کردن صفحه سایت می‌باشد.

چه زمانی باید از کرال باجت استفاده کنیم؟ حتماً برایتان اتفاق افتاده است که یک صفحه لندینگ در سایت را بهینه می‌کنید، اما بعد از گذشت چندین دقیقه، صفحه ایندکس نمی‌شود. در صورتی که چنین اتفاقی افتاد، باید به سراغ crawl budget بروید و آن را بهینه کنید. در این نوشتار قصد داریم شما را با بودجه خزیدن آشنا کنیم و بفهمیم چگونه می‌توان آن را بهینه کرد.

مفهوم کراول باجت یا Crawl Budget در سئو

به تعداد صفحاتی که گوگل در یک بازه مشخص (مثلاً در یک روز) می‌تواند آن‌ها را کراول کند، بودجه خزش می گویند. نکته قابل توجه این است که تعداد صفحاتی که گوگل می‌تواند کراول کند در روزهای متفاوت، فرق می‌کند. حداقل تعداد این صفحات، شش صفحه است و حتی ممکن است به پنج هزار یا چهار میلیون صفحه در روز برسد. نرخ کراول سایت به سه مورد بستگی دارد:

• اندازه سایت
• بدون باگ بودن سایت و سرور، یعنی تعداد خطاهایی که گوگل با آن‌ها روبه‌رو می‌شود
• تعداد لینک‌های سایت

علت در نظر گرفتن نرخ کراول برای سایت‌ها توسط موتورهای جستجو

همانطور که می‌دانید منابع نامحدود موتورهای جستجو، سبب شده است که توجه و تمرکز این موتورها بین میلیون‌ها وب‌ سایت تقسیم شود. این موضوع سبب شد که به دنبال راه حلی باشیم که میزان خزش را اولویت‌ بندی کنیم.

آن راه حل، دادن بودجه خزیدن به هر سایت است. زمانی که برای خزش یا کرال باجت، بودجه‌ای معین شود، موتورهای جستجو کار خود را بهتر انجام می‌دهند. توجه به این نکته بسیار ضروری است که اگر ایندکس صفحه‌ای توسط گوگل انجام نشود، یعنی اینکه آن صفحه اصلاً وجود ندارد! در نتیجه در صورتی که تعداد صفحات بیشتر از کراول باجت باشد، برخی صفحات ایندکس نمی‌شود و در نهایت دیده نخواهند شد.

با توجه به این توضیحات، باید بگوییم که بودجه خزیدن بیشتر برای سایت‌های بزرگ مورد استفاده قرار می‌گیرد، چرا که سایت‌های کوچک به راحتی توسط ربات‌های گوگل کراول شده و صفحه را ایندکس می‌کنند.

در چه شرایطی باید به بودجه خزش اهمیت ویژه بدهیم؟

• در صورتی که یک سایت خیلی بزرگ دارید، برای مثال یک سایت فروشگاهی با بیش از ده هزار صفحه دارید. در این گونه مواقع گوگل نمی‌تواند تمام صفحات را پیدا کند.
• گاهی اوقات ممکن است بخش جدیدی به سایتتان اضافه کنید که مثلاً صد صفحه دارد، در این صورت باید Crawl Budget به اندازه کافی باشد تا بتواند صفحات را ایندکس کند.
• شاید شنیده باشید که صفحات ریدایرکت، بودجه خزش سایت را می‌خورند! بنابراین اگر تعداد زیادی صفحات ریدایرکت شده دارید، باید به فکر بودجه خزیدن باشید.

نظر گوگل در مورد بودجه خزش چیست؟

موتورهای جستجو برای به دست آوردن نتایج مناسب از صفحات وب، باید سه مرحله را اجرا کنند:

• اولین مرحله، کراول کردن است. صفحات موجود در دسترس عموم، در دسترس خزنده‌های وب هستند.
• دومین مرحله، ایندکس کردن است. در این مرحله، خزنده‌ها پس از تجزیه و تحلیل اطلاعات، آن‌ها را ذخیره می‌کنند.
• سومین مرحله، ارائه دادن و رتبه‌ بندی است. زمانی که کاربر پرسش خود را در گوگل تایپ می‌کند، گوگل از بین اطلاعات ذخیره

شده یا همان ایندکس شده، بهترین پاسخ‌ها را به ترتیب ارائه می‌دهد.

نرخ خزش، موضوعی نیست که برای افراد نگران کننده باشد. محتوای بسیاری از سایت‌ها، بلافاصله پس از انتشار، کراول و ایندکس می‌شود. مخصوصاً اگر تعداد صفحات کم باشد، سرعت بیشتر خواهد بود؛ اما برای سایت‌های بزرگ که صفحات زیاد دارند، اینکه چه زمانی صفحات کراول شوند، از اهمیت بالایی برخوردار است.

بودجه مورد نیاز هر سایت چگونه تعیین می‌شود؟

کرال باجت یک سایت با سایت دیگری متفاوت است و به صورت خودکار، میزان آن توسط موتورهای جستجو تعیین می‌شود. عامل‌هایی که باعث می‌شود موتور جستجو بر اساس آن بودجه خزش سایت شما را تعیین کنند، چهار مورد هستند که عبارت‌اند از:

• هر چقدر اندازه سایت بزرگتر باشد، بودجه خزیدن سایت بیشتر است.
• راه‌اندازی سرور، زمان بارگذاری و عملکرد سایت شما نیز ارتباط مستقیم با میزان بودجه دارد.
• همانطور که می‌دانید، هر چقدر مطالب به روزتر باشند، پر مخاطب‌ترند. محتواهایی که زود به زود بروز رسانی می‌شوند توسط موتورهای جستجو بیشتر نشان داده می‌شوند.
• ساختار لینک‌های مرده (dead link) و لینک‌های داخلی نیز با کرال باجت مرتبط است.

نباید این نکته مهم را از یاد ببرید که فقط خزیدن سایت باعث نمی‌شود رتبه سایت شما بهتر شود. اگر محتوای سایت مطابق علاقه و استاندارد مخاطبان نباشد، سایت شما دیده نمی‌شود

مفاهیم کلیدی بودجه خزش

دو مفهوم کلیدی در درک این موضوع وجود دارد که آن را مورد بررسی قرار می‌دهیم:

Crawl limit / host load
Crawl demand / crawl scheduling

ظرفیت پذیرش تعداد کراول سایت توسط منابع سرور سایت را، Crawl limit به ما نشان می‌دهد.
بدین صورت که زمانی که یک صفحه توسط گوگل، کراول می‌شود، درخواستی با محتوای دسترسی به منابع سایت به سمت سرور فرستاده می‌شود. در صورتی که تعداد این درخواست‌ها زیاد باشد، منابع سرور سایت قدرت پاسخگویی به درخواست‌ها را نداشته و در نتیجه، سایت عملکرد لازم را نخواهد داشت.

این ظرفیت توسط گوگل در اثر دو عامل مشخص می‌شود:

نشانه‌های باگ سرور: ربات‌های گوگل برای خزیدن در سایت، درخواست‌هایی به سرور ارسال می‌کند. در صورتی که این درخواست‌ها به مشکل بر بخورد، سرور دچار مشکل می‌شود.

تعداد سایت‌های فعال در هاست: در صورتی که‌ هاست سایت شما با هاست صدها سایت دیگر مشترک باشد و در این بین سایت شما هم بزرگ باشد، محدودیت خزش ایجاد می‌شود. در اینجا راه حل، استفاده از یک ‌هاست اختصاصی است که باعث می‌شود کراول باجت و سرعت لود صفحه شما بالاتر برود.

ارزش کراول شدن یا دوباره کراول شدن صفحات، توسط Crawl demand مشخص می‌شود. این ارزش بر اساس سه عامل مشخص می‌شود:

هر چقدر محبوبیت URL ها بیشتر باشد، هم زودتر و هم دوباره کراول می‌شود.
محتواهایی که مرتب به روز می‌شوند، ارزش بیشتری دارند.
صفحه دسته‌بندی باید مطابق با صفحه قوانین سایت باشد، در صورتی که نوع صفحه استاندارد و مطابق قوانین باشد، ارزش بالاتری دارد.

چرا باید به Crawl Budget اهمیت چند برابری بدهید؟

به طور کلی درخواست شما از موتورهای جستجو، پیدا کردن صفحات ایندکس شده توسط آن‌ها در کوتاه‌ترین زمان و نشان دادن آن به مخاطبان است. برای مثال وقتی صفحه جدیدی به سایت اضافه می‌کنید می‌خواهید هر چه سریع‌تر ربات‌ها آن را ایندکس کنند، موتورهای جستجو این موارد را پیدا کنند تا در نتیجه، مطلب رتبه بالاتری پیدا کند و شما بهره ببرید.

در صورتی که نرخ کراول یا همان بودجه خزیدن نداشته باشید و یا به هر علتی آن را از دست دهید، موتورهای جستجو نمی‌توانند آن را پیدا کنند. در واقع آن‌ها گمراه شده و روی قسمت‌های بی ارزش سایت تایم می‌گذارند و قسمت‌های مهم سایت از نظر آن‌ها دور می‌ماند. وقتی که ربات‌ها اطلاعات کافی نداشته باشند، کراول یا ایندکس صفحات شما را انجام نمی‌دهند و در نتیجه نمی‌توانید سایت و محتوا را از طریق موتورهای جستجو به مردم معرفی کنید.

از طرفی وقتی بودجه خزیدن هدر برود، عملکرد سئو مختل می‌شود. در صورتی که تعداد صفحات سایت بیش از ده هزار باشد، باید Crawl Budget را بهینه کنید.

دلایل هدر رفتن بودجه خزش

اینکه می‌گوییم بودجه خزیدن را بهینه کنیم، یعنی اینکه مطمئن شویم هیچ کراول باجتی به هدر نمی‌رود. پس از بررسی کارشناسان در این موضوع، فهمیده شد که سایت‌های مختلف در این مورد مشکلات مشابهی دارند. این مشکلات گرچه کوچک و ساده به نظر می‌آید، اما بودجه خزیدن را هدر می‌دهد؛ اما زمانی که این مشکلات را از بین ببرید، سایت خود را از طریق بودجه خزیدن راحت بهینه می‌کنید و صفحات سریع‌تر ایندکس می‌شوند.

مشکلاتی که موجب هدر رفتن بودجه خزش می‌شود، عبارت‌اند از:

• وجود پارامترهای فیلتر محصولات در URL
• وجود محتوای تکراری Duplicate در سایت
• لینک‌‌های شکسته یا ریدایرکت شده
• محتوای بی‌کیفیت
• صفحاتی با سرعت لود پایین
• یو آر ال‌های اشتباه در سایت مپ سایت
• تعداد زیادی صفحات غیرقابل ایندکس
• ساختار لینک سازی غیراصولی

سخن پایانی

در این نوشتار با کراول باجت آشنا شدید. همچنین راه‌های بهینه سازی آن را فرا گرفتید. این موضوعات باعث می‌شود سایت شما رتبه بهتری داشته باشد و بهتر دیده شود، از سمتی شما در کار خود ماهرتر می‌شوید. الهام کشاورز، موسسه‌ای معتبر برای آموزش سئو و موضوعات مربوط به سایت است که به شما کمک می‌کند جزئی‌ترین مسائل را حل کرده و باعث ارتقای سایت خود شوید. توصیه می‌شود برای اینکه سایت بهتری داشته باشید، به کوچکترین موضوعات اهمیت بدهید و در پی بهینه کردن و ارتقای آن باشید.

سوالات متداول کراول باجت