اگر مباحث مربوط به سئو را دنبال کرده باشید، احتمالا اسم ربات گوگل به چشمتان خورده است. ربات گوگل به صورت یک خزنده‌ی وب یا در زبان انگلیسی، کراولر (Crawler) عمل می‌کند و صفحات وب را برای موتور جستجوی گوگل ایندکس می‌کند. در اینجا قصد داریم با معرفی ربات گوگل یا همان گوگل بات (Googlebot) به چگونگی کارکرد و بهره‌مندی از آن بپردازیم.
ربات گوگل چگونه کار می‌کند؟
همانطور که گفتیم ربات گوگل نوعی کراولر است که سایت‌های مختلف را بررسی می‌کند و نقشی حیاتی در موفقیت سایت‌ها از نظر سئو دارد. گوگل بات با لینک‌ها سر و کار دارد و به کمک آن‌ها وظیفه‌ی خود را انجام می‌دهد. وقتی گوگل بات به یک سایت می‌رسد، به کمک لینک‌ها کار ایندکس‌گذاری را آغاز می‌کند و نمونه‌هایی از صفحات آن را به عنوان کش (Cache) جمع‌آوری می‌نماید و از آن برای جستجوهای مرتبط در گوگل بهره می‌گیرد.
اگر بخواهیم به نحوه‌ی کار ربات گوگل، جزئی‌تر نگاه کنیم، بهتر است حضور آن را در یک سایت گام به گام بررسی نماییم. هنگامی که کراولر یا به عبارتی عنکبوت (Spider) گوگل به یک سایت قدم می‌گذارد، در اولین گام، به سراغ فایل robots.txt می‌رود تا محدوده‌ی فعالیت خود را تعیین کند (در بخش پایانی درباره‌ی robots.txt بیشتر توضیح می‌دهیم).
پس از آن، از نقشه‌ی سایت (Sitemap) و اطلاعات پیشین خود درباره سایت، کمک می‌گیرد تا راحت‌تر در صفحات سایت رفت و آمد کند. اگر این ربات به لینک جدیدی برخورد کند، آن را در فهرست لینک‌های قابل مشاهده قرار خواهد داد. همچنین با بررسی لینک‌هایی که از قبل در پایگاه داده گوگل ذخیره شده‌اند، تغییرات احتمالی در لینک‌ها را رصد می‌کند و اگر تفاوتی مشاهده کرد، تغییرات لازم را در آن‌ها ایجاد می‌کند.
اگر تغییری در عناوین و توضیحات (description) مطالب وبلاگ خود یا متاتگ‌ها ایجاد کردید، بهتر است بلافاصله منتظر این تغییر در صفحه نتایج گوگل نباشید. به گوگل بات پیمایش سایت شما را همزمان با بارگذاری لینک‌های شما انجام نمی‌دهد و ممکن است روزها بعد مجددا به سایت شما سر بزند. مدت زمانی که طول می‌کشد تا کراولر گوگل به وبسایت شما برسد مشخص نیست و این نکته جزء اطلاعات محرمانه‌ای است که تنها شرکت گوگل از آن باخبر است.
چگونه وبسایت خود را برای ربات گوگل بهینه کنم؟
اگر سایت شما برای گوگل بات بهینه نشده باشد، احتمال اینکه صفحات وبسایتدر گوگل ایندکس شود، کاهش می‌یابد. این مسأله ممکن است منجر به شکست خوردن وبسایت شما در زمینه بازاریابی و جذب مخاطب شود. اما چگونه سایت خود را برای بازدیدهای ربات گوگل بهینه کنیم؟ برای رسیدن به این نتیجه، این موارد مهم را در نظر بگیرید و عملی کنید:
- صفحات وبسایت خود را با ابزاری مثل جاوا اسکریپت، فلش، DHTML، Ajax شلوغ نکنید؛ زیرا ربات گوگل HTML را به سرعت بررسی می‌کند، اما ممکن است در بررسی کدهای دیگر کند عمل کند.
- اگر به طور مداوم پست‌های جدیدی به وبسایت خود اضافه کنید، گوگل بات در فاصله‌های زمانی کمتری به سایت شما سر می‌زند. اگر برای مدت زیادی وبسایت خود را به‌روزرسانی نکرده‌اید و حالا دست به تغییرات زیادی در آن زده‌اید، بهتر است به سرچ کنسول گوگل بروید و درخواستی را برای گوگل بات ثبت کنید تا در سریع‌ترین زمان ممکن، از سایت شما بازدید کند.
- از بک لینک های داخلی استفاده کنید. این امر باعث می‌شود کراولر گوگل به خوبی در سایت شما چرخ بزند. یکی از بهترین ابزارها برای بررسی بک لینک‌های داخلی، بخش Links Report در سرچ کنسول گوگل است.
- فایل sitemap.xml را برای سایت خود ایجاد کنید. همانطور که گفتیم نقشه‌ی سایت، یکی از راه‌های گوگل بات برای برقراری ارتباط با سایت شماست.
- ابزارهای زیادی وجود دارند که برای بررسی عملکرد گوگل بات، به یاری شما می‌آیند. کنسول جستجوی گوگل (Google Search Console) و پلاگین یواست سئو ابزارهایی هستند که به شما در این راه کمک می‌کنند. برای مثال برای مشاهده‌ی خطاهایی که ربات گوگل هنگام پیمایش وبسایت شما به آن‌ها برخورد کرده است، می‌توانید از سرچ کنسول گوگل استفاده کنید و به راحتی به فهرستی از این خطاها دسترسی یابید.
- یکی دیگر از روش‌هایی که می‌توانید نحوه‌ی کارکرد گوگل بات در سایت خود را مدیریت کنید، کمک گرفتن از فایل robots.txt است که در ادامه به بررسی آن می‌پردازیم.
فایل robots.txt
فایل robots.txt یک فایل متنی است که توسط کراولرهای موتورهای جستجو بررسی می‌شود. زمانی که گوگل بات به یک وبسایت می‌رسد، ابتدا به سراغ فایل robots.txt می‌رود و با خواندن آن متوجه می‌شود که اجازه‌ی دسترسی به چه صفحاتی را دارد. در حقیقت به کمک فایل robots.txt می‌توانید به ربات گوگل بگویید که به چه صفحاتی از سایت شما برود و چه صفحاتی را نادیده بگیرد و ایندکس‌گذاری نکند. این امر با نوشتن دستور «Allow» برای مجاز بودن و نوشتن دستور «Disallow» برای مجاز نبودن انجام می‌شود.
User-agent: *
Disallow: /the-address/
از کد بالا برای قطع دسترسی تمامی ربات‌ها به یکی از صفحات سایت استفاده کنید. به جای the-address آدرس صفحه مورد نظر خود را قرار دهید.
اهمیت این فایل برای بهینه‌سازی و سئو به این خاطر است که از صرف زمان برای پیمایش صفحات بی‌اهمیت در سایت شما جلوگیری می‌شود و ربات گوگل در زمان کمتری صفحات وبسایت شما را پیمایش می‌کند.