خزنده ها یا گوگل بات ها برنامه های کامپیوتری پیشرفته ای هستند که وظیفه آن ها بررسی وضعیت وب سایت های فعال در اینترنت است. این توضیح را می توان به عنوان یک تعریف ساده و در عین حال قابل فهم برای خزنده ها دانست. گوگل بات ها همان گونه که از نام آن ها پیداست با خزیدن در سر تا سر وب به دنبال ایجاد شرایطی بهتر برای کاربران اینترنت هستند. به عنوان مثال برای یافتن بهترین نتایج جستجو این گوگل بات ها می توانند بسیار مفید و موثر باشند. وظیفه اصلی این خزنده ها این است که سایت ها و صفحات مختلف آن ها ایندکس کرده و سایت هایی را که پیش تر ایندکس شده اند را به روز رسانی کنند.
شرکت گوگل از کامپیوتر های زیادی برای فرستادن گوگل بات ها استفاده می کنند. هر کدام از موتور های جستجویی که در اینترنت مشغول به فعالیت هستند دارای خزنده های ویژه خودشان هستند برای گوگل نام این خزنده ها همان گوگل بات یا Google Web Crawler می باشد.
در دنیای اینترنت گوگل بات ها به تعداد بسیاری مشاهده می شوند که هر یک وظیفه ای مشخص دارند. در ادامه قصد داریم برخی از این خزنده ها یا گوگل بات ها را به شما معرفی کرده و مختصری در خصوص عملکرد آن ها توضیح دهید.
در کنار موارد مهمی که ذکر شده برخی دیگر از گوگل بات ها نیز وجود دارند که می توانند برای کاربران بسیار مفید باشند. Google Mobile AdSense، Google AdSense، Google AdsBot، Google app crawler، Google Mobile و . می توانند در دسته این گروه قرار بگیرند. گوگل ابزار هایی برای کاربران تهیه نموده که با استفاده از آن ها می توانند وضعیت سایت را از دیدگاه خزنده ها و همچنین نحوه نمایش آن برای مخاطبان را مورد بررسی قرار دهند.
برای این که با نحوه عملکرد گوگل بات ها آشنا شوید باید بدانیم که این نرم افزار ها چگونه وارد یک سایت شده و آن را شناسایی می کنند و سپس چگونه عملکرد سایت را مورد بررسی و تجزیه و تحلیل قرار می دهند. نتایجی که از بررسی های خزنده ها به دست می آید می تواند باعث رتبه بندی سایت ها در میان سایر رقبا گردد. سه ابزار اساسی برای وب سایت ها وجود دارد که با استفاده از آن ها می توانند به خوبی توسط گوگل بات ها شناسایی شده و مورد بررسی قرار گیرد. فراموش نکنید مدیران سایت و صاحبان کسب و کار های اینترنتی همواره به دنبال راه های هستند که گوگل بات ها زودتر به سراغ سایت آن ها بیایند و صفحات سایت به اصطلاح ایندکس شود. سایت مپی که برای وب سایت در نظر گرفته می شود، لینک سازی های داخلی و خارجی و همچنین درخواستی که برای بازدید از سایت به خزنده ها ارسال می شود می توانند به عنوان مهم ترین ابزار برای این کار شناخته شوند. نکته ای در خصوص این ابزار ها باید عنوان نمود این است که مواردی مثال سایت مپ ها اگرچه نقشی اساسی در شناسایی سایت توسط خزنده ها دارند اما نقشی در رتبه بندی سایت ندارند. 
سایت مپ به خزنده ها یا گوگل بات ها کمک می کند تا بر اساس آن مسیر حرکت مشخصی داشته باشند. به بیان ساده تر شما با استفاده از یک سایت مپ حرفه ای می توانید این بات ها را هدایت کنید. از طرف دیگر برخی از مواردی نظیر لینک سازی ها در هر دو بخش می تواند نقشی مهم و حیاتی ایفا نماید. هنگامی که خزنده ها به لینک های جدید می رسد شروع به بررسی آن ها از لحاظ عملکرد می کنند. اگر این گوگل بات ها متوجه شوند که لینک مورد نظر به دستی کار نمی کند و یا تغییر در آن ایجاد شده است،صفحه ای را که قبلا ایندکس نموده به روز رسانی می کند.گوگل بات ها پس از بررسی صفحات یک سایت بر اساس برنامه ریزی های مشخصی زمانی بررسی بعدی و بازگشت خزنده ها به سایت را تعیین می نمایند.
در کنار این مواردی که ذکر شده ممکن است در سایت شما موانعی وجود داشته باشند که از ورود خزنده ها یا گوگل بات ها به آن جلوگیری نماید.
به عنوان مثال ممکن است در سایت شما robot.txt بر روی سرور به گوگل بات ها اجازه وجود به سایت را ندهد و همین امر می تواند ایندکس شدن صفحات سایت را به تعویق بیندازد. یکی دیگر از موانعی که می تواند این مشکل را برای صفحات یک سایت ایجاد نماید این است که متا تگ ربات در آن صفحه به گونه ای تعریف شده باشد که به خزنده ها یا گوگل بات ها اجازه ایند صفحات را ندهد. در این شرایط خزنده ها یا گوگل بات ها می توانند صفحه مورد نظر را بخوانند اما آن را ایندکس نمی کنند.
درباره این سایت