موتورهای جستجویی چون گوگل برای جمع آوری اطلاعات وب سایت های مختلف از نرم افزارهایی به نام عنکبوت (spider) استفاده می کنند. وظیفه ی این نرم افزارها این است که به هنگام ورود به یک وب سایت تمامی لینک های موجود در آن را شناسایی کرده و به سمت آنها هدایت شوند. بدین ترتیب تمامی صفحات لینک داده شده، مرور شده و اطلاعات آنها در بانکهای اطلاعاتی گوگل ذخیره می گردد. این نرم افزارها به صورت دوره ای این وب سایت ها را مجددا بررسی می کنند و از آخرین تغییرات اعمال شده در آنها مطلع می گردند.
با استفاده از Google Sitemaps که یکی از جدیدترین امکانات موتور جستجوی گوگل است، ارتباط بین وب سایت و این موتور جستجو بسیار دقیق تر بوده و به عمل به روز رسانی اطلاعات در موتور جستجوی گوگل سرعت می بخشد.