راهنمای چگونه پیدا کردن و کشف وب سایت ها توسط گوگل، چگونه بررسی کردن و خزیدن در وب سایت ها و چگونه ارائه کردن آنها در نتایج جستجو.
هنگامی که شما در مقابل کامپیوتر خود می نشینید و یک جستجو در گوگل انجام می دهید، شما تقریبا بلافاصله با لیستی از نتایج از سراسر وب مواجه خواهید شد. چگونه گوگل صفحات وب را مطابق با درخواست و کوئری شما پیدا می کند، و چگونه این نتایج جستجو را الویت بندی می کند؟
در ساده ترین حالت، شما می توانید تصور کنید که جستجو در وب مانند جستجو کردن در یک کناب خیلی بزرگ با یک شاخص و ایندکس بسیار وسیع است که مکان دقیق هر چیزی را به شما می گوید. وقتیکه شما یک جستجو در گوگل انجام می دهید، برنامه های گوگل تمامی ایندکس ها را بررسی می کنند تا مرتبط ترین نتایج جستجو را به شما نشان دهد.
سه فرایند کلیدی در ارائه نتایج جستجو به شما:
خزیدن (Crawling): آیا گوگل سایت شما را می شناسد و درباره آن می داند؟ آیا گوگل می تواند آن را پیدا کند؟
ایندکس کردن (Indexing): آیا گوگل می تواند سایت شما را ایندکس کند؟
ارائه کردن و خدمت رسانی (Serving): آیا سایت مورد نظر مطالب خوب و مفیدی که با جستجوی کاربر مرتبط باشد را دارا می باشد؟
خزیدن
خزیدن فرایندی است که توسط آن ربات های گوگل صفحات جدید و به روز شده را پیدا می کنند تا به ایندکس گوگل اضافه شوند.
گوگل با استفاده از مجموعه عظیمی از کامپیوترها، میلیاردها صفحه وب را واکشی می کند و یا در آنها می خزد.
برنامه ای که عمل واکشی را انجام می دهد و یا به قول معروف در صفحات وب می خزد ربات گوگل (Googlebot) نام دارد وهمچنین با عناوین ربات و یا عنکبوت نیز شناخته می شود.
ربات گوگل از یک فرایند الگوریتمی استفاده می کند: برنامه های کامپیوتری مشخص می کنند که کدام سایت ها باید خزیده شوند، چگونه خزیده شوند و چه تعداد صفحه از هر سایت می بایست واکشی شوند.
فرایند خزیدن گوگل با لیستی از آدرس های صفحات وب که توسط فرایندهای خزیدن قبلی تولید شده اند آغاز می شود، و با داده های sitemap ارائه شده توسط مدیران سایت ها تکمیل می گردد. ربات گوگل تمام وب سایت هایی که لینک آنها را در هر صفحه ای پیدا کند را بازدید می کند و آنها را به لیست صفحات خزیده شده خود اضافه می کند.
سایت های جدید به سایت های موجود تغییر می کنند و لینک های مرده مشخص می شوند و در به روز رسانی ایندکس گوگل لحاظ می شوند.
گوگل هیچ پرداختی را برای خزیدن بیشتر از روال یک سایت قبول نمی کند، و در واقع گوگل سرویس جستجوی خود را از خدمت درآمدزای تبلیغات کلیکی خود جدا نگه داشته است.
ایندکس کردن
ربات گوگل تمام صفحاتی را که در آنها خزیده است پردازش می کند تا یک ایندکس عظیمی از تمامی واژگانی که دیده است و محل آنها روی هر صفحه را تدوین کند.
علاوه بر این، گوگل اطلاعات داخل تگ های کلیدی و ویژگی ها را پردازش می کند مانند تگ های عنوان و ویژگی های ALT (Title tags و ALT attributes).
ربات گوگل می تواند انواع محتوای بسیار زیادی را پردازش کند اما همه نوع محتوا را نمی تواند. برای نمونه گوگل نمی تواند برخی از فایل های رسانه ای یا صفحات پویا را پردازش کند.
ارائه کردن و خدمت رسانی نتایج:
هنگامی که یک کاربر یک کوئری یا پرس و جو را در کادر جستجوی گوگل وارد می کند، ماشین های گوگل ایندکس را برای تطبیق صفحات با کوئری شما جستجو می کند و نتایجی را که به اعتقاد گوگل مرتبط تر است به کاربر را بر می گرداند. این ارتباط توسط بیش از 200 فاکتور تعیین می شود که یکی از آنها رتبه بندی صفحات می باشد.
رتبه بندی صفحات میزان اهمیت یک صفحه بر اساس لینک های ورودی از صفحات دیگر می باشد. به عبارت ساده تر، هر لینک به یکی از صفحات وب سایت شما از سمت سایت های دیگر به رتبه بندی وب سایت شما اضافه می کند. همه لینک ها برابر نیستند: گوگل به سختی برای بهبود تجربه کاربر در جستجو کردن تلاش می کند و این بهبود از طریق شناسایی لینک های اسپم و شیوه های متقلبانه دیگر که تاثیر منفی در نتایج جستجو دارد انجام می شود. بهترین نوع لینک ها آنهایی هستند که بر اساس کیفیت محتوای شما داده شده باشند.
برای اینکه وب سایت شما در صفحات نتایج جستجو رتبه خوبی داشته باشد، این بسیار مهم است که مطمئن باشید که گوگل می تواند به درستی در وب سایت شما بخزد و آن را ایندکس کند.
راهنمای وب مستر گوگل برخی از بهترین شیوه هایی که می تواند به شما کمک کند تا از اشتباهات رایج اجتناب کند و رتبه بندی وب سایت تان را بهبود بخشید را ارائه می کند.
ویژگی های Google's Did you mean و Google Autocomplete برای کمک به صرفه جویی در وقت کاربران با نمایش واژه های مرتبط، غلط املائی های متداول و کوئری های مشهور طراحی شده اند.
مانند نتایج جستجوی گوگل, این کلمات کلیدی هم که توسط این ویژگی ها استفاده می شوند به صورت اتوماتیک بوسیله خزنده های وب و الگوریتم های جستجو ایجاد می شوند. گوگل این پیش بینی ها را فقط زمانی که فکر می کند به صرفه جویی زمانی کاربران کمک می کند نمایش می دهد.
اگر رتبه یک وب سایت برای یک کلمه کلیدی خاص خوب است، به دلیل این است که الگوریتم های گوگل تشخیص داده اند که محتوای این سایت بیشترین رابطه را با کوئری کاربران دارد.