یکی از معضلات وبمستران ایندکس نشدن سایتشان ویا صفحه آن ها در گوگل است در این مقاله با مفهوم ایندکس و دلایل ایندکس نشدن آشنا خواهیم شد.
ایندکس شدن به چه معناست :
وقتی مطلبی در گوگل ثبت میشود و با سرچ کردن آن مطلب را پیدا می کنیم یعنی آن مطلب ایندکس شده. گوگل توسط ربات هایش سایت شما را ایندکس می کند.
گوگل توسط ربات های خزنده (crawler) صفحات جدید شما را مورد یرسی قرار میدهد . در واقع گوگل از این طریق با الگوریتم های خود ارزش صفحه شما را برسی می کند تا کاربران با سرچ خود با مرتبط ترین صفحه مواجهه شوند.
برای برسی تعداد صفحات ایندکس شده عبارت site:mywebsite.com را سرچ کنید و از قسمت about تعداد صفحات ایندکس شده را مشاهده کنید.
نحوه کار ایندکس:
Crawling (خزیدن): اولین اقدام گوگل است که صفحات را به روش های مختلف برسی می کند.
Indexing (فهرست کردن): وقتی صفحات مختلف دیده می شود مرحله اصلی شروع می شود هرچند برنامه نویس به صورت دستی می تواند از ایندکس شدن جلوگیری کند . خود کرولر هم میتواند صفحات را کنار بگذارد.
Rank: وقتی سرچی در گوگل انجام می دهید منتظر بهترین پاسخ نسبت یه سرچ خود هستید که در این مرحله این اتفاق می افتد.
چرا سایت من ایندکس نمی شود:
1. شما نام دامنه ندارید: اولین دلیل نداشتن نام دامنه است و شما از url اشتباهی برای محتوا استفاده می کنید.همچنین ممکن است ip به درستی پیکربندی نشده باشد.
2. سایت شما برای موبایل سئو نشده: هرچقدر محتوای شما عالی باشد اما اگر آن را برای موبایل بهینه نکرده باشید رتبه و ترافیک را از دست خواهید داد.
3. از زبان برنامه نویسی به صورت پیچیده استفاده می کنید: مهم نسیت از چه زبان برنامه نویسی استفاده می کنید تا زمانی که تنظیمات شما نادرست باشد این مشکل برای شما پیش می آید. برا رفع این مشکل از ابزار mobile friendly استفاده کنید تا ببینید سایت شما چقدر با با موبایل سازگار است.
4. دیر بالا آمدن سایت: goggle رغبت کمی برای نشان دادن سایت هایی دارد که دیر بالا می ایند. حجم زیاد سایت از عوامل آن می تواند باشد بارگذاری عکس های حجم بالا یا بارگذاری رسانه هایی که ضرورتی ندارند.
5. محتوا خوب نوشته نشده : اگر محتوایی که تولید کرده اید حداقل استاندارد ها برای رقابت با رقبا نداشته باشد ممکن است به مشکل بر بخورید.معمولا محتواهایی که بیشتر از 1000 کلمه هستند از مقدار کمتر آن بهتر عمل می کنند محتوای شما باید متفاوت با سایت های دیگر باشد و پاسخ سوالات را بدهد. اگر این استانداردها را رعایت نکنید گوگل سایتی بهتر از شما با محتوای مشابه را اولویت قرار می دهد.
6. سایت شما کاربر پسند نیست: داشتن یک سایت جذاب برای سئو بسیار مهم است اگر بتوانید طوری عمل کنید که کابر ناامید صفحه شما را ترک نکند قطعا رتبه سایت شما بهتر خواهد بود.
7. شما یک حلقه تغیییر مسیر (redirect loop) دارید:redirect loop معمولا به دلیل اشتباه تایپی ایجاد می شود و از طریق موارد زیر می توان آن را برطرف کرد:
صفحه ای که باعث ایجاد حلقه تغییر مسیر می شود را پیدا کنید. اگر از وردپرس استفاده می‌کنید، منبع HTML یکی از پست‌های خود را در این صفحه یا در فایل htaccess. پیدا کنید و به دنبال «Redirect 301» بگردید تا ببینید از کدام صفحه می‌خواهد ترافیک را هدایت کند. همچنین ارزش آن را دارد که هر تغییر مسیر 302 را تعمیر کنید و مطمئن شوید که روی 301 تنظیم شده است.هرگونه اشتبباه تایپی را برطرف کنید.
8. استفده از اقزونه هایی که نمی گذارد Google bot در سایت شما بخزد.یکی از نمونه افزونه robots.txt هست که اگر به صورت noindex تنظیم شود google bot نمی تواند در سایت شما بخزد.
یک فایل robots.txt ایجاد کنید و موارد زیر را انجام دهید:
ان را به صورت عمومی تنظیم کنید تا خزنده ها به آن دسترسی داشته باشند. مطمئن شوید فایل txt شما دارای این خطوط نیست: User-agent: *
Disallow: / اسلش رو به جلو به این معنی است که فایل robots.txt همه صفحات را از پوشه ریشه سایت مسدود می کند. می‌خواهید مطمئن شوید که فایل robots.txt شما بیشتر شبیه این است: User-agent: *
Disallow: خالی بودن خط غیر مجاز به خزنده ها میگوید که می توانند در صفحات شما بخزند.
9. سایت شما از جاوا اسکریپت برای ارئه محتوا استفاده می کنند: جاوا اسکریپت به تنهایی نمی تواند مشکل باشد شما باید به سایت فردی که از آن استفده می کند نگاه کنید. زمانی جاوا مشکل مطرح می شود که با انجام کارهای مبهم از خزیدن جلوگیری می کند.
اگر HTML را در مقابل HTML خام رندر کرده اید، و پیوندی در HTML خام دارید که در HTML رندر شده نیست، ممکن است Google آن پیوند را نخزد یا فهرست نکند. به دلیل این نوع اشتباهات، تعریف HTML رندر شده شما در مقابل مسائل HTML خام بسیار مهم است.
اگر به دنبال مخفی کردن فایل های JS و CSS خود هستید، این کار را نکنید. گوگل اشاره کرده است که آنها می خواهند تمام فایل های JS و CSS شما را هنگام خزیدن ببینند.
گوگل از شما می خواهد که همه JS و CSS را قابل خزیدن نگه دارید. اگر هر یک از آن فایل‌ها را مسدود کرده‌اید، ممکن است بخواهید آنها را رفع انسداد کنید و اجازه خزیدن کامل را بدهید تا به گوگل نمای سایت شما را که به آن نیاز دارند ارائه دهید.
10. همه ویژگی ها را به سرچ کنسول اضافه نکرده ابد: اگر بیشتر از یک دامنه دارید همه تغییرات را به گوگل سرچ کنسول خود اضافه کنید مخصوصا زمانی که از http به https تغییر دامنه داده اید. اطمینان حاصل کنیدد که هنگام اضافه کردن gcs هیچ کدام از تغییرات دامنه را از دست نمی دهید برای سایت هایی که تازه شروع به کار کرده اند احتمالا مشکی پیش نمی آید.
11. 11. متا تگ های شما روی Noindex، Nofollow تنظیم شده اند: گاهی اوقات، از طریق بدشانسی محض، متا تگ ها روی noindex، nofollow تنظیم می شوند. به عنوان مثال، سایت شما ممکن است پیوند یا صفحه ای داشته باشد که توسط خزنده گوگل ایندکس شده و سپس قبل از تغییر به noindex حذف شده است، nofollow به درستی در باطن وب سایت شما تنظیم شده است. در نتیجه، ممکن است آن صفحه مجدداً ایندکس نشده باشد و اگر از افزونه ای برای جلوگیری از خزیدن گوگل در سایت خود استفاده می کنید، آن صفحه ممکن است هرگز ایندکس نشود. راه حل ساده است: هر متا تگ را با کلمات noindex، nofollow را تغییر دهید تا به جای آن index و follow را بخواند.
12. شما از نقشه سایت استفاده نمی کنید: sitemaps یکی از ابزارهای گوگل برای یافتن محتوای شماست که به سرچ کنسول کمک می کند محتوای شما خزیده و فهرست بندی شود. اگر نقشه سایت ندارید، گوگل کور می شود مگر اینکه تمام صفحات شما در حال حاضر ایندکس شده باشند و ترافیک دریافت کنند. اگر نقشه سایت ندارید، گوگل کور می شود مگر اینکه تمام صفحات شما در حال حاضر ایندکس شده باشند و ترافیک دریافت کنند. شما می خواهید از نقشه سایت خود برای اطلاع دادن به گوگل صفحات مهم سایت خود استفاده کنید و می خواهید آن را به طور منظم برای خزیدن و نمایه سازی ارسال کنید.
13. قبلا توسط گوگل جریمه شده اید: اگر قبلا توسط گوگل پنالتی شده اید و عمل خود را پاک نکرده اید گوگل شما را ایندکس نمی کنند
14. سئو تکنیکال غلط: سئو تکنیکال برای گوگل بسیار مهم است و مورد توجه کاربران قرار می گیرد. بیایید نگاهی به مشکلات رایج بیندازیم.
مشکل: سایت شما به اعداد Core Web Vitals دسترسی ندار:
راه حل: سئوی فنی به شما کمک می کند تا مشکلات موجود در Core Web Vitals خود را شناسایی کنید و راهی برای اصلاح این مشکلات در اختیار شما قرار دهد فقط به حسابرسی استراتژیک اعتماد نکنید کشف برخی از این مسائل به یک ممیزی کامل سئوی فنی نیاز دارد زیرا می توانند از ساده تا فوق العاده پیچیده متغیر باشند.
مشکل: سایت شما دارای مشکلات خزیدن و نمایه سازی است: اگر متوجه شدید که کشش صفر دارید یا هیچ عملکردی از سایت خود ندارید، باید آنها را شناسایی کنید.
راه حل: اگر متوجه شدید که کشش صفر دارید یا هیچ عملکردی از سایت خود ندارید، باید آنها را شناسایی کنید.
مشکل: فایل robots.txt سایت شما به نحوی ناخواسته خزنده ها را از فایل های مهم مسدود می کند.
راه حل: باز هم، سئوی تکنیکال اینجاست تا شما را از ورطه نجات دهد. برخی از سایت‌ها آنقدر عمیق هستند که ممکن است راهی جز حذف سایت و شروع دوباره پیدا نکنند. اینجاست که یک متخصص سئوی فنی با تجربه ارزش طلایی دارد.
در این مقاله سعی شد تعریف مختصری از ایندکس شدن و عواملی که موجب ایندکس نشدن سایت شما می شود اشاره شود اگر موردی هم به نظر شما می رسد که به آن اشاره نشده با ریچتک در میان بگذارید.
