در آگوست 2012، گوگل به روزرسانی الگوریتم جستجوی خود را اعلام کرد که وب‌سایت‌هایی را که تعداد زیادی درخواست حذف DMCA دریافت می‌کنند، هدف قرار می‌دهد. این به‌روزرسانی به‌طور غیررسمی «The Pirate Update» یا الگوریتم دزد دریایی گوگل نامیده شد، که بر اساس مفهوم دزدی محتوای دیگران مانند موسیقی، فیلم، مقاله و غیره است.
با به روزرسانی، Google توضیح داد که «سایت‌هایی که اعلان‌های حذف زیادی دریافت می‌کنند ممکن است در نتایج سرچ ما سقوط کنند. از آگوست 2012 وب سایت ها به این نتیجه رسیدند که به روزرسانی الگوریتم دزد دریایی می‌تواند دلیل افت آنها باشد.
به روز رسانی برای اولین بار در آگوست 2012 منتشر شد و تأثیر آن تقریباً بلافاصله قابل مشاهده بود. هدف من از این پست معرفی به‌روزرسانی Pirate و توضیح اینکه چگونه می‌توانید درخواست‌های حذف DMCA را تجزیه و تحلیل کنید (از طریق داده‌هایی که Google ارائه می‌کند).
حذف DMCA
حذف DMCA چیست؟ این اساساً اعلانی است که به یک ارائه دهنده خدمات آنلاین ارسال می‌شود و توضیح می‌دهد که مطالب نقض‌کننده در شبکه وجود دارد، و URL(های) یا وب سایت های متخلف باید حذف شود. همانطور که می‌توانید تصور کنید Google بسیاری از این درخواست‌های حذف را به طور منظم دریافت می‌کند، و فرآیند ساده‌ای را برای ثبت موارد حذف ارائه می‌کند.
در واقع، Google یک گزارش شفافیت کامل ارائه می‌کند که در آن داده‌های زیادی را در مورد درخواست‌های حذف، مالکان حق نسخه برداری و دامنه‌های مشخص شده در اعلامیه‌های DMCA را فهرست می کند.
حذف‌های DMCA زمانی به Google ارسال می‌شوند که شخص یا نهادی معتقد باشد نشانی‌های اینترنتی و وب سایت شما حاوی مطالبی با حق کپی برداری است. بنابراین، وب سایت صاحب اثر می تواند روند ثبت شکایت حق نسخه‌برداری را طی کنند، Google این موضوع را بررسی می‌کند و در صورت لزوم اقدام می‌کند (به این معنی که Google URL(ها) را از نتایج جستجو حذف می‌کند).
علاوه بر این، هر درخواستی مستند است، بنابراین Google می تواند شروع به محاسبه تعداد اعلامیه های DMCA کند که دامنه شما را هدف قرار می دهد. و این در مورد الگوریتم دزد دریایی گوگل بسیار مهم است. با مطالعه پست اصلی Google در مورد به روزرسانی الگوریتم دزد دریایی گوگل متوجه می شویم: «سایت‌هایی که تعداد اعلان‌های حذف بالایی دارند ممکن است در نتایج سرچ ما پایین تر ظاهر شوند.» بنابراین هر بار که یک اخطار حذف جدید می آید، یک اعتصاب دیگر علیه خود دارید.
گزارش شفاف‌سازی Google – درخواست‌هایی برای حذف محتوا
قبلاً به این نکته اشاره شد که Google یک گزارش شفاف سازی ارائه می‌کند که در آن درخواست‌هایی برای حذف محتوا از سرویس‌های خود (از دولت‌ها و به دلیل حق نسخه‌برداری) فهرست می‌کند. بخشی از گزارش شفاف سازی که بر درخواست‌های حق نسخه‌برداری متمرکز است، داده‌های زیادی در مورد اعلامیه های حذف و دامنه هایی که در آن حذف‌ها مشخص شده‌اند، مالکان برتر حق نسخه‌برداری، و غیره ارائه می‌کند. می‌توانید در سایت ببینید که بیش از ۵ میلیون نشانی اینترنتی درخواست شده است که توسط Google حذف شود.
هنگام تجزیه و تحلیل سایت هایی که ممکن است توسط دزدان دریایی مورد اصابت قرار گرفته باشند. با کلیک کردن روی پیوند «دامنه مشخص شده» در پیمایش سمت چپ، می‌توانید فهرستی از دامنه‌هایی را که از طریق اعلامیه‌های حذف DMCA مورد هدف قرار گرفته‌اند، پیمایش کنید.
می‌توانید تعداد مالکان حق نسخه‌برداری را که اعلامیه‌های ارسال کرده‌اند، تعداد سازمان‌های گزارش‌دهنده (که از طرف صاحبان حق نسخه‌برداری کار می‌کنند)، و تعداد نشانی‌های اینترنتی ارسال شده (که گفته می‌شود حاوی مطالب دارای حق نسخه‌برداری هستند) را ببینید.
می‌توانید این داده‌ها را براساس هفته، ماه، سال یا «همه موجود» فیلتر کنید. و مهمتر از آن، می توانید داده ها را به صورت فایل csv . دانلود کنید .
کار با فایل .csv
اول، و مهمتر از همه، دامنه های نگهدارنده فایل حاوی 14 میلیون رکورد است. بنابراین اگر سعی کنید و به سادگی فایل را در اکسل باز کنید، خیلی دور نخواهید بود. هر کاربرگ در اکسل فقط می تواند حاوی 1 میلیون ردیف باشد، بنابراین شما داده های بسیار زیادی برای اجرای یک واردات ساده دارید. برای حل این مشکل، فایل را به Access وارد کردم تا بتوانم با داده ها به روش های مختلف کار کنم.
توجه داشته باشید، Access یک برنامه پایگاه داده است که به شما امکان می دهد مجموعه های بزرگتری از داده ها را وارد کنید، و سپس آن داده ها را بر اساس معیارهای مختلف جستجو کنید. این یک برنامه پایگاه داده دسکتاپ قوی از مایکروسافت است که با نسخه های خاصی از Microsoft Office ارائه می شود.
هدف من تجزیه و تحلیل دامنه‌هایی بود که توسط الگوریتم دزد دریایی ضربه می‌خورند، و سپس سعی می‌کردم آستانه‌ای را که گوگل در هنگام انتخاب یک دامنه استفاده می‌کند، شناسایی کنم. به عنوان مثال، چه تعداد درخواست باید ثبت شود، چه تعداد url باید مورد هدف قرار گیرد، و "نسبت URL به کل فهرست شده" چقدر است؟
ردیابی به‌روزرسانی الگوریتم دزد دریایی از طریق داده
اکنون که داده‌های Pirate را داشتم، زمان آن رسیده بود که تجزیه و تحلیل آن داده‌ها را شروع کنم. در شروع نگاهی به دامنه های برتر در لیست کردم و از طریق SEMRush به روند جستجوی ارگانیک آنها اشاره کردم. می‌خواستم مطمئن شوم که می‌توانم تأثیر الگوریتم دزد دریایی را برای این دامنه‌های خاص تشخیص دهم.
این ساده تر از چیزی بود که فکر می کردم. روند زیر را برای چندین وب سایت که در صدر فهرست قرار دارند، بررسی کنید:
جستجوی آستانه تاثیر - ارتباط بین حذف‌های DMCA و بازدیدهای
با توجه به بررسی شدید روند جستجوی ارگانیک برای سایت‌های موجود در لیست، می‌خواستم ببینم آیا آستانه ای برای تحت تاثیر قرار گرفتن الگوریتمی وجود دارد یا خیر. به عنوان مثال، آیا قبل از تأثیر الگوریتمی گوگل روی سایت، باید تعداد معینی شکایت وجود داشته باشد؟ آیا عوامل دیگری دخیل بودند که باعث هیت الگوریتم شدند؟ اینها همه سؤالات خوبی هستند و من سعی می کنم در ادامه به چند مورد از آنها پاسخ دهم.
علاوه بر اعلامیه های حذف مستقیم، نادیده گرفتن معیار خاصی که Google در گزارش شفاف‌سازی برای حذف DMCA ارائه می‌کند، دشوار است. در سایت به عنوان “percentage of pages requested to be removed based on total indexed pages” فهرست شده است . حالا این معیار منطقی است! (به هر حال از نظر تئوری). درک کل بسته می تواند از نظر الگوریتمی تصمیمات بهتری را نسبت به تعداد خالص درخواست های حذف به همراه داشته باشد.
به عنوان مثال، اگر این درصد برای سایت‌های خاص 1٪ یا کمتر باشد، ممکن است با سایتی با 5٪، 10٪ (یا حتی بیشتر) متفاوت رفتار شود. توجه داشته باشید، من برخی از سایت های بیشتر از 50 درصد را دیدم! بر اساس تحقیقاتم، من یک همبستگی قوی با سایت‌هایی دیدم که 5% یا بیشتر را نشان می‌دادند و به نظر می‌رسید که بازدیدهای الگوریتم دزد دریایی باشد (یعنی 5٪ از کل آدرس‌های اینترنتی در سایت از طریق درخواست‌های حذف DMCA حذف شدند).
برای دامنه هایی که پس از اولین بار معرفی Pirate به شدت کاهش یافتند، این درصد اغلب بالاتر بود. به عنوان مثال، من اغلب درصدهای «<50%» و حتی چند درصد «>50 درصد» را دیدم.
می‌دانم که این واضح به نظر می‌رسد، اما اگر نیمی از آدرس‌های اینترنتی فهرست‌شده شما درخواست حذف شده باشد، احتمالاً با مشکل جدی دزدان دریایی مواجه شده‌اید. :) و جای تعجب نیست که از به روز رسانی Pirate ضربه خورده اید.
اگر درخواست حذف DMCA در مورد نقض URL(های) سایت شما با Google ثبت شده باشد، باید پیامی در Google Webmaster Tools دریافت کنید که وضعیت را توضیح می دهد، همراه با پیوندهایی به محتوای نقض کننده در آن مرحله، می‌توانید یک دفاعیه در برابر اخطار ارسال کنید، محتوا را حذف کنید یا مشکل را نادیده بگیرید (که من توصیه نمی‌کنم). اگر محتوا را حذف کردید، می‌توانید «فرم اعلان حذف محتوا» را پر کنید.
پس از تکمیل فرآیند حذف url ها و اطلاع رسانی به گوگل، باید منتظر بمانید تا ببینید سایت شما چگونه باز می گردد. توجه داشته باشید، Google پیوندهایی را به فرم هایی که در بالا در پیام های آنها ذکر کردم از طریق Webmaster Tools ارائه می دهد.
مثالی از اخطار DMCA در Google Webmaster Tools:
اگر می‌پرسید درخواست حذف DMCA از طرف Google چگونه است، در اینجا پیوندی به تالار گفتگوی مدیر وب سایت است که پیام GWT DMCA را نشان می‌دهد. این قضیه بیشتر به ضربه الگوریتمی شما مربوط می شود، توصیه می کنم از گزارش شفافیت بازدید کنید و داده ها را تجزیه و تحلیل کنید.
می توانید با دسترسی به قسمت جستجو در بخش حق چاپ گزارش شفافیت، بر اساس دامنه جستجو کنید. همچنین می توانید برای شناسایی وضعیت دامنه خود (همانطور که قبلا ذکر شد) داده ها را دانلود و وارد Access کنید.
به عنوان مثال، می‌توانید تعداد درخواست‌های ثبت شده را دریابید و ستون % را بررسی کنید تا ببینید Google چگونه کل دامنه شما را براساس نقض حق نسخه برداری ادعا شده درک می‌کند. اگر تعداد زیادی url و درصد بالایی از urlهای متخلف را بر اساس نمایه سازی کل مشاهده می کنید، می تواند به شما در تعیین علت آخرین ضربه الگوریتمی که بر سایت شما تأثیر گذاشته است کمک کند. یا اگر خوش شانس هستید، می توانید با تهاجمی بودن با پاکسازی کپی رایت، حمله بعدی را خنثی کنید.
