چگونه از محتوای تکراری یا Duplicate Content جلوگیری کنیم؟

انتشار محتوای تکراری ممکن است به سئو سایت شما ضررهای جبران‌ناپذیری بزند. اما اصلا به چه محتوایی می‌گوییم تکراری؟ و چگونه می‌توانیم مشکل محتوای تکراری را با چند تغییر ساده رفع کنیم؟

به زبان ساده، محتوای تکراری محتوایی است که چند نسخه‌ی کاملا مشابه دارد و با URL های مختلف در سایت شما قرار گرفته است. اما تاثیر محتوای تکراری چیست؟

بسیاری فکر می‌کنند که محتوای تکراری باعث مجازات ‌سایت شما توسط گوگل می‌شود. هرچند این فرضیه کاملا غلط است. چرا که گوگل مجازاتی برای این نوع محتوا تعیین نکرده است. تنها عاملی که باعث تاثیر منفی محتوای تکراری در سئو می‌شود، سردرگم شدن گوگل و سایر موتورهای جستجو در رتبه‌بندی نسخه‌های مختلف محتوای شماست. در ادامه به سوالات شما درباره محتوای تکراری پاسخ می‌دهیم و راه‌هایی را برای رفع این مشکل پیشنهاد می‌کنیم.

محتوای تکراری چیست؟

همانطور که در بالا اشاره‌ای کوتاه به این موضوع داشتیم، محتوای تکراری محتوایی است که بتوان آن را در بیش از یک مکان از یک سایت پیدا کرد. منظور از واژه‌ی مکان در این تعریف، در حقیقت همان URL سایت است که به هر مطلب اختصاص داده می‌شود.

به عبارت ساده‌تر، وقتی شما در سایت خود چند مطلب با محتوای یکسان داشته باشید، این امر باعث ایجاد یک محتوای تکراری در سایت شما می‌شود.

چرا محتوای تکراری مهم است؟

پس از مدتی سایت‌هایی که دارای محتوای تکراری هستند، با افت رتبه در آن عبارت کلیدی مواجه می شوند. اما علت این مسئله چیست؟

محتوای تکراری موتورهای جست و جو را از یک سو و با مشکلاتی نظیر عدم توانایی تشخیص اولویت دو مطلب و عدم تشخیص نوع هدایت لینک‌های مرتبط رو به رو می‌کند.

از سوی دیگر صاحبان سایت‌ها نیز مطمئن نیستند که باید کدام نسخه را به عنوان نسخه با اولویت بیشتر به موتورهای جستجو ارائه کنند. همچنین سایت‌های دیگر به چندین مطلب به جای یک مطلب واحد لینک می‌دهند و همین مسئله باعث می‌شود که قدرت بک لینک‌های شما بین چند آدرس تقسیم شود.

تفاوت محتوای تکراری، کپی و سبک

بسیاری ممکن است سوال کنند که من یک قسمت از یک محتوا را چندین بار استفاده کرده‌ام، آیا این برای سئوی سایت من خطرناک است؟ برای حل این مسئله لازم است بدانیم که محتوای تکراری فقط دو محتوا با متن کاملا یکسان نیست و حتی اگر دو محتوا 100 درصد یکی نباشند و در قسمت‌های کوچکی از متن متفاوت باشند، باز هم از نظر موتورهای جست و جو یک محتوای یکسان با دو URL متفاوت وجود دارد و همگی محتوای تکراری هستند.

اما نکته‌ای که کمی خیال ما را راحت می‌کند، این است که موتورهای جستجو میان محتوای تکراری، محتوای کپی، و محتوای سبک تفاوت قائل می‌شوند و آن‌ها را طبقه‌بندی می‌کنند.

محتوای کپی یعنی اینکه شما متنی که در حال حاضر داخل سایتتان وجود دارد را کپی و آن را در متن جدیدی استفاده کنید. حتی اینکه شما کمی متن خود را تغییر دهید هم اهمیت خاصی ندارد و از نظر گوگل این رفتار قابل قبول نیست.

محتوای سبک هم به نوعی از محتوا گفته می‌شود که از ارزش پایینی برای کاربران از نظر گوگل داشته باشد و گوگل محتواهای Scraped (محتوایی که از دیگر سایت‌ها در سایت شما نمایش داده می‌شود) را نیز از جمله محتوای سبک طبقه بندی می‌کند. پیشنهاد ما این است که محتوای سبک را به کلی از سایتتان حذف کنید چرا که به طور کلی این نوع مطالب برای سئو بسیار مضر است.

محتوای تکراری چگونه پدیدار می‌شود؟

در مورد علت پدیدار شدن محتوای تکراری باید به این موضوع اشاره کنیم که گاهی اوقات ممکن است ایجاد چنین محتوایی اشتباها صورت گیرد، یعنی شما اشتباها به واسطه یکی از پلاگین‌های Duplicator یک کپی از مطلب خود ایجاد کرده‌اید و باعث ایجاد محتوای تکراری در سایت شده‌اید.

در بقیه موارد نیز همانطور که پیش از این اشاره کردیم، ممکن است شما یک قسمت از متنی که قبلا در سایت وجود دارد را چند بار در مطالب جدید تکرار کنید، یا اینکه مطالبی ایجاد کنید که در قسمت های کوچکی از متن با یکدیگر متفاوت‌اند.

برای درک بهتر محتوای تکراری و نحوه‌ی پدیدارشدن آن به مثال پیش رو توجه کنید. یک سایت مرکز دانلود نرم‌افزار ممکن است ورژن‌های مختلفی از یک نرم‌افزار داشته باشد که در تمام مطالبی که برای دانلود آن ایجاد کرده، تغییراتی کوچک در نام نسخه نرم‌افزار مورد نظر به وجود آورده است و مابقی متن کاملا شبیه به متن‌های قبلی است. این نوع محتوا یک محتوای تکراری است.

البته این تنها یک نمونه‌ی بسیار ساده از این نوع محتواست که موتورهای جستجو به راحتی آن را شناسایی می‌کنند با دادن اولویت بیشتر به ورژن جدیدتر یک نرم‌افزار مشکل اولویت نمایش در نتایج جستجو را حل می‌کنند.

چگونه مشکل محتوای تکراری را حل کنیم؟

حل مشکل محتوای تکراری سه راه حل اصلی دارد. استفاده از ریدایرکت‌های 301، اضافه‌کردن یک Attribute و یا استفاده از سرچ کنسول گوگل این سه راه حل هستند که استفاده از هر کدام بسته به شرایط سایت دارد و بنا به تشخیص شما ممکن است در شرایطی خاص یک راه حل نسبت به راه‌های دیگر برتری داشته باشد. در ادامه به توضیح هر کدام از این راه‌ها می‌پردازیم.

ریدایرکت 301

در مطلب قبلی به صورت کامل راجع به ریدایرکت 404 صحبت کردیم. اما ریدایرکت 301 چیست؟

یکی از بهترین راه‌ها برای حل مشکل محتوای تکراری استفاده از ریدایرکت‌های 301 است. این راهکار برای زمانی مناسب است که مطالب شما در چند نسخه تولید شده‌اند و نسخه‌ی جدید اولویت بالاتری نسبت به نسخه‌های قبلی دارد و قصد ما هدایت تمام لینک‌های ورودی به مطلب جدید است.

با استفاده از ریدایرکت‌های 301 و ارجاع لینک‌های ورودی به یک مطلب نهایی، مشکلات مربوط به گیج شدن گوگل در اولویت بندی نتایج جستجو و همچنین مشکل کاهش تعداد بک لینک‌ها به سادگی حل می‌شود. نکته آزار دهنده در مورد این راه، این است که در صورتی که تعداد این گونه مطلب در سایت زیاد باشد زمان زیادی را از صاحب سایت برای ایجاد این ریدایرکت‌ها چه از طریق کنترل پنل هاست و چه از طریق ارائه دهندگان سرویس ریدایرکت 301 گرفته می شود.

اضافه‌کردن Attribute به کد HTML

راه بعدی برای حل مشکل محتوای تکراری این است که با افزودن یک ویژگی (Attribute) به کدهای HTML صفحه مطلب کپی، مشخص کنیم که این مطلب یک کپی از یکی از مطالب دیگر است.

اینگونه ربات گوگل متوجه مطلب تکراری خواهد شد و در نتایج جستجو مطلب اصلی را در اولویت بالاتری قرار می‌دهد. اما نکته آزار دهنده درباره این راه، مشکل دسترسی مستقیم به کدهای HTML در سایت‌های داینامیک است. چرا که کدهای HTML مطالب در سایت‌های داینامیک در لحظه اجرا تولید می‌شوند و افزودن یک تگ به یک مطلب خاص در اینگونه سایت‌ها کاری دشوار است.

اما به هر حال اگر قصد استفاده از این راه را برای حل مشکلتان دارید باید تگ زیر را که دارای ویژگی rel=canonical است به head در مطلب کپی قرار دهید.

<link href="URL OF ORIGINAL PAGE" rel="canonical" />

استفاده از URL Parameter در سرچ کنسول گوگل

راه سوم برای حل مشکل محتوای تکراری این است که از گزینه URL Parameter در سرچ کنسول گوگل استفاده کنیم. در تنظیمات این قسمت می توانید پارامترهایی که چندین بار تکرار شده‌اند را اضافه کنید و مشخص کنید که گوگل درباره آن‌ها چه تصمیمی بگیرد.

البته در نظر داشته باشید این راه نیز ممکن است برای کسانی که دانش فنی کمتری دارند کمی دشوار به نظر برسد و البته تنها برای گوگل اعمال می‌شود و بینگ را خبردار نمی‌کند. نکته دیگر درباره این قابلیت سرچ کنسول، این است که تنها در سرچ کنسول قدیمی این قابلیت قرار دارد و در طراحی جدید این کنسول، قابلیت URL Parameter دیده نمی‌شود.

کلام آخر

بر اساس آمار و ارقام محتواهای تکراری بین 20 تا 30 درصد وب را احاطه کرده‌اند. به همین علت اینکه این محتوا خواسته یا ناخواسته ایجاد می‌شوند امری مرسوم و طبیعی است و تنها لازم است بدانیم که چگونه با این نوع محتوا رفتار کنیم.

بسیاری اعتقاد دارند یکی از راه هایی که می‌توان جلوی این گونه محتوا را گرفت استفاده از Robot.txt است. اما باید اشاره کنیم که این روش قدیمی شده است و گوگل به حدی از هوشمندی رسیده که در اغلب موارد به صورت خودکار و در بقیه موارد با ایجاد تغییراتی کوچک که به آن اشاره کردیم متوجه این نوع محتوا و نحوه رتبه دادن به آن می شود.

بنابراین دقت داشته باشید که تا جایی که ممکن است خودتان پیش از نوشتن مطالب با ایجاد استراتژی‌های مختلف در زمینه تولید محتوای اصولی، جلوی ایجاد این نوع محتوا را بگیرید و در صورتی که به هر دلیلی این نوع محتوا ایجاد شد، ساختار آن را بشناسید و متناسب با ساختار آن، یک واکنش مناسب برای مقابله با آن انتخاب کنید.