Определяем дублированный контент
Появление дублированного контента имеет различное происхождение. Одинаковый документ может отличаться за счет разных форматов кодировок, а также применением графики. Большая часть публикаций копируются с нарушением авторских прав и синонимизируются для получения уникального контента с точки зрения ПС. Если говорить о копипасте, то поисковым системам определять такой текст не составляет проблем. Для этого нужно просто сравнить контрольную сумму текста с другими текстами. Если какой-либо текст будет иметь полное совпадение с первоисточником, то такой текст обычно поисковыми системами игнорируется...