Существует система одновременной поэтапной оценки рейтингов для оценки субъективности рейтингов.
Анализ рейтинга начинается с названия, которое должно максимально точно передавать информацию о цели рейтинга.
Второй важный вопрос – создатель рейтинга. Как правило, создателем рейтинга выступает юридическое лицо, а значит, рейтинг соответствует как минимум целям и задачам организации - создателя рейтинга.
Третье, что обычно бывает известно из описания рейтинга, это дата создания. Длительность проведения рейтинга говорит об апробации методологии, удовлетворенности составителей получаемой информацией и о возможности проведения ретроспективного исследования при сохранении или незначительном изменении методологии.
Помимо названия, составителя и его интересов, истории создания необходимо учитывать критерии, критериальные показатели, вес критериальных показателей и методологию расчёта.
Каждый следующий показатель оценки заставляет уточнить данные, полученные ранее, поэтому уместнее будет говорить об этапах исследования рейтинга. В результате анализа множества рейтингов нами была установлена последовательность действий, включающая в себя четыре этапа.
1 этап – получение общей информации о рейтинге: название, создатель, год, тип.
2 этап – анализ критериев рейтингов, их показателей и веса этих показателей.
3 этап – выявление открытости рейтинга: охват, сайт (его наличие, мультиязычность, наличие исходных данных для рейтингов, позволяющих перепроверить данные и/или использовать их в своем исследовании, в том числе в скачиваемом виде, общая направленность сайта, сопровождающий рейтинги контент – рекламный, научный, развлекательный).
4 этап – определение стратегии рейтинга: сопоставление с подобными рейтингами для выявления не отмеченных ранее особенностей; способность показателей рейтинга выступать направлениями развития.
Любой из последующих этапов оценки рейтинга добавляет новую информацию, в том числе ту, которая может кардинально изменить предыдущие представления, поэтому уместно будет говорить об алгоритме. Вся полученная информация представляется индикаторами качества рейтинга, его субъективности, ангажированности, применимости.
Естественно, что этот анализ не может предусмотреть всё, но эта информация, полученная из открытых источников, помогает быстро принять решение о применимости этого рейтинга в исследованиях, при чем определить необходимость поправки на данные при учёте конкретного рейтинга.