Найти в Дзене
Фанфик жив

Временный мораторий на идолопоклонство перед иностранной наукометрией

Аннотация. В предыдущих наших публикациях [1], [2] мы указывали, что следует отказаться от наукометрических индексов, основанных на публикационной активности авторов в так называемых ведущих наукометрических базах. Действительно, в последние годы ценность ученого и преподавателя в университете стала формально определяться по количеству его публикаций и по рейтингу этих публикаций, и по цитировании этого автора, что не имеет ничего общего с фактической научной ценностью этих публикаций. Рейтинг публикаций определяется только местом опубликования эти публикаций, а вовсе не их содержанием. Те, кто принимал решения о таких наукометрических показателях, по-видимому, исходили из предположения, что чем выше рейтинг издания, тем выше качество любой опубликованной в нем статьи, но ошибочность этого предположения доказана многократно, в том числе обоснование утверждения об ошибочности такого мнения дано в наших более ранних публикациях на эту тему. В настоящее время возникла новая данность, а именно: на территории Российской Федерации введен временный мораторий (до конца 2022 года) на применение указанных наукометрических подходов. Нас данная ситуация крайне радует, это действие выглядит так, как если бы лица, от которых зависит принятие данного решения, ознакомились с нашими предыдущими публикациями на эту тему [1], [2], как если бы нам удалось их убедить в своей правоте. Данное предположение, разумеется, достаточных оснований не имеет, можно лишь с большей степенью достоверности предположить, просто жизненная ситуация изменилась, сама жизнь заставила в следствие известного изменения политических и экономических реалий пересмотреть эту порочную практику и отказаться от неё. Поскольку отказ осуществлен в форме временного до конца года моратория, можно предполагать и возможность возврата к предшествующей практике. Данная статья напоминает о глубинных основаниях для принятия такого решения не в качестве временного моратория, а в форме окончательного решения, в виде категорического отказа от язычества и идолопоклонства в науке. Необходим твердый курс на научные критерии научности (простите за тавтологию). С принятием этого решения как окончательного, разумеется, можно не слишком торопиться, но напомним, что ощущение временности этого моратория заставляет людей науки все же с осторожностью принимать эту новую данность, всякий разумный ученый (не факт, что все ученые разумны), по-видимому, будет со всей осторожностью входить в измененную наукометрическую ситуацию, предпочтет по возможности ориентироваться на старые и уже хорошо освоенные ориентиры, нежели отбросив бесполезного идола заняться настоящей наукой с максимальной отдачей не в направлении проникновения в квартильные журналы с хотя бы какой-то публикацией, а в направлении получения действительно весомых и значимых научных результатов, безотносительно того, где, в какие сроки, в каком объеме и с какой цитируемостью их в дальнейшем можно будет опубликовать. Невыполненным на настоящий момент остается критерий научной ценности результатов и публикаций отдельных ученых и научно-исследовательских коллективов, поскольку наряду с отказом от ориентации на наукометрические базы данных Scopus и Web of Science необходимо было сообщить новые наукометрические ориентиры, чего по сей день не произошло. По этой причине данная статья развивает тезисы предыдущих публикаций на эту тему.

Ключевые слова: наука, наукометрия, рейтинги, научные исследования, результативность научной деятельности, ВАК, Scopus, Web of Science

-2

ВВЕДЕНИЕ

Итак, свершилось, наша борьба с идолопоклонством перед так называемыми наукометрическими базами Scopus и Web of Science на территории Российской Федерации временно завершилась временной победой, а именно: установлен мораторий на использование формальных показателей публикационной активности в этих базах в качестве критерия научности достижений научных организаций, научных коллективов, и отдельных научных работников. Но мораторий – это временная мера, как перемирие не есть мир, а победа в сражении не есть победа в войне.

Для начала процитируем несколько наших высказываний на основе анализа ситуации с использованием публикационных показателей в качестве показателей научных достижений из работы [1].

Мы писали: «Перестаньте платить за рейтинг журнала, в котором публикуются статьи, начните платить за содержание статьи как таковой, и вы сразу же «зашьете дырявый карман». Требуется перестать преклоняться перед зарубежными базами данных, такими как Scopus, Web of Science. Это всего лишь платные каталоги на английском языке, и ничего больше. Так к ним и следует относиться. Если статью автора внесли в этот платный каталог, она не стала от этого факта более содержательной» [1].

И далее мы писали: «Если кто-либо напишет критическую статью о некоторой публикации, эта публикация формально повысит свою ценность, так как она будет дополнительный раз процитирована. Если статья будет настолько абсурдной, что ее будут ругать очень многие, следовательно, она будет стремительно увеличивать свое цитирование, следовательно, автор станет более «маститым». Цитирование приравнено к научной значимости автора как ученого. Нет никакого смысла создавать научные ценности, открывать новые факты, и явления разрабатывать новые приборы, ставить смелые эксперименты, нас оценивают лишь по количество записей о наших литературных опусах в платных каталогах. Российский бюджет оплачивает два крупнейших коммерческих проекта, не имеющих никакого смысла для развития науки, человечества, цивилизации. Это крупнейший фейк мирового масштаба, и мы наряду с Индией и некоторыми другими отсталыми странами расходуем средства бюджета нашей страны на обогащение владельцев этих каталогов» [1].

Это было написано в 2020-м году.

ЭТАПЫ БОЛЬШОГО ПУТИ В НИКУДА

Кратко критикуемая схема такова.

Государство желает развивать отечественную науку. Отечественную, заметьте. Для этого следует финансировать исследования в самых разных направлениях. Для этих целей нужно знать, каким организациям, каким инициативным коллективам и каким отдельным исследователям целесообразно выделять финансирование. Также очень желателен контроль – проверять и убеждаться, что отпущенное финансирование использовано по назначению и в действительности привело к весомым научным достижениям в соответствующей области знаний.

Для этого, разумеется, нужна иерархическая структура отечественных руководителей науки и в том случае, если государство этой структуре не доверяет, тогда нужна дополнительная ещё большая структура, то есть целая сеть, состоящая из надлежащим образом организованных независимых научных экспертов, которые позволили бы составить объективное мнение о правильности распределения этих средств.

Если этой сети экспертов государство тоже не доверяет, тогда нужны формальные критерии, называемые, например, «индикаторы достижения цели», по которым можно оценить достижения разнородных коллективов.

Наконец, если у государства нет очевидных оснований не доверять таким критериям, то, как казалось тем умникам, которые эту систему выстроили, задача решена, что и требовалось.

В качестве таковых индикаторов сначала выбрали количество научных публикаций, то есть вообще любых публикаций.

Оказалось плохо, потому что начался бурный рост самых разнообразных журналов, которые, разумеется, не бесплатно, стали публиковать статьи всех, кто дал себе труд их написать. Рынок предложений стремительно рос, регулируя стоимость продолжений.

Статей стало больше, науки больше не стало.

Фактический рост науки в стране все мы можем ощутить по достижениям в передовых отраслях техники, технологии, даже просто в нашей бытовой жизни. Или не ощутить, что бывает намного чаще. Вот же оно, почти близко, это самое «прекрасное далёко», которое не должно быть к нам ко всем жестоко, должно же оно наступить, вот-вот уже. Не наступило. Ладно, делаем вывод, что сам факт публикации ничего ещё не доказывает.

Осознали, скорректировали. Внесли дополнительные требования, для чего создали рекомендуемый перечень Высшей аттестационной комиссии РФ, т. е. перечень ВАК. Стали ценить только те статьи, которые опубликованы в этих журналах из этого перечня. Те журналы, которые вошли в это перечень, получили преимущества, поскольку в них стали желать публиковаться все ученые и преподаватели, тогда как все остальные журналы стали постепенно сдавать позиции, а чтобы их не утратить, наиболее шустрые редакторы или редакционные коллегии стали предпринимать усилия, чтобы их журналы вошли в этот заветный перечень ВАК. Перечень жил своей жизнью, какие-то журналы изредка из него убирали за слишком уж явные нарушения этики публикаций, какие-то в него включались, перечень неуклонно возрастал.

Все хотят публиковаться в журналах из перечня ВАК, а в других журналах публиковаться никто не хочет. Почему бы этим журналам не начать взымать плату за опубликование? Вроде бы не запрещено. Нет таких законов, чтобы бесплатно публиковать. Ну, предположим, что для того, чтобы оставаться в этом перечне, вроде бы, требуется, чтобы статьи аспирантов публиковали бесплатно, а остальным – извините! Платите, дорогие ученые.

Ну тут простор для злоупотреблений широченный. Никаких претензий к журналам ВАК у нас нет, мы считаем эти журналы большим благом, ведь, действительно, злоупотребить можно только хорошими вещами.

Итак, злоупотребления. Если главный редактор, или, например, выпускающий редактор, ну или любой член редакционной коллегии имеет своих аспирантов, то опубликоваться этим аспирантам в этих журнала, по-видимому, легче, чем каким-то авторам со стороны. Ну и если журнал при организации, тогда руководство этой организации может посодействовать опубликованию тех статей, которые этой организации нужны.

Допустим для того, чтобы журналы оставались в этом высокорейтинговом перечне, надо, чтобы в них было географическое разнообразие, то есть, допустим, установили, что не более 30% публикаций должны быть от авторов из этой организации, а остальные – внешние, из других организаций и даже из других регионов. Так ведь всегда можно обменяться эквивалентными услугами, есть такое слово «бартер». Вы берете у нас пять статей в ваш журнал, мы берем у вас пять статей в наш журнал, вот и достигли географического разнообразия.

Да что там географического. В сообществе, о котором мы ещё поговорим, даже, некоторым образом, биоразнообразие авторов удаётся обеспечить. «Вопрос о том, зачем издательству Elsevier нужно знать половые особенности авторов, был задан на их семинаре. Был получен ответ: мы собираем статистику для того, чтобы разнообразие было и среди рецензентов, и среди авторов». Имеется в виду, чтобы авторами научных статей были не только мужчины и женщины, но и все другие варианты половой принадлежности, выдуманные в Европе, которые мы не беремся перечислять и тем более изучать, просто мы осведомлены, что, согласно этому издательскому сообществу, которое владеет базой данных Scopus, при принятии статей необходимо знать ответ на вопрос о половой принадлежности каждого автора, и варианты ответов имеются такие: «Мужчина», «Женщина», «Другое», «Ещё не определился». Возможно, вариант «Другое» имеет опцию «указать конкретно», мы не проверяли. Если это издательство ставит целью разнообразить спектр авторов по указанному показателю, вероятно, оно сможет обеспечить достижение этой цели.

Мы пока что говорим о том, что абсолютно абсурдное, необоснованное требование, чтобы каждый журнал принимал статьи от авторов из как можно большего количества организаций и из как можно большего количества регионов, может быть легко выполнено, но, во-первых, мы покажем, что это глупо, во-вторых, удовлетворение этого требования путем обмена содержимым портфелей статей ничего не улучшает ни в качестве статей, ни в качестве журналов, ни в качестве рецензирования, ни в науки, вообще ни в чем. Мы обещали показать глупость этого требования. Ну давайте сами подумаем, если журнал называется «Вестник Тьмутараканского Университета», тогда логично ожидать, что в этот журнал должны поступать статьи из этого Тьмутараканского университета. Если другой журнал называется «Труды Зурбаганского университета», то в нем ожидаются именно статьи авторов из этого самого Зурбаганского университета. Ну, допустим, заставили мы каждый журнал расширить географическое разнообразие авторов. Стали статьи из Тьмутараканского университета поступать в журнал «Труды Зурбаганского университета», а статьи из Зурбаганского университета поступать в «Вестник Тьмутараканского университета». Что улучшилось в этом случае? Сие нам неведомо.

Итак, распространилось влияние журналов из заветного перечня ВАК. А успехи науки не возросли в ожидаемой великолепной пропорции. Как не удовлетворяли они ни граждан, ни руководство, так и по-прежнему не особо удовлетворяют. Статей из перечня ВАК стало больше, науки больше не стало. Ведь самые высокоинтеллектуальноёмкие товары у нас из Китая, который ещё полвека назад называл себя нашим младшим братом и говорил, что отстаёт от нас на многие годы в научном и техническом развитии. А теперь если измерять наше отставание в этой же сфере от Китая, то как бы не пришлось на десятилетия считать.

И вот что странно: публикации в журналах ВАК имеются, и даже их стало больше. Научные диссертации защищаются. Их тоже стало всё больше и больше.

Какую диссертацию ни открой, пусть даже всего-то лишь кандидатскую, читаем в ней, что диссертантом выполнены исследования на мировом уровне, что достижения обладают научной новизной и практической полезностью. А заметных сдвигов в технике, технологии и науке нет, кроме тех как раз отраслей, где вообще никто никогда не требует никаких научных публикаций, а то и прямо их запрещает и исключает. Серьёзные там ребята работают, в Скопусы и Хирши не играют, видимо, поэтому у них есть то, чего нет у наших прямых зарубежных конкурентов в этой области. Но это не в тех отраслях, где диссертации плодятся быстрее, чем кролики на питательных австралийских травах.

Допустим, вкладывает страна в какие-то таинственные ***технологии огромные деньги, а этих самых ***технологий как не было, так и не появилось. А ведь должны появляться. Ведь столько статей по ним стало печататься, как только деньги стали в них вкладывать. И даже книги. А презентаций в различных инновационных центрах, молодёжных «точках кипения», «аквариумах», «островах», «хакатонах», «песочницах», «инкубаторах» и прочих технопарках – это же подсчитать невозможно. Просто какая-то PowerPoint-лавина. Мы ни от каких-то конкретных технологиях говорим, мы о гипотетическом примере. Даже, допустим, создают госкорпорацию по этим самым ***технологиям, это тоже дело не сильно-то продвигает.

Посокрушались руководящие гении о том, что статьи в журналах из перечня ВАК, как оказалось, не обеспечили прорывного развития науки, техники и технологий. И решили, что надо как-то по-другому критерии выстраивать. Ввели в качестве показателей международные публикации. Тоже не сработало. Тогда уточнили – международные публикации в ведущих базах, в тех самых Scopus и Web of Science. Вроде бы таких публикаций было не много, и не у всех, и не в большом количестве. Стали считать большими учеными только тех, кто такие публикации имеет. Оглянуться не успели, как страна наполнилась такими вот «большими учеными». Во-первых, и отечественные журналы подсуетились, кто смог, вошли в эти базы. Во-вторых, университеты и академические институты разобрались с технологией публикации и сотрудникам объяснили. Перестроили и перенастроили систему кнуто-пряникового стимулирования.

Как выяснилось в начале, для массового опубликования в таких журналах не хватало двух вещей: структуры IMRAD и высококачественного английского языка. Статья, обладающая этими двумя признаками, имела шанс опубликоваться, конечно, не в любом журнале из этой базы, но в трудах почти любой конференции. Тут, конечно, заминка вышла – все конференции берут сборы организационных взносов, и журналы тоже стали этим же самым заниматься, почти все. Ну стали наши ученые искать журналы подешевле и конференции тоже подешевле.

Пошли волной полновесной статьи в этих самых заветных базах Scopus и Web of Science.

Статей в этих самых заветных базах Scopus и Web of Science стало больше, науки больше не стало. Науки нашей как не было на должном и желаемом всеми нами уровне, так и не поднялась она до этого уровня.

Опять посокрушались гении и решили, что не все журналы одинаково великолепны, а некоторые несколько менее великолепны, а другие намного более великолепны. Все эти журналы делятся по количеству цитирования их статей на пять подгрупп. Наиболее цитируемая часть относится к первому квартилю, следующая за ней – ко второму квартилю, следующая – к третьему квартилю, следующая – к четвертому квартилю, а пятая – к бесквартильным журналам.

И решили гении, что все журналы, которые относятся к первому и второму квартилю – это важные научные журналы, а все остальные журналы – мусорные, или как их метко окрестило гениальное начальство – «Мурзилки», по аналогии с детским журналом советских времен.

Стало быть, теперь те, кто публикуется в этих первых и вторых квартилях – это большие ученые, а все остальные занимаются не наукой, а мусором.

А кто же решает, что публиковать, а что не публиковать в этих журналах из первого и второго квартиля? Вот тут самое интересное.

Решают это те, что этими журналами владеет, а они отчитываются за свои решение только перед своей собственной совестью, как они это понимают, и, разумеется, озабочены тем, чтобы и далее их цитирование не ухудшалось.

Для того, чтобы статью хорошо цитировали, очень желательно, чтобы её прочитали как можно больше людей, и чтобы по какой-то причине авторы других статей были заинтересованы в таком цитировании.

Для выполнения первого условия лучше всего, чтобы статья была в открытом доступе. Публикация статьи в открытом доступе – это одно из наиболее бесспорных и убедительных оснований для того, чтобы брать с авторов достаточно много денег. Как же, ведь издательство не может заработать на продаже журнала и на подписке, и на продаже отдельных статей журнала. К слову сказать, тариф на предоставление одного файла в формате *.pdf самой простенькой и коротенькой статьи составляет от 35-50 долларов за штуку до неизвестных мне верхних пределов. За публикацию в открытом доступе с каждого автора можно спокойно требовать дополнительные несколько сотен долларов или евро, что больше нравится[1].

Ну что же, стали требовать публикации в высших квартилях. Стало ли больше научных достижений в России? Одно мы можем утверждать наверняка: таких статей точно стало больше. Чего хотели, то и получили.

Статей в этих самых заветных базах Scopus и Web of Science в первых и вторых квартилях стало больше, науки больше не стало.

Вводили и другие индикаторы – количество молодых исполнителей в проекте, средний возраст исполнителей проекта, количество студентов и аспирантов в проекте. Ну, разумеется, результат такой, что студентов, аспирантов и вообще молодых исполнителей в проектах стало больше, а науки больше не стало.

Вывод простой: что стимулируете, то получите, но если для вас наука – это статьи, то при таком подходе вы взращиваете не науку, а статьи. Если для вас наука – это молодёжные коллективы, то при таком подходе вы плодите не науку, а молодёжные коллективы. Если для вас наука – это квартильные статьи, то вы получите рост квартильных статей, а роста науки не получите.

И смекнули тут владельцы, держатели и собственники этих баз, попросту говоря, мытари, то есть те люди, которые перекупили права для того, чтобы на них зарабатывать. Смекнули эти мытари, что можно прекрасно перекачивать деньги из российских университетов и академических институтов на свои заграничные счета за опубликование статей, и не обязательно статей, а может быть просто текстов под видом статей. Чем выше квартиль, тем дороже. И потекли денежные потоки из казны Российской Федерации, а заодно и из казны других стран, которые используют те же наукометрические принципы, таких стран как Индия, Китай, страны Восточной и Западной Европы – в карманы мытарей, владеющих журналами, входящими в базы Scopus, Web of Science, а главным образом – к владельцам этих баз.

А теперь давайте проанализируем, чего хотели, и чего добились.

Хотели как лучше: чтобы деньги из бюджета страны наилучшим образом расходовались на развитие отечественной науки.

Получилось как всегда: деньги из бюджета страны, предназначенные на развитие отечественной науки, прямым ходом потекли на счета зарубежных владельцев наукометрических каталогов и их мытарей, которые выкупили право включать в эти базы статьи в своих журналах или труды конференций.

УЗНАВАЕМАЯ КАРТИНА

Указанные этапы развития наукометрии чрезвычайно точно вписываются в схему, описанную в книге [3], которая приводит иллюстрацию и описание из публикации [4]. Эта иллюстрация называется «Модель Л. Грейнера».

На этой модели имеются пять этапов развития компании по показателю её размера, между этими этапами имеется пять этапов кризиса. Назовем эти этапы:

1. Кризис лидерства.

2. Кризис автономии.

3. Кризис контроля.

4. Кризис «запретов»

5. Кризис доверия.

Вначале после развала науки силами перестройщиков кризис был следствием борьбы за лидерство, когда решался вопрос, кто возглавит «новую науку», вопрос о персоналиях, назначаемых на министерские должности и должности пониже. Также создавались принципы функционирования обновленной науки, которые никем впоследствии, по-видимому, особо не вспоминались, и едва ли оказали заметную роль на дальнейшее развитие науки. Это аналогично написанию должностных инструкций: по задумке их должен писать работодатель, по факту их пишут те, кто эти самые должности занимают, и по этой причине они их не читают, а то, что перечитывать не требуется, быстро забывается.

Кризис автономии был порожден, по-видимому, желанием подчиненных отделений, отделов, организаций, жить по собственным правилам и не подчиняться тем правилам, с которыми они не согласны.

Кризис контроля, по-видимому, возник вследствие того, что верхи стали ощущать недостаточную управляемость низами, поэтому потребовались действенные рычаги, которые бы направляли науку в нужное русло. Это и породило историю с публикационной активностью, индикаторами достижения цели и прочее, описанное выше.

Кризис запретов, по-видимому, состоит в том, что публикации, не входящие в горячо любимые базы данных, запрещено включать в показатели эффективности, иными словами, формальные рамки стали более жесткими, если ранее это были целеуказующие направления, то теперь это стали непременные требования. Образно говоря, разделительная полоса, нарисованная на асфальте, превратилась в широкий бетонный отбойник полуметровой высоты, если раньше можно было как-то отчитаться публикациями, не входящими в знаменитые базы, то теперь это стало категорически невозможно.

Кризис доверия, это, по-видимому, та ситуация, когда руководство не доверяет руководимым, а руководимые не доверяют руководителям. Мы надеемся, что эта стадия ещё не наступила, но опасаемся, что мы просто не в курсе.

Если эта стадия не наступила, тогда у нас есть большие основания надеяться, что она не наступит, во всяком случае, в 2022 году, поскольку в текущем году на безосновательную любовь к незаслуживающим этого горячо прежде обожаемым базам Scopus, Web of Science данных наложен мораторий до 31 декабря 2022 года, и на том спасибо. Эта пора воздержания от идолопоклоннической похоти может оказаться чрезвычайно полезной для отечественной науки, поскольку указанные деньги (о суммах ниже) имеют все шансы остаться на счетах конкретных российских организациях, занимающихся наукой, а не перекочевать на счета тех, кто является держателем платных каталогов, а также тех, кто осуществляет с ними посреднические функции, и тех, кто убедил в собственной значимости и в значительности собственных исследователей грантодателей, страдающих указанным идолопоклонством.

Об этом дальше, в конце статьи, а сейчас поговорим о цитируемости и значимости или ничтожности этого широко известного в узких кругах показателя.

ЦИТИРУЕМОСТЬ И КВАРТИЛИ

Давайте разберемся, например, что такое квартиль? Это всего лишь показатель цитирования статей журнала в среднем. Чаще всего цитируют именно то, что, во-первых, широко доступно, во-вторых, оставляет заметные эмоции у читателей, в-третьих, эти эмоции настолько сильны, что тем читателям, которые также являются и писателями, хочется обсудить прочитанное, и для этого необходимо сослаться на источник. Под эти критерии подпадают блогеры. Получается, что небезызвестная Ольга Бузова является очень важным автором, поскольку у неё очень много подписчиков, и, соответственно, если всех, кто оставляет на её сайте комментарии, и всех, кто на своих страницах социальных сетей дают ссылки на её страницы, подсчитать как «цитирования», тогда она, пожалуй, цитируется больше, чем Ландау и Лившиц. А самые высоконаучные публикации – это, разумеется, Библия, Коран, и так далее. Даже по версии самой этой замечательной базе данных, Thomson Reuters, самые цитируемые книги (и, соответственно, авторы) – это «Федор Достоевский (7 800 упоминаний), Лев Толстой (6 400) и Александр Пушкин (5 200)»[2]. Ну так давайте тогда этим писателям дадим посмертно звание академиков, и закроем на этом споры о том, кто и что в науке самое важное.

Там же сказано: «7 самых цитируемых произведений русских классиков: «Братья Карамазовы» (1 319 упоминаний), «Война и мир» (942), «Анна Каренина» (743), «Преступление и наказание» (663), «Евгений Онегин» (620), «Записки из подполья» (496), «Идиот» (496 упоминаний). Русских авторов цитируют не так часто по сравнению с мировыми классиками: Шекспиром (34 000 упоминаний), Гете (18 000) и Данте (11 500). Тем не менее, стоит отметить, что большинство научных журналов, книг и материалов конференций, проиндексированных в Web of Science Core Collection, опубликованы на английском языке». Вот и приплыли, как говорится (картина Л. Соловьева «Монахи. Не туда заехали, известная в народе как картина Репина «Приплыли»[3]).

НАПРАСНО ПОТРАЧЕННЫЕ ДЕНЬГИ

Два года назад эксперты РАН подсчитали, что на никому ненужную гонку за публикациями в базах Scopus, Web of Science и за квартилями этих публикаций из бюджета РФ ушла сумма в один миллиард рублей – на так называемые мусорные публикации. Это не считая того, что ушло на то, чтобы нормальные публикации попали в эти самые базы и в эти квартили, а там, сумма поболее будет. Ну, допустим, если посчитать только то, что насчитали летом 2020 года ученые РАН, то с этого времени прошло ещё два года, а «дырявый карман» никто не зашил. По-видимому, сейчас сумма уже дошла до двух или до трех миллиардов рублей. Бюджет отечественной науки настолько велик, что мы можем себе позволить финансировать зарубежные каталоги? В том же 2020 году бюджет российской науки составил, по-видимому, 422,15 млрд рублей, если верить публикации под названием «Уровень финансирования российской науки недостаточен для обеспечения технологического прорыва»[4]. А если посчитали неправильно? Допустим, 1 млрд руб., т.е. примерно 0,24%, потрачен полностью впустую, на мусорные статьи. Предположим, что выявили не все подобные случаи, а только половину – тогда это уже 0,5%. Допустим, не все статьи – мусорные, но ведь за их опубликование также были заплачены деньги. В России тысяча университетов. Средний университет отчитывается об опубликовании тысячи статей в год, входящих в эти базы – какой-то университет публикует намного меньше, какой-то намного больше, это – среднее значение. Миллион статей в год публикуется, преимущественно, в этих базах. Бесплатных публикаций крайне мало, не более 10%, основная масса, около 50% – статьи на конференциях, за которые платят от 100 до 300 евро, в среднем можно взять 200 евро. И ещё 40% – это статьи в журналах, за которые платят от 500 до 2500 евро. Не будем настаивать на точности подсчетов, приблизительно оценим одну статью в 500 евро, получим 500 млн. евро. Переведём в рубли, допустим, по курсу 80 рублей за евро. Получим около 40 млрд. руб. Эти деньги перечисляются в журналы и организаторам конференций за рубежом. Даже если конференция проходит в России, тогда организационный комитет перечисляет в конференционный журнал или, например, в сообщество IEEE, или другим «Провайдерам в Scopus». Мы не настаиваем на правильности своих прикидок, но вполне возможно, что приблизительно 40 миллиардов рублей ежегодно отправляется за границу за то, что там публикуют наши статьи.

Как правило, авторы таких статей получают ещё премию за опубликование этих статей. Где-то эта премия больше, где-то меньше, в среднем эта сумма, по-видимому, хотя бы на 20% выше затрат на опубликование, иначе не было бы никакого смысла писать такие статьи. То есть ещё 50 млрд. руб. уходит на премии тем, кто написал эти статьи. Мы не настаиваем на правильности прикидок, но вполне возможно, что приблизительно 50 млрд руб. выплачивается в виде премий тем, кто виновен в уходе указанных сорока миллиардов рублей за границу в награду за включение их статей в упомянутые базы данных.

Сложим эти два числа, получим 90 млрд руб.

А теперь вернемся к нашей мысли, которая уже высказывалась в публикации [1], которая состоит в том, что если по этим критериям распределяются гранты, звания, должности, тогда правильность этих распределений следует поставить под большое сомнение хотя бы уже потому, что эти достижения покупаются. Допустим, что только на сумму в 1 млрд руб., которую выявили эксперты РАН, публикуются мусорные публикации, а остальные публикации – достойные опубликования. Тогда на эту сумму покупаются материальные блага всех видов, предположим, в 10 раз больше. Это скромное предположение, может быть коэффициент и поболее этого. Тогда надо добавить ещё 10 млрд руб. на финансирование тех, кто на основании мусорных публикаций получил далеко не мусорные деньги. Поскольку их финансировать тоже не следовало, это также потерянные деньги.

Получается в итоге напрасно потерянная сумма на примере 2020 года могла составить 100 млрд руб. Это же почти четверть всего финансирования на науку, или если быть предельно точным, то 23,68%.

Предположим, что мы ошиблись вдвое, завысили эту оценку. Тогда согласимся на 50 млрд рублей в никуда, за ничто, за то, что мы сообщаем зарубежным коллегам и читателям, «какие мы молодцы», и что мы научились делать. Более двенадцати процентов. Разве это мало?

Вот именно эти деньги могут оказаться теперь в руках настоящих ученых, что, вероятно, позволит избежать последнего и самого неприятного кризиса науки, называемого кризисом доверия.

Так что если этими деньгами распорядиться правильно, может возникнуть положительный эффект от ситуации, порожденной совсем иными причинами.

Китайские коллега мне как-то сказал, что если он написал статью и согласен опубликовать результаты, следовательно, он сообщает всем остальным бесплатно то, что они сами не знали, и должны были бы потратить деньги, чтобы это узнать. Он сделал работу, он делает полезное дело читателям, следовательно, он должен получить вознаграждение за то, что он написал научную статью.

Но у нас получается наоборот: автор, который написал статью, должен найти деньги, чтобы эту статью включили в соответствующую базу данных, тогда ему в виде вознаграждения выплатят, по-видимому, сумму, соизмеримую с его затратами, либо он иными путями получит необходимые привилегии, преимущества, должности, звания, деньги и славу.

По-прежнему будем утверждать, что финансирование на науку недостаточное, или может быть задумаемся о том, что заметная часть этого финансирования тратится совершенно бездарно, бесполезно, бестолково?

ВОЗВРАЩАЯСЬ К НАПЕЧАТАННОМУ

Вернемся к некоторым фрагментам нашей статьи [1]. Мы не боимся обвинения в самоцитировании, поскольку эти обвинения выдуманы мытарями от указанных баз. Если цитирование оформлено правильно, в нем нет ничего зазорного.

Цитируем:

-3

Как будто бы написано вчера по результатам принятого моратория, о котором ниже. Далее:

-4

В сегодняшней дискуссии приходится повторять то же самое, редактировать эти утверждения не требуется, всё осталось актуально, и если острота этой актуальности временно снизилась, то только лишь потому, что введен временный мораторий. Но почему же он временный?

Цитируем дальше:

-5

Как будто бы написано после просмотра сегодняшнего информационного канала по ТВ.

-6

Далее уместно будет процитировать наши выводы, обоснованные этой публикацией.

-7
-8

Всё это мы писали в 2020 году.

А теперь обратимся к документу от 2022 года. Соответствующее письмо Министерства Науки и Высшего Образования РФ показано на Рис. 1 и Рис. 2.

-9

Рис. 1. Письмо Министерства Науки и Высшего Образования РФ от 29.03.2022 № МН-3/3083 – начало

Этот документ сообщает нам, что следует отказаться от использования в качестве мерила научности достижений организаций, научных коллективов или отдельных исследователей от следующих показателей:

1. Количества публикаций в указанных базах данных Scopus и Web of Science.

2. Количества участий в международных научных конференциях.

Имеется и другие документы, целый пакет, которые направлены на то же самое, см. Рис. 3 и Рис. 4.

-10

Рис. 2. Письмо Министерства Науки и Высшего Образования РФ от 29.03.2022 № МН-3/3083 – окончание

-11

Рис. 3. Выписка из Протокола №3 заседания Бюро ОФН РАН от 15 марта 2022 г. – начало

-12
-13

Рис. 3. Выписка из Протокола №3 заседания Бюро ОФН РАН от 15 марта 2022 г. – окончание

Читаем: «От бумажных версий следует отказаться». Это в целом разумно, но едва ли выполнимо в ближайшее время, поскольку любой журнал – это средство массовой информации, он имеет лицензию, и в этой лицензии записано, в каком виде этот журнал издается. Журнал должен сначала переоформить лицензию, лишь затем он сможет отказаться от бумажной версии. Сократить тираж журнал может без переоформления лицензии, как и увеличить. Кроме того, если журнал не имел сетевой версии, но решает издавать её, ему также требуется переоформить лицензию, вписав такой вариант издания, на него будет выдан другой регистрационный номер ISSN.

За исключением этих и других подобны мелочей, постановление в целом очень правильное, как и документ, показанный ранее на Рис. 1 и Рис. 2. Также имеется письмо Министерства науки и высшего образования от 11.03.2022 МН-13/ВФ497-кс с приложениями, общий объем документа составляет 13 страниц.

Иными словами, российская наука и высшее образование в лице самого высокого её руководства отказывается от зарубежной наукометрии, основанной на базах данных Scopus и Web of Science. Давно пора! Мы об этом писали много и часто, см. [5], [6], [7], [8].

КТО СМОТРИТ В БУДУЩЕЕ, А КТО ПЛЕТЁТСЯ В ХВОСТЕ ПРОШЛОГО

Приведенные цитаты из нашей статьи за 2020 год, по-видимому, достаточно красноре­чивы в свете процитированных документов. Это не первый случай, когда наш журнал привлекает внимание научной общественности и профессорско-преподавательского состава высших учебных заведений к актуальным проблемам этих двух родственных, но не вполне идентичных научно-образовательных сред.

Пора перестать заискивать перед западом и отказаться от их шаблонов, стандартов, критериев, баз данных и прочее, и прочее.

Разумеется, мы не враги западным странам. Но обратное утверждение уже можно подвергнуть сомнению: ведь некоторые европейские страны, а также Канада, Австралия и некоторые другие родственные по духу государства в точности исполняют волю США, которая сформулирована предельно просто: «Наша цель – разрушить экономику России».

Государства, которые сформулировали так свою цель, едва ли можно назвать дружественными. На этом основании уже официально сформулирован перечень недружественных государств.

Известен принцип: «если тебя хвалит недружественное лицо, значит ты что-то делаешь неправильно». И зеркально можно утверждать, что если недружественное лицо тебя ругает, то, возможно, ты поступаешь правильно.

Указанные базы данных – Божичка для организаторов науки в указанных недружественных странах. Уже по этой причине следует отказаться фетишизировать их на территории РФ.

Но мы позволим себе прокомментировать некоторую ситуацию в отношении нравственного лидера этой группы стран.

Мы позволим себе процитировать одну новость. Она касается отмены в США линчевания [9]. Теперь это незаконно. Получается, что вплоть до 30 марта 2022 года линчевание в США было законным. Президент США подписал указ о незаконности этого только 30 марта. Ну что ж, мы живем в странные во времена.

Еще во времена понтификата Иоана Павла Второго Ватикан официально осудил крестовые походы, инквизицию и Варфоломеевскую ночь и реабилитировал Коперника и Галилея. В данном случае Католическая Церковь показывает Соединенным Штатам Америки пример более быстрого реагирование на научные достижения и на развитие гуманных ценностей в мире. США от Ватикана заметно отстают.

Читаем [9]:

-14

Можно надеяться, что придёт время, когда США извинится перед Японией за бомбардировки Хиросимы и Нагасаки, хотя, возможно, ждать придется ещё несколько десятилетий, а может быть и больше.

Но нам-то зачем ориентироваться на страну со столь медленно осознающую гуманные ценности в их современном понимании?

ЗАКЛЮЧЕНИЕ

Пока писалась данная статья, вышло Постановление Правительства РФ от 19.03.2022 [10].

С даты опубликования этого документа публикации в нежно любимых базах данных перестают служить критерием научности и результативности научных достижений их авторов.

В виду важности этого постановления процитируем с минимальным сокращением, но позволим при этом выделить то, что на наш взгляд является наиболее важным.

-15
-16

Это означает, что все те публикации, которые выполнены до 19 марта 2022 года в соответствии с планами будут зачтены как выполнение индикаторов. Те, кто до этой даты подобных публикаций не сделал в требуемом (обещанном) количестве, могут выдохнуть и не переживать, поскольку это не будут требовать с них до конца текущего года.

В данном Постановлении ничего не сказано о том, что вместо таковых требований будут применены какие-то иные требования, что является, безусловно, недоработкой тех ответственных лиц, которые готовили данное постановление для подписания Председателем Правительства РФ. Ведь в том тексте, который подписан, есть указание, что не следует применять требования публикаций в указанных базах и требование участия в международных конференциях, но нет указания на то, что вместо указанных требований следует ориентироваться на иные требования, например, могло бы, например, шестым пунктом быть сказано: «Во изменение указанных требований рекомендуется применять требование фактического опубликования статей в требуемом (обещанном) количества в рецензируемых научных журналах РИНЦ или ядра РИНЦ», ну или что-то аналогичное. Ведь нельзя оставлять пустоту. В таком случае придётся принимать абсолютно все отчеты НИР и удовлетворять абсолютно все заявки на новые НИР. Также следовало бы, по-видимому, указать, что следует применять критерии, связанные с фактическим содержанием публикаций или, по меньшей мере, с фактическим научным содержанием отчета по НИР и ценностью этого содержания. Думаем, что всё со временем придёт к своему естественному состоянию, соответствующее дополнение или разъяснение появится. Иначе нельзя.

Иностранным коллегам, которые пригла­шают нас публиковать на платной основе статьи в их высокорейтинговых журналах, входящих в первый квартиль, мы теперь пишем прибли­зительно такие письма: «Благодарю за ваше письмо. В целом ситуация такая, что в случае опубликования статьи со скидкой 100% авторс­кий коллектив заинтересован в этом опубли­ковании. Если же встанет вопрос об оплате за публикацию, тогда, я полагаю, авторы публи­кацию отзовут. С 19 марта ситуация с учеными России резко изменилась. До начала марта на территории России действовали такие же критерии, как в Европе и многих азиатских странах. Эффективность труда научных сотруд­ников и преподавателей университетов оценива­лась по количеству и по качеству опубли­кованных ими статей. Качество статей опре­де­лялось по их вхождению в базы данных Scopus и Web of Science. Вторая база данных предпоч­тительней. Квартиль журнала, где опубликована статья значил очень много. С начала марта очень многие журналы и конференции стали отка­зывать в опубликовании статей от авторов из России. Я сам столкнулся с такой проблемой дважды. По этой причине возникла ситуация, что по всей стране ученые и преподаватели универ­ситетов не смогут отчитаться о выполнении условий проектов, на которых им представлено финансирование.

В связи с этим высшее руководство издало указ от 19 марта 2022 года, в соответствии с которым при отчете за выполнение работ по грантам, при оценке публикационной актив­ности научных и образовательных организаций, инициативных коллективов и отдельных сотруд­ников больше не будет приниматься к сведению наличие публикаций в указанных базах данных, квартили журналов, в которых опубликованы статьи, наличие докладов на международных конференциях. К сведению будут приниматься только содержание опубликованных статей. Таким образом, для всех ученых из России теперь нет никакой разницы, публиковать ли им статьи в самых высокорейтинговых журналах из указанных баз данных, в самых высших квар­тилях, или публиковать в самых скромных журналах из России, на русском языке. Главное будет не то, в каком издании опубликована статья, а то, какое в этой статье содер­жание. Более полная статья с более ценными научными сведениями в журнале самого низкого уровня цитирования будет цениться больше, чем менее полная в журнале самого высокого рейтинга и самого высокого уровня цитиро­вания. Это распоряжение действует до конца года. Что будет дальше, никто не знает. Возможно, что вернутся прежние критерии. Поэтому при возможности опубликовать в журналах из указанной базы данных, никто не откажется от такой возможности. Но платить, как это было раньше, суммы в 1000 евро или в 2000 евро, и даже больше, в текущем году никто из ученых России не будет. Кроме того, ведь система SWIFT заблокирована. Поэтому для авторов совершенно не важно, надо ли заплатить 2200 евро или 10 евро — ни то, ни другое они сделать не смогут, поскольку платежная система закрыта, заплатить за публикацию статьи за рубежом теперь невозможно. Кроме того, следует учесть, что поскольку принято решение о необязательности таких публикаций, следовательно, даже оплата в 50 евро будет не понята руководством, этот платеж будет признан безосновательным расходованием средств гранта (проекта), поэтому такое делать до 31 декабря 2022 никто на территории России не будет. Таким образом, взаимодействие с зарубежными рецензентами, которые рекомендуют публиковать статью в другом выпуске, где на авторов не распространяется скидка 100%, авторы не будут, они в этом не заинтересованы, они понимают, что если надо будет заплатить даже очень малую сумму, невозможность этой оплаты сделает бессмысленным весь предшествующий процесс подачи статьи».

Пока версталась статья был распространен документ [11]. Согласно этому документа, Российский научный фонд (РНФ) извещает о том, что «Российский научный фонд … уведомляет о возникновении обстоятельств непреодолимой силы, связанных с ограни­че­ниями в отношении граждан Российской Федерации и российских юридических лиц при опубликовании научных статей в зарубежных изданиях и индексации российских научных изданий. В данных обстоятельствах РНФ с учетом решения попечительского совета РНФ от 13 апреля 2022 года, Постановления Правительства Российской Федерации от 19 марта 2022 года № 414 «О некоторых вопросах применения требований и целевых значений показателей, связанных с публикационной активностью» и в соответствии с п. 5.5 грантовых соглашений при оценке выполнения публикационных показателей в рамках реализации проектов … будет рассматривать публикации в ведущих рецензируемых российских и зарубежных научных изданиях (изданиях, индексируемых в зарубежных библиографических базах данных и/или Russian Science Citation Index (RSCI)). Предусмотренные грантовыми соглашениями двойной учет публикаций и ограничения на источники финансирования публикаций, сроки принятия в печать и тип публикаций, сохраняются» [11].

Ну, по-видимому, не «предусмотренные», а «предусмотренный». Не очень просто понять этот текст, предположительно, к перечню публикаций в журналах, входящих в базы данных Scopus и Web of Science отныне будут приравнены также публикации в отечественной базе данных Russian Science Citation Index (RSCI), см. [12].

Приходится констатировать тот факт, что путаница нарастает. Действительно, согласно постановлению о моратории, требования по наличию публикаций в базах данных Scopus и Web of Science в 2022 году не следует применять. Мы понимаем утверждение «Не следует применять» не в значении «можно применять, а можно и не применять», и не в значении «можно применять, но наряду с ними также следует применять что-то ещё». Утверждение «Не следует применять» в нашем понимании означает то, что сколько бы ни было публикаций у тех организаций или научных коллективов, или отдельных сотрудников, которых оценивают или сравнивают, не следует их оценивать по этому критерию вообще. То есть нельзя утверждать, что какой-то сотрудник, имеющий, например, тридцать подобных публикаций в 2022 году, чем-то лучше выполнил свои научные исследования, нежели сотрудник, не имеющий ни одной такой публикации. И научный коллектив, имеющих тысячу таких публикаций нечем не лучше научного коллектива, имеющего только одну или не имеющего ни одной такой публикации. Это мы понимаем как смысл утверждения «Не следует применять». Если в постановлении Правительства имелось в виду что-то иное, тогда следовало формулировать именно по-иному. Например, можно было сформулировать «При оценке публикационной активности не применять никакого различия между публикациями в журналах, входящих в базы данных Scopus и Web of Science в сравнении с публикациями, не входящими или входящими в эти базы, но входящими в базу Russian Science Citation Index (RSCI). В этом случае публикации в базе Russian Science Citation Index (RSCI) на период до конца 2022 года рассматривались бы разными фондами и экспертами по значимости равными публикациям в базах Scopus и Web of Science квартили в расчёт в этот период не принимались бы. Можно было бы сформулировать и иначе, например, «На период с даты опубликования данного документа до конца 2022 года считать публикации в журналах, входящих в базы данных Russian Science Citation Index (RSCI) идентичными по значимости публикациям в базах данных Scopus и Web of Science, при этом не используя никаких предпочтений в указанном перечне публикаций по показателям цитируемости, квартиля и иным показателям».

В данную формулировку могли бы быть введены и другие отечественные базы данных, например, РИНЦ. Но в той формулировке, которая приведена нами в разделе «Заключение», сказано: «Не применять», то есть получается все же вне зависимости от количества таковых публикаций все исследователи равны между собой. Эксперты просто не должны принимать в расчёт эти показатели, куда входят также и доклады на международных конференциях. Если будет дана другая формулировка, можно будет руководствоваться ей, но пока действует процитированная нами формулировка, следует руководствоваться именно ей. В этом плане разъяснение от РНФ [11] видится непонятным: экспертам рекомендуют руководствоваться таким показателем, которым Председатель Правительства распорядился не руководствоваться до конца 2022 года. Вот и объясните нам, простым ученым, преподавателям, экспертам, как нам в этой ситуации поступать.

ДИСКЛЕЙМЕР

Данная статья не согласовывалась с зарубежными членами редакционной коллегии нашего журнала, вполне возможно, что некоторые из них имеют иные взгляды, не совпадающие или даже диаметрально противоположные взглядам, высказанным в данной статье. Наш журнал провозглашал принцип свободного высказывания гипотез даже в том случае, если не все члены редакционной коллегии и редакционного совета согласны с этим мнением. Данная статья этот принцип реализует.

ЛИТЕРАТУРА

[1] Жмудь В. А. Об источниках и результатах хищных журналов и хищных издателей: язычество в науке. Автоматика и программная инженерия. 2020. № 4 (34). С. 27–46. http://jurnal.nips.ru/sites/default/files/AaSI-4-2020-3_0.pdf

[2] Жмудь В. А. Цели и результаты соревнований по импактфакторам и h-индексу. Автоматика и программная инженерия. 2016. № 4 (18). С. 104–127. http://jurnal.nips.ru/sites/default/files/%D0%90%D0%B8%D0%9F%D0%98-4-2016-16.pdf

[3] А.Т. Зуб, Е.М. Панина. Антикризисное управление организацией: учеб. пособие. – М.: ИД «ФОРУМ»: ИНФА-М, 2007. – 256 с. (Высшее образование).

[4] Greiner L., Evolution and revolution as organization show // Harvard Business Review. 1972. Vol. 50. N 4, P. 37 – 46.

[5] Жмудь В. А. Сомнительные услуги на рынке псевдонаучных публикаций. Автоматика и программная инженерия. 2017. № 1 (19). С. 110–130. http://jurnal.nips.ru/sites/default/files/%D0%90%D0%B8%D0%9F%D0%98-1-2017-13.pdf

[6] Жмудь В. А. Что делать, чтобы коммерческая «помощь отечественной науке» не мешала ее развитию. Автоматика и программная инженерия. 2016. № 4 (18). С. 149–162. http://jurnal.nips.ru/sites/default/files/%D0%90%D0%B8%D0%9F%D0%98-4-2016-18_0.pdf

[7] В.А. Жмудь. Вскрытие схем нецелевого извлечения крупных сумм из государственного бюджета в сферу лженауки. Автоматика и программная инженерия. 2019. № 2 (28). С. 113–132. http://www.jurnal.nips.ru/sites/default/files/AaSI-2-2019-13_0.pdf

[8] В.А. Жмудь. Мусорные публикации-клоны и их вредное влияние на науку и образование. Автоматика и программная инженерия. 2019. № 2 (28). С. 133–149. http://www.jurnal.nips.ru/sites/default/files/AaSI-2-2019- 14_0.pdf

[9] https://news.mail.ru/politics/50659175/?frommail=1

[10] https://rulaws.ru/goverment/Postanovlenie-Pravitelstva-RF-ot-19.03.2022-N-414/

[11] https://grant.rscf.ru/files/docs/03-03.1-662.pdf

[12] https://elibrary.ru/wos_scopus_rsci.asp

ОРИГИНАЛЬНАЯ МОЯ СТАТЬЯ НАХОДИТСЯ ТУТ

http://www.jurnal.nips.ru/sites/default/files/AaSI-1-2022-8_0.pdf

ПОДСТРОЧНЫЕ ССЫЛКИ К СТАТЬЕ:

[1] Тут уместно напомнить, что публикация статей в журнале «Автоматика и программная инженерия» бесплатна для всех авторов без исключения, и все статьи публикуются в открытом доступе, и редакционная коллегия никогда не брала денег за публикацию в открытом доступе, не планирует этого делать, и не будет это делать, пока, во всяком случае, в ней не сменился главный редактор.

[2] https://1sept.ru/news/56636

[3] https://kulturologia.ru/blogs/191016/31861/

[4] https://ach.gov.ru/checks/9658

А если вам интересен автор этой статьи, приглашаю вас на мой сайт ЛИТЕРАТУРНЫХ ПУБЛИКАЦИЙ.

ФАНФИК - это произведения, воскрешающие героев любимых книг.

Мои ФАНФИКИ тут

Вадим Жмудь (oaonipsbkru) - автор на сайте ЛитСовет
Куры - Вадим Жмудь - читать книгу в онлайн-библиотеке
Роман о Виолетте - 2 - Вадим Жмудь - читать книгу в онлайн-библиотеке
Мемуары Арамиса, Книга 10 - Вадим Жмудь - читать книгу в онлайн-библиотеке
Мемуары Арамиса, Книга 9 - Вадим Жмудь - читать книгу в онлайн-библиотеке
Мемуары Арамиса, Книга 8 - Вадим Жмудь - читать книгу в онлайн-библиотеке
Мемуары Арамиса, Книга 7 - Вадим Жмудь - читать книгу в онлайн-библиотеке
Мемуары Арамиса, Книга 6 - Вадим Жмудь - читать книгу в онлайн-библиотеке
Мемуары Арамиса, Книга 5 - Вадим Жмудь - читать книгу в онлайн-библиотеке
Мемуары Арамиса, Книга 4 - Вадим Жмудь - читать книгу в онлайн-библиотеке
Мемуары Арамиса, Книга 3 - Вадим Жмудь - читать книгу в онлайн-библиотеке
Мемуары Арамиса, Книга 2 - Вадим Жмудь - читать книгу в онлайн-библиотеке
Мемуары Арамиса, Книга 1 - Вадим Жмудь - читать книгу в онлайн-библиотеке