Наукометрия или экспертиза

25.04.2014 23:00

 E-mail

СКАЧАТЬ:    PDF (373 кб);    WORD (90 кб);    ODT (36 кб)

В продолжение статьи "Коэффициенты соответствия занимаемой должности и «блата» – новые (альтернативные) наукометрические показатели для объективной оценки научного труда в России", которая была опубликована на сайте КПЕ, выносим на сайт небольшое дополнение к нему. Текст наглядно, без купюр характеризует взаимоотношения подлинных деятелей Науки с замасоненной частью "научного сообщества".

ИАС КПЕ

НАУКОМЕТРИЯ ИЛИ ЭКСПЕРТИЗА?

Автореферат

Приводится история опубликования острой наукометрической статьи. Многими, в том числе, к сожалению, и ФАНО, утверждается, что elibrary (РИНЦ) плохое и недостаточное и, поэтому, якобы правильно использовать в качестве главного мерила Веб оф Сайенс, потом Скопус. Но Web of Science еще гораздо более кривое зеркало, которое сконструировано так, чтобы в нем отражались почти исключительно америкосы и англичане. Веб оф Сайенс есть аналог рейтинговых агенств, которые рейтинг РФ махом снижать стали сразу же после событий в Крыму. Или как Виза и Мастеркард, которые (в отличие от Веб оф Сайенс) хотя бы до того как хорошо работали. Почему Веб оф Сайенс (точнее - мнение американцев) должно быть определяющим для оценок российских научных работ? Ответ может быть такой – потому что ФАНО думает, что Правительство РФ контролируется из Вашингтона. Таким образом, elibrary надо всячески развивать, улучшать и укреплять. С учетом того, что все индексы по англоязычным публикациям растут в разы быстрее, каждого ученого нужно характеризовать 2 раздельными индексами - для публикаций на русском и на английском. Наиболее свободный журнал - «Уральский геологический журнал».

Ключевые слова: наукометрические показатели, ФАНО, электронная научная библиотека, Веб оф Сайенс, Скопус, ТрВ («Троицкий Вариант»).

Ivanov K.S.

SCIENTOMETRICS OR EXPERTISE?

Abstract

The history of publication of a sharp scientometric paper has been given. A lot of sources, including, unfortunately, the FASO assert that elibrary (RSCI) is a bad and insufficient one, and so, it should be used as a main measure of Web of Science, and then Scopus. But Web of Science is a much more curve mirror, which is constructed in such a way that almost exclusively the Americans and Englishmen could have been reflected in it. Web of Science is the analogue of rating agencies, which began quickly lowering the RF rating just after the events in Crimea. Or, like Visa or Master Card, which (as distinct from Web of Science) at least, up to that time worked quite well. Why the Web of Science (to be more exact – the opinion of the Americans) should be the determining one for the Russian scientific work estimations? The answer can be as such: because the FASO thinks that the Russian Government is controlled from Washington. Therefore, the elibrary.ru needs to be developed, improved and strengthened. Taking into account that all indexes on the English-language scientific publications grow several times quicker, each scientist should be characterized by two separated indexes – for publications in Russian and in English. The most free journal is “Uralian geology journal”.

Key words: scientometric indexes, FASO, elibrary, Web of Science, Scopus, journal «Troitsk variant».

И ещё из Козьмы Пруткова (братья Жемчужниковы и А.К.Толстой),
по сути научного процесса:

Бросая в воду камешки, смотри на круги ими образуемые;
иначе такое бросание будет пустою забавою…

Написал я в ноябре 2013 г. опубликованную выше статью про коэффициент блата и взалкал, как отец Федор свечной заводик в Самаре [3]. По совету коллег, достаточно высоко оценивших сей мой вклад в наукометрию, возжелал я поделиться им со всем ученым миром одной шестой части суши и, соответственно, опубликоваться в так называемой «центральной печати». В качестве таковой сначала думались «Доклады РАН», но пораскинув головой понял я всю тщетность и суетность этой мысли и выбрал ТрВ («Троицкий Вариант»). Куда и направил по электронной почте свою статью, предварительно сократив ее раза в 2-3. Мгновенно мне пришел ответ от зам.гл. редактора ТрВ, М.С.Гельфанда (доктор биологии, зам. директора Института проблем передачи информации РАН, Москва), дискуссию с которым я и привожу ниже.

Уважаемый Михаил Сергеевич,

Похоже, что мы с Вами (точнее Вы) установили рекорд, который м.б. можно пытаться регистрировать в книге рекордов Гиннеса – от посылки моей статьи в печать до её отлупа (причём не по формальным признакам) прошло менее 13 минут! Во всяком случае – оперативно.

Вариант непредвиденный, скорее я ожидал, что меня за нее уволят, во всяком случае, так предположила ≈ половина первочитателей статьи.

Без особой надежды на успех попробую с Вами подискутировать (Ваш текст после МСГ: и другим шрифтом).

МСГ: К сожалению, я не вижу возможности опубликовать Вашу статью в ТрВ. Основная причина - использование Вами данных из РИНЦ. Это настолько кривой инструмент, что никаких содержательных индивидуальных оценок с его помощью делать нельзя.

ИКС (Иванов К.С.): Частично согласен. Инструмент грубоват. У меня, например, в h-индекс Хирша попали какие-то англоязычные проходные тезисы, содержание которых я уже забыл, но не попали, например, 5 главных моих монографий, на которые более 1000 ссылок.

В более длинном варианте статьи у меня было написано «точность и погрешность определения «количественного» вклада в науку зависит в первую очередь не от применяемых коэффициентов, а от качества используемой базы данных. Elibrary развивается, вместе с чем, надеемся, будет уменьшаться и погрешность.¹.

Тем не менее, и этот, согласен с Вами, грубый новый инструмент даёт очень хорошие результаты. Мои новые коэффициенты позволяют быстро и эффективно отличить учёных от разных псевдоученых, причем такие случаи как дагестанские бандиты, воры и агенты ФСБ (в ранге член-корреспондентов РАН) есть лишь наиболее яркие, но совершенно не единичные. {….}. Всех подобных персонажей и прочую псевдонаучную шушеру с надутыми от важности щеками мои коэффициенты освещают, как ярким фонарем тараканов в темном углу. Табл.2 была из 60 человек (выборка по наукам о Земле, в которых я таки разбираюсь), из них только ≈ 3-4 чел. было не 100% -точных попадания.

МСГ: Кроме того - это уже дискуссия, но все же - мне кажется неправильным установление единых порогов для всех наук. Это подробно обсуждалось в последнее время, есть много публикаций. Например, для молекулярной биологии Ваши оценки кажутся заниженными.

ИКС: Согласен с Вами, это очевидно. Так ведь раздельные «коэффициенты для наук» можно будет ввести позже, когда будет видна статистика по разным областям наук. Науки о Земле, на которые почти исключительно я и опирался, достаточно консервативны и обычно требуют весьма много труда, зачастую и рутинного, для получения «публикационной единицы». Таким образом, вероятно, можно рассматривать предложенную мной табл. 1 как некий минимум. Так пусть хотя бы минимальный норматив пройдут и научные начальники и пролетарии умственного труда. Опять же пример «Башкирской академии», состоящей почти из всех наук, свидетельствует, что «коэффициент вненаучного влияния Кв», по всей видимости, еще значимей, чем разница между науками.

МСГ: Вообще, соглашаясь с общим пафосом Вашей статьи - библиометрия лучше произвола - я вынужден указать, что одна библиометрия без правильно поставленной экспертизы никаких проблем не решит.

ИКС: Ну да я Вас умоляю! Я, увы, к сожалению, не первые 20 лет на свете живу и насмотрелся экспертиз и у нас и на Западе. При всем моем к Вам уважении (в том числе и как члену рабочей группы проекта «Корпус экспертов»), я хоть сейчас могу сесть на тему экспертизы хоть статью, хоть книгу писать. В духе Салтыкова-Щедрина. НО СТАТЬЮ ТО Я ВЕДЬ НЕ ПРО ЭКСПЕРТИЗУ ПИСАЛ. И НЕ ПРО ВСЕ НА СВЕТЕ ВОПРОСЫ НАУКИ, А ЛИШЬ ПРО КОНКРЕТНЫЙ. Пусть себе будет и экспертиза – никто же с этим не спорит. Я готов указать это в статье.

Теоретически хорошую экспертизу еще м.б. можно наладить, когда процесс идёт в нормальном режиме. Сейчас же за несколько месяцев ФАНО предстоит оценить и расклассифицировать (видимо на 1, 0 – остается или вылетает) всех сотрудников РАН (т.е. примерно 200 чел х 500 институтов≈100 000 сотрудников). На это надо соответственно тысяч 5-10 экспертов – высококвалифицированных, неподкупных, а главное (это встречается гораздо реже!) беспристрастных, в научных кланах не состоящих. Откуда бы они на нашу грешную Землю в таком количестве вдруг свалились!?

Кроме того, даже сверхкороткая (12 минут!) история наших с Вами взаимоотношений мне кажется, опровергает Вашу позицию:

Итак есть автор Х (икс, т.е. естественно я – Ив.К.С.) статьи (проекта и пр.) Х-содержания который направил её на публикацию (финансирование проекта и пр.) начальнику У (зам. гл. ред., руководителю фонда и пр.), который соответственно имеет на затронутую в статье тему своё, гораздо более другое У-мнение. Соответственно начальник У может послать Х-статью на рецензию на свой выбор Й, Z, W, Х-рецензентам (позицию которых он знает, вероятнее всего выбор будет в пользу У-рецензента). Итог понятен.

У нас же с Вами произошло ещё проще – есть мнение Ваше (понятное дело правильное, так вообще практически все начальники считают, а не только демократической направленности) и моё, другое. Вы и к У,Й-рецензентам обращаться не стали. Просто отвергли статью, да и дело с концом. Вот и весь тут «корпус экспертов». Так же и с финансированием любым будет – при разнице подходов, лагерей и пр… его всегда получат «У» (2-ой, 3-ий, ...104-ый..)», но не «Х». Короче, все как по Паркинсону…

Вы, Михаил Сергеевич, в одном оппозиционном демократическом лагере с моим старшим сыном-москвичем, имеете общих знакомых, и, как он меня заверил, человек Вы уважаемый. Мне Вы написали несколько свысока, как будто я написал статью на темы молекулярной биологии или же Вы меня, типа геолога, значительно умнее. Этому нет доказательств, т.к. мы разные (и в этом смысле Вы опять правы!). Я тоже когда то школьником кучу математических олимпиад выиграл, сейчас мне тоже ЕдРо очень не нравится и я про это писал и пишу. Жаль, что эта моя статья задела какие-то Ваши «принципиальные точки».

Итак, есть ли смысл вносить отмеченные выше небольшие коррективы или Ваше решение отвергнуть статью есть окончательное?

В качестве ответной любезности, я, как геолог, могу Вам предсказать, чем оппозиционная деятельность, в том числе Ваша, в современной России кончится. Второй файл (это мое замечание как оппонента одному диссертанту, вчера отзыв писал) показывает, что при сегодняшних темпах добычи нефть в России кончится к 2025 г., а сильное падение добычи² будет ещё лет на 5 раньше. Сейчас всю неэффективность экономики, воровство, коррупцию и пр. просто заливают нефтедолларами и все тихо. Скоро этого сделать будет нельзя, и события пойдут вероятнее всего по египетскому сценарию.

Удачи Вам!

С уважением,                 Кирилл С.Иванов                   2 декабря 2013 г., Екатеринбург

Потом статья была таки отдана на экспертизу, эксперт ее одобрил, но высказал ряд своих замечаний (отвечающих его видению ситуации), потом они были учтены и т.д. и т.п.

20.01.2014, 00:03, от "Mikhail Gelfand": Вот рецензия:

<<<Мне представляется, что стиль статьи несколько более драматический, чем это оптимально для читателя ТрВ. Многие (даже большинство) персоналий, упоминаемых в статье, читателю совершенно не известны. У автора ощущается боль за ситуацию в конкретной области науки, но {…}.

В тоже время - метод прост, эффектен и изящен. И потому, мне кажется, достоин опубликования. Я бы предложил несколько отредактировать статью, представить ее в (немножко) юмористическом ключе. Неизвестные массовому читателю персоналии или снять или (скорее) представить в виде примера применения метода. Мне бы казалось, в такой редакции статья была бы более легко воспринимаема читателем ТрВ и потому оказалась бы и более эффективна.

Еще раз хочу подчеркнуть, что метод прост, эффектен и забавен. И хотелось бы видеть его опубликованным - доступным сравнительно массовому читателю ТрВ.

Я бы думал, автор согласится на публикацию статьи в таком (несколько измененном стиле). В тоже время автору самому переделать ее в этом ключе, мне кажется, было бы сложно. >>>

2014-03-03 12:38 GMT+04:00 Kirill Ivanov <ivanovks55@ya.ru>:

Уважаемый Михаил Сергеевич!

Чем сердце успокоилось?!

В смысле какое Вами принято решение по итогам нашей с Вами переписки и в частности моего последнего письма от 25 января – см. ниже.

С уважением,         Кирилл С.Иванов

-------- Пересылаемое сообщение--------
25.01.2014, 20:27, "Kirill Ivanov" <ivanovks55@ya.ru>:

Уважаемый Михаил Сергеевич!

1) Спасибо за Ваше письмо.

2) Я доработал и сократил статью в соответствии с замечаниями – рецензента и Вашими до указанных Вами размеров. В частности указал, что "Совершенно необходимо всячески совершенствовать электронную базу elibrary". Статья в приложении, надеюсь на ее публикацию в "Троицком варианте", а не только в его электронной версии.

3) Спасибо и за переписку с Вами, она в целом была мне интересна и непредсказуема. Так меня, бывшего КВНщика, впервые в жизни уличили в отсутствии юмора. Ну, всегда когда то и с чего то надо начинать. И тут уж ничего не поделаешь, как говорится "уж чего-чего, а чувства юмора у него не отнимешь – чего нет, того нет". К тому же добавить в статью юмыра и ее сильно сократить – это несколько разновекторные изменения. Как мне посоветовали близкие: "где было драматично, напиши юмористично. А потом всё вычеркни". Ну, в целом я так и сделал.

С наилучшими пожеланиями,                                             Кирилл С.Иванов

03.04.2014, 00:02, from "Mikhail Gelfand"

Кирилл Святославич,

Я поместил текст на внутриредакционный форум, посмотрим, что скажут коллеги. У меня остаются сомнения…{…}.

/\/\ мг
В общем итоге сильно сокращенная статья была опубликована 9 апреля 2014 г в «Троицком Варианте» (http://trv-science.ru) как бы частично – только в электронной версии газеты, в рубрике «Гайд-парк он лайн». Но этого оказалось достаточно, ее сразу перепечатало «Эхо Москвы», другие сайты (kpe.ru и др.) и в первые же сутки статью прочитали более 3 тысяч человек. Сейчас более 150 человек написали к ней свои комментарии, среди которых иногда попадаются и толковые.

А один из первых читателей рукописи этой статьи (директор института РАН) написал мне «Ваша критика рейтингов по WOS и SCOPUS справедлива, и к тому же добраться до этих данных очень сложно (главное, что нужна подписка в Thompson Reuters, а это более 7 млн. рублей в год)».

Ещё раз подчеркну главный вывод этой статьи: elibrary (РИНЦ) надо всячески развивать, улучшать и укреплять, а WOS (Веб оф Сайенс) России не очень и нужен. Elibrary должна стать системой, открытой для пополнения, причем в первую очередь монографиями (а не бесчисленными тезисами…). Должны быть приняты универсальные (и лёгкие для практического использования каждым учёным) правила пополнения elibrary.

Целесообразно каждого ученого характеризовать 2 раздельными индексами Хирша - для публикаций на русском и на английском.

Возвращаясь же к вопросу, вынесенному в заголовок этой заметки, отмечу, что противопоставлять экспертизу и наукометрию нет необходимости. И ёжик согласиться, что в идеале они должны дополнять друг друга (только вот где он!?, тот самый идеал…). Если всё же ставить вопрос как или-или, то лично я голосую за наукометрию. Особенно в наших российских реалиях. Поскольку любая экспертиза – вещь по определению очень субъективная. Особенно в условиях повсеместного разделения на принципиально непримиримые научные кланы «остро-яйцеконечных» и «тупо-яйцеконечных» [Свифт, 1726].

Ещё один значимый вывод – «Уральский геологический журнал» наиболее свободный журнал из всех.

Литература

1. Иванов К.С. Ещё раз о роли шарьяжей в геологии Урала // Уральский геологический журнал. 2013, №6 (96), с.71-86.
2. Иванов К.С. http://trv-science.ru/2014/04/09/koehfficienty-sootvetstviya/
3. Ильф (Файнзильберг) И. А., Петров (Катаев) Е. П. 12 стульев. 1927 г.
4. Свифт Джонатан. Гулливер в стране лилипутов. (Jonathan Swift. Gulliver's travels. 1726 год. - По изд.: Свифт Д. Путешествия Гулливера/ М.: Правда, 1987).
5. Электронная научная библиотека (https://www.elibrary.ru).

23 апреля 2014 г.
Иванов К.С.
E-mail: ivanovks55@ya.ru

---

1 - Многими, в том числе, к сожалению, и ФАНО, утверждается, что elibrary (РИНЦ) дескать плохое и недостаточное и, поэтому, мол надо использовать в качестве главного мерила Веб оф Сайенс, потом Скопус.

Согласен – elibrary недостаточное.

НО! – Откуда ж такая наивно-деревенская уверенность в объективности Веб оф Сайенс!? Да Web of Science еще гораздо более кривое зеркало, которое сконструировано так, чтобы в нем отражались почти исключительно америкосы и англичане. И это в РФ вроде как уже начали понимать: Веб оф Сайенс и Скопус (особенно Веб оф Сайенс!) это ведь как те же самые рейтинговые агенства, которые рейтинг РФ как по телефонному звонку махом снижать стали сразу же после событий в Крыму, не понравившихся вашингтонскому обкому. Или как Виза и Мастеркард, которые, впрочем, (в отличие от Веб оф Сайенс) хотя бы до того как хорошо работали.

Почему Веб оф Сайенс (точнее говоря мнение американцев) должно быть определяющим для оценок, например, моих работ по геологии Западной Сибири? Ответ может быть такой – потому что ФАНО думает, что Правительство РФ контролируется из Вашингтона также как, например, нынешнее правительство Украины.

В качестве аргумента мне часто говорят – «да американцы получили более половины всех Нобелевских премий!». И чё!? Вспоминается один из юбилеев Э.Рязанова, где он высказался так: «Нам на фестивале в Каннах приз не дали ни один…Пусть они в Москву приедут – мы им тоже хрен дадим!». Весьма показательно вручение Нобелевских премий и Обаме и Гору, едва лишь они вскарабкались на публичную (кажущуюся…) вершину власти в США, и нисколько еще при этом не перетрудились на ниве укрепления мира во всём мире... Ещё две матери Терезы нашлись, можно подумать! Как говорится, кто что охраняет, тот то и имеет…Печатать доллары – это вообще очень хороший бизнес.

Таким образом, мой вывод гораздо более другой: elibrary (РИНЦ) надо всячески развивать, улучшать и укреплять, а Веб оф Сайенс России не очень и нужен.

Возможно и другое решение: с учетом того, что все индексы по англоязычным публикациям растут гораздо (в разы) быстрее, то нужно каждого ученого мэна характеризовать 2 раздельными индексами - для публикаций на русском и на английском.

2 - См.: Иванов К.С. //Уральский геологический журнал. 2013, №6 (96), С.81-83.