Индексы цитирования. Нужна консультатция.

[Doof]

Когда начальственная рука протянет перо к списку отечественных ученых и начнет решать, кого именно нужно вычеркнуть, чем ей руководствоваться?

Вот мне такая постановка вопроса как раз и не нравится!
Bob правильно говорит, как только в поле зрения появляются деньги и их распределение, "чистая наука" заканчивается.
Не знаю ни одного "критерия", который был бы свободен от предвзятости и субъективности.

[polar]

Когда начальственная рука протянет перо к списку отечественных ученых и начнет решать, кого именно нужно вычеркнуть, чем ей руководствоваться?

Вот мне такая постановка вопроса как раз и не нравится!
Bob правильно говорит, как только в поле зрения появляются деньги и их распределение, "чистая наука" заканчивается.
Не знаю ни одного "критерия", который был бы свободен от предвзятости и субъективности.

А знаете, природе абсолютно наплевать нравится вам дождь или нет.
Надо или зонт покупать (а когда-то и изобретать), или укрытие какое строить.

Конечно, вы можете сколько угодно соглашаться с бобом в чем угодно, но нам вот, как ученым, как-то очень даже хочется, чтобы деньги нам платили, да еще и на оборудование и поездки давали, и при этом умудрялись правильно их распределять.
И если не полагать, что "нашим ученым деньги не нужны", то надо как-то учиться их распределять, в том числе и используя формальные критерии. И высшая нервная деятельность, направленная на улучшение этих критериев вообще говоря должна находить разумный отклик.

[Дмитрий Вибе]

Вот мне такая постановка вопроса как раз и не нравится!

Дык, кому ж она нравится! Есть другие предложения?

Bob правильно говорит, как только в поле зрения появляются деньги и их распределение, "чистая наука" заканчивается.

Bob все время говорит правильно. Но у меня встречный вопрос -- что начинается, когда деньги исчезают из поля зрения?

Не знаю ни одного "критерия", который был бы свободен от предвзятости и субъективности.

Так нужно придумать критерий, в котором предвзятости и субъективности было поменьше. Или что ж, остается умыть руки и отдаться во власть начальственных предписаний?

Пока писал, Сергей уже фактически все высказал. Но все-таки публикую.

[bob]

Если он гений, находящийся в простое, так зато как он хорош, когда не в простое.  Во втором случае трудяга, постепенно заполняющий лагуну.   Или просто человек, который занят в немодной области. 
И в том и в другом случае он достоин уважения.

Руководство лучше знает, кто гений, а кто нет. На то у него есть индекс цитирования

[bob]

Когда начальственная рука протянет перо к списку отечественных ученых и начнет решать, кого именно нужно вычеркнуть, чем ей руководствоваться?

Тем же, чем и всегда. Рисуйте индексы - не рисуйте, а...

[bob]

Bob все время говорит правильно.

Банальность всегда верна. Но здесь извечный русский вопрос о порядке кормлений вмешивается. Отгон от кормушки должен быть сопряжён с правильным исполнением ритуала. Иначе общественность, помня о ритуале, обидится. Если ритуал соблюдён, все тихо отойдут в сторону и согласятся, что руководство право В качестве обновления ритуала любой индекс полезнее, чем его отсутствие.

[Дмитрий Вибе]

Отгон от кормушки должен быть сопряжён с правильным исполнением ритуала. Иначе общественность, помня о ритуале, обидится. Если ритуал соблюдён, все тихо отойдут в сторону и согласятся, что руководство право В качестве обновления ритуала любой индекс полезнее, чем его отсутствие.

Вот в этом и может крыться небольшая трогательная надежда. Последовательность может быть примерно такой. К новым методикам подсчета индекса, опубликованным в astro-ph, может проявить интерес кто-нибудь типа ISI, начнет их осуществлять и торговать результатом. А руководство начнет эти результаты покупать, потому что на простой подсчет числа публикаций общественность снова возразит все то, что и в этой теме уже писалось. Если же общественности сказать, что реформа осуществляется по результатам экспертизы, выполненной по самым современным методикам независимыми экспертами, то общественности действительно останется только отойти.

Это, вероятно, немного противоречит тому, что я писал ранее, поэтому уточню. Все критерии, более сложные, чем число публикаций, внутри страны имеют смысл только для самооценки. Никто в России не будет заниматься этими подсчетами для принятия оргвыводов. Они получат смысл только в том случае, если организационный интерес к ним примет мировой характер. Что, в конце концов, вполне вероятно. Проблема сокращения финансирования стоит не только перед нами.

[polar]

Это, вероятно, немного противоречит тому, что я писал ранее, поэтому уточню. Все критерии, более сложные, чем число публикаций, внутри страны имеют смысл только для самооценки. Никто в России не будет заниматься этими подсчетами для принятия оргвыводов. Они получат смысл только в том случае, если организационный интерес к ним примет мировой характер. Что, в конце концов, вполне вероятно. Проблема сокращения финансирования стоит не только перед нами.

Дмитрий, уже занимается. Правда, чуть более сложными.
Повторяю, уже в годовые отчеты надо будет включать информацию об импакт-факторах журналах, в которых опубликованы статьи.
Уже в МГУ сравнивают факультеты не только по числу, но и учитывают импакт-факторы.
Уверяю вас, что если в самом деле будет сокращение или на уровне институтов (т.е. закрывать сами институты), или на более низком уровне (закрывать лаборатории, уволнять людей), то  вопрос с критериями встанет очень остро, и по-крайней мере, надо быть готовым к дискуссии.

Вам  известно, например, как проходит аттестация в Сибирском отделении РАН?
На Сайнтифике это достаточно активно обсуждалось. Разные модели уже обкатываются, и видно, что будут использоваться более сложные объективные (в том смысле, что вычисляемые) критерии, чем число публикаций.

[polar]

Тема не дает народу покоя, вот и в свежайшем Поиске статья
http://poisknews.ru/_ingz/allstatya.asp?table=ingzNauPol&id=460



Надо ознакомиться, а сегодня еду на Свободу записывать про это самое передачу (основной гость - Борис Штерн, ну я за компанию).

[bobyl]

Посмотрите, как происходит отсев в телевизионных соревнованиях типа Последний герой. Почему ту же процедуру нельзя использовать в рамках сначала Академии в целом, а потом и в каждом из ее оставшихся институтов, чтобы сократить число их отделов и численность работающих в них? Если уж без сокращения никак нельзя...

Я не хочу сказать, что я сторонник этой процедуры... Просто я хочу спросить, насколько индекс цитирования вообще безальтернативен? Может быть лучше обойтись без него? Ведь методов и способов ранжирования (упорядочения) наверняка существует множество?

[polar]

Вроде бы сегодня будет программа на Свободе (про индекс цитирования). Где-то около 22-30 (между 22-00 и 23-00).
Слушать можно и в Сети http://www.svoboda.org/

[polar]

Очередная модификация

http://xray.sai.msu.ru/~polar/sci_rev/current.html#physics/0510142

(ссылка изменится в конце октября с выходом нового выпуска обзоров).

[polar]

В Nature появилась редакционная статья (http://ma-yue.net/study/archives/135) , в которой речь идет о том, что импакт-факторы журналов - вещь несовершенная. Ну так и ясно!
В основном автор напирает на то,  что импакт зачастую создается небольшим числом статей. И как бы вопрошает: "что делать?"
Ответ очевиден, надо использовать аналог Хиршевского индекса (http://xray.sai.msu.ru/~polar/sci_rev/05_08_01-08.html#physics/0508025) и для журнального импакт-фактора.

[Дмитрий Вибе]

В Nature появилась редакционная статья (http://ma-yue.net/study/archives/135) , в которой речь идет о том, что импакт-факторы журналов - вещь несовершенная. Ну так и ясно!
В основном автор напирает на то,  что импакт зачастую создается небольшим числом статей. И как бы вопрошает: "что делать?"
Ответ очевиден, надо использовать аналог Хиршевского индекса (http://xray.sai.msu.ru/~polar/sci_rev/05_08_01-08.html#physics/0508025) и для журнального импакт-фактора.

Погоди, Сергей, я не понял. Хиршевский индекс -- это же оценка продуктивности отдельного ученого, а не журнала?

А насчет статьи в Nature... Понятно, они там сидят высоко-высоко, смотрят вниз и благодушно рассуждают: "Ну да, конечно, наш импакт-фактор 32.2, наверное, не совсем объективен..." Но, положа руку на сердце, более четкий учет всяческих нюансов изменит ли что-нибудь именно в рейтинге журналов (не статей и не ученых)? Как ни крути, а статью из Nature цитируют чаще, чем статью из Астрономического журнала...

[polar]

Правильно (оба раза).

Можно применить Хиршеву методику к журналам, когда будет оцениваться не среднее количество цитирований на статью, а нечто другое.

Можно разные варианты предлагать (однако придется делить на количество статей, или рассчитывать на тысячу, плюс надо учитывать фактор времени, чтобы старые журналы не имели преимущества перед молодыми, но успешными).

Если применять в лоб, то для Натуры получится что-нибудь типа 1000 (тысяча статей с индексом цитирования выше 1000), а для АЖ, скажем 100 (сто статей с индексом цитирования выше 100). Потом можно делить это на число статей, на время существования журнала. Можно число цитирований для каждой статьи делить на время с момента ее публикации (тогда, конечно,  не надо больше никак учитывать фактор времени - только число публикаций).

[Дмитрий Вибе]

Заметки на полях по следам забытой темы.

На статью Ewen & Purcell (1951) про обнаружение излучения водорода на длине волны 21 см ADS дает 32 цитирования

http://adsabs.harvard.edu/abs/1951Natur.168..356E

На статью Левитт-Пикеринга (1912) про обнаружение корреляции между периодом и светимостью цефеид -- 8 цитирований

http://adsabs.harvard.edu/abs/1912HarCi.173....1L

Бывают такие мегастатьи, на которые вообще почти не ссылаются, потому что они сразу становятся классикой.

[Дмитрий Чулков]

Спасибо за ссылки, очень интересно "прикоснуться к истории".

[garruchek]

запоздалая реплика 

>>Существует масса экспериментаторов и наблюдателей, поставляющая данные другим. Они не особенно лезут и в соавторы.
> Можно поконкретнее? Не абстрактно и бездоказательно -- "существует масса", а в мере, весе и числе: "примерно N% экспериментаторов
> и наблюдателей не стремится публиковать свои результаты"? Чтобы Вас можно было также конкретно и опровергнуть.

Можно взять для примера меня  . Мне интереснее СДЕЛАТЬ. Чтобы было. И чтобы "поблагодарили мелким петитом". А публикуюсь всегда
матерясь, в цейтноте, и совсем без расчета на последующее цитирование - уж хотя бы грамматических ошибок поменьше было  . И что, я после этого не ученый?  А кто? 

> Не стоит также забывать и о том, что современный телескоп, тот же VLT, -- это слишком сложное устройство, чтобы к нему можно было подпускать астрономов. Наблюдатели там --
> технический персонал, которому нет нужды доказывать свою профпригодность с помощью статей.

Я не понял, речь идет про нас или про них  . Где вы у нас видели автоматический телескоп? У нас как раз результат и зависит от искусства наблюдателя. Я знаю таких многих, которые мастерски наблюдают ночью, а потом днем обрабатывают. А для написания цитируемых статей, с одной стороны, у них не хватает времени (когда нет погоды они работают над инструментами), а с другой стороны, глубокий научный анализ по силам далеко не каждому. И чего? Выгнать их всех на фиг?  А кто будет результаты для анализа получать?

[Дмитрий Вибе]

Можно взять для примера меня  . Мне интереснее СДЕЛАТЬ. Чтобы было.

Я, собственно, в том самом сообщении и ответил:

Поступая на работу в научное учреждение, человек принимает тем самым определенные правила игры. В их число входит периодическая публикация статей.

Я бы тоже предпочел, чтобы мне дали денег и больше не приставали...

Я не понял, речь идет про нас или про них  . Где вы у нас видели автоматический телескоп?

Ответ на первую фразу заключен во второй фразе 

с одной стороны, у них не хватает времени (когда нет погоды они работают над инструментами), а с другой стороны, глубокий научный анализ по силам далеко не каждому. И чего? Выгнать их всех на фиг?  А кто будет результаты для анализа получать?

Позволю себе высказать революционную мысль: наблюдения без научного анализа не нужны. Глубокий или не очень анализ по силам не каждому, но хотя бы один такой человек на каждое наблюдение нужен. Он может не участвовать в наблюдениях и обработке, но проанализирует результат и напишет аналитическую часть статьи, оставив соавтору-наблюдателю написание раздела "Observations".

[ALZ]

У меня есть шаблон для ссылок -- когда пишу очередную статью,
то по мере изложения ссылаюсь на уже имеющиеся в этом шаблоне статьи
-- наверное это не есть хорошо, такой шаблон, потому как искажает ИЦ...