Ошибки в оценке науки, или как правильно использовать библиометрию (примечания)

1 Я здесь частично использую материалы моих предыдущих публикаций: Yves Gingras, “Les systèmes d’évaluation de la recherche,” Documentaliste-Science de l’information, 4, novembre 2009, pp. 34–35; “Du mauvais usage de faux indicateurs,” Revue d’histoire moderne et contemporaine, 5 (4 bis), supplt annuel, 2008, pp. 67–79; “Le classement de Shanghai n’est pas scientifique,” La Recherche, mai 2009, pp. 46–50; “Criteria for Evaluating Indicators,” in Blaise Cronin & Cassidy Sugimoto (dir.), Bibliometrics and Beyond: Metrics-Based Evaluation of Scholarly Research (Cambridge, MA, MIT Press, 2014).

2 См.: Abélard, Universitas calamitatum. Le Livre noir des réformes universitaires, Broissieux, éd. du Croquant, 2003; Christophe Charle et Charles Soulié (dir.), Les Ravages de la «modernisation» universitaire en Europe, Paris, Syllepse, 2007; Franz Schultheis, Marta Roca i Escoda et Paul-Frantz Cousin (dir.), Le Cauchemar de Humboldt. Les réformes de l’enseignement supérieur européen, Paris, Raisons d’agir, 2008; Claire-Akiko Brisset (dir.), L’Université et la recherche en colère. Un mouvement social inédit, Broissieux, éd. du Croquant, 2009.

3 Информационный доклад от лица комиссии Сената по планированию: Sur le défi des classements dans l’enseignement supérieur. Annexe au procès-verbal de la séance du 2 juillet 2008 [О трудностях рейтингования в высшем образовании. Приложение к стенограмме заседания от 2 июля 2008 года]. Известен под названием «rapport Bourdin» [доклад Бурдена] по имени сенатора Жоэля Бурдена. Доступен на сайте: http://www.senat.fr/rap/r07-442/r07-4421.pdf, цитата со с. 53.

4 См.: http://www.mines-paristech.fr/Ecole/Classements/.

5 Доклад Бурдена, там же, с. 98.

6 См., например, специальные номера по оценке научных исследований следующих журналов: Le Débat, 156, 2009; L’Homme et la Société, 178, 2010; Communication et organisation, 38, 2010; Connexions, 93, 2010; Quaderni, 77, 2012; Esprit, juillet 2012; Mouvements, 71, 2013; см. также: Albert Ogien, Désacraliser le chiffre dans l’évaluation du secteur public, Versailles, éd. Quae, 2013.

7 Yuri V. Granosky, “Is It Possible to Measure Science? V. V. Nalimov’s Research in Scientometrics,” in Scientometrics 52 (2), 2001, pp. 127–150.

8 Alan Pritchard, “Statistical Bibliography or Bibliometrics?”, in Journal of Documentation 24, 1969, pp. 348–349.

9 Alfred J. Lotka, “The frequency distribution of scientific productivity,” in Journal of the Washington Academy of Sciences, 16, 1926, pp. 317–324.

10 См.: Benoît Godin, “On the origins of bibliometrics,” in Scientometrics, 68, 2006, pp. 109–133.

11 См.: F. J. Cole & N. B. Eales, “The history of comparative anatomy. Part I: A statistical analysis of the literature,” in Science Progress, 11, 1917, pp. 578–596.

12 См.: P. L. K. Gross & E. M. Gross, “College libraries and chemical education,” in Science, 66, 1927, pp. 385–389.

13 См.: Oden E. Shepard, “The chemistry student still needs a reading knowledge of German,” in Journal of Chemical Education, 12, 1935, pp. 472–473.

14 См.: Richard L. Barrett & Mildred A. Barrett, “Journals most cited by chemists and chemical engineers,” in Journal of Chemical Education, 34, 1957, pp. 35–38.

15 См.: Robert N. Broadus, “An analysis of literature cited in the American Sociological Review,” in American Sociological Review, 17, 1952, pp. 355–357.

16 См.: Robert E. Burton & W. W. Kebler, “The ‘half-life’ of some scientific and technical literatures,” in American Documentation, 11, 1960, pp. 18–22.

17 Eugene Garfield, “Citation indexes for science. A new dimension in documentation through association of ideas,” in Science, 122, 1955, pp. 108–111.

18 Более подробно о создании ИНЦ см.: Paul Wouters, “The citation culture,” диссертация, Амстердамский университет, 1999, доступна в формате PDF на сайте: http://garfield.library.upenn.edu/wouters/wouters.pdf.

19 См.: Paul Wouters, “Aux origines de la scientométrie,” in Actes de la recherche en sciences sociales, 164, 2006, pp. 10–21.

20 См.: Derek J. de Solla Price, “Quantitative measures of the development of science,” in Archives internationales d’histoire des sciences, 4 (14), 1951, pp. 86–93. Два его основных труда: Science since Babylon (New Haven, Yale University Press, 1961) и Little Science, Big Science (New York, Columbia University Press, 1963).

21 См.: Kenneth O. May, “Quantitative growth of the mathematical literature,” in Science, 154, 1966, pp. 1672–1673.

22 Derek J. de Solla Price, “Networks of scientific papers,” in Science, 149, 1965, pp. 510–515.

23 По истории статистики и исследований и разработок (R&D) см.: Benoît Godin, Measurement and Statistics on Science and Technology (London, Routledge, 2005).

24 ОЭСР (1963), “Méthode type proposée pour les enquêtes sur la recherche et le développement expérimental. La mesure des activité́s scientifiques et techniques,” DAS/PD/62.47, Direction des affaires scientifiques, Paris. В настоящее время этот труд циркулирует в шестом издании.

25 Derek J. de Solla Price, “The scientific foundations of science policy,” in Nature, 206, 17 avril 1965, pp. 233–238.

26 Francis Narin, Evaluative Bibliometrics. The Use of Publication and Citation Analysis in the Evaluation of Scientific Activity (Cherry Hill, N. J.: Computer Horizons Inc., 1976).

27 Ghislaine Filliatreau (dir.), Indicateurs de sciences et de technologies, rapport de l’Observatoire des sciences et techniques (Paris: Économica, 2010).

28 Yehuda Elkana, Joshua Lederberg, Robert K. Merton, Arnold Thackray & Harriet Zuckerman (éd.), Toward a Metric of Science. The Advent of Science Indicators (New York: John Wiley & Sons, 1978).

29 Gerald Holton, “Can science be measured?”, in Y. Elkana et al., op. cit., pp. 39–68; Stephen Cole, Jonathan R. Cole & Lorraine Dietrich, “Measuring the cognitive state of scientific disciplines,” idem, ibidem, pp. 209–252; Eugene Garfield, Morton V. Malin et Henry Small, “Citation data as science indicators,” idem, ibidem, pp. 179–207.

30 См.: Y. Gingras, Sociologie des sciences (Paris: PUF, 2013), pp. 5–6.

31 См.: T. D. Wilson, “The nonsense of ‘knowledge management’,” Information Research, 8, octobre 2002, article no 144, http://InformationR.net/ir/8–1/paper144.html.

32 См.: Isabelle Bruno et Emmanuel Didier, Benchmarking: L’État sous pression statistique (Paris: La Découverte, 2013).

33 См.: Éric Archambault, David Campbell, Yves Gingras & Vincent Larivière, “Comparing bibliometric statistics obtained from the Web of Science and Scopus,” in Journal of the American Society for Information Science and Technology, 60, 2009, pp. 1320–1326.

34 См.: Keith Pavitt, “Patent statistics as indicators of innovative activities: possibilities and problems,” in Scientometrics, 7, 1985, pp. 77–99.

35 См.: Francis Narin, Dominic Olivastro, “Linkage between patents and papers: An interim EPO/US comparison,” in Scientometrics, 41, 1998, pp. 51–59.

36 См. переписку между Гарфилдом и социологом Гарриет Цукерман (Harriet Zuckerman) в: P. Wouters, “The citation culture,” op. cit., p. 102.

37 Eugene Garfield, Irving H. Sher & Richard J. Torpie, “The use of citation data in writing the history of science,” in Institute for Scientific Information, décembre 1964; Eugene Garfield, “From the science of science to scientometrics: visualizing the history of science with HistCite software,” in Journal of Informetrics, 3, 2009, pp. 173–179.

38 Henry Small, Physics Citation Index, 1920–1929, Philadelphie, ISI, 2 vols, 1981; “Recapturing physics in the 1920s through citation analysis,” in Czechoslovak Journal of Physics, 36, 1986, pp. 142–147.

39 http://wokinfo.com/products_tools/backfiles/coss/, http://wokinfo.com/products_tools/backfiles/cos/.

40 См.: Eugene Garfield & Irving H. Sher, “New factors in the evaluation of scientific literature through citation indexing,” in American Documentation, 14, 1963, pp. 195–201.

41 См.: Vincent Larivière, Benoît Macaluso, Éric Archambault & Yves Gingras, “Which scientific elites? On the concentration of research funds, publications and citations,” in Research Evaluation, 19, 2010, pp. 45–53.

42 См.: Alan E. Bayer & John K. Folger, “Some correlates of a citation measure of productivity in science,” in Sociology of Education, 39, 1966, pp. 381–390.

43 Eugene Garfield, Irving H. Sher, “New tools for improving and evaluating the effectiveness of research,” in M. C. Yovits, D. M. Gilford, R. H. Wilcox, E. Staveley and H. D. Lemer (dir.), Research Program Effectiveness, Proceedings of the Conference Sponsored by the Office of Naval Research Washington, D. C., July 27–29, 1965 (New York: Gordon and Breach, 1966), pp. 135–146. Текст доступен в интернете: http://www.garfield.library.upenn.edu/papers/onrpaper.html.

44 Jonathan R. Cole, Stephen Cole, Social Stratification in Science (Chicago: University of Chicago Press, 1973).

45 См.: Perry W. Wilson et Edwin B. Fred, “The growth curve of a scientific literature,” in Scientific Monthly, 41, 1935, pp. 240–250.

46 См.: Jack H. Westbrook, “Identifying significant research,” in Science, 132, 28 October, 1960, pp. 1229–1234.

47 J. C. Fisher, “Basic research in industry,” in Science, 129, 19 June, 1959, pp. 1653–1657.

48 См.: G. Nigel Gilbert, “Measuring the growth of science. A review of indicators of scientific growth,” in Scientometrics, 1, 1978, pp. 9–34.

49 См.: Francis Narin, “Patent bibliometrics,” in Scientometrics, 30, 1994, pp. 147–155.

50 См.: P. W. Hart, J. T. Sommerfeld, “Relationship between growth in gross domestic product (GDP) and growth in the chemical engineering literature in five different countries,” Scientometrics, 42, 1998, pp. 299–311.

51 См.: Vincent Larivière, Éric Archambault, Yves Gingras, Étienne Vignola — Gagné, “The lace of serials in referencing practices: comparing natural sciences and engineering with social sciences and humanities,” in Journal of the American Society for Information Science and Technology, 57, June 2006, pp. 997–1004.

52 См.: Elisabeth S. Clemens, Walter W. Powell, Kris McIlwaine, Dina Okamoto, “Careers in print: books, journals, and scholarly reputations,” in American Journal of Sociology, 101, 1995, pp. 433–494.

53 См.: Michael M. Kessler, “Bibliographic coupling between scientific papers,” in American Documentation, 14, 1963, pp. 10–25.

54 См.: Henry Small, “Co-citation in scientific literature: A new measure of relationship between two documents,” in Journal of the American Society for Information Science, 24, 1973, pp. 265–269.

55 Этот график в адаптированном виде взят из: Eugene Garfield, “From bibliographic coupling to co-citation analysis via algorithmic historio-ibliography,” см. на сайте http://garfield.library.upenn.edu/papers/drexelbelvergriffith92001.pdf.

56 См.: Matthew L. Wallace, Yves Gingras et Russell Duhon, “A new approach for detecting scientific specialties from raw cocitation networks,” in Journal of the American Society for Information Science and Technology, 60, 2009, pp. 240–246.

57 См.: Kevin W. Boyack, Richard Klavans, Katy Börner, “Mapping the backbone of science,” in Scientometrics, 64, 2005, pp. 351–374.

58 См.: Jean Piaget, “Le système et la classification des sciences,” in Jean Piaget (dir.), Logique et connaissance scientifique (Paris: Gallimard, 1967), pp. 1151–1224.

59 См. изображения в: Katy Börner, Atlas of science. Visualizing what we know (Cambridge: MIT Press, 2010); а также на веб-сайте: http://scimaps.org/atlas/maps.

60 Conseil des académies canadiennes [Совет канадских академий], Éclairer les choix en matière de recherche: indicateurs et décisions (Ottawa: Conseil des académies canadiennes, 2012).

61 См.: Vincent Larivière, Éric Archambault, Yves Gingras, “Long-term variations in the aging of scientific literature: from exponential growth to steady-state science (1900–2004),” Journal of the American Society for Information Science and Technology, 59, 2008, pp. 288–296.

62 См.: Matthew L. Wallace, Vincent Larivière, Yves Gingras, “Modeling a century of citation distributions,” in Journal of Informetrics, 3, 2009, pp. 296–303.

63 См.: “Citations track the fate of cold fusion,” in New Scientist, 1713, 21 April 1990.

64 Anthony F. J. van Raan, “Sleeping beauty in science,” in Scientometrics, 59, 2004, pp. 461–466.

65 См.: Y. Gingras, “La carrière des publications d’Ettore Majorana. Une étude bibliométrique,” in Revue de synthèse, 134, 2013, pp. 75–87.

66 Peter A. Lawrence, “The mismeasurement of science,” in Current Biology, 17, 2007, pp. R584–R585.

67 См.: Y. Gingras, “Revisiting the ‘quiet debut’ of the double helix: a bibliometric and methodological note on the ‘impact’ of scientific publications,” in Journal of the History of Biology, 43, 2010, pp. 159–181.

68 См.: Y. Gingras, “The collective construction of scientific memory: the Einstein — Poincaré connection and its discontents, 1905–2005,” in History of Science, 46, mars 2008, pp. 75–114; idem, “The transformation of physics from 1900 to 1945,” in Physics in Perspective, 12, 2010, pp. 248–265.

69 См.: Eugene Garfield, “Random thoughts on citationology. Its theory and practice,” in Scientometrics, 43, 1998, pp. 69–76.

70 См.: Eugene Garfield, “‘Science Citation Index.’ A new dimension in indexing,” in Science, 144, 8 May, 1964, pp. 649–654.

71 См.: Norman Kaplan, “The norms of citation behavior: prolegomena to the footnote,” in American Documentation, 16, 1965, pp. 179–184.

72 Derek de Solla Price, Little Science, Big Science, op. cit., p. 65.

73 Charles Bazerman, Shaping Written Knowledge (Madison: The University of Wisconsin Press, 1988).

74 James E. McClellan III, Specialist Control. The Publications Committee of the Académie Royale des Sciences (Paris), 1700–1793 (Philadelphie: American Philosophical Society, 2003), pp. 33 and 38.

75 См.: Loet Leydesdorff, “Theories of citation?”, in Scientometrics, 43, 1998, pp. 5–25.

76 См.: Blaise Cronin, The Citation Process. The Role and Significance of Citations in Scientific Communication, Londres, Taylor Graham, 1984.

77 См.: G. Nigel Gilbert, “Referencing as persuasion,” in Social Studies of Science, 7, 1977, pp. 113–122.

78 См.: Joseph Bensman, “The aesthetics and politics of footnoting,” in Politics, Culture and Society, 1, 1988, pp. 443–470; в этом длинном эссе нет ни одной ссылки или конкретных данных, а лишь пространная спекуляция на тему прогрессирующей самореферентности и стратегий цитирования.

79 См.: Vincent Larivière, Alesia Zuccala, Éric Archambault, “The declining scientific impact of theses: implications for electronic thesis and dissertation repositories and graduate studies,” in Scientometrics, 74, 2008, pp. 109–121; см. также: Matthew L. Wallace, Vincent Larivière, Yves Gingras, “A small world of citations? The influence of collaboration networks on citation practices,” in PlosOne, 7, 2012, e33339.doi:10.1371/journal.pone.0033339.

80 См.: Susan Bonzi, H. W. Snyder, “Motivations for citation: A comparison of self citations and citations to others,” in Scientometrics, 21, 1991, pp. 245–254; см. также: Béatrice Millard, “Les citations scientifiques: des réseaux de références dans des univers de références. L’exemple d’articles de chimie,” in REDES, Revista hispana para el análisis de redes sociales, 19, 2010, pp. 69–93.

81 См.: ESF [Европейский научный фонд], ESF Survey Analysis Report on Peer Review Practices, ESF, March 2011; www.esf.org/fileadmin/Public_documents/Publications/pr_guide_survey.pdf.

82 Marie Boas Hall, Henry Oldenburg. Shaping the Royal Society (Oxford: Oxford University Press, 2002), p. 84. Первым научным журналом действительно был Journal des savants, издававшийся Дени де Салло с января 1665 года. Однако три месяца спустя его выпуск был запрещен. Потом он был возобновлен, однако его содержание стало весьма разнородным и касалось всех видов деятельности «литературной республики». Это была скорее литературная газета, нежели реферируемый научный журнал в современном смысле.

83 Idem, ibidem, pp. 167–169.

84 См.: Y. Gingras, Sociologie des sciences, op. cit., pp. 48–51.

85 См.: Lewis Pyenson, “Physical sense in relativity: Max Planck edits the Annalen der Physik, 1906–1918,” in Annalen der Physik, 17, 2008, pp. 176–189.

86 См. подробнее эту историю в: Daniel Kennefick, “Einstein versus the Physical Review,” in Physics Today, 58, September 2005, pp. 43–48.

87 См.: Y. Gingras, Les Origines de la recherche scientifique au Canada (Montréal: Boréal, 1991).

88 См.: James M. England, A patron for pure science: the National Science Foundation’s formative years, 1945–57 (Washington D. C., NSF, 1982).

89 Stephen Cole, Jonathan R. Cole, Gary A. Simon, “Chance and consensus in peer review,” in Science, 214, 1981, pp. 881–886.

90 См. подробное исследование критериев оценки в: Michèle Lamont, How professors think. Inside the curious world of academic judgment (Cambridge, MA: Harvard University Press, 2009).

91 См.: Thane Gustafson, “The controversy over peer review,” in Science, 190, 12 December 1975, pp. 1060–1066.

92 См.: R. N. Kostoff, “Performance measures for government-sponsored research: overview and background,” in Scientometrics, 36 (3), 1996, pp. 281–292; см. также: Fabien Jobard, “Combien publient les politistes. La productivité des politistes du CNRS et leurs supports de publication,” in Revue française de science politique, 60, 2010, pp. 117–133.

93 См. анализ суждений по поводу найма профессоров в: Christine Musselin, Le Marché des universitaires (Paris: Presses de Sciences Po, 2006).

94 См.: Eugene Garfield, “Citation indexes in sociological and historical research,” in American Documentation, 14 (4), 1963, pp. 289–291.

95 Eugene Garfield, “Citation indexing for studying science,” in Nature, 227, 15 August 1970, pp. 669–671.

96 См.: Yves Gingras, Matthew L. Wallace, “Why it has become more difficult to predict Nobel prize winners: a bibliometric analysis of nominees and winners of the chemistry and physics prizes (1901–2007),” in Scientometrics, 82, 2010, pp. 401–412.

97 Eugene Garfield, “Citation indexing for studying science,” in op. cit., p. 671.

98 См.: Janet B. Bavelas, “The social psychology of citations,” in Canadian Psychological Review, 19 (2), 1978, pp. 158–163.

99 См.: Theodore M. Porter, Trust in Numbers. The Pursuit of Objectivity in Science and Public Life (Princeton: Princeton University Press, 1996).

100 См.: Nicholas Wade, “Citation analysis: a new tool for science administrators,” in Science, 188, 2 May 1975, pp. 429–432.

101 См.: Jorge E. Hirsch, “An index to quantify an individual’s scientific research output,” Proceedings of the National Academy of Sciences, 102, 2005, pp. 16569–16572.

102 См.: Thed N. van Leeuwen, “Testing the validity of the Hirsch-index for research assessment purposes,” in Research Evaluation, 17, 2008, pp. 157–160.

103 Ludo Waltman, Nees Jan van Eck, “The inconsistency of the h-index,” 2011, in ArXiv:1108.3901v1.

104 Индексу Хирша был посвящен в недавнем прошлом вал наукометрических публикаций, однако авторы некоторых из этих статей, по всей видимости, мало озабочены вопросом, имеет ли индекс какой-либо смысл, и довольствуются его применением без критической рефлексии. См. анализ этой серии публикаций в: Ronald Rousseau, Carlos García-orita and Elias Sanz-Casado, “The h-bubble,” in Journal of Informetrics, 7 (2), 2013, pp. 294–300.

105 См.: http://pubs.acs.org/cen/science/86/8621sci1.html.

106 См.: Robert Adler, John Ewing, Peter Taylor, “‘Citation Statistics,’ a report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS),” in Statistical Science, 24, 2009, pp. 1–14.

107 См.: David Edge, “Quantitative measures of communication in science: a critical review,” in History of Science, 17, 1979, pp. 102–134.

108 См.: Éric Archambault, Vincent Larivière, “History of journal impact factor: contingencies and consequences,” in Scientometrics, 79 (3), 2009, pp. 639–653.

109 См.: Wolfgang Glänzel, Henk F. Moed, “Journal Impact Measures in Bibliometric Research,” in Scientometrics, 53, 2002, pp. 171–193.

110 См.: Richard Smith, “Journal accused of manipulating impact factor,” in British Medical Journal, 314, 1997, p. 461; Frank-Thorsten Krell, “Should editors influence journal impact factors?”, in Library Publishing, 23, 2010, pp. 59–62; Allen W. Wilhite & Eric A. Fong, “Coercive citation in academic publishing,” in Science, 335, 3 February, 2012, pp. 542–543.

111 См.: James Testa, “Playing the system puts self-citation’s impact under review,” in Nature, 455, 9 October, 2008, p. 729.

112 См.: Paul Jump, “Journal citation cartels on the rise,” in Times Higher Education, 21 June 2013, http://www.timeshighereducation.co.uk/news/journal-citation-cartels-on-the-rise/2005009.article.

113 См.: Y. Gingras, Sociologie des sciences, op. cit., pp. 67–69.

114 См.: Richard Van Noorden, “Brazilian citation scheme outed. Thomson Reuters suspends journals from its rankings for ‘citation stacking’,” in Nature, 500, 29 August, 2013, pp. 510–511.

115 См.: Editorial, “Not so deep impact,” in Nature, 545, 23 June 2005, pp. 1003–1004.

116 См.: Per O. Seglen, “Why the impact factor of journals should not be used for evaluating research,” in British Medical Journal, 314, 15 February, 1997, pp. 498–502.

117 См.: Nicolas Gallois, “Les conséquences des nouveaux critères d’évaluation des chercheurs en science économique,” in L’Économie politique, 59, 2013, pp. 98–112.

118 См., например: David Crouch, John Irvine, Ben R. Martin, “Bibliometric analysis for science policy: an evaluation of the United Kingdom’s research performance in ocean currents and protein crystallography,” in Scientometrics, 9 (5–6), 1986, pp. 239–267; см. также: K. C. Garg, M. K. D. Rao, “Bibliometric analysis of scientific productivity: a case study of an Indian physics laboratory,” in Scientometrics, 13 (5–6), 1988, pp. 261–269.

119 Более подробно см.: www.rae.ac.uk.

120 См.: www.ref.ac.uk.

121 См.: Linda Butler, “Explaining Australia’s increased share of ISI publications. The effects of a funding formula based on publication counts,” in Research Policy, 31, 2003, pp. 143–155; см. того же автора: “Assessing university research: a plea for a balanced approach,” in Science and Public Policy, 34, 2007, pp. 565–574; см. также: Koenraad Debackere, Wolfgang Glänzel, “Using a bibliometric approach to support research policy making: the case of the Flemish BOF-key,” in Scientometrics, 59, 2004, pp. 253–276.

122 См.: Karen Stroobants, Simon Godecharle, Sofie Brouwers, “Flanders overrates impact factors,” in Nature, 500, 29 (1 August), 2013, p. 29.

123 Conseil des académies canadiennes [Совет канадских академий], Éclairer les choix en matière de recherche, op. cit., p. 131.

124 См.: Linda Butler, “Modifying publication practices in response to funding formulas,” in Research Evaluation, 12, 2003, pp. 39–46; Henk F. Moed, “UK research assessment exercises: informed judgments on research quality or quantity?”, in Scientometrics, 74, 2008, pp. 153–161; Valerie Bence, Charles Oppenheim, “The role of academic journal publications in the UK Research Assessment Exercise,” in Learned Publishing, 17, 2004, pp. 53–68.

125 Maya Beauvallet, Les Stratégies absurdes. Comment faire pire en croyant faire mieux (Paris: Seuil, 2009), p. 67.

126 Conseil des académies canadiennes [Совет канадских академий], Éclairer les choix en matière de recherche, op. cit., p. xiv.

127 См.: Institut de France, Du bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs, 17 janvier 2011; http://www.academie-sciences.fr/activite/rapport/avis170111.pdf.

128 Быстрый полнотекстовый поиск в Journal of Economic Literature на портале JSTOR показывает, что по термину «United States» обнаруживаются 420 документов, тогда как по термину «France» — лишь 165, а «monetary union» — только 11. Этот результат говорит о том, что отнюдь не все объекты исследования изначально равны перед лицом «ведущих журналов».

129 Этот эффект уже сказывается в работах канадских экономистов; см.: Wayne Simpson, J. C. Herbert Emery, “Canadian economics in decline: Implications for Canada’s economics journals,” in Canadian Public Policy, 38, 2012, pp. 445–470.

130 См.: Yves Gingras, Sébastien Mosbah-Natanson, “La question de la traduction en sciences sociales: les revues françaises entre visibilité internationale et ancrage national,” in Archives européennes de sociologie, 51, 2010, pp. 305–321.

131 Этот краткий анализ был осуществлен при помощи функции «Analyze results» базы данных «Web of Knowledge» компании Thomson Reuters.

132 “Journals under threat: a joint response from history of science, technology and medicine editors,” колонка редакции, опубликованная во всех журналах данной области науки, см., например: Medical History, 53, 2009, pp. 1–4.

133 Pierre Bourdieu, Sur la télévision (Paris: Raisons d’agir, 1996), p. 72.

134 См.: http://theconversation.com/journal-rankings-ditched-the-experts-espond–1598; а также: Jerome K. Vanclay, “An evaluation of the Australian Research Council’s journal ranking,” in Journal of Informetrics, 5, 2011, pp. 265–274.

135 Более подробно о французских дебатах по вопросу рейтингования журналов см.: Anne Saada, “L’évaluation et le classement des revues de sciences humaines par l’Agence de l’évaluation de la recherche et de l’enseignement supérieur (AERES),” in Connexions, 93, 2010, pp. 199–204; David Pontille, Didier Torny, “Rendre publique l’évaluation des SHS: les controverses sur les listes de revues de l’AERES,” in Quaderni, 77 (1), 2012, pp. 11–24.

136 См. анализ валидности различных показателей, используемых для оценки научных исследований, в: Conseil des académies canadiennes [Совет канадских академий], Éclairer les choix en matière de recherche, op. cit.

137 См.: Emilio López-Cózar, Nicolás Robinson-García, Daniel Torres-Salinas, “Manipulating Google Scholar citations and Google Scholar metrics: simple, easy and tempting,” in arXiv:1212.0638.

138 См.: http://bibliometrie.wordpress.com/2011/05/12/ike-antkare-i-dont-care.

139 См.: James Pringle, “Trends in the use of ISI citation databases for evaluation,” in Learned Publishing, 21, 2008, pp. 85–91.

140 Например, в 2006 году 54 % журналов базы Scopus были также включены в WoS, тогда как 84 % наименований из журнальной базы WOS были также и в Scopus; см.: Ylva Gavel, Lars Iselid, “Web of science and Scopus: a journal title overlap study,” in Online Information Review, 32, 2008, pp. 8–21. Эти цифры могли с тех пор измениться из-за обострившейся конкуренции между этими двумя компаниями.

141 См., например: Anne-Marie Kermarrec, E. Faou, Jean-Pierre Merlet, P. Robert, L. Segoulin, “Que mesurent les indicateurs bibliométriques?” document d’analyse de la commission d’évaluation de l’INRIA, 2007.

142 См.: Éric Archambault, David Campbell, Yves Gingras, Vincent Larivière, “Comparing bibliometric statistics obtained from the Web of science and Scopus,” in Journal of the American Society for Information Science and Technology, 60 (7), 2009, pp. 1320–1326.

143 См., например: Stéphane Mercure, Frédéric Bertrand, Éric Archambault, Yves Gingras, “Impacts socioéconomiques de la recherche financée par le gouvernement du Québec, via les Fonds subventionnaires québécois. Études de cas,” in Rapport présenté au ministère du Développement économique, de l’Innovation et de l’Exportation du Québec, 2007.

144 IREG Ranking Audit Manual, 2011, Bruxelles, IREG; документ доступен по адресу: http://www.iregobservatory.org/pdf/ranking_audith_audit.pdf.

145 Pascal Pansu, Nicole Dubois, Jean-Léon Beauvois, Dis-moi qui te cite, et je te dirai ce que tu vaux. Que mesure vraiment la bibliométrie? (Grenoble: Presses universitaires de Grenoble, 2013), p. 93.

146 См.: Paul Lazarsfeld, “Des concepts aux indices empiriques,” in Raymond Boudon, Paul Lazarsfeld (dir.), Le Vocabulaire des sciences sociales. Concepts et indices (Paris: Mouton, 1971), pp. 27–36.

147 См.: J. R. Cole, S. Cole, Social Stratification in Science, op. cit.

148 По этому вопросу см.: Vincent Larivière, Éric Archambault, Yves Gingras, Étienne Vignola-Gagné, “The place of serials in referencing practices: comparing natural sciences and engineering with social sciences and humanities,” in Journal of the American Society for Information Science and Technology, 57, June 2006, pp. 997–1004; Éric Archambault, Étienne Vignola-Gagné, Grégoire Côté, Vincent Larivière, Yves Gingras, “Benchmarking scientific output in the social sciences and humanities: the limits of existing databases,” in Scientometrics, 68, 2006, pp. 329–342.

149 См.: Jean-Charles Billaut, Denis Bouyssou, Philippe Vincke, “Should you believe in the Shanghai ranking?” in Scientometrics, 84, 2010, pp. 237–263.

150 См.: http://en.wikipedia.org/wiki/Eigenfactor.

151 В этом смысле абсурдно утверждать, что «образование должно всегда ориентироваться на крайне волатильный рынок труда», поскольку образование занимает годы, а это, разумеется, абсолютно несовместимо с «волатильностью» рынка! Отсюда вся важность фундаментального образования, которое преодолевало бы эту «волатильность»… См.: “Les cahiers de la compétitivité. Spécial Enseignement supérieur,” p. II, вставка в Le Monde от 21 мая 2008 г.

152 См. прекрасный образец критики в: Malcolm Gladwell, “The order of things. What college rankings really tell us,” in The New Yorker, 14–21 February, 2011, pp. 68–75. См. более подробно о Шанхайском рейтинге в: Yves Gingras, “Le classement de Shanghai n’est pas scientifique,” in La Recherche, 430, May, 2009, pp. 46–50.

153 Eleanor S. Abaya, “Promotion et notoriété sont devenues une nécessité pour les universités d’aujourd’hui,” Affaires universitaires, 5 août 2008, доступно по адресу: http://www.affairesuniversitaires.ca/promotion-et-notoriete-sont-devenues-une-necessite-pour-les-universites-daujourdhui.aspx.

154 См.: Martin Van Der Werf, “Clemson assails allegations that it manipulates ‘U. S. News’ rankings,” in Chronicle of Higher Education, 4 June, 2009, доступно по адресу: http://chronicle.com/article/Clemson — Assails — Allegations/47295/.

155 The Ottawa Citizen, 23 April 2006. Maclean’s — канадский иллюстрированный журнал, в котором ежегодно публикуются рейтинги канадских университетов.

156 D. D. Guttenplan, “Questionable science behind academic rankings,” in New York Times, 15 November, 2010, доступно по адресу: http://www.nytimes.com/2010/11/15/education/15iht-educLede15.html?pagewanted=all&_r=0.

157 http://www.topuniversities.com/node/4414/ranking-details/world-niversity-rankings/2012.

158 См.: Martin Enserink, “Who ranks the university rankers?” in Science, 317, 24 August, 2007, pp. 1026–1028.

159 Mathilde Munos, “Classement de Shanghai des universités: ‘La France grignote des places’ (Fioraso),” in France Info, 15 August, 2013; http://www.franceinfo.fr/education-jeunesse/les-invites-de-france-info/classement-de-shanghai-des-universites-la-france-grignote-des-places-fiora.

160 Категория «высокоцитируемые исследователи» (highly cited researchers) была введена для обозначения 1 % наиболее часто цитирующихся статей, учитываемых в индексах научного цитирования (рассчитывается за определенный период для различных областей науки).

161 Yudhijit Bhattacharjee, “Saudi Universities Offer Cash in Exchange for Academic Prestige,” Science 334, December 9, 2011, pp. 1344–1345. См. также многочисленные реакции в: Science 335, March 2, 2012, pp. 1040–1042 и на их сайте, http://comments.sciencemag.org/content/10.1126/science.334.6061.1344, дата доступа: 15 декабря 2015 г.

162 Здесь я ссылаюсь на публикацию Thomson Reuters “2014 HCR as of September 8, 2015,” см.: http://highlycited.com, дата доступа: 21 декабря 2015 г.

163 Étienne Gless, “Ipag: Les secrets d’une progression ‘fulgurante’ en recherche,” L’Etudiant.fr, October 9, 2014, http://www.letudiant.fr/educpros/enquetes/ipag-les-secrets-d-une-progression-fulgurante-en-recherche.html.

164 EFMDP Quality Improvement System, EQUIS Standards and Criteria, January 2014, p. 64, https://www.efmd.org/images/stories/efmd/EQUIS/2014/EQUIS_Standards_and_Criteria.pdf.

165 См.: Sébastien Mosbah-Natanson, Yves Gingras, “The globalization of social sciences? Evidence from a quantitative analysis of 30 years of production, collaboration and citations in the social sciences (1980–2009),” in Current Sociology, 62 (5), 2014, pp. 626–646.

166 William Bruneau, Donald C. Savage, Counting Out the Scholars: How Performance Indicators Undermine Universities and Colleges (Toronto: James Lorimer, 2002).

167 Stanford G. Thatcher, “The Crisis in Scholarly Communication,” in Chronicle of Higher Education, 1995, March 3, B1–B2; Carol Tenopir, Donald W. King, “Trends in Scientific Scholarly Journal Publishing in the United States,” in Journal of Scholarly Publishing, 1997, 28 (3), pp. 135–170; Glenn S. McGuigan, Robert D. Russel, “The business of academic publishing: A strategic analysis of the academic journal publishing industry and its impact on the future of scholarly publishing,” in Electronic Journal of Academic and Special Librarianship, 9 (3), http://southernlibrarianship.icaap.org/content/v09n03/mcguigan_g01.html; Vincent Larivière, Stefanie Haustein, and Philippe Mongeon, “The Oligopoly of Academic Publishers in the Digital Era,” in PLoS ONE, 2015, 10 (6), e0127502.

168 Mikael Laakso, Patrik Welling, Helena Bukvova, Linus Nyma, Bo-Christer Björk, and Turid Hedlund, “The Development of Open Access Journal Publishing from 1993 to 2009,” in PLoS ONE, 2011, 6 (6), e20961. doi:10.1371/journal.pone.0020961.

169 Zoe Corbyn, “Retractions up tenfold,” in Times Higher Education, 2009, (20 August), https://www.timeshighereducation.com/news/retractions-up-tenfold/407838.article; Richard van Noorden, “Brazilian citation scheme outed. Thomson Reuters suspends journals from its rankings for ‘citation stacking.’” in Nature, 2013, 500 (29 August), pp. 510–551; Charlotte J.Haug, “Peer-Review Fraud — Hacking the Scientific Publication Process,” in New England Journal of Medicine, 2015, 373 (17 December), pp. 2393–2395; Jeffrey Beal, “Predatory journals: Ban predators from the scientific record,” in Nature, 534 (16 June).

170 T. D. Wilson, “The Nonsense of ‘Knowledge Management’,” in Information Research, 2002, 8 (1), http://InformationR.net/ir/8-1/paper144.html; Michael Power, “The Audit Society — Second Thoughts,” in International Journal of Auditing, 2000, 4 (1), pp. 111–119.

171 Jonathan R. Cole, Steven Cole, Social Stratification of Science (Chicago: University of Chicago Press, 1973).

172 Pierre Bourdieu, “Forms of Capital,” in J. E. Richardson (ed.), Handbook of Theory of Research for the Sociology of Education (New York: Greenwood Press, 1986), pp. 241–258; Pierre Bourdieu, Science of Science and Reflexivity (Chicago: University of Chicago Press, 2004).

173 Bruno Latour, Steven Woolgar, “The Cycle of Credibility,” in Barry Barnes and David Edge (eds), Science in Context. Readings in the Sociology of Science (Cambridge, Mass.: MIT Press, 1982), pp. 34–43.

174 Harriet Zuckerman, Robert K. Merton, “Patterns of Evaluation in Science: Institutionalization, Structure, and Functions of the Referee System,” in Minerva, 1971, 9, pp. 66–100; Daryl E. Chubin, Edward J. Hackett, Peerless Science. Peer Review and US Science Policy (Albany: SUNY Press, 1990); Mario Biagioli, “From Book Censorship to Academic Peer Review,” in Emergences, 2002, 12 (1), pp. 11–45; David Abraham Kronick, “Devant le deluge” and Other Essays on Early Modern Scientific Communication (Lanham, MD: Scarecrow, 2004); Lewis Pyenson, “Physical Sense in Relativity: Max Planck edits the Annalen der Physik, 1906–1918,” in Annalen der Physik, 2008, 17 (2–3), pp. 176–189.

175 Thane Gustafson, “The Controversy Over Peer Review,” in Science, 1975, 190 (12 December), pp. 1060–1066.

176 Drummond Rennie, “Let’s make peer review scientific,” in Nature, 2016, 535 (7 July), pp. 31–33.

177 См.: Yves Gingras, Bibliometrics and Research Evaluation. Uses and Abuses (Cambridge, Mass.: MIT Press, 2016).

178 Isabelle Bruno, Emmanuel Didier, Benchmarking: L’État sous pression statistique (Paris: La Découverte, 2013).

179 Nicholas Wade, “Citation Analysis: A New Tool for Science Administrators,” in Science, 1975, 4187, pp. 429–432.

180 Wendy Nelson Espeland, Michael Sauder, Engines of Anxiety: Academic Rankings, Reputation, and Accountability (New York: Russell Sage Foundation, 2016).

181 Jeanne Peiffer, Jean-Pierre Vittu, “Les journaux savants, formes de la communication et agents de la construction des savoirs (17e–18e siècles),” in Dix-huitème siècle, 2008, 40, pp. 281–300.

182 Bob Grant, “Merck Published Fake Journal,” in TheScientist.com, 2009 (April 30), http://www.the-scientist.com/blog/display/55671/; Bob Grant, “Elsevier Published 6 Fake Journals,” in TheScientist.com, 2009 (May 7), http://www.the-scientist.com/blog/display/55679/; Jeffrey Beal, “Predatory journals: Ban predators from the scientific record,” in Nature, 2016, 534 (16 June).

183 Robert K. Merton, “The Matthew Effect in Science, II. Cumulative Advantage and the Symbolism of Intellectual property,” in Isis, 1988, 79, pp. 606–623; Katherine W. McCain, “Obliteration by Incorporation,” in Blaise Cronin and Cassidy R. Sugimoto (eds), Beyond Bibliometrics (Cambridge, Mass.: MIT Press, 2014), pp. 129–149.

184 Ichiko Fuyuno, David Cyranoski, “Cash for Papers: Putting a Premium on Publication,” in Nature, 2006, 441 (June 15), p. 792.

185 Fred Barbash, “Major publisher retracts 43 scientific papers amid wider fake peer-review scandal,” in Washington Post, 2015 (March 27), https://www.washingtonpost.com/news/morningmix/wp/2015/03/27/fabricated-peer-reviews-prompt-scientific-journal-to-retract-43-paperssystematic-scheme-may-affect-other-journals/; Charlotte J. Haug, “Peer-Review Fraud — Hacking the Scientific Publication Process,” in New England Journal of Medicine, 2015, 373 (17 December), pp. 2393–2395.

186 Ewen Callaway, “Publishing Elite Turns Against Impact Factor,” in Nature, 2016, 535 (14 July), pp. 210–211.

187 Lindsay Waters, Enemies of Promise: Publishing, Perishing, and the Eclipse of Scholarship (Chicago: Prickly Paradigms Press, 2004).

188 AAUP, “Statement on ‘Academic Analytics’ and Research Metrics,” 2016, 22 March, https://www.aaup.org/file/AcademicAnalytics_statement.pdf.

189 D. Priem, P. Taraborelli, Groth., and C. Neylon, “Altmetrics: A Manifesto,” 2010, 26 October, http://altmetrics.org/manifesto.

190 Yves Gingras, Bibliometrics and Research Evaluation. Uses and Abuses (Cambridge, Mass.: MIT Press, 2016).

191 Derek J. de Solla Price, Little Science, Big Science (New York: Columbia University Press, 1963).

192 Adrian Cho, “Once Again, Physicists Debunk Faster-Than-Light Neutrinos,” in Science, 2012, (8 June), http://www.sciencemag.org/news/2012/06/once-again-physicists-debunk-faster-lightneutrinos.

193 Maggie Berg, Barbara K. Seeber, The Slow Professor: Challenging the Culture of Speed in the Academy (Toronto: University of Toronto Press, 2016).

194 Статья представляет собой переведенную и переработанную Олесей Кирчик версию публикации: Kirchik, Olessia, Yves Gingras, & Vincent Larivière, “Changes in publication languages and citation practices and their effect on scientific impact on Russian science (1993–2010),” in Journal of the American Society for Information Science and Technology, 2012, 63 (7), pp. 1411–1419.

195 Производителями этих баз данных научного цитирования, названия которых в последние несколько лет на слуху у российских ученых и преподавателей, являются крупные частные компании Thomson Reuters и Elsevier. Разные уровни доступа пользователей к этим базам данных являются платными.

196 «Импакт-фактор» журнала отражает среднее число ссылок, получаемых статьями, опубликованными в данном журнале, в изданиях, индексируемых в данной базе данных (но не во всех журналах, издаваемых в мире), за определенный период времени, составляющий, как правило, пять лет. Существуют и альтернативные метрики «импакта», такие как, например, Article-Level Metrics (ALMs) онлайн-платформы научных публикаций PLOS, учитывающие не только ссылки на статьи в научных журналах, но также присутствие в блогах, твиттере и других медиа. Помимо более широкого охвата, достоинством альтернативных метрик также является свободный и бесплатный доступ в отличие от платформ Web of Knowledge или Scopus. Но их использование пока не закреплено в институциональных практиках.

197 Чтобы убедиться в этом, достаточно открыть оглавления наиболее престижных американских журналов по социальным и гуманитарным наукам. Так, например, авторами большинства статей в ведущих американских журналах по социологии являются ученые, аффилированные с американскими университетами и пишущие в основном на темы, актуальные для американского общества.

198 См.: Gingras Y., & Heilbron J., “L’internationalisation de la recherche en sciences sociales et humaines en Europe, 1980–2006,” in G. Sapiro (ed.), L’espace intellectuel en Europe. De la formation des États-nations à la mondialisation 19e-21e siècles (Paris: La Découverte, 2009), pp. 359–389; Gingras Y., Mosbah-Natanson S., “Les sciences sociales françaises entre ancrage local et visibilité international,” in European Journal of Sociology, 2010, 51 (2), pp. 305–321.

199 См. более подробно в: Zitt M., Perrot F., Barré R., “The transition from ‘national’ to ‘transnational’ model and related measures of countries’ performance,” in J. Am. Soc. Inf. Sci., 1998, 49, pp. 30–42.

200 Zitt M., Perrot F., Barré R., “The transition from ‘national’ to ‘transnational’ model and related measures of countries’ performance,” in J. Am. Soc. Inf. Sci., 1998, 49, p. 32. См. также: Kosin I. L.,“The Growing Importance of Russian as a Language of Science,” in BioScience, 1972, 22 (12), p. 723. В этой заметке, которая выглядит сегодня историческим курьезом, автор предлагает сделать русский язык обязательным для изучения в американских школах, чтобы эта страна могла в дальнейшем успешно конкурировать с СССР в сфере научно-технического прогресса.

201 Garfield E., “Will Perestroika open Soviet science’s doors to the English language?”, in The Scientist, 1990, 4 (5), p. 18.

202 «Российской» (в Web of Science) считается публикация, среди авторов которой фигурирует по меньшей мере один ученый, аффилированный с российской организацией.

203 Впрочем, данная ситуация может вскоре измениться в пользу увеличения присутствия русского языка в базе данных Web of Science. В настоящий момент реализуется совместный с Российской базой научного цитирования (e-Library) проект, в результате которого в Web of Science может быть включена «тысяча лучших научных журналов» из России.

204 Garfield E., “‘Cover-to-Cover’ translation of Soviet Journals: a wrong ‘solution’ for a ‘wrong problem’,” in Current Contents, 1972, July 19, 29, p. 334.

205 Там же.

206 Garfield E., “Will Perestroika open Soviet science’s doors to the English language?”, in The Scientist, 4 (5), 5 March 1990, p. 368.

207 См., например: Van Leeuwen Th. N, Moed H. F., Tijssen R. J. W., Visser M. S., Van Raan A. F. J., “Language biases in the coverage of the Science Citation Index and its consequences for international comparisons of national research performance,” in Scientometrics, 2001, 51 (1), pp. 335–346; Van Raan A. F. J., Leeuwen Th.N., Visser M. S., “Severe language effect in university rankings: particularly Germany and France are wronged in citationbased rankings,” in Scientometrics, 2011, 88 (2), pp. 495–498.

208 В силу небольшого числа таких журналов, включенных в Web of Science, пока рано судить о динамике их импакта. Но, для сравнения, недавний анализ интернационализированных китайских журналов показал улучшение показателей цитируемости, хотя их положение в специализированных рейтингах журналов по областям науки (subject rank) продолжает ухудшаться: Wang S., Wang H., Weldonb P. R., “Bibliometric analysis of English-language academic journals of China and their internationalization,” in Scientometrics, 2007, 73 (3), pp. 331–343.

209 https://www.timeshighereducation.co.uk/blog/world-university-rankings-log-treating-countries-fairly. Отказ от нормализации данных о цитировании совокупно с тем фактом, что журнальная база Elsevier содержит почти в два раза больше журналов, включая издания на национальных языках, может повлечь за собой сдачу позиций в рейтинге многих университетов из крупных неанглоязычных стран (если, конечно, не будут производиться изменения в методике составления рейтинга с целью компенсировать этот эффект).

210 См., например: Gómez I., Fernández M. T., Sebastián J., “Analysis of the structure of international scientific cooperation networks through bibliometric indicators,” in Scientometrics, 1999, 44 (3), pp. 441–457; Goldfinch S., Dale T., DeRouen Jr. K., “Science from the periphery: Collaboration, networks and ‘Periphery Effects’ in the citation of New Zealand Crown Research Institutes articles, 1995–2000,” in Scientometrics, 2003, 57 (3), pp. 321–337; Royle J., Coles L., Williiams D., Evans P. “Publishing in international journals: An examination of trends in Chinese co-authorship,” in Scientometrics, 2007, 71 (1), pp. 59–86.

211 Pislyakov V., “International coauthorship of Russian scientists: Papers and their citedness,” Working paper WP6/2010/01. State University — Higher School of Economics: Moscow, 2010.

212 Gingras Y., Mosbah-Natanson S., “Les sciences sociales françaises entre ancrage local et visibilité internationale,” in European Journal of Sociology, 2010, 51 (2), pp. 305–321.

213 Данные об использовании языков контента интернет-сайтов можно найти по ссылке: http://w3techs.com/technologies/overview/content_language/all. Интересно сравнить случай России с предельным в своем роде случаем Индии: в силу культурных паттернов, связанных с колониальным прошлым страны, языком культурной коммуникации (образованных людей) здесь является исключительно английский, в то время как хинди, родной язык для огромного по численности населения, используется менее чем в 0,1 % интернет-сайтов в мире.