Açık Hakem/Akran Değerlendirmesi, Ölçevler ve Ölçüm
Last updated
Last updated
Araştırmacı olmak, kendini sürekli değerlendirme altında bulmaktır. Akademi, bir akademisyenin değerinin kendisine ve katkılarına, akranları, karar vericiler ve diğerleri tarafından atfedilen itibar düzeylerinin değerlendirilmesine dayanan bir "prestij ekonomisidir" (Blackmore ve Kandiko, 2011). Dolayısıyla bu bölümde, bir çalışmanın değerlendirilmesi ile araştırmacıların kendilerinin değerlendirilmesi arasında ayrım yapmak faydalı olacaktır. Araştırmalar da araştırmacılar da iki temel yöntemle değerlendirilir: ilki nitel, ikinsisi nicel olan hakem/akran değerlendirmesi ve ölçevler.
Hakem/akran değerlendirmesi araştırmalarla ilgili karar vermek için öncelikli olarak kullanılmaktadır. Bilimsel çıktıların (örneğin, dergi makaleleri, kitaplar, hibe başvuruları ve konferans bildirileri) başkalarının incelemesine tabi tutulduğu ve bu kişilerin geri bildirimlerinin ve kararlarının, sonrasında çalışmaların iyileştirilmesi ve (yayınların, hibe tahsislerinin ve konuşma sürelerinin) seçimi ile ilgili son kararın verilmesi amacıyla kullanıldığı resmi nitelik güvencesi mekanizmasıdır. Açık hakem/akran değerlendirmesi farklı kişiler ve topluluklar için farklı anlamlara gelmekte ve "hakem/akran değerlendirmesi modellerinin açık bilimin amaçları doğrultusunda uyarlanabileceği, örtüşen bir dizi yöntem için şemsiye terim" olarak tanımlanmaktadır (Ross-Hellauer, 2017). İki temel özelliği, yazarların ve hakemlerin birbirlerini bildiği (yani, körleme olmayan) "açık kimlikler (open identities)" ile değerlendirme/hakem raporlarının ilgili makale ile birlikte yayımlandığı "açık raporlardır (open reports)". Bu özellikler, şart olmasa da birleştirilebilir ve daha geniş topluluk üyelerinin değerlendirme sürecine katkıda bulanabilecekleri "açık katılım (open participation)", yazar(lar) ile hakemler arasında ve/veya hakemlerin kendi içinde doğrudan karşılıklı tartışmaya olanak veren ve teşvik eden "açık etkileşim (open interaction)" ve çalışmaların herhangi bir resmi hakem/akran değerlendirme sürecinden önce (dergi iş akışlarının dahili bir parçası olarak ya da harici olarak ön baskı (preprint) sunucuları aracılığıyla) hemen erişime sunulduğu "açık ön değerlendirme çalışmaları (open pre-review manuscripts)" gibi diğer yenilikçi yaklaşımlarla tamamlanabilir.
Hakem/akran değerlendirmesini geçmiş araştırma yayınları ("yayınla ya da yok ol" ifadesi dolayısıyla) genellikle bir araştırmacının çalışmasının birincil ölçüsüdür. Ancak, yayınların kalitesini değerlendirme işi zor ve özneldir. Birleşik Krallık'taki "Research Excellence Framework" gibi bazı genel değerlendirme uygulamaları hakem/akran değerlendirmesi kullansa da, genel değerlendirme sıklıkla yayınların topladığı atıf sayısı (h-indeks), hatta (Dergi Etki Faktörü ile ölçülen) yayınlandığı derginin algılanan prestij düzeyi gibi ölçevlere dayalıdır.
Son yıllarda "Alternatif Ölçevler/Metrikler" ya da altmetri/altmetrikler, yer imleri, bağlantılar, blog gönderileri, tweet'ler, beğeniler, paylaşımlar, basında yer alan haberler ve benzerleri de dahil olmak üzere, araştırma etkisinin diğer çevrimiçi ölçütlerini de dikkate alıp atıf saymayı tümleyerek, araştırma çalışmalarının dengeli bir biçimde değerlendirilmesi ile ilgili tartışmaların konusu haline gelmiştir. Ölçevlerle ilgili tüm bu sorunların temelinde, şeffaflıkla ilgili bazı problemlere yol açabilecek özel sistemlere dayalı ticari kuruluşlar tarafından (örneğin, Clarivate Analytics ve Elsevier) üretilmeleri yatmaktadır.
Açık hakem değerlendirmesi
17.yüzyılda Royal Society of London (1662) ve Académie Royale des Sciences de Paris (1699) ile bilimin ayrıcalığı olarak kiliseden ziyade kendisini sansürlemesiyle başlayarak, bilimde hakem/akran değerlendirmesinin düzgün bir şekilde yerleşmesi uzun yıllar almıştır. Resmi bir mekanizma olarak hakem/akran değerlendirmesi, varsayılandan çok daha yenidir. Örneğin, Nature dergisinde 1967'de başlamıştır. Anketler, araştırmacıların hakem/akran değerlendirmesine değer verdiğini ama aynı zamanda daha iyi çalışabileceğini düşündüklerini göstermektedir. Sıklıkla hakem/akran değerlendirmelerinin çok uzun sürdüğüne, tutarsız olduğuna ve çoğu zaman hataları tespit edemediğine ve anonim olmasının önyargılardan koruduğuna ilişkin şikayetler olmaktadır. Açık hakem/akran değerlendirmesi, bu nedenle, daha fazla şaffaflık getirmeyi ve resmi ve resmi olmayan hakem/akran değerlendirmesi sürecine katılımı amaçlamaktadır. Hakem/akran olmak, araştırmacılara, yeni araştırmalarla ilgilenme, akademik ağlar ve uzmanlık oluşturma ile yazma becerilerini geliştirme fırsatı sunar. Akademik çalışmalar için kalite kontrolün çok önemli bir unsurudur. Yine de, genel olarak, araştırmacılar hakem/akran değerlendirmesinin nasıl yapılacağı konusunda resmi bir eğitim almazlar. Bununla birlikte, araştırmacıların geleneksel hakem değerlendirmesinden emin olduklarına inandıkları yerlerde bile, açık hakem/akran değerlendirmesininin birçok biçimi yeni zorluklar ve fırsatlar sunmaktadır. Açık hakem/akran değerlendirmesi çok çeşitli uygulamalar içerdiğinden, değerlendiricilerin ve yazarların dikkate alması gereken birçok husus vardır.
Değerlendirme ile ilgili olarak, bilim ve akademideki mevcut müfakat ve ölçevler (henüz) açık bilime adapte edilmemiştir. Araştırmaları değerlendirmek için kullanılan ölçevler (örneğin, Dergi Etki Faktöürü, h-indeks) açık bilim pratiklerini ölçmemekte ve dolayısıyla mükafatlandırmamaktadır. Açık hakem/akran değerlendirmesi aktiviteleri, profesyonel ilerleme senaryolarında zaruri biçimde "mesleki/bilimsel etkinlik" olarak tanınmamaktadır (örneğin çoğu durumda, hibe başvurusu hakemleri en parlak açık hakem değerlendirmelerini bile kendileri için bilimsel örnekler olarak görmezler). Ayrıca, birçok değerlendirme ölçevi - özellikle belirli bibliyometrik ölçev türleri - topluluğun arzu ettiği ölçüde açık ve şeffaf değildir.
Bu koşullar altında, açık bilim uygulamaları, en iyi ihtimalle mükafatı olmayan ek bir yük olarak görülmektedir. En kötü ihtimalle, gelecekteki fonlama ve terfilerle birlikte kadro bulma şansına aktif olarak zarar vereceği düşünülmektedir. Yakın zamanlı bir Avrupa Komisyonu raporu (2017) açık bilimin uygulanması için iki temel yaklaşım olduğunu ve ödüllendirme ve değerlendirmenin bunları destekleyebileceğini kabul etmektedir:
Daha fazla açıklığı teşvik ederek, ilgili ölçevler oluşturup, çıktıları nicelleştirerek mevcut durumu destekleyin;
Alternatif araştırma uygulamaları ve değerlendirmeler, açık veri, yurttaş bilimi ve açık eğitimi tecrübe edin.
Gittikçe daha fazla sayıda fon sağlayıcı ve kurum, örneğin, basitçe saymadan uzaklaşıp, değerlendirme uygulamalarına toplumsal etki anlatılarını ve göstegelerini dahil ederek, bu yönde adım atmaktadır. Fon sağlayıcılar tarafından atılan diğer adımlar, (ön baskılar-preprints gibi) daha fazla sayıda araştırma çıktısına uygulamada izin vermek ve (tekrar çalışmaları-replication studies gibi) farklı araştırma türlerini fonlamaktır.
Açık hakem/akran değerlendirmesinin temel unusrlarını ve bunların avantaj ve dezavantajların bilmek
Araştırma ve araştırmacıların değerlendirilmesi için kullanılan ölçev türleri arasındaki farkları anlamak
Değerlendirme düzeninin mesleğin gerçekleştirilme şeklini nasıl etkilediği konusundaki tartışmalara dahil olmak
Açık hakem değerlendirmesi
Açık hakem/akran değerlendirmesi için popüler ortamlar Copernicus, Frontiers, BioMed Central, eLife ve F1000research gibi yayıncıların dergileridir.
Açık hakem/akran değerlendirmesi, farklı biçimleriyle, yazarlar ve hakemler için birçok potansiyel avantaja sahiptir:
Açık kimliklerle (körleme olmadan) değerlendirme hakemler arasında daha fazla hesap verebilirliği teşvik eder ve taraflı davranma ya da örtülü çıkar çatışması (conflict of interest) fırsatlarını azaltır.
Açık değerlendirme raporları, daha geniş bir topluluğun karar verme süreçlerini incelemek için değerlendirmeleri gözden geçirmesine olanak veren başka bir nitelik güvencesi katmanı ekler.
Adlarının bir çalışma ile herkese açık bir şekilde ilişkilendirilmesi veya değerlendirmelerinin yayınlandığını görme düşüncesi hakemleri daha kapsamlı değerlendirmeler yapmaya teşvik edeceğinden, açık kimlikler ve açık değerlendirme raporları, birlikte, daha iyi değerlendirmeler yapılmasını sağlayacak şekilde teorikleştirilir.
Açık kimlikler ve açık değerlendirme raporları, hakemlerin değerlendirmeleri için genel itibar kazanmaları yoluyla bu önemli faaliyeti teşvik eder ve değerlendirmeye diğer yayınlarda ve atama ve görev süresi bağlantılı kariyer geliştirme faaliyetlerinde atıf yapılmasına imkan verir.
Açık katılım, hakemlerin editoryal seçimi ile ilişkili sorunların (örneğin, yanlı davranma, kapalı ağlar, elitizm) üstesinden gelebilir. Bu gibi açık süreçler, özellikle henüz hakemlik daveti almayan, kariyerinin başındaki araştırmacılar için araştırma itibarlarını oluşturma ve hakemlik becerilerini geliştirme şansı da sunabilir.
Aşağıdakileri de içeren, dikkat edilmesi gereken bazı potansiyel tuzaklar söz konusudur:
Açık kimlikler hakemler için (tek körleme) ya da yazarlar ve hakemler için (çift körleme) geleneksel olarak sosyal yanlılığı önlemek için mevcut olan (böyle bir anonimliğin etkili olduğuna dair güçlü bir kanıt bulunmamasına rağmen) anonimlik koşullarını ortadan kaldırır. Bu yüzden hakemlerin, kararlarının, yazar(lar)ın mevkilerini, geçmişlerini ya da bağlı oldukları kurumu değil yalnızca çalışmanın kalitesini yansıtmasını sağlamak için varsayımlarını sürekli olarak sorgulamaları önemlidir.
Eleştirmek ve eleştiri almak çoğu zaman kaçınılmaz olarak duygusal tepkilerle dolu bir süreçtir - yazarlar ve hakemler sonuçların nasıl sunulacağı ve/veya neyin iyileştirilmesi, değiştirilmesi veya düzeltilmesi gerektiği konusunda öznel olarak aynı ya da farklı fikirlerde olabilir. Açık kimliklerde ve/veya açık raporlarda, şeffaflık bu tür zorlukları hiddetlendirebilir. Bu nedenle, hakem geri dönüşlerinin yazar(lar) tarafından değerli algılanması şansını en üst düzeye çıkarmak adına, hakemlerin üzerinde durdukları konuların açık ve medeni bir şekilde iletimini sağlamaları çok önemlidir.
Açık kimlikli değerlendirmede, hakemlerin anonim olmaması, özellikle yüksek mevki sahibi meslektaşlarına karşı güçlü eleştiriler yapmalarına engel olarak süreci altüst edebilir.
Son olarak, bu sorunlar göz önüne alındığında, potansiyel hakemlerin değerlendirme teklifini reddetme olasılığı daha yüksek olabilir.
Açık ölçevler
Araştırma Değerlendirme Üzerine San Francisco Deklerasyonu (DORA) dergi bazlı değerlendirmelerden uzaklaşmayı, tüm bilimsel çıktı türlerini dikkate almayı ve çeşitli ölçev ve anlatı değerlendirme (narrative assessment) biçimlerini kullanmayı önerir. DORA, halihazırda kendilerini bunu uygulamaya koymaya adamış binlerce araştırmacı, kurum, yayıncı ve fon sağlayıcı tarafından imzalanmıştır. Leiden Manifestosu ölçevlerin sorumlu bir şekilde nasıl kullanılacağına ilişkin rehberlik sağlamaktadır.
Altmetriklerle (alternatif ölçevlerle) ile ilgili olarak, Priem ve diğerleri (2010) altmetrikleri şu faydalarından dolayı tavsiye etmektedir: atıflardan daha hızlı şekilde birikirler; dergi yayınları dışındaki araştırma çıktılarının (örneğin, veri setleri, kodlar, protokoller, blog gönderileri, tweetler vb.) etkisini ölçebilirler; ve özgün objeler için farklı etki ölçevleri sağlayabilirler. Altmetriklerin güncelliği, araştırma etkisi henüz atıf sayısına yansımamış, ancak kariyer ilerlemesi pozitif değerlendirmelere bağlı olan, kariyerlerinin başındaki araştırmacılara özel bir avantaj sunar. Ayrıca, altmetrikler etkili araştırmaların erken tespiti ve araştırmacılar arasındaki potansiyel bağlantılar için de yardımcı olabilir. Avrupa Komisyonunun altmetrikler konusundaki uzman grubu tarafından oluşturulan yeni bir rapor (Wilsdon ve diğerleri (Avrupa Komisyonu), 2017), dayanıklılık (robustness) anlamındaki eksiklik ve manipülasyona (gaming) yatkınlık dahil olmak üzere altmetriklerle ilgili sorunları tespit etmiştir; bir ölçevin hedef haline geldiğinde iyi bir ölçev olmaktan çıkması (‘Goodhart Yasası’); bazı disiplinlerde ve coğrafi bölgelerde sosyal medyanın tutunması anlamında göreli eksiklik; ve temel veriler için ticari kuruluşlara güvenme.
Örnek uygulamalar
Kursiyerler üçerli gruplar halinde çalışır. Her biri bireysel olarak kısa bir akademik metne değerlendirme yazar.
Ön baskı sunucusundaki bir çalışma değerlendirilir.
Bir çalışmaya ilişkin ölçevleri incelemek için ücretsiz bir bibliyometri ya da altmetri servisi kullanılır (örneğin, Impactstory, Paperbuzz, Altmetric bookmarklet, Dimensions.ai), sonrasında her bir servis tarafından sunulan farklı ölçevlerin tam olarak nasıl hesaplandığı ile ilgili kısa bir açıklama yazılır (umduğunuzdan daha zordur; görünüşte en şeffaf servislerde bile ölçevlerle ilgili uygun dokümantasyon bulma zorluklarını beraberinde getirecektir).
S: Araştırma değerlendirme adil midir?
C: Araştırma değerlendirme, yöntemleri ve değerlendirme teknikleri ölçüsünde adildir. Ölçevler ve altmetrikler, araştırma kalitesini, doğru olabilen ancak olması gerekmeyen araştırma çıktı miktarı ile ölçmeye çalışır.
Kursiyerler açık hakem/akran değerlendirmeli dergileri tanımlayabilecektir.
Kursiyerler bir dizi ölçevin, bunların avantaj ve dezavantajlarının ayırdında olacaktır.
Directorate-General for Research and Innovation (European Commission) (2017). Evaluation of Research Careers Fully Acknowledging Open Science Practices: Rewards, Incentives and/or Recognition for Researchers Practicing Open Science. doi.org/10.2777/75255
Hicks ve diğerleri (2015) Bibliometrics: The Leiden Manifesto for research metrics. doi.org/10.1038/520429a, leidenmanifesto.org
Peer Review the Nuts and Bolts (2012). A Guide for Early Career Researchers. PDF
Make Data Count. makedatacount.org
NISO Alternative Assessment Metrics (Altmetrics) Initiative. niso.org
Open Rev. openrev.org
OpenUP Hub. openuphub.eu
Peer Reviewers’ Openness Initiative. opennessinitiative.org
Peerage of Science. A free service for scientific peer review and publishing. peerageofscience.org
Responsible Metrics. responsiblemetrics.org
Snowball Metrics. Standardized research metrics - by the sector for the sector. snowballmetrics.com
