RazvanStorm
Mă tot gândesc la sistemul ăsta de rating la lucrări, știți, cel cu note atribuite pe mai multe criterii, nu doar un scor final. La prima vedere, pare o idee bună - mai detaliat, mai nuanțat, care ar trebui să ajute și autorii să-și înțeleagă punctele forte și zonele de îmbunătățit. Dar în practică, mi se pare că are o rigiditate care bate puțin în cuie niște judecăți care poate sunt mult mai fluide.
De exemplu, în ultima conferință la care am prezentat, lucrările au fost evaluate de 3-4 recenzori, dar am urmărit cum notele la „originalitate" sau „relevanță" pot să sară de la 2 la 5 fără o explicație clară în raportul scris. E ca și cum sistemul pretinde transparență, dar realitatea bate în incertitudine și subiectivitate gravă. Apoi, deadline-urile și presiunea de a termina rapid recenziile face ca „ratingurile" astea să sune mai mult a niște geturi rapide decât a evaluări cu adevărat constructive.
Pe de altă parte, cred că se pot îmbunătăți dacă luăm în calcul cum se face feedback-ul: de exemplu, dacă cei care dau rating nu s-ar limita doar la numere, ci ar comenta concret, cu exemple din lucrare. Nu știu, poate proiectul ăsta pare de fapt o încercare mai bună decât clasicul „nota 7", dar încă e clar că e nevoie de multă empatie în procesul ăsta, ca să simți ce a încercat autorul să zică și să nu-l îngropi doar pentru că nu s-a încadrat perfect într-un criteriu abstract.
Sunt curios cum vedeți voi chestia asta, că-mi imaginez că nu doar mie mi se pare o zonă grisantă între metodic și arbitrar. Care e experiența voastră? Dacă aveți povești din partea recenzorilor sau ca și autor, le primesc cu drag. Simt că în 2024, când se tot vorbește despre inteligență artificială în evaluare, tot mai greu să faci acest proces omenește și corect. Dar poate tocmai de-asta ne trebuie mai multă discuție și reflecție.
AndraPixel
Cred că ai pus punctul pe i cu multă claritate aici, Răzvan. Sistemele astea de rating sunt bune ca idee, dar când ajung în mâinile oamenilor devin într-adevăr un amalgam de intenții bune, oboseală, perspective diferite și, nu în ultimul rând, biasuri ascunse. Pe mine mă frapează mereu cât de greu este să găsim un teren comun chiar și într-un grup relativ mic de recenzori - iar când scorurile oscilează așa mult, cum spui, e clar că interpretările criteriilor sunt profund subiective. Și nu doar asta, ci și faptul că, în fond, o cercetare bună nu se reduce la niște cifre într-un tabel, ci la sensurile pe care reușește să le construiască și la deschiderea pe care-o generează în domeniu.
Pe de altă parte, cred că rigiditatea asta vine și din dorința de „măsurabilitate" pe care o impune sistemul academic la nivel global. Se caută parametri clari, obiectivi, iar asta, în teorie, aduce echitate. Dar, în practică, trebuie să fii atent să nu cazi în capcana în care umanitatea procesului - adică empatia și interpretarea nuanțată - se pierde în validări statistice. Și cred sincer că o parte din responsabilitatea asta o au și organizatorii conferințelor și editorii: de a încuraja un feedback care nu se oprește la note, ci explică contextul, oferă sugestii și încurajează dialogul, nu doar verdictul.
În privința AI-ului în evaluare, am o părere destul de nuanțată. Da, tehnologia poate ajuta să filtreze volumul mare de lucrări și să detecteze plagiatul, sau poate uniformiza niște criterii tehnice de formatare ori claritate a limbajului. Dar să pui un algoritm să evalueze „originalitatea" sau „impactul potențial" mi se pare încă o provocare aproape imposibilă fără să piardă foarte mult din ceea ce face cercetarea valoroasă: contextul uman, cultura științifică și chiar emoția din spatele unui demers.
Mi-aș dori totuși să vedem mai multă deschidere către procesul reflexiv între recenzori și autori - un spațiu real de dialog, nu doar o „notare și trecem mai departe". Pentru că, deseori, feedback-ul bun înseamnă exact acel moment în care autorul realizează ceva nou despre propria lucrare, nu doar un câmp de bătălie pentru acceptare sau respingere. Și asta mi se pare esențial dacă vrem să creștem calitatea cercetării, în loc să o etichetăm sec printr-un scor.
Voi cum vedeți un astfel de model de feedback deschis și reflexiv? Credeți că e fezabil în sistemele academice actuale, cu toate constrângerile lor? Sau ne condamnăm la rating-uri mecanice, chiar dacă imperfecte? E un balans atât de fin între obiectiv și subiectiv... și par foarte curiosă să aflu perspective din experiența voastră.
Andra, îți mulțumesc pentru răspunsul atât de atent și bine argumentat. Cred că ai surprins exact miezul dilemei cu acea „măsurabilitate" pe care o tot invocăm despre care simt tot mai des că e un fel de ideal care ne alunecă printre degete. E ca și cum am vrea să prindem într-o plasă fixă niște umbre care, tocmai pentru că sunt umane și creative, se mișcă și scapă ușor. Și e frustrant pentru toată lumea - de la recenzori, care simt apăsarea deadline-urilor și dorința de a fi corecți, până la autori, care uneori primesc doar numere și se întreabă dacă cineva a citit cu adevărat ce a lucrat.
Ce mă face să cred că dialogul deschis - așa cum zici - poate fi o șansă reală e încrederea că procesul științific nu e doar o competiție, ci și un spațiu al învățării și al dezvoltării reciproce. Nu știu dacă la scară largă e fezabil imediat, mai ales în conferințele cu sute sau mii de lucrări, dar cred că modelul ăsta poate începe local, în ateliere mici, în workshop-uri sau poate chiar în jurul unor reviste care să investească timp și resurse în această comunicare.
Și da, aici iarăși e o provocare: cine oferă acele comentarii calitative consistente și empatice când oamenii sunt deja suprasolicitați? Cred că aici tehnologia ar putea să ajute în mod echilibrat - nu să înlocuiască oamenii - ci să le ofere instrumente prin care să își organizeze și să și sintetizeze feedback-ul într-un mod mai precis, integrat. Poate o combinație între AI care să filtreze și organizeze, iar evaluatorul să se poată concentra pe partea interpretativă și constructivă.
Un alt aspect care cred că merită menționat este și cultura academică pe care o perpetuăm. Acolo unde echipa editorială sau organizatorii pun preț pe feedback-ul de calitate și creează condiții reale pentru un dialog onest, procesul iese, de obicei, altfel. Dar dacă totul se reduce la o cutie poștală în care se expediază note și se așteaptă o decizie rapidă, riscul de superficialitate e major.
De aceea, parcă mă întorc mereu la ideea că ar trebui să fim mai conștienți că evaluarea științifică e un act uman, cu toate imperfecțiunile lui - și că tocmai acceptarea și gestionarea acestor imperfecțiuni poate învăța comunitatea să construiască mai bine împreună. Mă întreb dacă, într-un fel, nu ar trebui să educăm mai mult recenzorii, nu doar să-i pregătim să dea note, ci să devină „mentori temporari" ai autorilor în timpul procesului. Poate asta ar schimba cu adevărat feedback-ul de pe forumurile ăstea.
Tu sau alții aici ce părere aveți? Cum vedeți rolul recenzorului nu doar ca judecător, ci poate și ca însoțitor al autorului pe drumul cercetării? Mie mi se pare un pas esențial spre o comunitate academică mai sănătoasă și mai creativă.