Sztuczna inteligencja jest często postrzegana jako narzędzie rewolucjonizujące produktywność w wielu dziedzinach, w tym w rozwoju oprogramowania. Jednak najnowsze badanie przynosi zaskakujące wnioski, które podważają to powszechne przekonanie. W badaniu RCT opublikowanym na łamach metr.org sprawdzono wpływ narzędzi AI na produktywność doświadczonych deweloperów open-source, a wyniki zaskakują.
AI przeszkadza najlepszym?
Badanie wykazało, że programiści korzystający z narzędzi AI potrzebowali aż o 19% więcej czasu na ukończenie zadań w porównaniu do tych, którzy pracowali bez wsparcia sztucznej inteligencji. Jest to znaczące spowolnienie, które stoi w sprzeczności zarówno z oczekiwaniami samych deweloperów (którzy przewidywali przyspieszenie o nawet 24%), jak i prognozami ekspertów. Co więcej, nawet po doświadczeniu spowolnienia, deweloperzy nadal wierzyli w 20% wzrost produktywności dzięki AI.
W badaniu wzięło udział 16 doświadczonych programistów z dużych repozytoriów open-source, którym przypisano 246 rzeczywistych zadań. Części z nich pozwolono na używanie narzędzi AI, a części nie. Czas pracy był monitorowany poprzez nagrania ekranu i samoocenę deweloperów. Spowolnienie utrzymywało się niezależnie od przyjętych miar i analiz.
3 tezy, dlaczego sztuczna inteligencja spowalnia pracę
Autorzy badania starają się wyjaśnić, dlaczego ich odkrycia różnią się od imponujących wyników AI w testach porównawczych i licznych doniesień o skuteczności AI w codziennej pracy. Główne trzy hipotezy brzmią:
- Badanie RCT nie doszacowuje możliwości AI
- Testy porównawcze i anegdotyczne relacje przeszacowują możliwości AI
- Wszystkie metodologie są poprawne, ale mierzą różne podzbiory rozkładów zadań
Badacze podkreślają również, że żadna metoda pomiaru nie jest idealna i różnorodne podejścia ewaluacyjne są kluczowe do kompleksowego zrozumienia wpływu sztucznej inteligencji.
Wyniki tego badania stanowią ważne przypomnienie, że wpływ AI na produktywność może być bardziej złożony, niż się początkowo wydaje, zwłaszcza w przypadku doświadczonych specjalistów wykonujących skomplikowane zadania w czasie rzeczywistym zadania. Badacze z metr.org już zapowiedzieli kolejne badania w tej materii.
