Инструментите с ИИ за програмиране: Действително ли помагат на разработчиците?

Разработването на софтуер често е определяно като област, която е готова за подобрение чрез внедряване на генеративен изкуствен интелект. Скорошно проучване оспори схващанията за това колко полезни са инструментите за кодиране с ИИ за разработчиците.

Екипът по наука за данни на Uplevel проучи въздействието на генеративните асистенти за програмиране с изкуствен интелект.

Това, което те използват като измерители, са ефективността и ефикасността на разработчиците.

Проучването установи, че тяхната ефективност до голяма степен остава непроменена, независимо дали използват инструменти за ИИ или не.

Констатациите на Uplevel противоречат на твърденията на GitHub и други заинтересовани страни от индустрията, които заявяват, че генеративният ИИ повишава качеството на кода и ефективността на разработчиците.

Лабораторията Uplevel Data Labs анализира резултатите на 800 разработчици сред своите клиенти.

Изследва разликата в производителността на екипите със и без достъп до GitHub Copilot – един от най-популярните асистенти за кодиране с ИИ.

Uplevel установи, че като цяло Copilot не е осигурил значителна промяна в показателите за ефективност.

Генерално, Copilot не е помогнал или затруднил значително разработчиците и не е повлиял на скоростта на производство на код.

Има известна промяна в някои показатели, но действителните регистрирани промени се считат за „несъществени“.

Това е в противоречие с констатациите на GitHub, които сочат, че през двете години, откакто GitHub Copilot е пуснат публично, разработчиците кодират с 55% по-бързо.

GitHub наскоро публикува резултатите от проучване, проведено сред 202 разработчици.

То установи, че тези с достъп до Copilot имат по-голяма функционалност, четливост и общо качество на кода.

Например, GitHub установи, че четливостта на кода, написан с помощта на Copilot, се е подобрила с 3,62%. Регистрират подобни увеличения при надеждността на кода, възможността за поддръжка на кода и писането на възможно най-кратък код за дадения сценарий.

GitHub заяви, че тези цифри са статистически значими, но констатациите от изследването на Uplevel разкриват по-обезпокоителни ефекти на инструментите за кодиране с изкуствен интелект върху качеството на кода.

Фирмата установи, че докато пропускателната способност се е запазила на приблизително същото ниво, качеството на кода всъщност се е понижило.

Те твърдят, че процентът на грешките е значително по-висок.

Установено е, че процентът на грешките в кода, генериран от тези, които използват Copilot, се е увеличил с 41%. Заедно с факта, че производителността е останала непроменена, това предполага, че достъпът до Copilot може да навреди на качеството на кода. Поне според Uplevel и техните данни.

Изследването на Uplevel не само показва, че инструментите за програмиране с изкуствен интелект може да не помагат за подобряване на ефективността или ефикасността на разработчиците. Достъпът до Copilot не е особено ефективен и за намаляване на риска от прегаряне на разработчиците.

Установено е, че нуждата програмистите да бъдат налични извън работно време и да работят извънредно не се е повлияла положително от използването на такива инструменти.

Данните все пак показват, че апетитът за ИИ инструменти за програмиране сред разработчиците и бизнес лидерите е нараснал значително през последната година. Все още няма категорична яснота дали тези решения създават осезаема стойност в индустрията за разработване на софтуер в момента. Тепърва ще се водят много дебати и ще се правят много проучвания по темата.