Зміст
Коротко
Типова алгоритмічна задача на онлайн-співбесіді розв’язується моделлю за секунди, а невидимий суфлер на кшталт Ghost GPT ховає це від інтерв’юера. Заборони і прокторинг у цьому забігу програють. На Habr засновник SymbioWay описує зворотний хід: агента на інтерв’ю дозволяють офіційно, а завдання змінюють так, щоб він допомагав лише тому, хто вміє розрізати роботу, перевірити результат і відповісти за код. Це ближче до спостереження за реальною задачею, ніж до години скринінгу, який і раніше мало що доводив.
Що сталося
Автор веде оцінку за живими задачами з 2008–2010 років, компанію заснував у 2014-му. Теза проста і жорстка: інструмент не замінює знання справи. Хірург із роботом Da Vinci і фотограф із сучасною камерою все одно мають розуміти, що перед ними. Модель знімає рутину. Розкласти роботу на частини, поставити інструкцію, звірити відповідь і нести відповідальність за код може лише той, хто роботу розуміє.
Звідси список того, що автор вважає навичкою зараз, а не «вмінням пройти LeetCode». Ширше дивитися на сусідні зони: серверний розробник на Java, який бачив клієнт, збірку, тести, мобільне. Глибше тримати архітектуру, розподілені системи, алгоритми і мережі. Вміти вести інструмент: постановка, економія контексту, підагенти, кілька агентів, витрата токенів. І стояти ближче до продукту і до замовника, бо юридично за код відповідає людина.
Годинний скринінг автор вважає ненадійним завжди, а ідеальний «тестовий день» надто дорогим. З агентом спостерігати, як людина працює на справжньому шматку проєкту, стало дешевше. Приклади багаторівневих завдань компанія віддає файлом через бота в Telegram. Контекст ринку в тексті автора: число вакансій у російській розробці з середини 2024 до середини 2026 року скоротилося приблизно вдвічі. Відбір при цьому не став простішим, він став іншим.
Чому це важливо
Якщо задача перевіряє те, що модель уже вміє краще за людину за хвилину, ви міряєте доступ до суфлера, а не інженера. Заборона переносить гонку в хованки. Дозвіл без зміни завдання міряє те саме, тільки чесно і все одно повз.
Корисний сигнал з’являється там, де агент упирається в розуміння. Кандидат має помітити, що видача невірна, звузити контекст і не віддати в модель шматок, який не можна віддавати. Це видно на архітектурі і на живому шматку системи. На задачі «розверни дерево» це не видно.
На практиці
- Не будуйте скринінг на типових алгоритмах, які модель закриває одразу. Якщо такий раунд лишається, не вважайте його доказом рівня.
- Дозвольте агента явно і напишіть, чим можна користуватися. Прихований суфлер і дозволений агент лишають різні сліди: другий можна розібрати за листуванням і за дифом.
- Завдання будуйте так, щоб без схеми системи і перевірки результату агент давав правдоподібний, але некорисний код. Багаторівневі приклади в автора лежать у файлі бота, не в одній функції.
- Дивіться, як людина ріже задачу, що кладе в контекст і що викидає. Економія контексту тут така сама навичка, як вибір структури даних.
- Годину розмов замініть коротким спостереженням за роботою на шматку вашого або навчального проєкту. Повний випробувальний день і далі дорогий, шматок проєкту вже ні.
- Відповідальність лишіть на людині. Модель не підписує код і не ходить на розбір інциденту.
Підсумок
Агент на співбесіді не скасовує інженера. Він скасовує завдання, які інженер і без агента вже не відрізняє від генерації. Змінюйте задачу, а не правила проктора.
Коментарі