대 AI 시대... 코딩 테스트를 어떻게 출제해야 할까요?

[milooy]

최근에 21세 한국인 개발자가 AI 치팅 툴을 사용해 아마존, 메타, 틱톡 등의 인터뷰를 통과한 후, 회사가 이를 인지하고 오퍼를 철회한 사건이 화제가 되었어요(링크).
재밌는 점은, 해당 개발자가 이를 유튜브에서 공개하며 오히려 치팅 툴 매출이 폭발적으로 증가했다는 사실이에요.

이제 단순한 알고리즘 문제 풀이만으로는 비대면 환경에서 지원자의 실력을 검증하기 어려운 시대가 되었는데요,
GPT 계열 모델의 성능이 날로 발전하면서, 대부분의 코딩 테스트 문제는 AI가 빠르고 정확하게 풀 수 있죠... 실제 현업에서도 AI를 적극 활용하고 있고요.

AI의 도움을 차단하지 않으면서도, 지원자의 실제 문제 해결 능력을 평가할 수 있는 새로운 방식의 테스트는 무엇일까요?\

요런 예시도 생각나네요

AI를 사용해 문제를 해결하세요. 단, 어느 부분을 AI에 의존했는지 설명하고, 직접 수정한 부분을 강조해주세요.

[milooy]

힐링페이퍼(강남언니) 서버개발자 채용시에는
사전과제 대신 ‘사전 역코드리뷰’를 받는다고 해요. (요즘도 그러시는진 모름)

프로세스

• 200줄? 정도 코드를 주고 3일간 편한 시간에 코드리뷰를 해달라고 함
• 리뷰할만한 요소들 군데군데 배치해둠
  • 면접자 성향따라 자유롭게 커멘트를 남김
• 조금만 읽어도 통과/미통과 잘 가려낼 수 있음 → 통과한 사람만 대면면접 보러 옴

특이사항

• 답이 정해져있는게 아니고, 아는 만큼 적을 수 있게 되어 저연차도, (최근에 코드를 활발하게 찍어내진 않았지만 내공있는)고연차도 부담 없이 답변 가능
• 이를 베이스로 질문하니 온사이트 면접이 더 풍성해짐

실효성 측정

• 최종합격 비율을 비교해봤을 때 사전코테때보다 더 검증 정확도가 높음

---

저비용으로 많은 걸 검증하고 신뢰성도 높아보이는 테스트여서 좀 탐났어요.
물론 AI의 도움을 200% 받을 수 있겠지만, 그래도 이를 발췌하고 본인 스타일의 커뮤니케이션으로 재해석 하는 과정에서 능력을 볼 수 있을 것 같음...

[yougenious95]

저는 2년째 면접관을 하고 있는데요,

최근에는 미리 코드를 전달하고

이 코드를 리팩토링하고 개선한 이유를 설명해주세요
성능 최적화 포인트를 찾아보고, 개선 후 차이를 비교해주세요

라는 과제를 드려보았어요. AI를 활용하시겠지만, 본인이 오케스트레이션 할 수 있는 문제해결력도 드러나서 좋더라구요.

[InSeong-So]

결론만 먼저 짓자면 제가 생각하는 최선은 "면접관의 리소스가 많이 쓰여야 한다" 인 것 같아요 🤔
AI 툴, 프롬프트를 얼마나 잘 다루냐에 따라 생산성 차이가 크게 나고, 여기에 실무적 경험을 합치면 perfomance가 증대되는 걸 우리 모두가 알죠.
그래서 감시하는 것은 크게 효용성을 못 낼 것 같아요. 오히려 채용 허들이 높아지지 않을까(어떻게 방어할 건지 + 어떻게 사용할 건지)...

먼저 전화 인터뷰나 사전 과제를 가벼운 30분 비대면 미팅으로 전환하고, 다소 복잡한 문제를 부여하고 AI를 어떻게 활용하는지 검증할 것 같아요.
문제를 찾아가는 과정, MCP(Model Context Protocol) 같은 것들을 어떻게 활용하는지, 인지적 사고를 하는지 등... 이건 모든 인원이 면접관으로 들어가는 것도 괜찮아 보여요.

과제를 풀어낸다 의 관점에서 보면 기업은 이 과제를 풀었기 때문에 우리와 기술 면접을 할 수 있다는 건데, 치팅 케이스를 보면 신뢰 단계를 스킵하게 되는 거라 아예 그런 기회를 안 주는 게 좋은 것 같아요

그 다음이 기술 면접(1차 면접)인데, 라이브 코딩이 최고라고 생각해요. 사전 과제 같은 특정 기능의 구현을 코드로 쓰는 것이 아니라(물론 가능하지만) 말로 하거나 쓰게 하는거죠.

복잡한 로직이 아니라 우리가 이야기한 것들을 놓치지 않고 기술적으로 풀어내는지, 피드백을 받아들이는 태도, 수용성과 적용 관점에서 다각적으로 판단이 될 것 같아요.