WRTN에 인턴으로 합류하기까지.
이거 실화에요?
WRTN에 인턴으로 합류하기까지.
부스트캠프 끝 그리고 인턴지원 시작
부스트캠프를 2026년 2월 둘째주쯤 끝마치고 본격적으로 인턴 지원을 시작했다.
부캠 연계기업들은 대부분 정규직이나 계약직을 뽑았어서 적어도 학사 이상의 학력을 요구했다. 그런데 나는 구직당시 휴학생이므로, 체험형인턴자리를 알아볼 수 밖에 없었다.
약 17개의 기업을 지원했고, 서류합격은 3개의 기업, 그리고 과제전형은 모두 통과했지만, 최종면접까지 합격한 회사는 뤼튼이어서 선택의 여지없이 합류했다.

이젠 뭐하지?
네이버 부스트캠프를 하면서, 대학교에서는 배울 기회가 없었던 과목들을 배워서 너무 재밌었던 시기였다. ML을 위한 변분추론, Finetuning, 그리고 프로젝트 주제에 맞는 Modeling, Hyper Parameter tuning, Loss function 셀렉팅까지, 문제를 정의하고, 해당 문제를 해결하기 위해 서치하고, 탑다운으로 공부하는 시간들이 재밌었다.
그런데 하면할수록 워낙 대단한 사람들이 많아서, 잘해야겠다는 마음가짐으로 밤도새고, 압박감을 가지면서 살다보니 내가 이 업계에서 무슨 기여를 할 수 있을까 회의감도 많이 들었고, 처음에 시작할때와 같은 마음가짐을 중간에 잃어버리게 됐다.
신입 채용공고는 줄어들고, JD의 지원요건은 어려워지는 상황에서 내가 할 수 있는게 없어보였다.
Object Detection 프로젝트, Semantic Segmentation 프로젝트, 그리고 최종프로젝트까지 그 과정을 돌아보면 분명 다른팀원들과 협업하는 방법, 그리고 프로젝트 전반을 빌드하는 능력은 성장하긴 했지만(end-to-end로 프로젝트를 해본 경험이 과제전형에 많은도움이 됐다), 잘할려고만 해서 갈려들어갔었던것 같고, 그 때문에 지쳐서 더이상 아무것도 하고싶지 않은 상태가 지속됐었다.
그래도 일단 할 수 있는것들은 모두 해봐야겠다 생각했고, 마음속 깊숙한곳에서는 여전히 이 업계에 남아서 일하고싶다는 마음이 남아있었다. 그래서 예정대로 복학신청은 하되, 인턴지원공고를 찾아보고 내가 지원할 수 있는 기업들을 찾아 지원했다.
서류전형
회사의 JD에 맞춰서 나의 프로젝트를 재분배하기, 그리고 필요한 역량만 담기, 문제정의, 해결방안의 구조가 잘보이게 작성하기등 이력서와 포트폴리오는 알려진 방식대로 작성했다. 내 나름대로 프로젝트를 열심히 참여하면서 배웠던것들, 문제정의를 하고 문제를 해결한 경험들을 담아서 자신은 있었고, 어떤내용들을 담아아햘지도 감이 잡혔었다. 그런데, 예상은 했지만 서류전형에서 대부분의 기업에서 떨어졌고, 최종 전화면접까지 갔었던, 과제를 나름 잘해서 붙을거라고 생각했던곳에서도 떨어지면서 학교복학전에 인턴취업은 멀어지게됐다. 학교를 다니면서 지난반년동안 그냥 시간낭비만 한게 아닌가, 남는게 뭐가있지, 그리고 앞으로는 진로를 어떻게 잡고 살아야할지를 고민하는 시간을 가졌었다.
과제전형

뤼튼의 과제전형은 RAG Agent를 빌드해서 KMMLU dataset 법률문제를 해결하는 Task였다. lbox에서 구축된 법령데이터셋이 존재해서 청킹후 Faiss로 인덱스기반 Dense Search를 구현했다.
그런데 Dense Search시에 의미상은 비슷한 법령이 Retrieval되지만, 실제로는 적용할 수 없는 경우들이 많았다. 예를들어서 CCTV관련 법령이라면, CCTV와 의미상으로 비슷한 불법촬영물 관련 법령이라던지, 단어단위에서는 전혀 다른 맥락을 가지지만, Vector Space상에서는 비슷한 의미를 갖는 법령들이 Retrieval되는 경우가 존재했다. 이러한 경우들에는 올바르게 Retrieval되지 않는 경우이므로 Context로 법령을 제공해도, 문제해결에 도움이 되지않는 경우여서 명백한 Error Case였다.
이를 해결하기 위해 HyBrid Search방법을 도입했다. 단어기반으로 Search하는 BM25와 Vector Search를 Weigthed RRF를 이용해서 0.6:0.4 가중치로 섞는 Hybrid Search방법을 도입했고, 올바른 법령 Retrieval, 정확도향상으로 이어졌다.
모델제한(gpt-4o-mini)으로 Reranking은 적용하지 못했고, 10분 Inference 시간제한으로, HyDE는 적용했지만, LameR방식은 사용하지 못했다.
무조건적으로 성능만을 올리는게 실제 현업에서 목표는 아닐것이다. LameR방식을 사용하려면 적어도 LLM 호출을 1번씩은 더해야 하므로, 어쩔수없이 비용과 latency는 늘어날거고, Reranking모델도 마찬가지다.
무엇보다 아쉬운것은 과제 조건에서 외부데이터셋을 이용해도된다는 점이 명확하게 확인하지 못해서, 외부데이터셋을 이용해도 된다는 점을 과제제출 하루전에 알았다는 것이다.
과제전형에 Train, Test Dataset에 주어졌는데, 지금까지 해왔던 프로젝트들은 외부데이터셋이 금지된 프로젝트만 진행했어서, 당연히 Train Dataset을 RAG하는 Agent를 만들어야 한다고 생각했었다. 그런데, 프로젝트 폴더가 2GB가 넘지 않도록 구성하라는 조건을 보면, 외부데이터 없이는 도저히 2GB가 될 수 없기때문에 외부데이터셋에 대한 언급이 없었더라도 사용해도 되는 과제임을 과제제출 하루전에 알게됐다.
그래서 급하기 lbox Dataset을 외부데이터셋으로 정한 후, Chunking방법, 벡터 인덱싱등을 하는 코드를 새로 만들고, 새로 전처리하고, 에이전트도 새로 구성해야했다.
다행히도 HyDE나, Hybrid Search는 이미 실험해둔 결과가 있어서, 데이터셋만 최대한 바꾸는 방향으로 코드를 전면 재수정하고 제출했다.
나와 같은직무로 입사한 인턴분은 베이스라인 0.49대비 정확도를 0.65이상으로 끌어올렸다고 했다. 2GB데이터셋의 한계로 임베딩할 수 있는 데이터의 한계를 API호출로 해결했는데, RAG후에 confidence score를 먼저 측정하고 Score가 threshold보다 낮으면 법령 API를 호출해서 관련된 법률을 서치하는 방법을 사용해서 정확도를 올렸다고 한다.
나는 단순히 임베딩 후 RAG할 생각만 했는데, 온라인 Process에서 API를 이용해서 서치를 하는 방법론도 사용이 가능하다는것을 꺠달았다…

면접
살면서 실제로 회사에 면접을 온게 처음이었다. 강남에 온것도 처음이었다. 처음 면접보러 회사에 갔을때 웅장함에 압도되었다..

지금은 익숙한 스파크플러스 회의실..

대면 컬처핏면접으로 안내받았다. 그런데, 면접을 준비하면서도 직무면접없이 바로 컬처핏면접을 하는게 뭔가 이상하다고 생각했다. 실제로 면접을 갔을때, 컬처핏 관련질문은 거의 없었고, 직무관련질문(포트폴리오에 쓴 프로젝트 아키텍처 설명, 과제 설명, 사내 Agent를 실제로 구성해보라는 질문)등을 받았다. 준비하지 않은 내 잘못이 가장 크지만 예상하지 못한 질문을 받아서 더 당황했었고, 만족할만한 답변을 하지 못했다.
그렇게 당연히 떨어질거라 생각했고, 이번면접에서 받은 질문들에 대한 피드백을 했다. 기대도 하지 않으며 다음회사 면접을 준비했다.
그리고 그와중에 모든회사를 떨어질때의 폴백으로 학교는 계속 다닐수밖에 없었다.. 특수교육시간에 눈가리고 계단내려가기같은 활동도 했다…ㅋㅋㅋ

최종합격

그런데 면접 일주일뒤 최종합격했다는 메일이 왔다. 회사 계정이 만들어지고, 통장사본, 재학증명서를 제출했는데도, 아직 근로계약서를 작성하지 않아서, 아직까지도 믿기지 않는다. 전산상의 오류일수도 있다고 생각이 든다.
그럼에도 26년 상반기는 인턴십을 하며 성장할 수 있는 기회가 주어져서 감사하다는 생각밖에 없다. 더 겸손하고, 더 많은것을 보고 배워야겠다.
Continue exploring
더 읽어보기
CTR을 예측할 수 있을리가 없잖아 무리무리!(무리가아니었다!?): nemotron persona
어떤 광고 배너가 잘될지는 결국 집행 비용을 써봐야 알 수 있었다. 배너를 많이 만들 수 있어도, 그중 무엇을 내보낼지 고르는 데는 여전히 돈이 들었다. 집행 전에 후보를 걸러낼 수 있을지 확인하려고 NVIDIA Nemotron Persona-Korea 데이터셋으...
카피 A/B 테스트와 밈으로 광고 성과를 끌어올리기
광고 배너를 자동으로 만들 수 있게 된 뒤에는 어떤 카피를 얹을지가 다음 과제였다. 성과가 높은 카피, 재밌는 카피에는 정해진 Ground Truth가 없었다. 여러 톤앤매너와 밈 RAG로 후보를 만들고 실제 광고 성과를 비교했다.
성과가 난 광고에서 다음 스토리를 찾는 위닝앵글 검색
초기 AX 제작은 좋아요 랭킹 순으로 스토리를 넓게 탐색하는 방식이었다. 이후에는 이미 성과가 난 광고에서 다음 후보를 찾는 경로를 만들었다. 다른 팀원이 만든 에이전트의 광고 성과 분석과 인사이트를 받아, 비슷한 소구점이나 이미지를 가진 새로운 스토리를 발굴하는...