내가 했던 연구가 안전 연구가 맞는가?

나는 4월부터 지금까지 실장님의 의견을 벤치마크에 반영하면서, 뭔가 이상한 위화감이 들었었다.

“나는 AI Safety 연구자인데, 왜 데이터 생성 방법론에 대해서 연구를 하고 있지?”

이런 위화감이 벤치마크를 처음 만들다 보니, 안전 벤치마크를 만들면 이런 고민도 당연히 해야한다고 생각했었다.

근데, 다른 연구실 벤치마크를 구축하는 박사님들의 이야기를 들어보고, 벤치마크 연구 논문들을 읽어보면, 나처럼 고민하는 연구는 Safety가 아니라 llm agent를 활용한 자동화 프레임워크 라는 이름으로, 데이터 생성 방법론, 자동화 방법과 같은 연구들이였다.

해당 연구들을 모두 적용해서 현재 벤치마크를 고도화 하는건 정말 좋은 벤치마크를 만들 수 있을 것이고, 좋은 품질과 좋은 결과가 이뤄질것이다.

하지만, 벤치마크의 구축 의도가 무엇인가? 왜 벤치마크를 구축해야 하는가?에 대한 답변은 위와 같은 고민으로 해결되지 않는다.

단지 과제 2년차 업무로써 벤치마크를 구축한다는점이 오늘까지 나를 이런 추상적인 고민으로 뒤덮었지 않았을까?

지난주, 현재 연구에 대해서 고민하는 시간들을 통해서 내가 내린 결론은, “벤치마크 연구는 데이터를 만드는 연구가 아니라, 어떤 연구에 목적에 필요한 도구로써 해당 연구의 타당성을 검증하고 평가하기 위해서 함꼐 구축하는 도구이고, 설득하기 위한 증거”라고 결론지었다.

위 결론은, 현재 내가 했던 연구가 얼마나 다른 고민들을 했는지에 대해서, 뒤돌아보는 시간이였다.

그래서 내가 이 벤치마크를 왜 만드는가? 에대한 답변이 없었다.

그래서 나는 다음주까지 써야하는 논문의 방향을 새로 설계하기로 하였다.

현재 구축하는 “K-12 교육 도메인 독성 벤치마크 데이터셋”을 데이터 생성론에 집중하는게 아니라, AI Safety의 안전정렬의 빈틈과 내가 그동안 했던 고민들을 녹여내는 논문으로 쓰고자 결심하였다.