학습용 데이터셋은 어떻게 구축할까 ?

데이터를 쌓아두고 있으나 데이터 가치를 발굴해내려는 노력을 하지 않던 집단이 학습용 데이터셋을 만들고 싶어한다면 어떻게 해야할까 ?

---

이런 고민을 하고 있는 사람이라면, 나와 같이 고민을 했으면 좋을 것 같은 마음에 글을 작성함.

 

최근 MLOps 까지는 아니지만, 아무것도 없는 환경에서 사용자 친화적 STT 를 뽑아내야하는 상황에 직면했다. 할거라면 제대로 하고 싶은 마음에 각을 잡고 고민을 해봤다. 진짜 사람들이 '잘' 쓰게 만들기 위해서는 결과도 빠르게 나와야하고 결과물을 수정해서 다시 학습시키는 재학습의 기능도 있어야 했다. 그리고 또 초기 학습에 필요한 데이터도 필요했으니 아주 밑바닥 부터 뭔가를 쌓아올리는 거대한 일의 시작이 되겠구나.. 라는 생각이 들었다.

 

근데 결과물을 '잘' 보여주고 보여준 결과물에 사용자 피드백을 받아서 재 학습시켜야 하는 거면 결국 MLOps 구축과 다를바가 없지 않나 ? 

MLOps 까지는 아닌줄 알았는데 정의하고 보니 MLOps 였던 것.

 

어쨌든 MLOps 를 밑바닥 부터 시작해야하는 사람이건, 학습용 데이터셋을 만들어야 하는 사람이건 비슷한 고민을 하고 있는 사람들이라면 여러 자료들이 정리 된 이 글을 보고 바로 작업에 착수했으면 좋겠다.

---

1.  데이터셋 구축 목적 정의

 

학습용 데이터셋 구축의 목적은 단순히 모아두고, 쌓아두는것이 아니라 사람이 봐도 한눈에 그 데이터가 어떤 데이터인지 알아볼 수 있게 데이터를 '구축'하고 '학습'하기 위함이다. 결과적으로 서비스 등에 유용하게 '활용' 되는 것을 목표로 목적을 정의해야 한다.

 

목적 정의에는 데이터의 구축 배경 또는 필요성, 구축되는 데이터에 대한 명확한 정의를 해야하고 실질적으로 중요한 부분은 예상활용 분야를 고려해서 목적 정의 해야한다.

 

또한 구축될 데이터셋의 데이터가 '실제로 어떻게' '잘' 사용되는지에 대해 정의하여 구축에 타당성을 부여해야 한다. 

 

2.  데이터셋 구축 환경 정의

데이터셋 구축 시 획득해야 할 데이터의 규모를 설정하여 비용을 선정하여야 한다.

비용적인 문제는 개발자들이 고려할 건 아니긴하다. 무조건 많은 데이터 많은 사람을 쓰도록 하자. 맘편하게 . . 

 

그리고 데이터셋을 어떻게 구축할 것인지 프로세서를 정의해야 한다.

데이터셋 구축 프로세스는 우리가 신경써야 할  실제 데이터를 얻는 행동만을 고려했을 때

데이터획득->데이터정제->데이터라벨링->데이터 검증 이다.

 

아래에서 각 단계마다 자세하게 설명함.

 

3.  데이터 획득 및 정제

원시데이터를 얻는 행동은 때때로 미움을 살 수도 있다. 누군가에게는 귀찮을수도 있고 새로운 일이 생길수도 있기 마련이기 때문이다. 그렇기 때문에 꼭 소싱을 통해서 데이터를 동료들이 직접 라벨링하지 않도록 하자. 

이렇게 자세하게 작성해야 하나 싶겠지만, 처음부터 자세하게 어떤 기술을 적용할건지까지 고민해줘야 나중에 일이 틀어질일이 없다. 

최대한 자세하고, 현실적으로 작성하도록 하자.

AI 에서는 Fancy 를 빼고 담백하게 가도록 하자. 

4.  데이터 라벨링 

라벨링을 할 때에는 어떤 항목들을 어떻게 라벨링 할 것인지, 대상과 범주를 정의해야 한다. 이때 제발 데이터셋 구축 목적에 부합하도록 라벨링해야한다. 위 사진처럼, 텍스트에서 감성을 분류하는 모델에서는 시간과 지명까지 라벨링 하는 것에 대한 근거가 부족하다고 한다. 근데 물론 필요할 수도 있긴 함. 

5.  데이터 검증

품질 검증, 검사 절차는 목적 정의에 따라 달라질 수 있다. 보통은 매 단계마다 검사를 실시하는데, 마지막 단계에서는 전수조사를 실시해야한다. 

 

열심히 만들어놓은 표준과 비슷한 절차들이 있기는 하나, 결국에는 환경에 따라 상황에 따라 달라질 수 있을 것이라고 생각한다. 근데 어떤 도구가  필요하거나 표준이 필요하다면 여러 걱정들과 고민이 담긴 절차들을 사용해도 될 것 같다. 목적정의와 환경정의만 하면 절반은 끝난 것 같다.

 

또 열심히 만들어보다가 돌아오겠음.

 

 

 

[참조]

https://aiheroes.ai/community/122

https://aiheroes.ai/community/122

https://www.saltluxinno.com/sli/contents/view.do?mId=70

솔트룩스이노베이션-AI 학습용 데이터

 

http://knconsulting.co.kr/knowledge/?bmode=view&idx=11206160

[2024.1.공개] '인공지능 학습용 데이터 품질관리 가이드라인 v3.1' 발간 : 지식자료실

 

[과학기술정보통신원] 데이터셋구축 가이드라인 2024