박물관 기술 생태계의 핵심 과제

박물관 기술 담당자들이 자주 언급하는 어려움 중 하나는 박물관 기술 프로젝트에 필요한 시간과 노력을 둘러싼 오해다 [1]. 놀랄 일도 아니다. 박물관 부문의 디지털 역량 격차는 특히 심각할 수 있는데, Arts Council England 소속 기관의 37%가 “역량과 지식의 부족이 디지털 포부를 달성하는 데 중대한 장벽이었다”고 답했다 [2]. 기술 숙련도가 부족해 프로젝트 범위를 제대로 잡지 못하거나 추정이 엉망이 되면 결국 모두가 지친다. 이는 박물관 부문만의 문제가 아니다. IT 내부에서도 기술 지형은 그냥 너무 넓고 너무 빨리 변한다. 블록체인, 네이티브 앱 개발, 웹 개발, 클라우드 기술, 서버리스, 혼합현실, 데이터 과학, 머신러닝, 알고리즘 등은 모두 IT와 디지털이라는 더 큰 집합에 속하지만, 실제로는 서로 아주 다른 고도로 전문화된 기술 역량이다.

조달 절차상 워터폴 방식 개발을 요구하면서 내부 개발자는 없는 기관은 대개 서로 연결되지 않고, 제각각이며, 서로 말을 하지 않는 시스템 묶음을 갖게 된다. 물려받은 레거시 시스템이기 때문이기도 하고, 벤더가 자기 작업 방식 안에 상호운용성을 넣을 유인이 없기 때문이기도 하다. 그 결과 뒤쪽에서는 온갖 혼선이 생긴다. 같은 일을 여러 번 처리해야 하고(한 곳에서 갱신한 내용이 다른 곳으로 자동 동기화되지 않는다), 사람마다 서로 다른 문서 출처를 보고 있어 혼란이 커진다.

마치 자기 금궤짝의 열쇠를 자기가 갖고 있지 않은데, 그 안에서 뭔가를 찾으려 할 때마다 자기 자산에 들어가는 입장료를 내야 하는 꼴이다. 더 나쁘게는, 그 궤짝이 정확히 어디 있는지도 모를 수 있다. 문서화가 잘되어 있더라도 벤더 A, B, C가 서로 다른 시스템을 만들고 지원한다면 서로 협력할 유인은 없고, 함께 일해야 하는 상황이 오면 책임을 서로에게 떠넘기게 될 수도 있다. 그렇다고 박물관이 기술 회사가 되어야 한다는 뜻은 아니다. 오히려 내재된 제약을 이해하고 이상적인 최종 상태를 그려 두는 일이 중요하다. 그래야 그 제약을 염두에 두고 거기에 이르는 최적의 경로를 설계할 수 있다.

MLOps란 무엇인가?

MLOps는 “실험실” 조건에서 모델을 만드는 과학적 연구와 맞물려, 그 모델을 현실에서 굴러가게 만드는 공학적 실천에 가깝다. 컴퓨터 비전 PoC [3]를 프로덕션으로 옮길 때 빠져 있던 조각이다.

“AI 전반에는 개념증명에서 프로덕션으로 넘어가는 간극이 있다. 머신러닝 프로젝트의 전체 주기는 모델링만으로 끝나지 않는다. 적절한 데이터를 찾고, 배포하고, 모니터링하고, 데이터를 다시 [모델에] 반영하고, 안전성을 입증하는 일까지, [모델을] 배포하는 데 필요한 모든 일을 해야 한다. [이 모든 일은] 테스트 세트에서 좋은 성능을 내는 것 너머에 있다. 좋든 나쁘든, 머신러닝을 하는 우리가 잘하는 일은 바로 그 테스트 세트 성능이지만.” — Andrew Ng

기회 - 왜 박물관에 MLOps인가

무엇보다도 박물관에서 MLOps를 해야 하는 주된 이유 하나는 아래 그림 1 [4]에서 보듯 가능한 한 가장 큰 투자수익률(Return on Investment)을 낼 수 있는 A.I. 기술을 실제 운영으로 옮기기 위해서다.

그림 1. 박물관 관련성과 노력/비용 축에 배치한 주요 AI 하위 범주.

블록체인이나 메타버스처럼 한껏 띄워진 기술은 가능한 활용 사례의 폭보다 설계 공간이 훨씬 넓어 실제 도입 시점이 훨씬 먼 미래에 놓여 있다. 반면 A.I.는 이미 MATANA2 기업군 전반에 대규모로 배포되었고, 주류로 넘어갈 준비가 되어 있다. 아래 그림 2를 보면, 박물관 부문과 특히 관련이 큰 A.I. 혁신 상당수가 이제 “Slope of Enlightenment” 단계에 들어와 있음을 알 수 있다. 그림 3의 NFT나 Web3 같은 다른 신흥 기술과는 대조적이다.

그림 2. … “2년에서 5년 안에 주류 도입에 이를 것으로 예상되는 혁신들… 이러한 혁신을 일찍 도입하면 상당한 경쟁우위와 비즈니스 가치를 만들 수 있고, AI 모델의 취약성에서 비롯되는 문제를 완화할 수 있다.”

그림 3. 2022년의 신흥 기술은 세 가지 큰 주제로 묶인다. 진화하고 확장되는 몰입형 경험, 가속화된 인공지능 자동화, 그리고 기술 실행 방식의 최적화.

도입 장벽과 PoC에서 쌓인 과거의 학습이 누적되면서, 예전에는 연구팀 전체가 필요했던 일을 이제는 소수의 사람이 해낼 수 있는 시점에 도달했다. 박물관은 데이터와 활용 방식이 지닌 고유한 특성 때문에 MLOps를 통해 이런 혁신을 활용하기에 특히 좋은 위치에 있다. 콜드 스타트 문제, 담론의 필요성, 그리고 마지막으로 빼놓을 수 없는 내부 인력과 기술 역량의 부족 때문이다.

콜드 스타트 문제는 박물관에서 특히 심각하다. 애초에 존재하지 않는 데이터가 많은 환경, 즉 학습할 만한 기존 훈련 데이터와 잘 작동하는 파이프라인이 풍부하지 않은 환경에서는 데이터셋 구축과 라벨링에서 배포까지 이어지는 파이프라인을 운영 가능한 형태로 만들고, 실제 데이터를 확보해 다시 시스템으로 되돌려 넣는 MLOps의 역할이 특히 중요하다. 그래서 이 과정을 가능한 한 처음부터 끝까지 자동화하면 더 적은 자원으로 더 많은 일을 할 수 있다.

MLOps는 어떤 모습인가

그렇다면 이론상으로는 소수의 사람과 몇 대의 게이밍 PC만 있으면 작품에 자동으로 주석을 다는 A.I. 모델을 만들 수 있다. 그리고 그런 모델을 MLOps로 프로덕션에서 운영하면, 박물관 컬렉션을 훨씬 더 접근 가능하고 발견하기 쉬운 대상으로 만드는 견고한 시스템을 구축하는 데 필요한 추가 파인튜닝을 이어 갈 수 있다.

아래에서는 색상을 자동으로 추출하고, 질의할 수 있도록 데이터베이스에 추가하는 데모를 볼 수 있다.

Art API 업데이트: 색상 추출 & 컬렉션에 추가 19.11.2022

아키텍처 원칙, 도구, 모범 사례

• 클라우드 기반
• 공개 API
• 페더레이션 기반 접근 제어

그림 4. DevOps와 MLOps 도구 개요.

원래 PubPub의 erniesg.pubpub.org/pub/gcdzise9에 게시한 글.