공학, 과학 분야의 이미지분석

우리는 외부로부터의 자극을 오감을 통하여 받아들이고 자극의 종류, 세기, 패턴 등에 따라서 과거의 경험과 학습을 통해서 얻은 정보와의 비교를 통해서 유용한 정보로 활용한다. 오감 중에서도 가장 많은 정보를 받아들이는 것은 시각으로 눈을 통하여 받아들이는 빛의 자극인 시각 정보이다. 이것은 일상생활에서는 물론 나노미터 (nm, 10억분의 1m) 스케일의 최첨단 반도체의 연구에 이르기까지 같은 원리이다. 다만 대상물의 크기가 머리카락보다 가는 경우라면 우리 눈으로 직접 관찰할 수 없으므로 용도에 맞게 광학 현미경 또는 전자현미경을 사용하게 된다. 반도체 분야에서는 전자현미경을 사용하여 나노미터 스케일의 구조물이 설계대로 가공되어 있는지를 검사한다. 매우 작은 구조물이 좁은 공간에 빽빽하게 들어서 있는 상태에서 그 크기를 정밀하게 측정하기는 매우 어려운 일이다. 이러한 문제를 해결하기 위하여 필자의 그룹에서는 2016년부터 PicMan이라는 이름의 이미지분석 소프트웨어를 개발했다. 그림 1에 최첨단 반도체 단면의 전자현미경 사진의 구조물의 폭을 PicMan으로 측정하여 통계치를 정리하여 표시한 사례를 예시하였다.

그림 1. 최첨단 반도체 단면의 전자현미경 이미지의 분석용으로 개발된 이미지분석 소프트웨어 PicMan으로 나노미터 스케일 구조물의 크기를 자동 측정한 사례

그림 2. 이미지분석 소프트웨어 PicMan으로 전자현미경 사진에서 나노미터 스케일 구조물의 크기를 자동 측정하고 통계치를 추출하여 표시한 사례

그림 2에 확대된 사진을 예시하였다. 아홉 개의 구조물 중에서 4개에 대하여 정상에서부터 아랫부분까지 100군데를 같은 간격으로 폭을 자동으로 측정하였다. 측정된 길이를 빨간색으로 표시하고 구조물의 아랫부분에 측정 횟수, 측정된 폭의 최소치, 최대치, 평균치, 표준편차를 자동으로 표시한 사례를 소개하였다. PicMan은 개발을 시작한 다음 해인 2017년부터 일본의 반도체 웨이퍼 제조사를 시작으로 전력반도체 제조회사, 반도체 및 배터리 제조사, 반도체 제조설비 회사, 재료 분석회사 등에서 사용하기 시작하여 일본의 오사카대학, 나고야대학, 쿄토대학, 쿄토공예섬유대학, 쿄토부립의과대학 등에서 의료, 생명공학, 전자공학, 재료공학 분야에서 활용되고 있다. 최근에는 최첨단 이미지센서 제조사인 일본의 소니에서 PicMan을 채용되는 쾌거를 이루었다. 앞으로는 반도체, 나노테크놀로지를 비롯하여 다양한 이미지분석이 있어야 하는 많은 분야에서 널리 활용될 것으로 기대된다.

문화재, 예술, 역사학, 서지학, 의학 분야로의 전개

국내에서는 반도체 분야의 활용을 시작으로 문화재, 예술, 역사학, 서지학, 의학 분야에서의 이미지 분석기술의 보급과 활용을 위하여 2016년부터 계몽운동을 시작하였다. 이러한 노력이 벌써 8년째 이어지고 있다. 2017년부터는 문화재보존과학회에서 이미지 분석기술의 문화유산 분야에서의 다양한 적용사례를 소개해 왔으며 국립문화재연구원, 공주대학교, 충북대학교, 강원대학교, 건국대학교, 경북대학교. 국민대학교 등의 연구팀들과의 교류를 통하여 다양한 가능성을 시험하여 상당한 성과를 거두게 되었다. 공학, 과학 분야에서 시작된 이미지 분석기술이 문화재, 예술, 역사학, 서지학, 의학 분야와의 교류를 통한 통섭적 협연이 시작된 것이다. 2020년 COVID-19가 전 세계적으로 확산할 당시에는 코로나 진단 시약의 색상 변화를 바탕으로 양성과 음성을 판단하는 장비를 개발하여 영국 왕립화학회 학술지에 출판하기도 하였다.

비교적 이른 시기부터 공주대학교 문화재보존과학과 김규호 교수, 조영훈 교수, 한서대학교 문화재보존학과 위광철 교수팀, 한국전통문화대학교 연구팀과의 연구를 시작하여 많은 성과를 얻었다. 2022년에는 건국대학교 이화수 교수 연구팀과 공동으로 PicMan을 채색문화재의 정량분석에 사용하기 적합하게 편집한 한글 매뉴얼도 출판하였으며 2023년에는 대형불화의 손상 정도를 PicMan을 사용하여 정량적으로 분석한 결과를 보고서의 형태로 출판하였다. 연구 성과는 스위스에서 출판되는 영문 학술지 Heritage와 문화재보존과학회지에 실었다.

그림 3. 대형불화의 손상 종류의 구분과 손상 종류별 면적 측정 사례 (출처 Heritage논문)

해외로의 계몽 활동 및 무한한 가능성

인류 문화유산은 세계 각국에 분포되어 있다. 그 종류도 다양하다. 대부분이 눈으로 감상하는 것이 많다. 유형의 문화유산 또한 세월이 무게를 견뎌야 한다. 과거에는 문화유산의 상태를 기록하기도 쉬운 일은 아니었다. 스케치, 그림, 메모 등으로 남길 수밖에 없었다. 이제는 디지털 사진의 보급으로 예전에 비하면 순식간에 매우 자세한 상태의 기록이 가능해졌다. 따라서 디지털 사진 촬영 방법을 표준화하게 되면 시간의 경과에 따른 문화유산의 상태변화를 기록할 수도 있으며 그 변화를 추적하여 원하는 시대의 상태로 복원할 수도 있게 된다.

지금까지는 기록이 없는 상태에서의 복원이 대부분이어서 불완전한 기억, 상상력 또는 단편적인 역사적 기록을 바탕으로 한 복원이 되는 경우가 많았다. 앞으로 문화유산에 관한 기록이 일정한 규칙에 따라서 정기적으로 이루어진다면 문화유산의 보존과 복원에 크나큰 변화가 일어나게 될 것이다.

이러한 노력의 필요성을 알리기 위하여 필자는 국내외 학술지에 다수의 논문을 게재하였다. 아레에 2022년 12월에 Heritage 학술지에 “Extraction of Color Information and Visualization of Color Differences between Digital Images through Pixel‑by‑Pixel Color‑Difference Mapping”이라는 논문에 소개한 내용을 중심으로 몇 가지 이미지분석 기술의 활용 사례를 소개한다.

‘인형을 든 소녀’라는 제목의 손상된 유화 작품의 수리 전후의 사진을 그림 4에 소개한다. 말림, 균열, 변색 등이 말끔하게 사라진 수리 후의 이미지는 산뜻하기까지 하다. 그러나 본래의 색상이었는지는 아무도 알지 못한다. 작품이 완성되었을 당시의 기록이 없기 때문이다. 우리 주변에서도 이러한 경우는 얼마든지 찾아볼 수 있다. 기록의 중요성을 다시금 인식하게 된다. 첨단 디지털 이미지 촬영 및 이미지 분석기술을 적절히 활용할 수 있다면 많은 문제점을 해결할 수 있을 것이며 문제 해결에 필요한 노력과 비용도 절감될 수 있을 것이다. 더 나아가서는 문화유산 또는 회화작품을 좋은 상태로 유지할 수 있을 것이다. 작품이 늘 좋은 상태로 유지될 수 있다면 작품의 수명이 다할 때까지 모두가 즐길 수 있으므로 그 가치는 최대가 될 것이 자명하다. 수리보다는 훼손을 예방하는 것이 우선되어야 하지만 현실은 그렇지 못하다. 이제는 접근 방식의 전환이 필요한 시기다 도래했다.

이러한 계몽 활동의 결과 싱가포르, 일본, 미국, 이탈리아 등 세계 각국에서 이미지분석 기술을 적용한 문화유산의 기록, 보존 및 관리에 관한 관심이 높아지고 있다. 개발 도상국에도 수많은 유물이 있으나 경제적, 기술적인 이유로 제데로 관리되지 못하는 것이 현실이다. 우리의 눈을 바깥 세계로 돌리게 되면 그곳에는 많은 기회가 기다리고 있다.

그림 4. ‘인형을 든 소녀’의 수리 전후에 촬영한 이미지

유화 “인형을 든 소녀”의 수리 전후 색상의 영역별 비교

그림 5에 “인형을 든 소녀”라는 제목의 유화의 수리 전후의 사진을 PicMan으로 영역별 색상 차를 인식하기 쉽게 새로운 그림으로 표시하고 이마 부분의 색상 차를 RGB의 밝기의 분포로 그래프로 표시하였다. RGB밝기의 분포는 상단에 그래프화하여 밝기의 변화를 쉽게 인식하고 비교할 수 있게 표시하였다. PicMan의 편리한 기능 중 하나이다. RGB의 밝기 정보는 화소별, 직선, 곡선, 영역 또는 그림 전체에 대하여 수치화할 수 있고 수치화된 위치 및 색상정보는 데이터파일로 출력할 수 있다. 데이터파일의 정보는 기록, 추가 분석, 비교, 통계, 보정 등의 후속 작업에서 유용하게 활용될 수 있다.

그림 5. ‘인형을 든 소녀’의 수리 전후에 촬영한 이미지와 50 x 50화소 영역의 색상 비교 이미지. 각각의 이미지에서 그림의 이마 부분 색상의 밝기를 RGB로 표현한 것으로 수리 전후의 색상 차이가 화소별 또는 영역별로 수치화된 데이터의 출력이 가능하다.

그림 6에는 수리 전후의 이미지를 25 x 25화소, 50 x 50화소, 75 x 75화소 및 100 x 100화소 영역의 색상 차를 비교하기 쉽게 표현하였다. 각 영역의 왼쪽 상단의 삼각형은 수리 전의 이미지에 해당하고 오른쪽 하단의 삼각형은 수리후의 이미지에 해당한다. 유화의 각 부분의 색상이 수리 전후에 어떻게 변화했는지를 직관적으로 보여주고 있다. 이러한 이미지의 비교방식은 두 장의 동일한 이미지에서 색차를 시각화하는 데 매우 유용하다. 비교 대상이 되는 색상이 잘 기록된 원본 이미지가 있다면 수리 전후의 이미지와 비교하는 방법으로 수리 상태를 객관적으로 평가할 수 있게 되어 체계적인 수리 방법을 확립하고 수리 결과를 기록하는 데 매우 유용하게 활용될 수 있다.

그림 6. ‘인형을 든 소녀’의 수리 전후에 촬영한 이미지 간의 명도 및 색상 차를 영역별로 비교하기 쉽게 이미지로 가시화한 사례.

유화 “인형을 든 소녀”의 수리 전후의 명도 및 색상 변화의 가시화

색상 차를 영역별로 수리 전후의 이미지를 모자이크 형식으로 표현하면 영역별로 색상 차를 쉽게 인식할 수는 있으나 각 화소의 명도와 화소가 수리 전후에 어떻게 달라졌는지를 정량적으로 표현할 수 없다. 이러한 문제를 해결하기 위하여 수리 전후의 이미지를 겹쳐서 각화소의 밝기와 색상 성분을 여러 가지 색 공간에서 수치화하여 새로운 이미지로 만들어 그림 7에서 보는 바와 같이 가시화하였다. 그림 7의 왼쪽 두 그림은 L*a*b* 색 공간에서 수리 전후의 명도 차를 있는 그대로 그레이 스케일로 표시한 것과 명도차를 2배 강조하여 그레이 스케일로 표시한 것이다. 명도 차의 표시는 색상정보도 명도 성분만을 추출하여 비교한 결과이다. 그림 7의 오른쪽 두 그림은 L*a*b* 색 공간에서 수리 전후의 화소별 색상 차이를 a*축(Red to Green)과 b*축(Yellow to Blue)의 색상 변화를 4배 강조하여 표시한 것이다. 이렇게 두 이미지를 비교하여 이미지상의 각 화소의 명도와 색상의 수리 전후의 차이를 가시화함으로써 이미지 간의 미세한 명도와 색상 차이마저도 놓치지 않고 기록하고 가시화할 수 있음을 알 수 있다.

만약에 두 이미지의 명도 및 색상에 차이가 없어 전면이 검은색으로 표시된다면 두 이미지는 명도와 색상에 차이가 없는 같은 이미지로 보아 무방하다. 이러한 특성을 활용하면 모사된 그림과 원본과의 명도 및 색상차의 정량화 및 가시화가 가능해진다. 따라서 수리 전의 기록과 수리 후의 이미지의 비교를 통하여 수리의 정확도와 일관성 있는 수리 기록을 남기면 후일에 중요한 참고 자료로 활용될 수 있을 것이다.

그림 7. ‘인형을 든 소녀’의 수리 전후에 촬영한 이미지 간의 명도 및 색상정보를 정량적으로 추출하여 명도 차 및 색상 차를 정량화하여 새로운 이미지로 만들어 가시화한 사례.

이제까지 우리나라는 해외에서 많은 정보과 기술을 도입하여 활용하는 단계에 머무르고 있다. 앞으로는 우리나라에서도 새로운 방식과 기술을 개발하여 전 세계에 선도해 갈 때가 되지 않았나 하는 생각이 든다. 문화와 기술의 수입국에서 정보를 발신하는 정보 제공 국가로 발돋움할 때가 되었다. 바야흐로 공학, 과학, 역사, 문화유산, 예술 분야의 통섭적 협연이 필요한 시기가 도래하였다.

넓은 시야를 가지고 다양한 분야에 관심을 가지고 끊임없이 생각하다 보면 새로운 세상이 열리는 경험을 하게 된다. 대학에서 전자공학을 전공하고 40여 년간 반도체공학 분야에서 활동해온 필자가 문화유산에 관한 글을 쓰게 될 줄은 상상도 하지 못했지만, 어느새 많은 글은 쓰게 되었으니 앞날은 계획대로 되는 것은 아닌 듯싶다. 내일은 어떤 가슴설레는 일이 기다리고 있을까?

<유우식 문화유산회복재단 학술위원>

K-헤리티지뉴스 데스크 gitinc@empas.com 데스크의 기사 더보기

ICPSCⓒ?All Rights Reserved