A Study on the Classification of the Production Country of Korean and Chinese Traditional White Porcelain Using Machine Learning Models: Based on the Chemical Analysis Data of White Porcelain

Ye Eun Cho; Sangdoo Ahn

doi:10.12654/JCS.2024.40.2.01

J. Conserv. Sci > Volume 40(2); 2024 > Article

머신러닝 모델을 활용한 한국과 중국 전통 백자의 생산국가 판별 연구: 백자의 화학적 분석 데이터를 기반으로

Research Article

Journal of Conservation Science 2024;40(2):102-112.

Published online: June 20, 2024

DOI: https://doi.org/10.12654/JCS.2024.40.2.01

머신러닝 모델을 활용한 한국과 중국 전통 백자의 생산국가 판별 연구: 백자의 화학적 분석 데이터를 기반으로

조예은, 안상두^*

중앙대학교 문화재학과

A Study on the Classification of the Production Country of Korean and Chinese Traditional White Porcelain Using Machine Learning Models: Based on the Chemical Analysis Data of White Porcelain

Ye Eun Cho, Sangdoo Ahn^*

Department of Cultural Properties, Chung-Ang University, Seoul 06974, Korea

^*Corresponding author E-mail: sangdoo@cau.ac.kr Phone: +82-02-820-5230

Received December 12, 2023 Revised March 28, 2024 Accepted April 12, 2024

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초 록

본 연구의 목적은 도토기 생산지 판별에 있어서 머신러닝 기법의 적용 가능성을 확인하는 것이다. 한국과 중국의 전통 백자 태토의 화학성분을 분석한 데이터 732개를 수집하였고, 다양한 머신러닝 알고리즘을 적용하여 생산국가 판별 모델을 개발하였다. 개발된 모델을 146개 테스트 시료에 적용한 결과, 통계적 분석법인 principal component analysis-linear discriminant analysis 모델에서는 87.7%의 예측 정확도를 얻었지만, 머신러닝 기법인 decision tree, K-nearest neighbor, support vector machine 모델에서는 각각 96.6%, 98.6%, 99.3%의 비교적 높은 예측 정확도를 얻을 수 있었다. 아울러 특성 중요도 분석을 통해, 복잡한 데이터 구조의 분류 성능이 우수한 머신러닝 기법에서 공통적으로 rubidium을 생산지 판별에 가장 중요한 변수로 활용하고 있음을 확인하였다. 이러한 결과는 머신러닝 기법이 한국과 중국의 백자 생산지 판별에 효과적으로 활용될 수 있음을 보여주었다.

중심어: 백자, 생산지 판별, 머신러닝, 미량원소, 희토류원소, 지도학습

ABSTRACT

The objective of this study is to investigate the applicability of machine learning techniques in discriminating the production origins of pottery. 732 data sets analyzing the chemical composition of traditional white porcelain from Korea and China were collected, and models for determining the production country were developed by applying various machine learning algorithms. Upon applying these models to 146 test samples, the statistical analysis, principal component analysis-line discriminant analysis yielded a prediction accuracy of 87.7%, while machine learning techniques such as decision tree, K-nearest neighbor, and support vector machine models demonstrated relatively high prediction accuracies of 96.6%, 98.6%, and 99.3%, respectively. Additionally, feature importance analysis confirmed that rubidium is consistently the most critical variable for determining the origin in machine learning techniques that exhibit superior performance in classifying complex data structures. These findings underscore the potential of machine learning techniques in effectively discerning the production origins of white porcelain from Korea and China.

Key Words: White porcelain, Provenance discrimination, Trace elements, Rare earth elements, Machine learning, Supervised learning

1. 서 론

백자(白瓷)는 철분이 거의 섞이지 않은 순도 높은 태토로 만들어진 흰색의 자기를 의미한다. 이는 점토를 재료로 하여 수비, 성형, 건조, 시유 및 소성 과정을 통해 제작된다. 백자 제작 기술은 역사적으로 중요한 기술로 여겨졌으며, 이는 국가에 의해 엄격히 관리되었다. 이러한 이유로 백자 제작 기술은 오랫동안 주로 중국과 몇몇 국가에서만 발달하였으며, 한국 역시 이러한 국가 중 하나였다. 중국의 백자는 육조시대(六朝時代; 219∼580년) 말부터 생산되었으며, 한국에서는 통일신라시대 말인 9세기 중엽부터 생산되었다(Ryu, 2004).

백자의 출처를 파악하는 것은 미술시장에서 품질 보증을 위해 매우 중요하다. 유물의 경우에는 유통된 경로를 추적하여 문화교류의 과정을 과학적으로 입증하는 데 사용할 수 있다. 전통 도자기의 제작 공정과 소성 기술은 생산지에서 개발되었는데, 일반적으로 시대와 지역에 따라 고유의 양식을 가진다. 전통적으로는 미술사적 혹은 시각적 분석을 통해 도자기의 출처를 구분하였으나, 도자기의 양식이 유사하거나 모방될 수 있으므로 이 방법에는 한계가 있다. 더불어 시각적으로 얻을 수 있는 정보가 부족하여 출처를 알 수 없는 도편 또한 존재하므로, 최근에는 도자기의 화학적 조성을 분석하여 생산지를 추정하는 방법이 널리 사용되고 있다. 광주(한국)와 아리타(일본)의 광물학적, 화학적 조성비를 비교 연구하거나(Katsuki et al., 2019), 미량원소 및 희토류원소의 함량을 이용하는 연구 등이 진행되었다(Bartle and Watling, 2007; Chen et al.,1999; Xu et al., 2021).

미량원소 혹은 희토류원소의 함량 분석은 도자기의 생산지 판별에 많이 사용되고 있다. 이는 1900년 이전에는 원자재의 장거리 운송이 어려웠기 때문에 대부분 현지에서 재료를 사용했다는 사실에 기반을 둔다. 미량원소, 특히 희토류원소는 소성 과정에서도 안정적이기 때문에도 자기의 출처를 찾는 데 중요한 역할을 할 수 있다(Trindade et al., 2011). 중성자방사화분석법을 사용하여 청화백자의 생산 가마를 찾는 연구(Dias et al., 2013), 휴대용 X선 형광 분석을 이용해 수출용 청화백자를 구별하는 연구(Fischer and Hsieh, 2017), 유도 결합 플라스마 분광분석(Inductively Coupled Plasma, ICP)을 통해 당나라 양식을 모방한 백자를 구분하는 연구 등 다양한 분석 장비를 이용하여 미량원소 및 희토류원소를 분석하고 생산지를 추정하는 연구가 진행되었다(Li et al., 2005a).

이러한 연구들에서는 과학적으로 측정한 데이터를 수학적 처리법 혹은 통계분석을 사용하여 분류하였으나(Kang et al., 1989), 최근 머신러닝(machine learning) 기술의 활용이 증가하고 있다. 머신러닝은 컴퓨터 시스템이 주어진 데이터를 분석하여 패턴을 학습하고 예측, 분류, 판단 등을 수행하는 인공지능의 한 분야로, 복잡한 데이터 분석 및 모델링 작업에서 자동화와 효율성을 제공한다. 데이터를 기반으로 스스로 학습하는 능력을 통해, 숙련된 연구자의 개입 없이도 분석 작업을 수행할 수 있다. 데이터 분석 및 모델링에 통계기법을 활용하지만, 통계적 추론과는 목적에서 차이가 있다(Bzdok et al., 2018). 화학적 분석 결과에 대한 머신러닝 적용은 다양한 분야에서 지리적 기원 예측에 활용되어 왔다(Maione et al., 2019). 이러한 접근 방식은 Anglisano et al., (2020), Ruschioni et al., (2023) 등 산지 추정을 위해 도자기의 화학적 분석 데이터에도 적용되어 신뢰할 수 있는 결과를 도출하는 데 성공하였다.

본 연구에서는 한국과 중국의 전통 백자를 대상으로 ICP 분석 데이터를 수집하고, 머신러닝 기법을 적용하여 원산지 판별 가능성을 고찰하였다. 이를 위하여 통계적 분석법으로 자주 사용되는 Principal Component Analysis-Linear Discriminant Analysis (PCA-LDA)와 함께 Decision Tree (DT), K-Nearest Neighbor (KNN), Support Vector Machine (SVM)과 같은 널리 사용되는 머신러닝 모델을 사용하였다. 그리고 mean decrease in impurity (MDI)와 SHapley Additive exPlanations (SHAP) value 분석을 통하여, 머신러닝 알고리즘이 분류에 어떤 특성(feature)을 주요하게 사용하였는지를 확인하였다.

2. 연구대상 및 방법

2.1. 연구대상

분석대상은 10세기부터 19세기에 제작된 한국과 중국의 백자 태토 성분으로 한정하였다. 한국은 고려시대부터 조선 후기까지, 중국은 오대 왕조 시기부터 청나라 말기까지 생산된 백자를 중심으로 연구하였다. 대상이 된 백자는 순백자(純白瓷)부터 청화백자(靑華白瓷), 철화백자(鐵畫白瓷), 진사백자(辰砂白瓷), 오채(五彩), 청백자(青白瓷) 등으로 몸체가 흰 자기를 포함한다. 초기 백자인 청백자는 백자와 태토 구성에서의 유사성을 가지고 있어, 백자의 범주로 포함하였다(Zhu et al., 2006). 이와 같은 대상 선정은 국가와 시대를 특정할 수 없는 백자 편에도 연구 결과가 적용될 수 있도록 설정하였다.

본 연구에서는 미량원소 분석에서 가장 정확한 분석법에 속하는 ICP-AES (Atomic Emission Spectroscopy) 및 MS(Mass Spectrometry)에 기반한 총 906개의 데이터를 수집하고, 그중 분석대상 원소들이 모두 포함된 732개의 데이터를 사용하였다. 총 51개의 원소가 특성으로 수집되었으나, 일부 원소의 데이터에 결측값(missing value)이 존재하는 문제를 확인하였다. 결측값의 존재는 일반적인 머신러닝 모델의 적용을 제약하는 주요 요인으로 작용하므로, 결측값이 상대적으로 적고, 안정성(stableness) 및 비거동성(immobile element)을 고려할 수 있는 원소들의 선별이 필요하였다(Han, 2006). 또한, 정확도를 위해 최대한 많은 수의 데이터를 사용할 수 있도록 고려한 결과, Cu, Rb, Y, La, Ce, Nd, Sm, Eu, Dy, Yb 10개 원소가 공통적으로 많이 조사된 원소로 분석되어 이를 분류를 위한 특성으로 선정하였다. 데이터는 데이터베이스를 통해 국내외로 출간된 논문, 보고서를 통해 수집하였으며, 중앙대학교 연구실 소장 분석 결과를 포함하였다. 중앙대학교 연구실 소장 분석 결과는 ICP-MS로 분석한 한국 백자 데이터 31개로 구성되어 있으며, 용인 서리 고려백자 2개와 광주 충효동 조선백자 29개를 포함하고 있다. 한국의 백자 데이터로 Ahn and Hwang(2013), Choi(2001), Gang(2003), Gyeonggi Ceramic Museum(2007), Gyeonggi Ceramic Museum(2008), Gyeonggi Ceramic Museum(2009), Gyeonggi Ceramic Museum(2013), Gyeonggi Provincial Museum(2008), Lee and So(2014), Lee and So(2015), Lee(2020), Park(2002), Seoul Museum of History(2006)를 사용하였으며, 중국의 백자 데이터로 Li et al.,(2003), Li et al.,(2005b), Li et al.,(2021), Ma et al.,(2012), Niziolek(2015), Tripati et al.,(2017), Wang et al.,(2020)의 태토 분석 데이터를 사용하였다(Figure 1).

선정된 총 732개의 데이터는 가마터 출토 백자 및 가마터 출토 외의 백자를 대상으로 한 분석 결과를 모두 포함하고 있다. 이 중 한국 백자 태토 시료에 대한 것이 591개, 중국 백자 태토 시료는 141개로 구성되어 있다. 연구의 신뢰도를 확보하기 위해 전체 데이터 중 586개를 훈련 데이터로 할당하였으며, 테스트 데이터로 전체의 약 20%에 해당하는 146개를 선정하였다. 클래스 레이블의 균형을 고려하여 비례적으로 나눈 결과, 한국 백자 데이터에서는 118개, 중국 백자 데이터에서는 28개가 테스트 데이터로 각각 사용되었다. 이러한 방식은 불균형 데이터셋의 특성을 고려하여 모델의 일반화 능력을 객관적으로 평가하기 위함이다.

2.2. 연구방법

본 연구에서는 도자기의 생산지 판별을 위해 머신러닝 모델을 사용하였다. 산지 추정에 빈번히 사용되는 통계적 분석법인 PCA-LDA와 함께 지도학습(supervised learning)에 해당하는 모델 중 DT, KNN, SVM을 선정하였다(Pedregosa et al., 2011). 모든 방법에 대하여 동일한 훈련 및 테스트 데이터를 사용하여, 모델 간 분류 성능을 비교하였다.

2.2.1. PCA-LDA

PCA와 LDA는 구성 데이터의 구조를 단순화하기 위한 대표적인 차원 축소 알고리즘으로, 많은 수의 특성으로 구성된 다차원 데이터셋의 차원을 축소해 새로운 차원의 데이터셋을 생성한다(Tharwat, 2009). 최소한의 변수를 사용하여 가능한 많은 분산을 설명하기 위해, 특성 간의 상관관계를 파악한 뒤 특성 추출 또는 축소를 통하여 변수의 수를 줄인다. 상관관계가 없는 경우 이점을 제공하지 않으며, 새롭게 추출된 특성은 기존의 특성이 압축된 것이므로 기존의 특성과는 완전히 다른 값이 된다. PCA는 차원을 축소할 때 기존 데이터의 정보 손실을 최소화하기 위해 가장 높은 분산을 가지는 데이터의 축을 찾고 이를 이용하여 차원을 축소하는데, 이것이 주성분(principal component)이 된다. LDA는 PCA와 매우 유사하지만, 분류가 쉽도록 개별 클래스를 분별할 수 있는 기준을 최대한 유지하면서 차원을 축소한다는 차이가 있다. PCA를 전처리 용도로 적용하여 차원 축소를 수행한 후, 이렇게 얻은 주성분을 LDA의 입력 데이터로 사용하였다.

2.2.2. DT

DT는 데이터를 분류하고 예측하기 위한 트리(tree) 기반의 규칙 생성 모델로, 원리가 간단하고 직관적으로 이해하기 쉽다는 장점이 있다(Charbuty and Abdulazeez, 2021). 결정 노드(decision node)는 특성값을 기준으로 나누는 규칙 조건을 제시하며, 가지(branch)는 이러한 규칙에 따른 데이터의 분기를 나타낸다. 이 규칙 조건은 if/else문을 기반으로 하는데, 모델에 의해 자동으로 생성되는 파라미터(parameter)의 일종이다. 최대한 많은 데이터가 해당 분류에 속하도록 정하여 적은 수의 결정 노드로 높은 예측 정확도를 달성하는 것을 목표로 한다. 이 과정이 반복하여 데이터는 최종적으로 리프 노드(leaf node) 중 하나에 도달하게 되며, 해당 노드에 도달한 데이터 대다수가 속하는 클래스로 분류된다. DT는 알고리즘이 쉽고 직관적이므로 해석이 쉬우며 시각화할 수 있다. 또한, 학습이 단순하며 속도가 빠르다는 장점이 있다(Pal and Mather, 2003).

2.2.3. KNN

KNN은 k개의 가까운 이웃을 의미하는 지도학습 알고리즘이다. 데이터 포인트 간의 거리를 계산한 후, 가장 가까운 k개 데이터의 레이블을 파악해 다수결 방식으로 데이터 레이블을 예측하고 결정 경계(decision boundary)를 형성한다(Laaksonen and Oja, 1996). 하이퍼파라미터(hyperparameter) k의 값에 따라 모델의 복잡도가 조정되는데, k가 큰 경우 다수의 영향을 받아 결정 경계가 부드럽고 단순해지며, 작은 경우에는 이상치(outlier)에 민감해진다. KNN의 특징은 학습 단계가 없으며, 새로운 데이터 포인트의 레이블을 예측할 때마다 거리 계산을 수행한다(Abu Alfeilat et al., 2019). 즉 훈련 데이터에 대한 학습 시간은 소요되지 않지만, 예측 단계에서 높은 계산 비용을 초래할 수 있다.

2.2.4. SVM

SVM은 특성 열이 고유의 축을 갖는 공간을 이룬다고 가정, 데이터를 고차원 공간에 매핑하여 서로 다른 클래스를 최적으로 분리하는 선형 경계면을 찾는 알고리즘이다(Cortes and Vapnik, 1995). 데이터를 클래스별로 분류할 때 각 클래스 사이의 거리, 즉 마진(margin)을 최대화하는 결정 경계를 찾는다. 결정 경계에 가장 가까이 위치한 데이터 포인트들을 서포트 벡터(support vector)라 부른다. 하이퍼파라미터 C와 Gamma를 통해 모델을 조정한다. C는 예측 정확도로, 오분류 허용을 조절한다. C의 값이 커지면 정확한 분류를 중시하며 마진이 작아진다. Gamma는 커널의 영향 범위(reach)를 조절하는 값으로 값이 커지면 영향 범위가 짧아진다. 즉, C와 Gamma의 값이 클수록 결정 경계는 곡선의 형태를 띠게 되어 예측 정확도가 증가하지만, 과적합의 위험이 커지고, 값이 작아질수록 결정 경계가 직선의 형태를 띠며 과적합의 위험이 적어진다.

2.2.5. 특성 중요도

특성 중요도는 분류에 해당 특성이 얼마나 기여하는지를 나타낸다. DT는 모델의 학습 과정에서 자연스럽게 특성 중요도를 계산하여, 추가적인 해석 도구 없이도 지니 계수를 이용한 MDI를 통해 모델 내부에서 직관적으로 이해될 수 있다. MDI는 특성을 기준으로 분할되는 노드의 성질을 이용하여, 불순도를 크게 감소시키는 데 많이 사용된 특성이 중요할 것이라는 점을 이용한다(Nembrini, 2018). 기여도는 총합이 1이 되는 방식으로 계산된다. 반면 DT를 제외한 머신러닝 알고리즘들은 모델 내부 구조가 복잡하고 특성 기여도가 직관적이지 않아, 어떤 특성이 주요하게 사용되었는지 파악하기 어렵다. 이러한 문제를 해결하기 위해, DT를 제외한 모델은 SHAP value 방법을 적용하여 각 특성의 중요도를 추정하였다. SHAP는 게임 이론에 기반한 샤플리 가치 개념을 활용하여, 모델의 예측에 각 특성이 어떻게 기여하는지를 수치화한다(Lundberg and Lee, 2017). 이 방법은 모델에 구애받지 않는 범용적인 접근법을 제공하며, 가산성과 일관성의 이점을 가진다. 가산성은 모델의 예측에 대한 각 특성의 기여도를 합산하여 전체 예측을 설명할 수 있음을 의미하고, 일관성은 동일한 기여도를 유지함으로써 모델의 예측 결과에 대한 신뢰성을 보장한다. 다만 SHAP는 계산 복잡성이 높아 대규모 데이터셋이나 복잡한 모델에는 적합하지 않을 수 있다. 또한, 머신러닝 모델의 상관관계를 보여주지만, 인과관계를 의미하는 것은 아니므로 해석 시 주의가 필요하다.

2.2.6. 최적화 및 정규화

모델이 훈련 데이터에 지나치게 적응하는 현상인 과적합(overfitting)과 데이터 특성을 충분히 파악하지 못해 성능이 저하되는 현상인 과소적합(underfitting)을 방지하고, 일반화(generalization) 성능을 향상하기 위해 훈련 데이터에 그리드 탐색(grid search)을 적용하였다(Lerman, 1980). 그리드 탐색은 사전에 입력한 하이퍼파라미터 그리드를 기반으로 자동으로 모든 조합을 테스트하여 성능지표를 기준으로 최적의 하이퍼파라미터를 찾는 데 도움을 준다. 더불어 훈련 데이터를 분할 해주는 교차검증(cross-validation) 기능을 지원한다. 교차검증은 훈련 데이터를 여러 개의 fold로 나눈 뒤, fold 중 하나를 테스트 셋으로 사용하고 나머지 fold를 모두 학습에 사용하는 방법이다. 즉 학습은 fold의 수만큼 개별적으로 이루어진다. 그리드 탐색을 통해 훈련 데이터를 10개의 fold로 분할하여 최적의 하이퍼파라미터를 찾고, 이를 전체 훈련 데이터에 적용하였다. 훈련이 완료된 모델에 한국과 중국 백자 태토 데이터 각각 118개와 28개를 테스트에 사용해 모델의 최종 성능을 평가하였다(Figure 2).

DT를 제외한 PCA-LDA와 KNN, SVM의 데이터에 feature scaling을 위해 MinMaxScaler를 통한 정규화(normalization) 과정을 적용하였다. MinMaxScaler는 각 특성값을 0과 1 사이의 범위로 조정하여, 모든 특성이 동일한 범위를 가지도록 하는 과정이다(Raju et al., 2020). 이는 데이터의 크기가 결과에 미치는 상대적 영향을 중화시켜, 모델의 성능과 수렴 속도를 개선하는 데 기여한다. PCA-LDA와 KNN, SVM은 특성의 크기에 민감하므로 정규화는 이러한 모델들의 성능 향상에 중요한 역할을 한다. 반면, DT 알고리즘은 특성 임계값(threshold)을 기준으로 노드를 나누기 때문에 특성의 크기에 영향을 덜 받는다. 이에 따라, 본 연구에서는 결과를 직관적으로 확인할 수 있도록 DT에 대해서는 정규화를 적용하지 않았다.

3. 연구결과

3.1. PCA-LDA 모델

그리드 탐색 적용 시 최적의 n_component는 8로, 기존 10개의 특성을 8개로 축소하였을 때 가장 좋은 분류 결과를 보여주었음을 의미한다. PCA-LDA 모델에서 해당 n_component를 적용했을 때, 예측 결과를 보여주는 혼동 행렬(confusion matrix)에서 확인할 수 있는 것과 같이(Figure 3), 훈련 데이터에서는 86.5% 그리고 테스트 데이터에서는 87.7%의 예측 정확도를 보여주었다.

중국 백자 데이터 대다수를 한국 백자로 오분류 하여 중국 백자 데이터의 예측 성능이 상당히 낮지만, 한국 백자 데이터는 대부분 분류에 성공하였다. 이는 훈련 및 테스트 샘플에서 공통적으로 나타났다. 특정 데이터에 대해 낮은 예측 정확도가 나오는 이유는 작은 표본 크기, 표본 유형의 다양성, 표본 전체와의 편차 등이 원인이 될 수 있다(Sun et al., 2020). 중국 데이터는 북부부터 남부까지 광범위한 지역에서 수집되었는데, 이 지리적 광범위성으로 인하여 한국 데이터와 비교하였을 때 유형 다양성이 증가하고 일관성이 감소하였다. 이로 인해 중국 백자의 분류 정확도가 상대적으로 낮은 것으로 보인다. PCA를 이용해 차원을 2개로 축소한 뒤 시각화한 결과(Figure 4), 한국 백자와 중국 백자 영역 간에 상당한 중첩이 있었으며, 중국 백자의 높은 분산을 확인할 수 있었다. 추가로 한국과 중국 데이터 수의 불균형이 모델의 예측 성능에 미치는 영향 또한 고려해야 한다. 따라서 PCA-LDA 기법은 중국 백자의 분류에 있어서 제한된 예측력을 보여주었으며, 이는 실제 응용에서도 모델의 예측 성능에 제약을 줄 수 있음을 시사한다.

3.2. DT 모델

그리드 탐색 방법을 활용하여 최적의 결정 트리 파라미터를 도출하였다. 분할 기준으로는 엔트로피(entropy)와 지니 계수(gini index) 중 지니 계수가 선택되었으며(Breiman, 1984), 최대 깊이(max depth)는 3에서 15 사이로 실험하였을 때 10이 가장 적합하였다. 지니 계수는 노드의 클래스 혼합도를 측정하여 불순도를 최소화하는 방식으로 노드를 분할한다. 깊이(depth)는 질문의 개수로 최대 10개의 질문을 통해 한국과 중국의 백자를 구분해 낼 수 있음을 의미한다. 첫 번째 노드는 특성 중 Yb를 기준으로 1.605를 임계값으로 사용하여 데이터를 분할하였다(Figure 5). 이를 통해 113개의 중국 백자 데이터 중 13개를 제외한 모든 데이터가 Yb 1.605 이상으로 관찰되었다. 13개의 백자 데이터 중 8개는 경덕진(景德鎭)에서 생산된 백자였지만, 임계값 이상의 값을 가지는 경덕진 생산 백자 또한 많아 특징적이라 하기는 어려웠다. 두 번째 노드는 Cu를 분류 기준으로 활용하였다. 노드는 서로에 대해 독립적으로, 다른 노드의 질문에 영향을 받지 않기 때문에 왼쪽과 오른쪽 가지로 나누어진 노드의 Cu 값이 각각 상이한 수치의 임계값을 가진 것을 확인할 수 있다.

이러한 분할 과정을 통해 백자의 원산지를 예측한 결과, 훈련 데이터에 대한 최종적인 분류에서는 지니 계수 0으로 불순물 없이 586개 시료 모두 예측에 성공하였다(Figure 6). 테스트 데이터의 경우에도, 중국산 1개와 한국산 4개에 대한 오분류가 발생하였지만, 비교적 높은 96.6%의 예측 정확도를 보였다.

3.3. KNN 모델

KNN 모델에서는 3부터 10까지 이웃(neighbor)의 개수를 설정한 뒤 그리드 탐색을 수행한 결과, 이웃의 개수가 3일 때 가장 높은 예측 정확도를 달성하였다. 이에 따라 해당 파라미터를 적용하였으며, 그 결과 훈련 데이터에서는 96.6%, 테스트 데이터에서는 한국과 중국 각각 하나의 샘플을 오분류 하여 98.6%의 예측 정확도를 달성하였다(Figure 7).

3.4. SVM 모델

SVM 모델의 최적화를 위하여 그리드 탐색 시 10의 제곱수를 기준으로 C는 0부터 1000까지, Gamma는 0.000001부터 100까지를 실험하였으며, 커널로는 선형 커널과 Radial Basis Function (RBF) 커널을 대상으로 하였다(Patle and Chouhan, 2013). 그 결과 RBF 커널과 C = 100, Gamma = 0.00001 조건일 때 가장 우수한 성능을 보였다. 해당 조건으로 학습 시 훈련 데이터에서는 96.8%의 예측 정확도를 보여주었고, 테스트 데이터에서는 한국 샘플 한 건 오분류로 예측 정확도 99.3%의 가장 높은 수치를 보였다(Figure 8).

3.5. 특성 중요도 분석 결과

MDI를 이용해 DT 분류에 사용된 특성의 중요도를 평가하였다(Figure 9). 분석 결과, Yb, Rb, Cu, Nd, La, Eu, Y, Ce, Dy, Sm 순으로 특성 중요도가 나타났다. 전체 분석 대상 원소 중에 Yb, Rb, Cu 등은 분류에 크게 기여하는 반면, Sm은 분류에 사용되지 않고 있음을 알 수 있다. 다만 새로운 훈련 데이터가 추가될 경우 재학습이 이루어지므로, 기여도는 변동될 가능성이 있다.

SHAP 분석 결과, KNN과 SVM은 분류 과정에서 10가지 특성 중 Rb를 가장 주요하게 활용한 것으로 나타났다(Figure 10). DT 모델에서도 Rb의 중요도가 높게 평가되었는데, PCA-LDA에서는 Rb 특성 중요도가 가장 낮게 측정되었다. 이는 PCA-LDA의 예측 성능이 다른 모델에 비해 상대적으로 낮게 나타나는 원인 중 하나일 수 있다. 이러한 결과를 통해 한국과 중국의 백자의 태토를 이용하여 생산지를 분류하는 데 있어 Rb 등의 원소가 주요한 판별 요소로 작용한다는 가설을 제시할 수 있다. Rb은 도자기의 생산지 판별에서 중요한 성분 중 하나로 활용된다(Wilke, 2016; Fischer and Hsieh, 2017b). 예를 들면, 베트남산과 비교하여 중국산 도자기가 높은 Rb 함량을 가지는 것으로 보고되었다(Simsek et al., 2015). 다만, 중국산 도자기 내에서도 함량의 차이가 있어 개별 원소의 함량 비교만으로는 산지를 단정할 수 없으므로(Yap, 1987; Zhao et al., 2013), 전반적인 성분들에 대한 고려가 필요하다. 또한, DT, KNN, SVM에서는 Sm, Eu, Dy가 다른 특성에 비해 상대적으로 적게 활용되어 예측 정확도가 높은 모델 간의 공통적인 양상을 보였다.

4. 결 론

본 연구는 한국과 중국 백자의 생산지 판별에 있어서 ICP 분석 데이터를 활용한 머신러닝 모델의 적용 가능성을 탐색하였다. 데이터 분석에는 Cu, Rb, Y, La, Ce, Nd, Sm, Eu, Dy, Yb 등 총 10개 원소의 함량이 활용되었다. 한국 백자 592개와 중국 백자 140개로 총 732개의 데이터가 사용되었다. 모델 적용 결과, 기존 통계적 기법으로 사용되던 PCA-LDA는 주성분 8개로 축소했을 때 87.7%의 예측 정확도를 보였다. DT는 최대 깊이 10에서 모든 훈련 데이터의 분류에 성공하였으며, 테스트 데이터에 대해서도 96.6%의 예측 정확도를 보였다. KNN은 이웃의 수를 3으로 설정했을 때 98.6%의 예측 정확도를, SVM은 RBF 커널과 함께 C = 100, Gamma = 0.00001로 설정했을 때 오분류 한 건으로 99.3%의 가장 높은 예측 정확도를 보였다. MDI와 SHAP value를 통해 분류에 사용된 특성의 중요도를 평가했을 때, 예측력이 다른 모델에 비해 낮은 PCA-LDA를 제외한 모든 머신러닝 모델에서 Rb가 주요한 요소로 사용되고 있었다. 반면 Sm, Eu, Dy는 낮은 특성 중요도를 보였다. DT는 그 구조상 비선형 구조와 복잡한 패턴을 처리하는 능력을 갖추고 있으며, KNN은 지역적 데이터 패턴을 기반으로 분류를 수행한다. SVM은 커널트릭을 활용하여 고차원 공간에서 비선형 분리 문제를 해결한다. PCA-LDA는 클래스 간 최대 분리를 목표로 한다. 선형적 관계가 가정될 때 우수한 성능을 발휘하지만, 데이터 구조가 복잡하거나 선형으로 분리되지 않는 상황에서는 성능이 저하될 수 있다. PCA-LDA가 비교적 낮은 예측 정확도를 보인 것은 이러한 성질에 기인하는 것으로 해석된다. 전반적으로 중국 백자의 분류 성능은 한국 백자와 비교해 뒤떨어지는 양상을 보이는데, 이는 지리적 광범위성에 의한 유형 다양성 증가와 높은 분산도가 원인일 가능성이 크다고 추정된다. 또한, 한국 백자 데이터와 비교해 중국 백자 데이터양이 적은 점도 주목할 필요가 있다. 머신러닝 모델의 성능은 대량의 데이터에 기반할 때 더욱 향상됨을 고려할 때, 충분한 양의 중국 백자 데이터를 확보한다면 예측 정확도를 향상할 수 있을 것으로 기대되며, 모든 클래스에 걸쳐 실효성 있는 분류 모델을 개발할 수 있을 것으로 예측된다.

본 연구결과는 한국과 중국의 백자 ICP 분석 데이터에 SVM과 같은 머신러닝 모델을 활용하여 개발한 판별법을 적용하면 원산지 판별에 유의미하게 기여할 수 있음을 시사한다. 그러나 동시에 몇 가지 한계점을 가진다. 첫째, 기존 데이터에 포함되지 않았던 새로운 지역에서 생산된 백자 데이터를 테스트 데이터에 포함한다면, 지도학습 알고리즘의 특성상 정확한 분류 성능을 보장할 수 없다는 한계를 가진다. 이러한 문제는 훈련 데이터의 다양성과 포괄성에 기인하는바, 추가적인 데이터 수집을 통해 다양한 가마터에 대한 정보를 훈련 데이터에 포함할 경우 더 정확한 분류 모델의 개발이 가능하리라 기대된다. 둘째, ICP를 이용한 태토 분석은 높은 정확도를 제공하는 반면, 시료 채취가 필요하다는 점에서 완형의 백자 분석에는 제한적이라는 단점을 가진다. 특히 가치 있는 도자기의 경우 이러한 방법이 적용되기 어렵다. 따라서 본 연구는 추후 파괴적인 시료 채취 없이도 미량원소를 검출할 수 있는 충분한 능력을 갖춘 장비를 활용한 데이터의 머신러닝 모델 적용 가능성을 탐색하는 것으로 확장이 필요하다. 추가로 본 연구에서 제외된 결측값을 가진 원소들까지 고려할 수 있도록 분류 모델을 개선하여 새로운 모델을 개발한다면, 더욱 정교하고 정확한 도자기 산지 판별 기법으로 활용할 수 있을 것이다. 또한, 한국과 중국 전통 백자 데이터셋을 구축하고 비교 연구함으로써, 전통 도자의 화학적 분석 데이터 아카이브에 기여한다는 의의를 가진다. 앞으로 더 많은 분석 데이터의 축적과 함께 머신러닝과의 연계가 활발하게 이루어진다면, 분석과학 분야에서 중요한 역할을 할 것으로 기대한다.

사 사

이 논문은 2022년도 중앙대학교 연구장학기금 지원에 의한 것임.

Figure 1.

Map of the locations of the white porcelain production sites. (a) Korea, (b) China.

Figure 2.

The configuration of the validation set and the training procedure.

Figure 3.

The confusion matrices of train and test samples for PCA-LDA model.

Figure 4.

PCA plot displaying the first two principal components extracted from the train and test samples of Korean and Chinese white porcelain.

Figure 5.

Visualization of DT classification results for Korean and Chinese white porcelain training data.

Figure 6.

The confusion matrices of train and test samples for DT model.

Figure 7.

The confusion matrices of train and test samples for KNN model.

Figure 8.

The confusion matrices of train and test samples for SVM model.

Figure 9.

MDI values of the DT model for Korean and Chinese white porcelain classification.

Figure 10.

SHAP values of Korean and Chinese white porcelain classification. (a) PCA-LDA, (b) KNN, (c) SVM.

REFERENCES

Abu Alfeilat, H.A., Hassanat, A.B., Lasassmeh, O., Tarawneh, A.S., Alhasanat, M.B., Eyal Salman, H.S. and Prasath, V.S., 2019, Effects of Distance Measure Choice on K-Nearest Neighbor Classifier Performance – A Review. Big Data, 7(4), 221–248.

Ahn, S.Y. and Hwang, H.S., 2013, Study of Material Characteristics by a Componential Analysis on the Whiteware from the Kiln of Chiljeon‐ri, Bangsan‐myeon, Yanggu‐gun. Journal of Conservation Science, 29(3), 261–277.

Anglisano, A., Casas, L., Anglisano, M. and Queralt, I., 2020, Application of Supervised Machine – Learning Methods for Attesting Provenance in Catalan Traditional Pottery Industry. Minerals, 10(1), 8.

Bartle, E.K. and Watling, R.J., 2007, Provenance determination of oriental porcelain using laser ablationinductively coupled plasma‐mass spectrometry (LA‐ICPMS). Journal of Forensic Sciences, 52(2), 341–348.

Breiman, L., 1984, Classification and Regression Trees, 1st ed. Routledge, New York, 368.

Bzdok, D., Altman, N. and Krzywinski, M., 2018, Statistics versus Machine Learning. Nature Methods, 15, 233–234.

Charbuty, B. and Abdulazeez, A., 2021, Classification based on decision tree algorithm for machine learning. Journal of Applied Science and Technology Trends, 2(1), 20–28.

Chen, T., Jing, Z. and He, N., 1999, Provenance studies of the earliest Chinese protoporcelain using instrumental neutron activation analysis. Journal of Archaeological Science, 26(8), 1003–1015.

Choi, K., 2001, Kiln site of Bangsan-dong : report on archeological excavation of Celadon & Koryo white porcelain kiln site at Bangsan-dong, Siheung-si, Kyonggi-do, Haegang Ceramics Museum, Gyeonggi-do, 343–381.

Cortes, C. and Vapnik, V., 1995, Support-vector networks. Machine Learning, 20, 273–297.

Dias, M.I., Prudêncio, M.I., De Matos, M.P. and Rodrigues, A.L., 2013, Tracing the origin of blue and white Chinese Porcelain ordered for the Portuguese market during the Ming dynasty using INAA. Journal of Archaeological Science, 40(7), 3046–3057.

Fischer, C. and Hsieh, E., 2017, Export Chinese blue-and-white porcelain: compositional analysis and sourcing using non-invasive portable XRF and reflectance spectroscopy. Journal of Archaeological Science, 80, 14–26.

Gang, G.I., 2003, Whiteware from the Official Kiln of Choseon Dynasty Period in Beoncheon-ri, Gwangju. Journal of Conservation Science, 12(1), 1–14.

Gyeonggi Ceramic Museum, 2007, White Porcelain Kiln Site In Hapan-ri, Gapyeong, Gyeonggi Ceramic Museum, Gyeonggi-do, 260–286.

Gyeonggi Ceramic Museum, 2008, White Porcelain Kiln Site No.18 in Sindae-ri, Gwangju, Gyeonggi Ceramic Museum, Gyeonggi-do, 148–155.

Gyeonggi Ceramic Museum, 2009, Ceramic Culture, Gyeonggi Ceramic Museum, Gyeonggi-do, 61–88. (in Korean)

Gyeonggi Ceramic Museum, 2013, White porcelain kiln sites no. 8 in Buncheon-ri and no. 2 in Sundong-ri, Gwangju-si, Gyeonggi Ceramic Museum, Gyeonggi-do, 310–346.

Gyeonggi Provincial Museum, 2008, Analytical Report of the Royal Kiln Complex at Gwangju in Gyeonggi Province, Gyeonggi Ceramic Museum, Gyeonggi-do, 16–277.

Han, M.S., 2006, Scientific provenance study for Goryeo celadon excavated from seabed. Ph.D. thesis, ChungAng University, Seoul, 49–52.

Kang, H.T., Lee, C. and Jae, W.M., 1989, A Study on the Classification of Korean Procelainshards by Neutron Activation Analysis. Bulletin of Environmental Sciences, 10, 29–35.

Katsuki, H., Chang, K.H., Kang, M.H., Lee, W.J., Lee, J.H., Kim, U.S., Han, K.S., Kim, J.H., Cho, W.S. and Hwang, K.T., 2019, Comparative study on old white porcelains produced in Gwangju(Korea) and Arita(Japan) in the 15th to 19th centuries. Journal of Archaeological Science: Reports, 27, 101927.

Laaksonen, J. and Oja, E., 1996, Classification with learning k-nearest neighbors. In: In Proceedings of International Conference on Neural Networks(ICNN’96); Washington. June 3-6, 3; 1480–1483.

Lee, B.H. and So, M.G., 2014, A Study on Chemical Composition and Firing Temperature of White Wares from the Guyre‐2ri Kiln Sites, Wonju. Journal of Conservation Science, 30(3), 249–261.

Lee, B.H. and So, M.G., 2015, Material Characteristics of White Wares from Yeongdong Province, Gangwon‐do – Gangneung and Donghae Kiln Sites. Journal of Conservation Science, 31(3), 181–192.

Lee, B.H., 2020, A Study on the Relationships between White Wares and Raw Materials Excavated at Goseong-ri Kiln Site in Chuncheon, Yeongseo Province, Gangwon-do. Journal of Conservation Science, 36(3), 152–161.

Lerman, P.M., 1980, Fitting Segmented Regression Models by Grid Search. Applied Statistics, 29(1), 77.

Li, B.P., Greig, A., Zhao, J.X., Collerson, K.D., Quan, K.S., Meng, Y.H. and Ma, Z.L., 2005, ICP-MS trace element analysis of Song dynasty porcelains from Ding, Jiexiu and Guantai kilns, north China. Journal of Archaeological Science, 32(2), 251–259.

Li, B.P., Zhao, J.X., Collerson, K.D. and Greig, A., 2003, Application of ICP-MS trace element analysis in study of ancient Chinese ceramics. Chinese Science Bulletin, 48, 1219–1224.

Li, Z., Doherty, C. and Hein, A., 2021, Rediscovering the largest kiln site in the middle Yangtze River Valley – Insights into Qingbai and grey-greenish ware production at Husi kiln site based on bulk chemical analysis. Archaeological and Anthropological Sciences, 13, 218.

Lundberg, S.M. and Lee, S.I., 2017, A unified approach to interpreting model predictions. Advances in Neural Information Processing Systems, 30, 4765–4774.

Ma, H., Zhu, J., Henderson, J. and Li, N., 2012, Provenance of Zhangzhou export blue-and-white and its clay source. Journal of Archaeological Science, 39(5), 1218–1226.

Maione, C., Barbosa, F. Jr and Barbosa, R.M., 2019, Predicting the botanical and geographical origin of honey with multivariate data analysis and machine learning techniques – A review. Computers and Electronics in Agriculture, 157, 436–446.

Nembrini, S., König, I.R. and Wright, M.N., 2018, The revival of the Gini importance? Bioinformatics, 34(21), 3711–3718.

Niziolek, L.C., 2015, A compositional study of a selection of Song Dynasty Chinese ceramics from the Java Sea Shipwreck – Results from LA-ICP-MS analysis. Journal of Indo-Pacific Archaeology, 35, 48–66.

Pal, M. and Mather, P.M., 2003, An assessment of the effectiveness of decision tree methods for land cover classification. Remote Sensing of Environment, 86(4), 554–565.

Park, H.S., 2002, Report on the Excavation of Gatjom-gol Jeonggak-ri site, Puyo, Chungcheong Institute of Cultural Heritage, Chungcheongnam-do, 159–178. (in Korean)

Patle, A. and Chouhan, D.S., 2013, SVM kernel functions for classification. In: In 2013 International Conference on Advances in Technology and Engineering (ICATE); Mumbai. January 23-25; 1–9.

Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., Vanderplas, J., Passos, A., Cournapeau, D., Brucher, M., Perrot, M. and Duchesnay, E., 2011, Scikit-learn – Machine Learning in Python. Journal of Machine Learning Research, 12, 2825–2830.

Raju, V.G., Lakshmi, K.P., Jain, V.M., Kalidindi, A. and Padma, V., 2020, Study the influence of normalization/transformation process on the accuracy of supervised classification. In: In 2020 Third International Conference on Smart Systems and Inventive Technology (ICSSIT); Tirunelveli. August 20-22; 729–735.

Ruschioni, G., Malchiodi, D., Zanaboni, A.M. and Bonizzoni, L., 2023, Supervised learning algorithms as a tool for archaeology – Classification of ceramic samples described by chemical element concentrations. Journal of Archaeological Science: Reports, 49, 103995.

Ryu, J.M., 2004, A Study on Guidance of Understanding about Chosun White Porcelain. Journal of Art Education, 15, 33–57. (in Korean)

Seoul Museum of History, 2006, The Kiln Sites and Ceramic of Seoul, 250–277.

Simsek, G., Colomban, P., Wong, S., Zhao, B., Rougeulle, A. and Liem, N.Q., 2015, Toward a fast non-destructive identification of pottery – The sourcing of 14th–16th century Vietnamese and Chinese ceramic shards. Journal of Cultural Heritage, 16(2), 159–172.

Sun, H., Liu, M., Li, L., Yan, L., Zhou, Y. and Feng, X., 2020, A new classification method of ancient Chinese ceramics based on machine learning and component analysis. Ceramics International, 46(6), 8104–8110.

Tharwat, A., 2016, Principal component analysis-a tutorial. International Journal of Applied Pattern Recognition, 3(3), 197–240.

Trindade, M.J., Dias, M.I., Rocha, F., Prudêncio, M.I. and Coroado, J., 2011, Bromine volatilization during firing of calcareous and non-calcareous clays – Archaeometric implications. Applied Clay Science, 53, 489–499.

Tripati, S., Parthiban, G., Pattan, J.N. and Menezes, A., 2017, Chemical composition and provenance of Chinese porcelain shards recovered from Old Goa, west coast of India. Journal of Archaeological Science: Reports, 14, 467–478.

Wang, M., Zhu, T.Q., Zhang, W.X., Mai, D.A. and Huang, J.B., 2020, Provenance of Qingbai wares from Shabian kiln archaeological site in the Northern Song dynasty(960–1127 ce) using XRF and LA‐ICP‐MS. Archaeometry, 62(3), 538–549.

Wilke, D., Rauch, D. and Rauch, P., 2016, Is Non-destructive Provenancing of Pottery Possible With Just a Few Discriminative Trace Elements? STAR: Science & Technology of Archaeological Research, 2(2), 141–158.

Xu, W., Yang, Z., Chen, L., Cui, J., Dussubieux, L. and Wang, W., 2021, Compositional analysis below the production region level – A case study of porcelain production at Dehua, Fujian, China. Journal of Archaeological Science, 135, 105481.

Yap, C. T., 1987, Non-destructive Spectrometric Determination of Trace Element Concentration of Rubidium, Strontium, Yttrium Zirconium and Niobium in Ceramics. Zeitschrift für Naturforschung A, 42(11), 1253–1256.

Zhao, H., Guo, B., Wei, Y. and Zhang, B., 2013, Multi-element composition of wheat grain and provenance soil and their potentialities as fingerprints of geographical origin. Journal of Cereal Science, 57(3), 391–397.

Zhu, T., Wang, C., Li, Y., Mao, Z., Chen, J., Hou, D., Wang, L. and Chen, L., 2006, Research on the Characteristics of Chemical Elements in Chinese Ancient Bluish-white Porcelains from Different Kilns. Rock and Mineral Analysis, 25(2), 114–118. (in Chinese)