트랜잭션 기반 데이터 사전 (Transactional Data Dictionary)

MySQL 8.0에서는 메타데이터 관리 방식을 획기적으로 개선한 ‘트랜잭션 기반 데이터 사전(Transactional Data Dictionary)’을 도입하였습니다. 이전 버전의 MySQL에서 테이블 정의나 스키마 정보 등의 메타데이터는 OS 파일 시스템(예: .frm 파일)이나 다양한 파일 형태로 분산 관리되었습니다. 이러한 파일 기반 접근 방식은 파일 손상, 권한 문제, 비일관성 등의 문제를 야기하였고, 결과적으로 메타데이터 관리가 복잡하고 까다로웠습니다.

MySQL 8.0은 이러한 문제를 근본적으로 해결하기 위해 중앙 집중식 트랜잭션 기반 데이터 사전을 도입하였고, 이를 통해 모든 메타데이터 정보를 InnoDB 스토리지 엔진의 트랜잭션 테이블로 관리하게 되었습니다. 이제 DDL 문장 역시 트랜잭션 성격을 가지므로, 원자성(Atomicity)과 일관성(Consistency)이 보장되고, 백업 및 복구 과정 또한 단순화됩니다.

1. 이전 메타데이터 관리 방식의 한계

MySQL 5.7 이하 버전에서는 테이블 정의가 .frm 파일로, 파티션 정보나 기타 메타데이터가 별도의 파일로 관리되었습니다. 이런 파일 기반 메타데이터 관리의 문제점은 다음과 같습니다.

• 파일 손상 및 동기화 문제: DDL 수행 시 파일 손상이나 불일치 현상이 발생할 수 있었습니다.
• 원자성 및 일관성 부족: 파일 시스템에 의존하기 때문에 메타데이터 변경에 트랜잭션 개념을 적용하기 어려웠습니다.
• 복잡한 관리 포인트: 다양한 형태의 파일들이 분산되어 존재하므로 백업, 복구, 이식성 측면에서 비효율적이었습니다.

2. 트랜잭션 기반 데이터 사전의 개념

MySQL 8.0의 트랜잭션 기반 데이터 사전은 메타데이터를 InnoDB 테이블 내부에 저장하고 트랜잭션 단위로 관리함으로써 다음과 같은 개선을 이뤄냅니다.

• 중앙 집중식 관리: 모든 메타데이터를 InnoDB 테이블(mysql.ibd) 안에 저장하여 파일 의존도를 제거합니다.
• 트랜잭션 특성 적용: DDL 변경 역시 트랜잭션 커밋을 통해 일관성을 확보하고, 필요시 롤백이 가능해집니다.
• 일관성 및 무결성 향상: 메타데이터 불일치 문제를 크게 줄이고, 안정적인 데이터베이스 운영을 지원합니다.

3. OS 상에서의 파일 구조 변화 예시

MySQL 5.7 이전 (파일 기반 메타데이터)

아래는 MySQL 5.7에서 employees 테이블을 예로, 데이터 디렉토리 내 메타데이터 파일 확인 예시입니다.

cd /var/lib/mysql/your_database/
ls -l

출력 예시 (MySQL 5.7):

[mysql@JilDB1 datadir]$ ls -l *
...
idms:
합계 36220
-rw-rw---- 1 mysql mysql   4691  8월 23  2021 abs_area_cd.frm
-rw-rw---- 1 mysql mysql 147456  8월 23  2021 abs_area_cd.ibd
-rw-rw---- 1 mysql mysql   4439  8월 23  2021 abs_area_pbhlth_stdr.frm
-rw-rw---- 1 mysql mysql 131072  8월 23  2021 abs_area_pbhlth_stdr.ibd
-rw-rw---- 1 mysql mysql   1787  8월 23  2021 abs_area_pbhlth_stdr_dtl.frm
-rw-rw---- 1 mysql mysql  98304  8월 23  2021 abs_area_pbhlth_stdr_dtl.ibd
...
mysql:
합계 3028
-rw-rw---- 1 mysql mysql    8192  1월  5  2021 column_stats.MYD
-rw-rw---- 1 mysql mysql    8192  1월  5  2021 column_stats.MYI
-rw-rw---- 1 mysql mysql    2600  1월  5  2021 column_stats.frm
-rw-rw---- 1 mysql mysql    8192  1월  5  2021 columns_priv.MYD
-rw-rw---- 1 mysql mysql    8192  1월  5  2021 columns_priv.MYI
-rw-rw---- 1 mysql mysql    2108  1월  5  2021 columns_priv.frm
...

여기서 .frm 파일은 테이블 정의를 담고 있습니다. 테이블마다 .frm 파일이 존재했고, MyISAM을 사용할 경우 .MYI, .MYD 파일 등 다양한 파일 형태가 난립하였습니다.

MySQL 8.0 이후 (트랜잭션 기반 데이터 사전)

MySQL 8.0에서는 .frm 파일이 사라지고, 모든 메타데이터가 InnoDB 테이블(mysql.ibd)에 저장됩니다. 더 이상 OS 레벨에서 테이블 정의를 나타내는 별도 파일을 찾을 수 없습니다.

cd /var/lib/mysql/your_database/
ls -l

출력 예시 (MySQL 8.0):

[mysql@MySQL8032 minhang]$ ls -l
total 536144
-rw-r----- 1 mysql mysql 432013312 Nov 27 10:27 aaa.ibd
-rw-r----- 1 mysql mysql  96468992 Nov 22 19:17 bbb.ibd
-rw-r----- 1 mysql mysql    114688 Nov 23 17:39 ccc.ibd
-rw-r----- 1 mysql mysql    114688 Nov 30 23:24 customers.ibd
-rw-r----- 1 mysql mysql    114688 Nov 25 02:46 departments.ibd
-rw-r----- 1 mysql mysql    131072 Nov 25 01:03 employees.ibd
-rw-r----- 1 mysql mysql    114688 Nov 23 21:22 event_schedule.ibd
-rw-r----- 1 mysql mysql    114688 Nov 30 22:34 inventory.ibd
-rw-r----- 1 mysql mysql    114688 Nov 24 23:59 invi_test.ibd
-rw-r----- 1 mysql mysql    114688 Nov 24 23:58 nopk_test.ibd
-rw-r----- 1 mysql mysql    131072 Nov 30 23:24 orders.ibd
-rw-r----- 1 mysql mysql  18874368 Apr  4  2024 pic_check.ibd
-rw-r----- 1 mysql mysql    131072 Apr  4  2024 pic_diff.ibd
-rw-r----- 1 mysql mysql    114688 Nov 30 22:29 products.ibd
-rw-r----- 1 mysql mysql    114688 Nov 24 21:09 spatial_table.ibd
-rw-r----- 1 mysql mysql    114688 Nov 25 02:03 test1.ibd
-rw-r----- 1 mysql mysql    114688 Apr  4  2024 test2.ibd

.frm 파일이 존재하지 않으며, 테이블 정의 등 메타데이터는 중앙 집중식으로 관리됩니다.

mysql 시스템 데이터베이스를 살펴보면 다음과 같이 단일 mysql.ibd 파일에 메타데이터가 통합되어 있음을 확인할 수 있습니다.

cd /var/lib/mysql/
ls -l

출력 예시:

[mysql@MySQL8032 datadir]$ ls -l *ibd
-rw-r----- 1 mysql mysql 26214400 Dec 13 15:57 mysql.ibd

이와 같이 MySQL 8.0에서는 더 이상 파일 기반 메타데이터 관리로 인한 복잡성과 비일관성이 발생하지 않으며, 모든 메타데이터는 InnoDB 스토리지 엔진을 통해 일관적으로 관리됩니다.

4. 주요 장점

1. 일관성 및 무결성 확보:
   모든 메타데이터 변경이 트랜잭션으로 처리되므로, DDL 실행 중 문제 발생 시 이전 상태로 안전하게 롤백 가능합니다.
2. 백업 및 복구 간소화:
   메타데이터를 포함한 모든 정보가 InnoDB 테이블 내부에 있으므로, InnoDB 전용 백업 도구를 활용해 일관된 시점에 백업할 수 있으며, 복구도 간소화됩니다.
3. 유연한 기능 확장 기반 마련:
   중앙 집중식 데이터 사전을 통해 향후 메타데이터 관리 및 권한 제어, 모니터링, 성능 최적화 등의 기능 확장이 더 쉬워집니다.
4. DDL 및 DML 간 유사성 증가:
   DDL 또한 트랜잭션 특성을 가지므로, 롤백 가능하고 ACID를 만족하는 스키마 변경 작업이 가능합니다.

5. 마이그레이션 시 고려사항

MySQL 5.7 이하 버전에서 MySQL 8.0으로 업그레이드할 경우 기존 파일 기반 메타데이터를 새로운 트랜잭션 기반 데이터 사전으로 자동 변환합니다. 이 과정에서 전체 백업, 테스트 환경에서의 사전 검증, 호환성 점검 등의 준비가 필요합니다.

정리

트랜잭션 기반 데이터 사전은 MySQL 8.0에서 도입된 핵심적인 개선 사항으로, 이전 파일 기반 메타데이터 관리의 한계를 극복하고 메타데이터를 InnoDB 스토리지 엔진을 통해 일관성 있고 트랜잭션적으로 관리할 수 있게 합니다. 이를 통해 메타데이터 관리의 복잡성을 크게 감소시키고, 데이터베이스 운영의 안정성과 확장성을 한층 강화할 수 있습니다. 업그레이드를 고려하거나 새로운 환경을 구성 중이라면 이 기능을 적극 활용해 더욱 강건한 MySQL 운영 환경을 구축해 보시기 바랍니다.