- 최창범 교수님
- 20201753 장재혁
- 20211868 권정은
-
- 데이터3법 개정 이후, 개인정보의 가명처리 및 통합분석이 가능해지면서 가명정보를 활용한 데이터 결합 및 재사용이 논의되고 있다.
- 데이터 경제가 발전함에 따라 기관·기업 간 데이터 결합은 데이터의 가치 극대화와 AI학습용 데이터 생성, 정책·산업 분석 등 다양한 활용 가능성을 제공한다.
- 특히, 서로다른 출처의 데이터결합시 단일 데이터로는 얻기 어려운 인사이트를 도출할 수 있으며, 이는 여러 분야에서 혁신적 가치를 창출한다.
- 현재 데이터 결합 환경은 이미지, 로그 등 비정형 데이터의 결합보다 정형데이터 결합이 구조적으로 안정적이고 정확도가 높아 결합 자동화에 적합하다. 따라서, 데이터 결합 과정의 효율성과 신뢰성을 확보하기위해 정형데이터 결합을 중심으로 결합키 탐지, 생성, 결합 및 가명처리 과정의 자동화를 구현한다.
-
- 현재 가명정보 결합절차는 “개인정보 보호법” 제 28조 7항에 따라 결합 전문기관을 거쳐야 하는 다단계 승인 및 검증 구조로 이루어져있다. 이 과정은 결합 신청 및 검토, 결합 목적과 결합키 결정을 위한 신청자간의 협의, 결합 전문기관과 결합키 관리기관에 데이터 전달, 각 기관에서의 처리 후 반출심사를 거쳐 산출물이 제공된다. 이러한 절차를 거치면 평균 310일이 소요된다. 복잡한 과정과 긴 소요시간 때문에 데이터 결합의 가치창출이 저해되고 있다. 개인정보위가 실시한 2024년 개인정보 보호 및 활용 조사에 따르면, 최근 1년 내 가명정보를 제공한 경험이 있는 공공기관은 전체 응답 기관의 2% 수준에 그쳤다.
-
- 결합키 검출 및 생성
- 정형 데이터 내에서 일관성과 고유성을 분석하여 결합 가능성이 높은 컬럼을 자동탐지한 후 sha-256알고리즘을 통하여 결합키를 생성한다.
- 결합
- 결합키를 이용하여 서로 다른 데이터셋을 자동으로 매칭 및 결합을 수행한다.
- 가명처리
- 식별 가능성이 존재하는 데이터에 대해 가명처리를 수행할 수 있다.
- 파일 변환
- csv,excel,json 등 다양한 포맷 간 변환을 지원하여 개인 맞춤 분석 환경을 제공한다.
- 메시지 브로커
- 결합 모듈 간 비동기 데이터를 중계하며, 프로세스 간 통신 효율성과 실시간성을 높였다. 자체 설계 및 개발하여 결합 요청과 처리 간의 병렬화, 데이터 결합 및 가명처리 모듈간의 비동기 통신, 고성능 큐 기반의 안정적 데이터 흐름 관리를 가능하게 하였다.
- 결합키 검출 및 생성
-
-
두 임의의 정형데이터를 대상으로 결합 수행하였을 때, 데이터 A: {이름, 주민등록번호 전화번호 주소지 차량번호}, 데이터 B: {성명, 주민번호, 주소, 전화번호 이동동선(통신사)}
4개의 공통된 컬럼을 결합키로 지정하였으며, 이를 기반으로 결합을 수행하였다. -
결합수행결과 (가명처리 미적용)
-
시스템 아키텍처
-
-
- 기존 결합 시스템 이용시 신청자간의 협의, 결합 전문기관과 결합키 관리기관에 데이터 전달, 각 기관에서의 처리 후 반출심사를 거쳐 산출물이 제공되어 평균 310일이 소요되나, 본 플랫폼을 이용하게 되면, 마지막 절차인 반출심사만을 거치면 신청자에게 바로 전달가능하다.
-
- 직접 개발한 하이브리드 메시지 브로커는 메모리기반 큐와 디스크 기반 큐를 함께 개발하여 고성능·내구성 신뢰성을 모두 확보하였다.
- 메시지브로커 아키텍처
-
- 결합된 데이터는 사용자의 분석환경에 맞추어 다양한 파일 포맷으로 변환가능하다. 이를 통해 사용자는 자체 분석 도구, 시각화 시스템 등 개인 구축환경에서 데이터를 자유롭게 활용할 수 있다.
-
- 결합 및 가명처리 과정이 모두 시스템 내부에서 자동으로 수행되므로, 개인정보 유출이 감소한다. 이는 전문기관 또는 폐쇄망 환경 내에서의 안전한 데이터 결합 체계 구현에 기여한다.
-
- 인공지능 기반 실시간 민감정보 인식 알고리즘(권정은)
- 데이터의 활용 및 유통 활성화를 위한 실시간 가명정보 처리 플랫폼의 설계 및 구현(장재혁)