Python으로 개인정보 가명 처리하기 (SHA-256)

SNS 사용 증가와 데이터 기반 서비스가 많이 출시되면서 개인정보 가명 처리의 중요성이 높아지고 있습니다. 

개인정보 가명화는 개인정보를 다른 형태로 변환해서 개개인을 특정할 수 없게 만드는 것을 의미합니다. 

금융 및 증권회사에서는 고객의 개인정보를 엄격하게 감독 및 관리하고 있습니다. 개인의 신상 정보와 신용 정보는 매우 민감한 데이터이기 때문에, 이러한 데이터는 가명화처리를 해서 사용을 하고 있습니다. 

 

데이터 가명처리 방법

데이터는 여러가지 방법으로 가명처리를 할 수 있습니다.

 

1. 일반화/범주화
일반화는 개인정보의 특정 부분을 대표하는 일반적인 값으로 대체하는 방법입니다. 대표적인 예시가 나이 입니다.

구체적인 나이 대신 10대, 20대, 30대로 변환을 한다면 개인의 나이에 대한 대략적인 정보는 유지하면서도, 실제 나이는 노출하지 않을 수 있습니다.

2. 익명화
익명화는 개인정보를 완전히 삭제하거나, 익명화된 새로운 값으로 대체하는 방법입니다. 예를 들어, 이름을 별표(*)로 대체하는 경우 입니다. 

3. 대체 토큰 생성 / 일련번호 생성
고객 식별 번호를 일련번호로 대체하여 개인정보를 가명화할 수 있습니다. 이를 통해 개인의 실제 정보를 유지하면서도, 개인을 식별할 수 없는 형태로 변환할 수 있습니다.

4. 노이즈 추가
노이즈 추가는 데이터에 임의의 노이즈를 추가하여 왜곡시키는 방법입니다. 예를 들어, 개인의 소득 정보에 임의의 숫자를 더하거나, 빼서 원래 정보를 왜곡하는 방법이 있습니다. 커뮤니티나 SNS에 인증 사진을 올릴 때, 개인정보를 가리거나 색칠해서 올리는 경우가 대표적인 예시입니다.

 

SHA (Secure Hash Algorithm)

 

SHA는 데이터를 가명처리하는데 사용되는 암호화 기술 중 하나입니다. 주로 대용량 데이터의 암호화에 사용되며, 단방향 변환 알고리즘이기 때문에 암호화된 값은 역으로 복호화 하거나 추적하는 것이 거의 불가능합니다. 암호화 전의 값과 암호화 된 이후의 값을 표의 형태로 미리 저장한다면 (이를 레인보우 테이블 이라고 합니다) 가능한 얘기이지만, 외부인이 모든 경우에 수에 대해 SHA 값을 계산하고 저장하는 것은 매우 어렵습니다. 출력된 값을 한번에 암호화 할 수 있는 데이터의 길이 또한 최대 약 18EB(엑사바이트)로 거의 300페이지 짜리 책 30조 권 정도가 됩니다. 

SHA256

 

Python으로 구현하기

Python으로 데이터 가명화를 하는 방법은 매우 간단합니다. 내장된 라이브러리인 hashlib을 사용하면 됩니다.

솔트값(Salt) 값은 SHA256 값에 랜덤한 노이즈를 추가하는 값이라고 이해하시면 될 것 같습니다. 동일한 입력값이라도 서로 다른 솔트값을 사용하면 출력값이 달라지게 됩니다. 이는 레인보우 테이블 공격(Rainbow Table Attack) 등을 방지하여 보안성을 강화하는데 사용됩니다.

import os
import pandas as pd
from hashlib import sha256

# 데이터프레임 설정
pd.set_option('display.max_columns', None)
pd.set_option('display.expand_frame_repr', False)
pd.set_option('max_colwidth', -1)


def SHA(text, salt=None):
    # 문자열을 바이트 문자열로 변환
    byte_str = text.encode('utf-8')

    # hashlib 라이브러리의 SHA-256 해시 함수를 호출
    hash_obj = sha256()

    # 솔트값이 있다면 해시 함수에 추가 입력값으로 제공
    if salt:
        salt_bytes = salt.encode('utf-8')
        byte_str += salt_bytes

    # 입력값을 해시 함수에 입력하여 출력값을 생성
    hash_obj.update(byte_str)

    # 출력값을 16진수 문자열로 변환하여 반환
    return hash_obj.hexdigest()

# 솔트값 생성 함수
def generate_salt(length=16):
    return os.urandom(length).hex()

def data_hash(text, salt=None):
    salt = generate_salt() # 무작위 솔트값 생성
    hashed_str = SHA(text, salt)
    return hashed_str

# 매핑값을 저장하는 것은 보안 상 매우 취약합니다. 예시로만 보시길 바랍니다
hash_table = pd.DataFrame(["Hello World", "Hello World!", "Hello People"], columns=["데이터 원본"])
hash_table['SHA256 가명처리'] = hash_table['데이터 원본'].apply(lambda x: data_hash(x))

hash_table

 

SHA 변환 결과물