본문 바로가기

파이썬6

Python으로 개인정보 가명 처리하기 (SHA-256) SNS 사용 증가와 데이터 기반 서비스가 많이 출시되면서 개인정보 가명 처리의 중요성이 높아지고 있습니다. 개인정보 가명화는 개인정보를 다른 형태로 변환해서 개개인을 특정할 수 없게 만드는 것을 의미합니다. 금융 및 증권회사에서는 고객의 개인정보를 엄격하게 감독 및 관리하고 있습니다. 개인의 신상 정보와 신용 정보는 매우 민감한 데이터이기 때문에, 이러한 데이터는 가명화처리를 해서 사용을 하고 있습니다. 데이터 가명처리 방법 데이터는 여러가지 방법으로 가명처리를 할 수 있습니다. 1. 일반화/범주화 일반화는 개인정보의 특정 부분을 대표하는 일반적인 값으로 대체하는 방법입니다. 대표적인 예시가 나이 입니다. 구체적인 나이 대신 10대, 20대, 30대로 변환을 한다면 개인의 나이에 대한 대략적인 정보는 유.. 2023. 3. 16.
[Tips] Python스럽게 코드 작성하기 코딩을 하다 보면 다른 사람의 코드를 참고하는 경우도 많고, 다른 사람이 작업하는 코드를 인수인계받아서 관리해야 하는 일도 생깁니다. 또한 오래전에 작성한 코드를 다시 뜯어봐야 하는 일도 종종 생깁니다. 코드 줄 수와는 무관하게 읽기 쉬운 코드가 있는 반면, 직접 하나씩 돌려봐야 이해가 가는 코드도 있습니다. 읽기 쉽고 이해가 잘되는 코드는 대부분 주석을 세밀하게 잘 작성한 경우이며, 주석이 없어도 코드 자체가 깔끔하고 읽기 편한 스타일이 있습니다. 회사에서 코딩을 하는 분이라면 이러한 경험들을 많이 해보셨을 것 같습니다. 코드가 얼마나 이해하기 쉽고 효율적으로 짜였는지에 따라 그날의 야근 여부가 결정되기도 합니다 ㅎㅎ 그래서 오늘은 가독성이 좋고 효율적으로 코드를 작성하는 방법에 대해 포스팅을 하기로 .. 2023. 3. 12.
[Snippet] 상황별 Tuple, List 변환 방법 최근에 NER 태깅 작업을 하면서 tuple과 list를 변환하는 작업을 많이 반복하게 되어 포스팅을 작성하게 되었습니다. 매번 구글링을 통해서 코드를 찾아내서 복붙하고 수정하는 과정 조차 귀찮아지게 되어서 이번 기회에 아예 정리를 해보려고 합니다. 1. Tuple로 구성된 List를 하나의 List로 변환 ex. [('A',100), ('B',200), ('C',300), ('D',400), ('E',500)] => ['A', 100, 'B', 200, 'C', 300, 'D', 400, 'E', 500] # Tuple로 된 list lst = [('A',100), ('B',200), ('C',300), ('D',400), ('E',500)] # 모든 element를 하나의 list로 변환 ## 방법 .. 2023. 3. 10.
[Snippet] 자주 사용하는 List, Dictionary 기능 코드 작성을 하다 보면 항상 잊어버리거나 기억이 잘 나지 않는 기능들이 있습니다. 우리나라 말을 할 때도 가끔 단어가 생각이 안 날 때처럼 말이죠 ㅎㅎ 괜히 코딩하는 사람들이 구글을 "신"이라고 하는 게 아닙니다. ChatGPT가 마이크로소프트의 검색엔진 Bing에 잘 탑재만 된다면 앞으로 개발 생산성은 더더욱 향상될 것 같습니다. 얘기가 조금 샜는데, 회사에서나 취미로나 코딩을 할 때 자주 까먹는 기능들이 있습니다. List안에 있는 List를 하나의 List로 병합한다던지, Dictionary 안에 있는 키 값들을 어떻게 정렬하는지 등 자주 사용하지만 매번 외우는 데는 실패하는 코드들이 있습니다. 따라서 이번 포스트에서는 자주 사용하는 List와 Dictionary 기능들에 대해 정리하려고 합니다. .. 2023. 2. 9.
[NLP] 정규표현식을 활용한 전처리 및 데이터 추출 제가 군대에 있었던 시절, 빅데이터라는 단어가 큰 화두였습니다. 그리고 약 10년 정도가 지난 2023년에서 빅데이터는 이제 익숙해진 단어의 반열에 든 것 같습니다. 하지만, 빅데이터의 80%이상은 비정형 데이터가 될 것이라는 사실을 많은 사람들은 아직 모르고 있습니다. IBM의 리포트에 의하면 2025년 까지 대부분의 데이터는 비정형 데이터가 차지할 것이라 합니다. 비정형 데이터의 대부분은 텍스트, 이미지, 영상, 음원 등으로 특별한 틀이 잡혀있지 않습니다. 그렇게 때문에 빅데이터 분석의 가장 핵심적인 부분은 모델링이 아닌 전처리입니다. 비정형 데이터를 정형화 하고 의미있는 데이터로 변형 및 처리해서 사용할 수 있게끔 만드는 작업을 전처리 작업이라고 합니다. 정부에서도 적극 지원 중이며, 떠오르는 부업.. 2023. 1. 29.
[API] DALL·E 2 Python으로 사용해보기 ChatGPT를 개발한 OpenAI는 작년 4월에 Text to Image 모델인 DALL·E 2도 공개한 적이 있습니다. 최근에 그림을 그려주는 AI와 사진을 아니메 (Anime) 풍으로 변환을 해주는 각종 필터가 유행을 하고 있어서 이미지와 관련된 AI는 놀랍게 느껴지진 않을 수 있습니다. 하지만 단순한 설명만으로 저작권 없는 고퀄리티 이미지를 생성할 수 있기 때문에 아트 업계 쪽에서는 큰 위협이 될 수 도 있습니다. 개인적으로 AI가 불러오는 disruptive innovation의 가장 첫 번째 분야는 예술이 아닐까 싶습니다. OpenAI 홈페이지에서 체험을 하시려면 아래의 링크를 참고하시면 됩니다 DALL·E Experiment with DALL·E, an AI system by OpenAI l.. 2023. 1. 25.
반응형