본문 바로가기

💻 IT·기술·통계38

Python으로 개인정보 가명 처리하기 (SHA-256) SNS 사용 증가와 데이터 기반 서비스가 많이 출시되면서 개인정보 가명 처리의 중요성이 높아지고 있습니다. 개인정보 가명화는 개인정보를 다른 형태로 변환해서 개개인을 특정할 수 없게 만드는 것을 의미합니다. 금융 및 증권회사에서는 고객의 개인정보를 엄격하게 감독 및 관리하고 있습니다. 개인의 신상 정보와 신용 정보는 매우 민감한 데이터이기 때문에, 이러한 데이터는 가명화처리를 해서 사용을 하고 있습니다. 데이터 가명처리 방법 데이터는 여러가지 방법으로 가명처리를 할 수 있습니다. 1. 일반화/범주화 일반화는 개인정보의 특정 부분을 대표하는 일반적인 값으로 대체하는 방법입니다. 대표적인 예시가 나이 입니다. 구체적인 나이 대신 10대, 20대, 30대로 변환을 한다면 개인의 나이에 대한 대략적인 정보는 유.. 2023. 3. 16.

[Tips] Python스럽게 코드 작성하기 코딩을 하다 보면 다른 사람의 코드를 참고하는 경우도 많고, 다른 사람이 작업하는 코드를 인수인계받아서 관리해야 하는 일도 생깁니다. 또한 오래전에 작성한 코드를 다시 뜯어봐야 하는 일도 종종 생깁니다. 코드 줄 수와는 무관하게 읽기 쉬운 코드가 있는 반면, 직접 하나씩 돌려봐야 이해가 가는 코드도 있습니다. 읽기 쉽고 이해가 잘되는 코드는 대부분 주석을 세밀하게 잘 작성한 경우이며, 주석이 없어도 코드 자체가 깔끔하고 읽기 편한 스타일이 있습니다. 회사에서 코딩을 하는 분이라면 이러한 경험들을 많이 해보셨을 것 같습니다. 코드가 얼마나 이해하기 쉽고 효율적으로 짜였는지에 따라 그날의 야근 여부가 결정되기도 합니다 ㅎㅎ 그래서 오늘은 가독성이 좋고 효율적으로 코드를 작성하는 방법에 대해 포스팅을 하기로 .. 2023. 3. 12.

[Snippet] 상황별 Tuple, List 변환 방법 최근에 NER 태깅 작업을 하면서 tuple과 list를 변환하는 작업을 많이 반복하게 되어 포스팅을 작성하게 되었습니다. 매번 구글링을 통해서 코드를 찾아내서 복붙하고 수정하는 과정 조차 귀찮아지게 되어서 이번 기회에 아예 정리를 해보려고 합니다. 1. Tuple로 구성된 List를 하나의 List로 변환 ex. [('A',100), ('B',200), ('C',300), ('D',400), ('E',500)] => ['A', 100, 'B', 200, 'C', 300, 'D', 400, 'E', 500] # Tuple로 된 list lst = [('A',100), ('B',200), ('C',300), ('D',400), ('E',500)] # 모든 element를 하나의 list로 변환 ## 방법 .. 2023. 3. 10.

[API] ChatGPT Python으로 사용해보기 - Part.2 회사 업무에 치여 정말 오랜만에 포스팅을 하는 것 같습니다 ㅎㅎ... 몇 달 전 쯤에 ChatGPT 관련 포스팅을 한 적이 있습니다. 당시에는 API가 공개되지 않아 GPT 3.0 버전인 InstructGPT로 대신 사용을 했었고, 다른 분들도 Reverse Engineering을 하거나 브라우저 세션으로 접근하는 방식으로 사용을 해왔던 것으로 보입니다. 하지만, 이제 그럴 필요가 없어졌습니다. ChatGPT의 API 버전이 3월 1일에 공개가 되었습니다. Introducing ChatGPT and Whisper APIs Developers can now integrate ChatGPT and Whisper models into their apps and products through our API. o.. 2023. 3. 8.

[NLP] lexrankr로 3줄 요약해보기 이번 포스팅에서는 lexrankr을 사용해서 장문의 텍스트를 3줄로 요약해 보도록 하겠습니다. 가장 만만한 뉴스 데이터를 샘플로 넣어서 결과가 어떻게 나오는지 보여드리겠습니다. 그전에 lexrank에 대해 간단하게 다뤄보도록 하겠습니다. lexrank lexrank는 이 논문에서 처음 등장했습니다. 간단하게 설명하자면 구글의 검색엔진에 적용되었던 PageRank라는 알고리즘을 문서 요약에 적용을 한 것이 lexrank입니다. 어떤 웹사이트의 URL이 다른 웹사이트에서 링크가 많이 걸렸다면 영향력이 높다고 판단할 수 있습니다. 그리고 링크를 건 페이지의 영향력이 클수록 링크를 받은 페이지 또한 영향력이 높다고 볼 수 있습니다. 많은 사람들의 존경을 받는 학자가 어떤 사람을 칭찬하면, 칭찬받는 사람의 권위가.. 2023. 2. 15.

[웹크롤링 3탄 - 上] requests-html을 활용한 네이버 뉴스 가져오기 이전 포스팅에서는 requests와 selenium으로 크롤링하는 법에 대해 소개를 했습니다. [웹크롤링 1탄] requests와 bs4를 활용한 레시피 목록 크롤링 회사에서 혹은 개인 프로젝트를 진행할 때 데이터를 크롤링해 오는 경우가 종종 있습니다. 제품 데이터를 가져온다던지, 최근 2년 치의 경제 뉴스 기사를 모은다던지 등 웹사이트에서 데이터를 jakely.tistory.com [웹크롤링 2탄] selenium webdriver를 활용한 상품 리스트 크롤링 웹크롤링 1탄에서 requests와 bs4을 이용하여 간단한 웹사이트 크롤링 방법에 대해 다뤘습니다. [웹크롤링 1탄] requests와 bs4를 활용한 레시피 목록 크롤링 회사에서 혹은 개인 프로젝트를 진행할 때 jakely.tistory.co.. 2023. 2. 15.

이전 1 2 3 4 5 6 7 다음

티스토리툴바