PYTHON16 [API] ChatGPT Python으로 사용해보기 - Part.2 회사 업무에 치여 정말 오랜만에 포스팅을 하는 것 같습니다 ㅎㅎ... 몇 달 전 쯤에 ChatGPT 관련 포스팅을 한 적이 있습니다. 당시에는 API가 공개되지 않아 GPT 3.0 버전인 InstructGPT로 대신 사용을 했었고, 다른 분들도 Reverse Engineering을 하거나 브라우저 세션으로 접근하는 방식으로 사용을 해왔던 것으로 보입니다. 하지만, 이제 그럴 필요가 없어졌습니다. ChatGPT의 API 버전이 3월 1일에 공개가 되었습니다. Introducing ChatGPT and Whisper APIs Developers can now integrate ChatGPT and Whisper models into their apps and products through our API. o.. 2023. 3. 8. [NLP] lexrankr로 3줄 요약해보기 이번 포스팅에서는 lexrankr을 사용해서 장문의 텍스트를 3줄로 요약해 보도록 하겠습니다. 가장 만만한 뉴스 데이터를 샘플로 넣어서 결과가 어떻게 나오는지 보여드리겠습니다. 그전에 lexrank에 대해 간단하게 다뤄보도록 하겠습니다. lexrank lexrank는 이 논문에서 처음 등장했습니다. 간단하게 설명하자면 구글의 검색엔진에 적용되었던 PageRank라는 알고리즘을 문서 요약에 적용을 한 것이 lexrank입니다. 어떤 웹사이트의 URL이 다른 웹사이트에서 링크가 많이 걸렸다면 영향력이 높다고 판단할 수 있습니다. 그리고 링크를 건 페이지의 영향력이 클수록 링크를 받은 페이지 또한 영향력이 높다고 볼 수 있습니다. 많은 사람들의 존경을 받는 학자가 어떤 사람을 칭찬하면, 칭찬받는 사람의 권위가.. 2023. 2. 15. [웹크롤링 3탄 - 上] requests-html을 활용한 네이버 뉴스 가져오기 이전 포스팅에서는 requests와 selenium으로 크롤링하는 법에 대해 소개를 했습니다. [웹크롤링 1탄] requests와 bs4를 활용한 레시피 목록 크롤링 회사에서 혹은 개인 프로젝트를 진행할 때 데이터를 크롤링해 오는 경우가 종종 있습니다. 제품 데이터를 가져온다던지, 최근 2년 치의 경제 뉴스 기사를 모은다던지 등 웹사이트에서 데이터를 jakely.tistory.com [웹크롤링 2탄] selenium webdriver를 활용한 상품 리스트 크롤링 웹크롤링 1탄에서 requests와 bs4을 이용하여 간단한 웹사이트 크롤링 방법에 대해 다뤘습니다. [웹크롤링 1탄] requests와 bs4를 활용한 레시피 목록 크롤링 회사에서 혹은 개인 프로젝트를 진행할 때 jakely.tistory.co.. 2023. 2. 15. Image to Text…? 이미지로 아스키 아트 생성하기 Spark를 설치해 보신 분이라면 아래의 이미지가 친숙할 것입니다. Spark라는 단어를 문자를 이용해서 텍스트로 그린 것입니다. 비슷한 류의 문자로 된 그림은 2021년도쯤 네이버 웹툰 댓글에서도 많이 볼 수 있었습니다. 이렇게 글자로 그림을 그리는 것을 ASCII Art라고 합니다. 단순하게 복붙 해서 보내면 되기 때문에 일반 이미지에 비하면 공유가 수월한 편입니다. 우리가 자주 사용하는 :) ^_^ 이러한 이모티콘들도 아스키 아트의 범주에 속합니다. (한 줄짜리 아스키 아트) 현재 다니는 직장에서도 아스키 아트를 가끔 사용합니다. 사내 메신저의 이모티콘 가짓 수가 매우 적기 때문에 이미지를 아스키 아트로 변환해서 메모장에 저장해두기도 합니다 ㅎㅎ. 이번 포스팅에서는 Python으로 아스키 아트를 생.. 2023. 2. 11. Python으로 주사위 게임 만들기 제가 소속한 팀은 전부 남자로 구성되어 있습니다. 심지어 대리 급이 저를 포함해서 네 명이라 내기를 자주 하곤 합니다. 커피 내기, 점심 당직 몰빵, 회의록 작성 내기 등 하루를 내기로 시작해서 내기로 끝을 냅니다. 내기를 할 때마다 카톡으로 사다리를 타곤 하는데, 재밌게도 한 사람이 연속으로 걸리는 경우가 많았습니다. 사다리 게임 개발자가 의도한 것인지는 모르겠지만, 소스코드를 까보지는 못하기 때문에 다른 방법을 찾아보기로 했습니다. 다른 포스트에서 보셨을 수도 있겠지만, 피카추 배구를 제가 처음 제안했으나 증권 및 금융사는 망분리가 되어있어서 외부프로그램 반입이 매우 까다롭습니다. 그래서 어쩔 수 없이 매일매일 사용하는 Python을 활용해서 주사위 굴리기 게임이라도 만들어보려고 합니다. TL;DR:.. 2023. 2. 3. [NLP] 정규표현식을 활용한 전처리 및 데이터 추출 제가 군대에 있었던 시절, 빅데이터라는 단어가 큰 화두였습니다. 그리고 약 10년 정도가 지난 2023년에서 빅데이터는 이제 익숙해진 단어의 반열에 든 것 같습니다. 하지만, 빅데이터의 80%이상은 비정형 데이터가 될 것이라는 사실을 많은 사람들은 아직 모르고 있습니다. IBM의 리포트에 의하면 2025년 까지 대부분의 데이터는 비정형 데이터가 차지할 것이라 합니다. 비정형 데이터의 대부분은 텍스트, 이미지, 영상, 음원 등으로 특별한 틀이 잡혀있지 않습니다. 그렇게 때문에 빅데이터 분석의 가장 핵심적인 부분은 모델링이 아닌 전처리입니다. 비정형 데이터를 정형화 하고 의미있는 데이터로 변형 및 처리해서 사용할 수 있게끔 만드는 작업을 전처리 작업이라고 합니다. 정부에서도 적극 지원 중이며, 떠오르는 부업.. 2023. 1. 29. 이전 1 2 3 다음 반응형
