๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ

๐Ÿ’ป IT·๊ธฐ์ˆ ·ํ†ต๊ณ„38

Image to Text…? ์ด๋ฏธ์ง€๋กœ ์•„์Šคํ‚ค ์•„ํŠธ ์ƒ์„ฑํ•˜๊ธฐ Spark๋ฅผ ์„ค์น˜ํ•ด ๋ณด์‹  ๋ถ„์ด๋ผ๋ฉด ์•„๋ž˜์˜ ์ด๋ฏธ์ง€๊ฐ€ ์นœ์ˆ™ํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค. Spark๋ผ๋Š” ๋‹จ์–ด๋ฅผ ๋ฌธ์ž๋ฅผ ์ด์šฉํ•ด์„œ ํ…์ŠคํŠธ๋กœ ๊ทธ๋ฆฐ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๋น„์Šทํ•œ ๋ฅ˜์˜ ๋ฌธ์ž๋กœ ๋œ ๊ทธ๋ฆผ์€ 2021๋…„๋„์ฏค ๋„ค์ด๋ฒ„ ์›นํˆฐ ๋Œ“๊ธ€์—์„œ๋„ ๋งŽ์ด ๋ณผ ์ˆ˜ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค. ์ด๋ ‡๊ฒŒ ๊ธ€์ž๋กœ ๊ทธ๋ฆผ์„ ๊ทธ๋ฆฌ๋Š” ๊ฒƒ์„ ASCII Art๋ผ๊ณ  ํ•ฉ๋‹ˆ๋‹ค. ๋‹จ์ˆœํ•˜๊ฒŒ ๋ณต๋ถ™ ํ•ด์„œ ๋ณด๋‚ด๋ฉด ๋˜๊ธฐ ๋•Œ๋ฌธ์— ์ผ๋ฐ˜ ์ด๋ฏธ์ง€์— ๋น„ํ•˜๋ฉด ๊ณต์œ ๊ฐ€ ์ˆ˜์›”ํ•œ ํŽธ์ž…๋‹ˆ๋‹ค. ์šฐ๋ฆฌ๊ฐ€ ์ž์ฃผ ์‚ฌ์šฉํ•˜๋Š” :) ^_^ ์ด๋Ÿฌํ•œ ์ด๋ชจํ‹ฐ์ฝ˜๋“ค๋„ ์•„์Šคํ‚ค ์•„ํŠธ์˜ ๋ฒ”์ฃผ์— ์†ํ•ฉ๋‹ˆ๋‹ค. (ํ•œ ์ค„์งœ๋ฆฌ ์•„์Šคํ‚ค ์•„ํŠธ) ํ˜„์žฌ ๋‹ค๋‹ˆ๋Š” ์ง์žฅ์—์„œ๋„ ์•„์Šคํ‚ค ์•„ํŠธ๋ฅผ ๊ฐ€๋” ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ์‚ฌ๋‚ด ๋ฉ”์‹ ์ €์˜ ์ด๋ชจํ‹ฐ์ฝ˜ ๊ฐ€์ง“ ์ˆ˜๊ฐ€ ๋งค์šฐ ์ ๊ธฐ ๋•Œ๋ฌธ์— ์ด๋ฏธ์ง€๋ฅผ ์•„์Šคํ‚ค ์•„ํŠธ๋กœ ๋ณ€ํ™˜ํ•ด์„œ ๋ฉ”๋ชจ์žฅ์— ์ €์žฅํ•ด๋‘๊ธฐ๋„ ํ•ฉ๋‹ˆ๋‹ค ใ…Žใ…Ž. ์ด๋ฒˆ ํฌ์ŠคํŒ…์—์„œ๋Š” Python์œผ๋กœ ์•„์Šคํ‚ค ์•„ํŠธ๋ฅผ ์ƒ.. 2023. 2. 11.
[Snippet] ์ž์ฃผ ์‚ฌ์šฉํ•˜๋Š” List, Dictionary ๊ธฐ๋Šฅ ์ฝ”๋“œ ์ž‘์„ฑ์„ ํ•˜๋‹ค ๋ณด๋ฉด ํ•ญ์ƒ ์žŠ์–ด๋ฒ„๋ฆฌ๊ฑฐ๋‚˜ ๊ธฐ์–ต์ด ์ž˜ ๋‚˜์ง€ ์•Š๋Š” ๊ธฐ๋Šฅ๋“ค์ด ์žˆ์Šต๋‹ˆ๋‹ค. ์šฐ๋ฆฌ๋‚˜๋ผ ๋ง์„ ํ•  ๋•Œ๋„ ๊ฐ€๋” ๋‹จ์–ด๊ฐ€ ์ƒ๊ฐ์ด ์•ˆ ๋‚  ๋•Œ์ฒ˜๋Ÿผ ๋ง์ด์ฃ  ใ…Žใ…Ž ๊ดœํžˆ ์ฝ”๋”ฉํ•˜๋Š” ์‚ฌ๋žŒ๋“ค์ด ๊ตฌ๊ธ€์„ "์‹ "์ด๋ผ๊ณ  ํ•˜๋Š” ๊ฒŒ ์•„๋‹™๋‹ˆ๋‹ค. ChatGPT๊ฐ€ ๋งˆ์ดํฌ๋กœ์†Œํ”„ํŠธ์˜ ๊ฒ€์ƒ‰์—”์ง„ Bing์— ์ž˜ ํƒ‘์žฌ๋งŒ ๋œ๋‹ค๋ฉด ์•ž์œผ๋กœ ๊ฐœ๋ฐœ ์ƒ์‚ฐ์„ฑ์€ ๋”๋”์šฑ ํ–ฅ์ƒ๋  ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค. ์–˜๊ธฐ๊ฐ€ ์กฐ๊ธˆ ์ƒœ๋Š”๋ฐ, ํšŒ์‚ฌ์—์„œ๋‚˜ ์ทจ๋ฏธ๋กœ๋‚˜ ์ฝ”๋”ฉ์„ ํ•  ๋•Œ ์ž์ฃผ ๊นŒ๋จน๋Š” ๊ธฐ๋Šฅ๋“ค์ด ์žˆ์Šต๋‹ˆ๋‹ค. List์•ˆ์— ์žˆ๋Š” List๋ฅผ ํ•˜๋‚˜์˜ List๋กœ ๋ณ‘ํ•ฉํ•œ๋‹ค๋˜์ง€, Dictionary ์•ˆ์— ์žˆ๋Š” ํ‚ค ๊ฐ’๋“ค์„ ์–ด๋–ป๊ฒŒ ์ •๋ ฌํ•˜๋Š”์ง€ ๋“ฑ ์ž์ฃผ ์‚ฌ์šฉํ•˜์ง€๋งŒ ๋งค๋ฒˆ ์™ธ์šฐ๋Š” ๋ฐ๋Š” ์‹คํŒจํ•˜๋Š” ์ฝ”๋“œ๋“ค์ด ์žˆ์Šต๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ์ด๋ฒˆ ํฌ์ŠคํŠธ์—์„œ๋Š” ์ž์ฃผ ์‚ฌ์šฉํ•˜๋Š” List์™€ Dictionary ๊ธฐ๋Šฅ๋“ค์— ๋Œ€ํ•ด ์ •๋ฆฌํ•˜๋ ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค. .. 2023. 2. 9.
[API] ์„ธ๊ณ„ ๊ฐ๊ตญ์˜ ๊ธฐ๋ณธ ์ •๋ณด ๊ฐ€์ ธ์˜ค๊ธฐ (restcountries) ์ง๊ตฌ๊ฐ€ ํ•„์š”ํ•œ ๋ฌผ๊ฑด์ด ์žˆ์–ด์„œ ํ•ด์™ธ์‚ฌ์ดํŠธ์— ํšŒ์›๊ฐ€์ž…์„ ์ง„ํ–‰ํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ฐ€์ž… ์ง„ํ–‰ ์ ˆ์ฐจ์— ๊ตญ๊ฐ€๋ฅผ ์ž…๋ ฅํ•˜๋Š” ๋ถ€๋ถ„์ด ์žˆ์—ˆ๋Š”๋ฐ, ๋ฌธ๋“ ๊ฐœ๋ฐœ์ž๋“ค์€ ์ด๋Ÿฐ ์ •๋ณด๋ฅผ ์–ด๋””์„œ ๊ฐ€์ ธ์˜ค๋Š”์ง€๊ฐ€ ๊ถ๊ธˆํ•ด์กŒ์Šต๋‹ˆ๋‹ค. ์ œ๊ฐ€ ๋˜ ๊ถ๊ธˆํ•œ ๊ฒƒ์€ ๋ชป ์ฐธ๋Š” ์„ฑ๊ฒฉ์ด๋ผ ๋ฐ”๋กœ ๊ตฌ๊ธ€๋ง์„ ํ–ˆ๊ณ , restcountries๋ผ๋Š” API๋ฅผ ์ œ๊ณตํ•˜๋Š” ๋ฌด๋ฃŒ ์‚ฌ์ดํŠธ๋ฅผ ๋ฐœ๊ฒฌํ–ˆ์Šต๋‹ˆ๋‹ค: https://restcountries.com/#api-endpoints-v2-list-of-codes ๊ฐ๊ตญ์˜ ๋ช…์นญ, ๊ตญ๊ฐ€์ฝ”๋“œ, ํ†ตํ™”, ์œ„์„ฑ์ขŒํ‘œ, ์‚ฌ์šฉ ์–ธ์–ด ๋“ฑ์˜ ๊ตญ๊ฐ€์— ๋Œ€ํ•œ ๊ธฐ๋ณธ ์ •๋ณด๊ฐ€ ๋‹ด๊ฒจ์žˆ๋Š” API๋ฅผ ์ œ๊ณตํ•˜๋Š” ์‚ฌ์ดํŠธ์ž…๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ ํ•œ๋ฒˆ ํƒ์ƒ‰์„ ํ•ด๋ณด๊ธฐ๋กœ ํ–ˆ์Šต๋‹ˆ๋‹ค. (๋ณ„๋„์˜ API Key๋ฅผ ๋ฐœ๊ธ‰ํ•  ํ•„์š”๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค) ๋Œ€ํ•œ๋ฏผ๊ตญ ์ •๋ณด ๊ฐ€์ ธ์˜ค๊ธฐ ์•„๋ž˜์˜ ์ฝ”๋“œ๋ฅผ ์ž…๋ ฅํ•˜๋ฉด ํ•œ๊ตญ์˜ ์ •๋ณด๋ฅผ ๊ฐ€์ ธ์˜ต๋‹ˆ๋‹ค. ๋Œ€.. 2023. 2. 6.
[API] ๋ฆฌ๊ทธ์˜ค๋ธŒ๋ ˆ์ „๋“œ: ์ฑ”ํ”ผ์–ธ ๋ง๊ณ  API๋ฅผ ๊ฐ€์ง€๊ณ  ๋†€์•„๋ณด์ž ๋ฆฌ๊ทธ์˜ค๋ธŒ๋ ˆ์ „๋“œ๋Š” ๊ณ ๋“ฑํ•™๊ต 3ํ•™๋…„๋ถ€ํ„ฐ ์ง€๊ธˆ๊นŒ์ง€ ์•ฝ 10๋…„๊ฐ„ ์ €์™€ ํ•จ๊ป˜ํ•œ ๊ฒŒ์ž„์ž…๋‹ˆ๋‹ค. ๋Œ€ํ•™ ์ถ”๊ฐ€ํ•ฉ๊ฒฉ ์ „ํ™”๋„ ์ง‘์—์„œ ๋กค์„ ํ•˜๋˜ ๋„์ค‘์— ๋ฐ›์•˜๊ณ , ์ฒซ ์ง์žฅ ์ทจ์—… ์†Œ์‹๋„ ๋กค์„ ํ•˜๋˜ ๋„์ค‘ ์•Œ๊ฒŒ ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์‚ฌ์‹ค ์ทจ๋ฏธ๋ผ๊ณ ๋Š” ๊ฒŒ์ž„๋ฐ–์— ์—†์—ˆ๊ธฐ ๋•Œ๋ฌธ์— ์ข‹์€ ์†Œ์‹๊ณผ ์‹ซ์€ ์†Œ์‹๋„ ๋ชจ๋‘ ๋กค๊ณผ ํ•จ๊ป˜ํ•œ ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค. ๊ทธ๋งŒํผ ๋กค์€ ์ œ๊ฒŒ ์žˆ์–ด ์• ์ฐฉ์ด ๊นŠ์€ ๊ฒŒ์ž„์ž…๋‹ˆ๋‹ค. ๋กค์„ ํ•˜๋Š” ์‚ฌ๋žŒ์ด๋ผ๋ฉด ๋ชจ๋ฅผ ์ˆ˜๊ฐ€ ์—†๋Š” ์ฃผ์†Œ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฐ”๋กœ ์ „์ ๊ฒ€์ƒ‰๊ณผ ๊ฒŒ์ž„ ๊ด€๋ จ ์ •๋ณด๋ฅผ ์ œ๊ณตํ•ด ์ฃผ๋Š” op.gg, lol.ps, fow.kr๊ณผ ๊ฐ™์€ ์›น์‚ฌ์ดํŠธ์ž…๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ์›น์‚ฌ์ดํŠธ๋“ค์€ ๋กค์˜ ๊ฐœ๋ฐœ์‚ฌ์ธ ๋ผ์ด์—‡๊ฒŒ์ž„์ฆˆ์—์„œ ์ œ๊ณตํ•˜๋Š” API๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ๋งŒ๋“  ์„œ๋“œํŒŒํ‹ฐ ์„œ๋น„์Šค์ž…๋‹ˆ๋‹ค. API์™€ ๊ด€๋ จ๋œ ํฌ์ŠคํŒ…์„ ์ตœ๊ทผ ๋“ค์–ด ๋งŽ์ด ํ•˜๊ณ  ์žˆ๋˜ ์™€์ค‘์— ๋ฌธ๋“ ๋ผ์ด์—‡๊ฒŒ์ž„์ฆˆ๊ฐ€ ์ œ๊ณตํ•˜๋Š” API์— ๊ด€์‹ฌ์ด .. 2023. 2. 5.
[API] OpenAI API ๊ฐ€์ง€๊ณ  ๋†€๊ธฐ 2ํƒ„: ๊ฐœ์ฒด๋ช… ์ธ์‹ (NER) ์ด๋ฒˆ ํฌ์ŠคํŠธ์—์„œ๋Š” InstructGPT๋ฅผ ํ™œ์šฉํ•ด์„œ ๊ฐœ์ฒด๋ช… ์ธ์‹ ์ž‘์—…์„ ํ•ด๋ณด๋„๋ก ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค. InstructGPT์˜ ์„ค์น˜ ๋ฐ OpenAI APIํ‚ค ๋ฐœ๊ธ‰ ๊ด€๋ จํ•ด์„œ๋Š” ์ด์ „ ํฌ์ŠคํŒ…์„ ์ฐธ๊ณ  ๋ถ€ํƒ๋“œ๋ฆฌ๊ฒ ์Šต๋‹ˆ๋‹ค: 2023.01.17 - [๐Ÿ’ป ํŒŒ์ด์ฌ] - [API] ChatGPT Python์œผ๋กœ ์‚ฌ์šฉํ•ด ๋ณด๊ธฐ (์ˆ˜์ •) [API] ChatGPT Python์œผ๋กœ ์‚ฌ์šฉํ•ด๋ณด๊ธฐ (์ˆ˜์ •) [์ˆ˜์ • 2023.02.04] ๋ ˆ๋”ง์—์„œ ์•„๋ž˜์™€ ๊ฐ™์€ ๊ธ€์„ ์ฐพ์•˜์Šต๋‹ˆ๋‹ค. ์š”์•ฝ์„ ํ•˜์ž๋ฉด ChatGPT์™€ text-davinci-003 ๋ชจ๋ธ์€ ์กฐ๊ธˆ ๋‹ค๋ฅด๋‹ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค. text-davinci-003์€ InstructGPT์˜ ๋ชจ๋ธ๋กœ ์ง€์‹œ์‚ฌํ•ญ์„ ์ˆ˜ํ–‰ํ•˜๋„๋ก ์ตœ์ ํ™”๊ฐ€ ๋œ jakely.tistory.com ๊ฐœ์ฒด๋ช… ์ธ์‹ (Named Entity Recognition).. 2023. 2. 4.
[API] OpenAI API ๊ฐ€์ง€๊ณ  ๋†€๊ธฐ 1ํƒ„: TL;DR (๊ธด๊ธ€ ์š”์•ฝ) ์ตœ๊ทผ์— ์ œ ๋ธ”๋กœ๊ทธ์˜ ์œ ์ž… ๋ฐ ๋ฐฉ๋ฌธ ํ†ต๊ณ„๋ฅผ ๋ณด๋‹ˆ ChatGPT ํฌ์ŠคํŠธ์˜ ์ธ๊ธฐ๊ฐ€ ๋…๋ณด์ ์ธ ๊ฒƒ์„ ๋ฐœ๊ฒฌํ–ˆ์Šต๋‹ˆ๋‹ค. ์•„๋ฌด๋ž˜๋„ ๋งŽ์ด ํšŒ์ž๋˜๊ณ  ์žˆ๋Š” ๊ธฐ์ˆ ์ด๋‹ค ๋ณด๋‹ˆ ์ฐพ์œผ์‹œ๋Š” ๋ถ„๋“ค๋„ ๊ฝค ์žˆ์–ด์„œ ๋ฟŒ๋“ฏํ•œ ๊ธฐ๋ถ„์ด ๋“ญ๋‹ˆ๋‹ค. ๊ฒŒ๋‹ค๊ฐ€ ChatGPT์™€ ๊ด€๋ จ๋œ ๋งˆ์ดํฌ๋กœ์†Œํ”„ํŠธ์™€ ์—”๋น„๋””์•„๋„ ์ตœ๊ทผ์— ํฌ๊ฒŒ ์ƒ์Šน์„ ํ•ด์„œ ์ €๋„ ๊ธฐ๋ถ„์ด ์•„์ฃผ ์ข‹์Šต๋‹ˆ๋‹ค. (๊ตฌ์กฐ์„ ์ด ์™”๋‹ค!!!) ๊ทธ๋ž˜์„œ ์ด์™• ์ด๋ ‡๊ฒŒ ๋œ ๊น€์—, OpenAI์˜ API๊ฐ€ ์ œ๊ณตํ•˜๋Š” ์—ฌ๋Ÿฌ๊ฐ€์ง€ ๊ธฐ๋Šฅ๋“ค์„ ํ™œ์šฉํ•˜๋Š” ๋ฐฉ๋ฒ•์— ๋Œ€ํ•ด ์†Œ๊ฐœ๋ฅผ ๋“œ๋ฆฌ๊ณ ์ž ํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฒˆ ํฌ์ŠคํŠธ์—์„œ๋Š” OpenAPI๊ฐ€ ์ œ๊ณตํ•˜๋Š” ์—ฌ๋Ÿฌ๊ฐ€์ง€ ๊ธฐ๋Šฅ ์ค‘, ํ…์ŠคํŠธ ์š”์•ฝ์— ๋Œ€ํ•ด ๋‹ค๋ฃจ๊ฒ ์Šต๋‹ˆ๋‹ค. ์˜์–ด๋กœ TL;DR์ด ๋ฌด์Šจ ๋œป์ธ ์ค„ ์•„์‹œ๋‚˜์š”? ๋ฐ”๋กœ "Too Long. Didn't Read"๋ผ๋Š” ๋œป์ž…๋‹ˆ๋‹ค. ๋„ˆ๋ฌด ๊ธธ์–ด์„œ ์ฝ์ง€ ์•Š์•˜๋‹ค๋Š” ๋œป์ด๊ณ  ๊ธด ๊ธ€์„ ์š”์•ฝํ• .. 2023. 2. 3.
๋ฐ˜์‘ํ˜•