멀티프로세싱 (Multiprocessing) w/ Python

빅데이터로 작업할 때 성능을 개선하는 방법

 

사이즈가 큰 데이터로 작업할 때 대부분의 경우 많은 양의 계산이 필요합니다. 코드가 돌다가 중간에 에러가 나서 멈춘다던가 혹은 결과를 기다리는 데 오랜 시간을 소비할 때 받는 스트레스란... 머신러닝이나 딥러닝 관련 모델링 작업을 할 때 데이터량이 GB 단위라면 를 처리하는 것은 시간이 많이 걸리게 됩니다.

이처럼 복잡하고 연산이 많이 필요한 작업의 성능 속도를 향상시키는 방법에는 크게 두 가지가 있습니다:

 

1. Vertical Scaling (수직적 스케일링)

Vertical Scaling은 단순하게 컴퓨팅 파워를 늘리는 것입니다. 더 좋은 그래픽 카드를 사용하거나 CPU의 성능을 높이는 등 더 나은 하드웨어를 구매하는 방식으로 작업 속도를 향상 시킵니다. 자전거 한 대로 이삿짐을 나르는 대신에 용달 하나를 불러서 짐을 옮기는 방식입니다.

 

2. Horizontal Scaling (수평적 스케일링)

Horizontal Scaling은 십시일반의 방식으로 더 많은 컴퓨팅 인스턴스를 사용하는 방식으로 작업 성능을 높입니다. 이삿짐을 나눠서 여러 대의 자전거로 작업을 하는 셈이죠

빅데이터를 다룰 때 Vertical Scaling은 컴퓨팅 자원에 투자를 많이 할 수 있는 여건이 될 경우에 효율적입니다. 하지만 금전적인 부분을 고려해야하기 때문에 항상 정답이 될 수 없습니다. 이번 포스트에서는 Horizontal Scaling 방식인 멀티프로세싱을 활용하여 Python의 작업 속도를 개선시키는 방법에 대해 다뤄보겠습니다.

https://networknuts.net/understanding-vertical-scaling-horizontal-scaling/

 

---

멀티프로세싱 (Multiprocessing)

 

대부분의 컴퓨터들은 멀티코어 CPU가 탑재되어 있습니다. 간단하게 설명을 하자면 CPU안에 여러 대의 자전거가 있다는 뜻입니다. 일반적으로 Python으로 코드를 돌리면 한개의 코어가 그 작업을 수행하게 됩니다. 멀티프로세싱은 여러개의 코어에게 작업을 균등하게 나눠줘서 작업처리 속도를 빠르게 하는 행위입니다.

 

 

제가 대학생이던 시절, 아래의 짤이 크게 유행했었던 것으로 기억합니다. 비유가 워낙 찰떡이라 참고하시면 좋을 것 같습니다.

---

Python으로 멀티프로세싱 (Multiprocessing)

 

Python에는 자체적으로 내장된 함수 multiprocessing 이 있습니다. pip를 사용해서 따로 설치가 필요없다는 의미입니다. 우선 멀티프로세싱 없이 1부터 2000까지의 팩토리얼을 계산하는 작업을 해보겠습니다.

 

[Input]

import time

# starting time
start = time.time()

# save the factorial results here
s_results = []

# add all integers from 1 to 1_000_000
def factorial(i):
    x = 1
    for k in range(1,i+1):
        x = x*k
    results.append(x)

# number of test cases
cases = [x for x in range(0,2001)]
for c in cases:
    factorial(c)

print("%s seconds" % (time.time()-start))

[Output]

> 0.5778999328613281 seconds

 

이제 멀티프로세싱을 사용해서 계산을 해보겠습니다.

 

[Input]

import multiprocessing as mp
import time

# starting time
start = time.time()

# save the factorial results here
p_results = []

# calculate factorial of a number
def factorial(i):
    x = 1
    for k in range(1,i+1):
        x = x*k
    p_results.append(x)

# factorials from 1 to 2000
cases = [x for x in range(1,2001)]

######################
### 멀티프로세싱   ###
pool = mp.Pool(processes=5) # 사용하고 싶은 코어 프로세서의 수
pool.map(factorial, cases)
pool.close()
pool.join()
######################

print("%s seconds" % (time.time()-start))

[Output]

0.222374095917 seconds

작업 속도가 2배 이상으로 확실히 빨라졌습니다. 

 

 

!! 주의점 !!

하지만 멀티프로세싱을 사용한다고 해서 항상 작업속도가 빨라지는 것은 아닙니다. 멀티프로세싱을 하게 될 경우, 작업을 나눠서 각 프로세서에 할당하는 시간이 추가가 됩니다. 이삿짐이 달랑 박스 1개 인데, 여러 대의 자전거로 나르기 위해서 4대의 박스로 나눈다고 생각해보세요. 예 시간낭비입니다. 

 

이해가 안되신다면 아래의 예시를 보시면 될 것 같습니다:

 

[Input]

import multiprocessing as mp
import seaborn as sns
import pandas as pd
import time

# calculate factorial of a number
def factorial(i):
    x = 1
    for k in range(1,i+1):
        x = x*k

# measuring computation time for seq and parallel
seq_times = []
prl_times = []

for i in range(101,2501):
    cases = [x for x in range(1,i)]
  
  # Sequential  멀티프로세싱 X
  # starting time
    seq_start = time.time()
    for c in cases:
        factorial(c)
    seq_times.append(time.time()-seq_start)
        
  # Parallel    멀티프로세싱 O
    prl_start = time.time()
    pool = mp.Pool(processes=5) # Number of processes that you want to use
    pool.map(factorial, cases)
    pool.close()
    pool.join()
    prl_times.append(time.time()-prl_start)
   
   
fac = [i for i in range(101,2501)]

df = pd.DataFrame(data={"upper limit":fac,
                        "sequential":seq_times,
                        "parallel":prl_times})

df = df.melt(id_vars="upper limit",value_name="time",var_name="processing type")

sns.set(rc={'figure.figsize':(15,8)})
ax = sns.lineplot(x=df["upper limit"], y=df["time"], hue=df["processing type"])
ax.axes.set_title("Sequential vs Parallel processing time of factorial() function",fontsize=18)
ax.set_xlabel("Upperbound of calculated factorials",fontsize=15)
ax.set_ylabel("Time (sec)",fontsize=15)

[Output]

 

1부터 1100 이상의 팩토리얼을 계산할 때 멀티프로세싱이 더 빠른 작업결과를 가져오는 것을 확인하실 수 있습니다. 그 아래 범위의 작업은 전부 이삿짐 한 박스를 네 박스로 굳이 나눠담기때문에 오래걸린다고 생각하시면 될 것 같습니다.

---

정리하기

빅데이터 환경에서는 빠른 작업속도를 위해 병렬처리가 필수적입니다. 모두 잘 활용하셔서 칼퇴하시길 바라겠습니다 :)