그래픽 및  AI 연산에 왜 GPU(Graphics Processing Unit)가 필요한가? CPU는 박사한명, GPU는 초등학생 백 명에 비유할 수 있다.단순한 숫자 덧셈 문제 백개가 있다면 초등학생 백 명이 하나씩 문제를 푸는 것이, 박사 한 명이 백개의 문제를 푸는 것보다 더 빠를 것이다.  A + B = CC + D = EE + F = G.... 하지만 위에처럼 다음 연산에 이전 연산의 결과가 필요한 경우, 초등학생 수천 명이 있더라도 계산이 빠른 박사님 한 명을 이길 수는 없을 것이다. 이처럼 CPU는 초고성능의 코어 하나로 순차적인 작업에 강점이 있고GPU는 저성능이지만 수많은 코어로 이루어져, 병렬 처리에 강점이 있다.  그래픽 처리에는 이전 계산 결과 정보가 필요하지 않고, 현재 폴리곤의..

몇 년 전 대학교 연구실에서 모델 학습에 일반 컴퓨터 GPU와 A100을 써본 경험이 있다.모델 학습에 파라미터를 조금씩 바꾸어 수십 번을 테스트해 보곤 했는데, 학교의 GPU 클러스터의 자원이 모자라 실행을 위해 몇 시간씩 대기하기도 했다.  그런데 A100이 성능이 훨씬 좋았지만 결국, 학습에 소요되는 시간은 얼추 비슷했던 것 같다.일반적인 모델 학습이 성능을 100% 끌어내지 못 한듯 하다. (혹은 아래에서 알아볼 MIG 때문일지도 모른다.)  그렇기에 GPU 성능을 끌어낼 수 있도록 코드적인 수정이 필요하거나, 유휴 GPU 자원을 활용하는 방안이 필요하다. 이를 위해 활용되는 MIG와 vGPU 기술에 대해 알아보자.   MIG(Multi-Instance GPU)  MIG는 GPU를 독립적인 여러 ..