엔비디아 쿠다 통합메모리 없이 세계 최고 그래프 연산기술 개발 KAIST 김민수 교수팀 "25대 컴퓨터로 2천초→GPU 장착 1대로 1천184초만에"
한국과학기술원(KAIST) 연구진이 25대의 컴퓨터로 2천초가 걸리던 복잡도 높은 그래프 연산을 한 대의 그래픽처리장치(GPU) 컴퓨터로 빠르게 처리할 수 있는 세계 최고 성능의 연산 프레임워크를 개발하는데 성공했다. KAIST는 전산학부 김민수 교수팀이 한정된 크기의 메모리를 지닌 GPU를 이용해 1조 간선 규모의 초 대규모 그래프에 대한 다양한 연산을 고속으로 처리할 수 있는 스케줄러 및 메모리 관리 기술을 갖춘 일반 연산 프레임워크 '지플럭스'(GFlux)를 개발했다고 27일 밝혔다. 이 프레임워크는 그래프 연산을 GPU 최적화 단위 작업인 '지테스크'(GTask)로 나누고, 이를 효율적으로 GPU에 배분·처리하는 특수한 스케줄링 기법이 핵심 기술이다. 그래프를 GPU 처리에 최적화된 자체 개발 압축 포맷인 HGF로 변환해 SSD 같은 저장장치에 저장·관리한다. 기존 표준 포맷인 CSR로 저장하면, 1조 간선 규모의 그래프 크기가 9테라바이트(TB)에 이르지만, HGF 포맷을 활용하면 이 크기를 4.6테라바이트(TB)로 절반 가까이 줄일 수 있다. 또 GPU에서는 메모리 정렬 문제로 그간 사용되지 않은 3바이트의 주소 체계를 활용, GPU 메모리 사용량을 약 25% 절감했다. 인공지능(AI) 칩 선두 주자인 엔비디아의 쿠다(CUDA) 통합 메모리에 전혀 의존하지 않고도, 메모리 부족으로 인한 연산 실패를 방지할 수 있도록 메인 메모리와 GPU 메모리를 통합 관리하는 지테스크 전용 메모리 관리 기술을 주요 핵심 기술로 포함하고 있다. 연구팀은 약 700억 간선 규모 그래프 실험에서, GPU가 장착된 단일 컴퓨터만으로 '삼각형 개수 세기' 고난도 그래프 연산을 기존보다 약 두배 빠른 1천184초 만에 처리하는 데 성공했다. 이는 단일 컴퓨터로 삼각형 개수 세기 연산을 성공적으로 처리한 현재까지 알려진 최대 규모의 그래프다. 기존 최고 성능 기술은 고속 네트워크로 연결된 컴퓨터 25대를 이용해 약 2천초가 걸렸다. 김민수 교수는 "인공지능 분야에서 지식 체계나 데이터베이스를 그래프로 저장하고 활용하는 사례가 급증하지만, 일반적으로 복잡도가 높은 그래프 연산은 GPU 메모리 제한으로 매우 작은 규모의 그래프 등 비교적 단순한 연산만 처리할 수 있다는 한계가 있다"며 "지플럭스 기술이 이러한 문제를 효과적으로 해결할 것으로 기대한다"고 말했다. 전산학부 오세연·윤희용 박사과정이 각각 제1, 2 저자로 참여한 이번 연구 결과는 국제전기전자공학회(IEEE) 주최 국제 데이터공학 학술대회에서 지난 22일 발표됐다.
<저작권자 ⓒ 코인리더스 무단전재 및 재배포 금지>
|
 
많이 본 기사
|
