CPU의 한계를 어디까지 밀어붙일 수 있을까?

CPU의 한계를 어디까지 밀어붙일 수 있을까?

수년 동안 "딥러닝 실행"에 대한 대답은 같았습니다: GPU를 사세요. 하지만 그 대답은 근본적인 질문을 무시합니다 — 우리가 그 하드웨어를 실제로 얼마나 사용하고 있으며, 프레임워크 오버헤드에 얼마나 낭비하고 있는가?

외부 라이브러리의 블로트웨어에서 벗어나 최대 효율로 하드웨어의 모든 성능을 활용하기 위해, 저의 엔지니어링 여정과 오픈 소스 프로젝트를 공유합니다: pdefa (hasnard/pdefa).

pdefa란?

pdefa는 C++20과 AVX2 SIMD 아키텍처를 사용하여 처음부터 구축한 딥러닝 추론 엔진으로, 모델을 CPU에서 직접 실행합니다 — GPU가 필요 없고, 무거운 런타임도 없으며, 단일 추론을 실행하기 전에 풀어야 할 의존성 트리도 없습니다.

제 핵심 동기는 간단했습니다: 시스템 리소스가 절대적인 효율로 어떻게 관리될 수 있는지 경험하고, 이 초경량 아키텍처를 AGPL-3.0 라이선스 아래 생태계에 가져와 진정한 오픈 소스 철학에 타협 없이 충실하는 것입니다.

왜 굳이 CPU 추론을 신경 써야 할까?

대부분의 실제 배포에는 전용 GPU라는 사치가 없기 때문입니다. 엣지 장치, 임베디드 시스템, CI 파이프라인, 소규모 VPS 인스턴스, 공장 현장 기계, 학술 클러스터는 모두 CPU에서 실행됩니다. 그러한 환경에서 프레임워크 오버헤드의 모든 메가바이트와 불필요한 모든 의존성은 비용입니다 — 메모리, 시작 시간, 배포 복잡성에서.

12개의 공유 라이브러리를 끌어들이는 300MB 프레임워크는 "무료"가 아닙니다. 그것은 모든 배포에서 지불하는 세금입니다.

주요 기술 하이라이트:

*- 초경량 크기
컴파일된 네이티브 바이너리는 단 320KB입니다. 메가바이트 단위의 블로트도, 먼저 설치해야 하는 런타임도 없습니다 — 추론을 실행하는 데 필요한 것만 있습니다.

*- 외부 의존성 제로
Python 인터페이스는 내장된 ctypes 모듈에만 의존합니다. pip install도, 버전 충돌도, 가상 환경 체조도 없습니다.

*- 하드웨어 최적화
AVX2 명령어 세트를 사용하여 벡터화된 처리 용량을 최대화하고 스레드 수를 직접 제어할 수 있습니다 — 따라서 실행 중인 정확한 CPU에 맞게 조정할 수 있습니다.

*- 폭넓은 아키텍처 지원
YOLO(v8~v12), ResNet, MobileNet, EfficientNet 및 DeepLabV3 아키텍처를 즉시 실행할 수 있습니다.

*- 내장 이미지 처리
자체 PNG/JPEG 로더와 내장 YOLO 후처리 알고리즘을 갖추고 있어 OpenCV와 같은 무거운 라이브러리의 필요성을 완전히 우회합니다.

*- 유연한 변환 워크플로우
기존 PyTorch 모델을 표준 ONNX 형식으로 내보낸 다음, 엔진의 내장 변환기를 사용하여 pdefa의 사용자 정의 저지연 .engine 형식으로 원활하게 변환하십시오.

개발 로드맵:

곧 pytorchtoengine 도구를 출시할 예정이며, 이를 통해 PyTorch 사용자는 ONNX 중간 단계를 완전히 건너뛰고 모델을 엔진의 네이티브 형식으로 직접 변환할 수 있습니다. 한 단계 덜, 디버깅할 것이 하나 덜.

누구를 위한 것인가:

자원이 제한된 서버, 엣지 장치 또는 경량 시스템으로 작업하는 개발자에게 강력한 대안이 되기를 바랍니다 — "이 모델을 실행하기만 하면 되고, 이를 위해 전체 생태계가 필요하지 않다"고 생각해 본 적이 있는 모든 분에게.

여기서 어디로:

저장소는 열려 있습니다. 코드 아키텍처에 대한 피드백을 진심으로 환영합니다 — 특히 유사한 시스템을 구축했거나 같은 벽에 부딪힌 사람들로부터. 그리고 이것이 공감된다면, 스타는 프로젝트를 지원하는 데 큰 도움이 됩니다.

Github

$code = @'
 import pdefa
 import cv2

 model = pdefa.load('D:/PROJE/yolov8s.engine')
 img_path = 'D:/PROJE/bus.jpg'
 boxes = model(img_path, conf_thres=0.75)
 img = cv2.imread(img_path)

 class_names = {0: 'person', 1: 'bicycle', 2: 'car', 3: 'motorcycle', 5: 'bus', 7: 'truck'}

 for b in boxes:
    cls = int(b['cls'])
    conf = b['conf']
    x1, y1 = int(b['x1']), int(b['y1'])
    x2, y2 = int(b['x2']), int(b['y2'])

    names_attr = getattr(model, 'names', {})
    cls_name = class_names.get(cls, names_attr.get(cls, f'cls_{cls}'))

    label = f'{cls_name} {conf:.2f}'

   cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2)
   cv2.putText(img, label, (x1, y1 - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2, cv2.LINE_AA)

print(f'{cls_name} | conf={conf:.3f} | box=[{x1}, {y1}, {x2}, {y2}]')

cv2.imwrite('D:/PROJE/output_bus.png', img)
'@