액터 모델 vs. 스레딩: AI 시스템에서의 동시성 처리 모델 비교
대상: ML/데이터/플랫폼 엔지니어 · SRE · 솔루션 아키텍트 │ 기준시점: 2025 │ 주제: Concurrency Actor Threading Distributed AI
1) 서론: AI에서 동시성이 왜 중요한가
AI 시스템은 대규모 데이터 스트림과 고비용 연산을 동시에 다룬다. 학습(Training)에서는 GPU/TPU 같은 가속기 리소스를 최대한 활용해야 하고, 추론(Inference)에서는 요청 폭주에도 낮은 지연과 높은 신뢰성을 보장해야 한다. 여기에 데이터 수집·전처리·특징 생성·A/B 배포·모니터링까지 합쳐지면, 단일 스레드로는 처리량과 복원력을 끌어올리기 어렵다.
2) 스레딩(Threading) 심층
2.1 개념과 메모리 모델
스레드는 하나의 프로세스 안에서 주소 공간을 공유하는 실행 단위다. 공유 메모리 덕분에 데이터 전달이 빠르지만, 동시에 가시성(visibility), 순서화(ordering), 원자성(atomicity) 문제를 스스로 관리해야 한다. 언어마다 메모리 모델(예: JMM, C++11 memory model 등)이 다르고, 잘못된 동기화는 재현하기 어려운 버그를 낳는다.
2.2 동기화 기법
- 뮤텍스/락: 임계구역 보호. 단순하지만 잠금 경합·우선순위 역전 가능.
- RW락: 읽기 많은 워크로드에 유리. 쓰기 경합 시 성능 하락.
- 락-프리/원자 연산: 낮은 지연, 설계가 매우 까다로움.
- 컨디션 변수·세마포어·배리어: 단계적 동기화·파이프라인 제어.
2.3 스케줄링과 컨텍스트 스위칭
커널/런타임 스케줄러는 스레드를 코어에 배치하고 문맥 전환을 수행한다. 스레드 수가 코어 수를 크게 초과하면 전환 비용과 캐시 오염으로 처리량이 급감할 수 있다. 반대로 I/O 바운드라면 스레드 풀로 동시성을 늘리는 것이 효과적이다.
3) 액터 모델(Actor Model) 심층
3.1 핵심 아이디어
액터는 격리된 상태와 메일박스를 가지며, 외부와는 메시지로만 통신한다. 메시지 처리 중엔 해당 액터의 상태에 단일 스레드만 접근하므로, 공유 메모리 잠금이 필요 없다. 액터 생성/파괴, 다른 액터 생성, 메시지 전송은 모두 비동기다.
3.2 시스템 특성
- 위치 투명성: 같은 프로세스/노드/데이터센터 어디에 있든 메시지 주소만 알면 통신.
- 슈퍼비전 트리: 장애를 격리·복구하는 상위-하위 액터 계층 구조.
- 역압(Backpressure): 메일박스/큐의 수위를 바탕으로 페이스싱·드롭·리트라이.
- 일관성 모델: 단일 액터 내부는 순차 일관, 시스템 전체는 결국적(eventual) 일관.
4) 정량·정성 비교표
| 관점 | 스레딩 | 액터 모델 |
|---|---|---|
| 데이터 교환 | 공유 메모리 → 매우 빠름 | 메시지 복사/직렬화 → 상대적으로 느림 |
| 오류 격리 | 프로세스 내 전파 쉬움 | 액터 경계로 격리, 슈퍼비전 재시작 |
| 확장성 | 단일 노드 최적 | 분산·멀티노드에 자연스러움 |
| 개발 난이도 | 락·동기화가 어렵다 | 계약/메시지 설계가 어렵다 |
| 디버깅 | 데드락/경쟁 재현 어려움 | 분산 트레이싱/스팬 상관이 핵심 |
| 지연 | 낮음(연산/메모리 바운드) | 큐잉 지연 존재, 피크에 안정적 |
| 운영비용 | 적은 구성요소 | 런타임/메시지 브로커/옵저버빌리티 필요 |
5) AI 워크로드별 권장 아키텍처
5.1 학습(Training)
- GPU 배치 내부: 커널 실행·텐서 연산은 스레드/스트림 기반이 유리. 공유 메모리와 캐시 친화 구조.
- 분산 학습 오케스트레이션: 워커·파라미터 서버·체크포인트·스케줄러는 액터가 안정적. 실패 노드 재시작/리밸런싱이 쉬움.
5.2 추론(Serving)
- 싱글 노드 고성능 엔진: 스레드 풀 + 고정 바인딩(코어 핀) + 락 최소화가 지연을 줄인다.
- 멀티 모델·멀티 테넌트: 액터로 모델 인스턴스를 캡슐화 → 워밍/언로딩/버전 전환을 메시지로 제어.
5.3 데이터 파이프라인
크롤·스트림 수집·전처리·피처링은 큐 기반의 액터 파이프라인이 견고하다. 역압과 재시도 정책을 메일박스 차원에서 통제할 수 있다.
5.4 멀티 에이전트·도구 연동
여러 모델/에이전트를 팀으로 묶는 오케스트레이션은 액터가 직관적이다. 각 에이전트는 독립 상태·정책·캐시를 가진 액터가 되고, 조정자는 대화/작전 상태를 관리한다.
6) 설계 패턴·안티패턴·관측성
6.1 스레드 패턴
- 워커 풀: 고정 크기 풀 + 작업 큐. 과도한 풀 크기를 피하라(코어 수×k).
- 파이프라인 단계화: 단계별 큐/배리어로 캐시 지역성 확보.
- 메모리 소유권: 생산자→소비자로 이동, 불변 참조 선호.
6.2 액터 패턴
- 슈퍼비전 트리: 재시작 정책(한도/시간창)·격리 레벨 정의.
- 사가(Saga): 다단계 분산 트랜잭션을 보상 메시지로 롤백.
- 샤딩: 키 기반 라우팅으로 상태 분할, 핫샤드 모니터링.
6.3 안티패턴
- 액터 내부 공유 상태 노출: 모델을 깨뜨린다.
- 거대 메시지: 대용량 텐서는 버퍼 풀/공유 메모리 매핑 등 별도 경로 사용.
- 락 남용: 스레드에서 락 중첩·순환 대기 → 락 순서 규칙·타임아웃 필수.
6.4 관측성(Observability)
스레드는 프로파일러/락 분석·스택덤프·핫스팟 중심. 액터는 분산 트레이싱(trace id·span id 상관), 큐 수위, 드롭/리트라이 카운터를 1급 지표로 본다.
7) 하이브리드 접근: “스레드 안의 액터, 액터 옆의 스레드”
현대 AI 플랫폼은 둘 중 하나만 고집하지 않는다. 예:
- 액터 오케스트레이터가 요청을 수락 → GPU 워커(스레드/스트림)가 배치 처리 → 결과를 액터로 회수.
- 액터 간 대용량 텐서는
shared memory나RDMA로 전달하고, 제어·메타 정보만 메시지화.
8) 마이그레이션: 스레드 기반 서비스 → 액터 기반
- 경계 정의: 공유 상태를 도메인 상태 단위로 나누고 액터 계약(API)을 서술.
- 접근 경로 차단: 직접 참조를 메시지로 치환, 불변 DTO 사용.
- 트래픽 분할: 일부 라우트를 액터 경로로 전환하는 Strangler 패턴.
- 관측성 우선: Trace ID 전파, 메일박스 수위/지연 지표, 샤딩 메트릭.
- 혼합 기간: 고지연·대용량 데이터는 공유 메모리/버퍼 풀로 유지, 제어는 메시지화.
9) 보안·리스크·운영 체크리스트
- 자원 격리: 액터별 큐 한도·CPU/메모리 쿼터, 스레드 풀 최대치.
- DoS/폭주: 입력 샘플링·버킷 토큰·큐 오버플로 드롭 정책.
- 데이터 보호: 메시지 직렬화 시 암호화/서명, 민감 페이로드는 out-of-band 전송.
- 릴리즈/롤백: 카나리·블루/그린, 액터 버전 공존, 메시지 스키마 호환성.
- 테스트: 해피/슬로우/페일 패스, 역압 상황·샤드 핫스팟·네트워크 분단(Partition) 주입.
10) FAQ
Q1. 단일 서버, 초저지연 추론이면?
락 최소화한 스레드 풀 + 고정 코어 바인딩이 가장 단순하고 빠르다. 액터는 오버헤드.
Q2. 모델이 많고 테넌트가 다양하면?
액터로 모델 인스턴스를 캡슐화하고 워밍/언로드/버전 전환을 메시지로 통제. 장애는 슈퍼비전으로 격리.
Q3. Python GIL은?
CPU 바운드에선 다중 프로세스/네이티브 확장/가속기를 쓰고, I/O 바운드는 비동기·액터·스레드 혼합이 효과적이다.
Q4. 대용량 텐서 전달은?
액터 제어흐름 + shared memory/파일 디스크립터/IPC/zero-copy 네트워킹으로 데이터 평면을 분리.
11) 결론 요약 & 도입 로드맵 (30·60·90일)
30일: 파일럿
- 핵심 경계 식별(모델 인스턴스·세션·잡 단위), 메시지 계약 초안.
- 지표: P50/P95 지연, 큐 수위, 드롭률, 재시작 횟수.
60일: 확장
- 샤딩/역압·리밸런싱 구현, 분산 트레이싱 의무화.
- 대용량 페이로드 전송 경로 최적화(제로카피·RDMA 등).
90일: 운영화
- 카나리 배포·롤백 자동화, 슈퍼비전 정책 정식화.
- KPI 기반 용량 계획과 비용 최적화 루프.