기술 트렌드
인공지능이 거대한 데이터센터를 벗어나 스마트폰, 노트북, 산업용 장비 안으로 들어오고 있습니다. 비용, 지연 시간, 개인정보 보호라는 세 가지 과제를 해결하는 온디바이스 AI와 소형 언어모델(SLM)의 흐름을 짚고, 개발자에게 필요한 역량을 정리했습니다.
불과 몇 년 전까지만 해도 인공지능이라고 하면 거대한 데이터센터에서 돌아가는 대형 모델을 떠올리는 것이 일반적이었습니다. 사용자가 질문을 입력하면 그 내용이 인터넷을 거쳐 클라우드 서버로 전송되고, 서버가 계산한 결과가 다시 돌아오는 구조였습니다. 그런데 지금은 상황이 달라지고 있습니다. 스마트폰과 노트북, 자동차와 공장 설비 안에서 직접 AI 모델이 실행되는 '온디바이스 AI'가 빠르게 확산되고 있기 때문입니다. 이번 글에서는 이 흐름을 이끄는 소형 언어모델(SLM)과 경량화 기술, 그리고 개발자에게 요구되는 역량 변화를 차근차근 살펴보겠습니다.
【온디바이스 AI란 무엇인가】 온디바이스 AI는 말 그대로 AI 연산을 외부 서버가 아닌 사용자의 기기 안에서 처리하는 방식을 말합니다. 대표적인 사례로 애플은 Apple Intelligence를 발표하면서 약 30억 개 파라미터 규모의 모델을 기기 안에서 구동한다고 밝혔고, 구글은 경량 모델인 Gemini Nano를 픽셀과 갤럭시 등 안드로이드 기기에 탑재해 왔습니다. 마이크로소프트는 초당 40조 회(40 TOPS) 이상의 연산이 가능한 NPU를 갖춘 PC를 'Copilot+ PC'로 분류하며 PC에서도 로컬 AI 시대를 열었습니다. 통역, 요약, 사진 편집처럼 이미 우리가 일상에서 쓰는 기능 중 상당수가 기기 안에서 처리되고 있습니다.
【왜 지금 온디바이스인가】 이 변화의 배경에는 크게 세 가지 이유가 있습니다. 첫째는 비용입니다. 사용자가 늘어날수록 클라우드 추론 비용은 기업에 큰 부담이 되는데, 연산의 일부를 사용자 기기로 옮기면 서버 비용을 줄일 수 있습니다. 둘째는 지연 시간입니다. 네트워크 왕복이 없으니 응답이 빠르고, 인터넷이 불안정한 환경에서도 기능이 동작합니다. 셋째는 개인정보 보호입니다. 메시지, 사진, 건강 정보처럼 민감한 데이터가 기기 밖으로 나가지 않기 때문에 사용자 신뢰를 얻기 쉽고 규제 대응에도 유리합니다.
【작지만 강한 모델, SLM의 등장】 온디바이스 AI가 현실이 될 수 있었던 핵심은 소형 언어모델의 성능 향상입니다. 마이크로소프트의 Phi 시리즈, 구글의 Gemma, 메타의 Llama 소형 버전, 알리바바의 Qwen 소형 모델 등은 수십억 개 수준의 파라미터로도 특정 작업에서 쓸 만한 성능을 보여 주며 주목받았습니다. 비결은 무작정 모델 크기를 키우는 대신 학습 데이터의 품질을 높이고, 큰 모델의 지식을 작은 모델에 옮겨 담는 지식 증류(Knowledge Distillation) 같은 기법을 적극 활용한 데 있습니다. 모든 문제를 하나의 초대형 모델로 푸는 것이 아니라, 목적에 맞는 작은 모델을 골라 쓰는 방향으로 업계의 시각이 넓어지고 있습니다.
【모델을 기기에 맞추는 경량화 기술】 아무리 작은 모델이라도 그대로 스마트폰에 올리기에는 메모리와 전력 제약이 큽니다. 그래서 등장한 것이 경량화 기술입니다. 모델의 숫자 정밀도를 32비트나 16비트에서 8비트, 4비트로 낮추는 양자화(Quantization), 중요도가 낮은 연결을 덜어내는 가지치기(Pruning), 앞서 언급한 지식 증류가 대표적입니다. 오픈소스 진영에서는 llama.cpp와 GGUF 포맷, Ollama 같은 도구가 일반 노트북에서도 언어모델을 실행할 수 있는 환경을 만들어 주었고, 소량의 파라미터만 추가로 학습하는 LoRA 같은 기법 덕분에 개인이나 중소기업도 모델을 자기 업무에 맞게 조정할 수 있게 되었습니다.
【하드웨어의 변화, NPU 경쟁】 소프트웨어만큼 중요한 것이 하드웨어입니다. 최근 출시되는 스마트폰과 PC의 칩에는 AI 연산에 특화된 NPU(신경망 처리 장치)가 기본으로 탑재되는 추세입니다. 애플의 뉴럴 엔진, 퀄컴의 헥사곤 NPU, 인텔과 AMD의 PC용 NPU가 대표적이며, 산업 현장에서는 엔비디아 Jetson 같은 엣지 컴퓨팅 보드가 카메라 영상 분석이나 로봇 제어에 활용되고 있습니다. 개발자 입장에서는 같은 모델이라도 어떤 칩에서 돌리느냐에 따라 속도와 전력 소모가 크게 달라지기 때문에, 하드웨어 특성을 이해하는 것이 점점 중요한 역량이 되고 있습니다.
【클라우드와 기기의 역할 분담, 하이브리드 AI】 그렇다고 클라우드 AI가 사라지는 것은 아닙니다. 현재 업계가 주목하는 방향은 하이브리드 구조입니다. 간단한 요약이나 분류, 개인 데이터 처리처럼 가벼운 작업은 기기에서 처리하고, 복잡한 추론이나 최신 정보가 필요한 작업은 클라우드의 대형 모델에 맡기는 방식입니다. 애플이 기기에서 처리하기 어려운 요청을 보안이 강화된 자체 서버(Private Cloud Compute)로 넘기는 구조를 공개한 것도 이런 흐름을 보여 주는 사례입니다. 결국 앞으로의 AI 서비스 설계는 어떤 작업을 어디에서 처리할지 판단하는 아키텍처 설계 능력이 핵심이 됩니다.
【산업 현장으로 번지는 엣지 AI】 온디바이스 AI의 무대는 소비자 기기에만 머물지 않습니다. 제조 현장에서는 생산 라인 카메라가 불량을 즉시 판별하고, 의료 분야에서는 환자 데이터를 병원 내부에서만 처리하는 AI 시스템이 검토되고 있습니다. 금융과 공공 분야처럼 데이터 외부 반출에 민감한 영역에서도 내부 환경에서 구동 가능한 경량 모델에 대한 관심이 높습니다. 국내에서도 개인정보보호법 등 데이터 관련 규제를 고려할 때, 데이터를 밖으로 보내지 않고 처리할 수 있는 기술은 기업에 실질적인 선택지가 되고 있습니다.
【개발자에게 요구되는 새로운 역량】 이런 변화는 개발자의 역할에도 영향을 줍니다. 단순히 API를 호출하는 수준을 넘어, 모델을 선택하고 경량화하고 실제 기기에 배포하는 과정 전체를 이해하는 인력이 필요해지고 있습니다. 기본기로는 Python과 PyTorch 같은 딥러닝 프레임워크가 여전히 중요하며, 여기에 ONNX Runtime, Core ML, LiteRT(구 TensorFlow Lite), ExecuTorch 같은 배포용 런타임을 다뤄 본 경험이 더해지면 경쟁력이 커집니다. 또한 모바일 앱이나 임베디드 시스템 개발 역량과 AI 지식을 함께 갖춘 융합형 인재는 시장에서 상대적으로 찾기 어려운 만큼 성장 가능성이 높은 분야입니다.
【취업 준비생을 위한 학습 로드맵】 처음 시작하는 분이라면 순서를 정해 단계적으로 접근하는 것이 좋습니다. 먼저 Python 프로그래밍과 데이터 처리 기초를 익히고, 머신러닝과 딥러닝의 기본 원리를 이해합니다. 그다음 공개된 소형 모델을 내려받아 노트북에서 직접 실행해 보고, 양자화 전후의 속도와 정확도 차이를 비교해 보는 실습을 권합니다. 마지막으로 간단한 모바일 앱이나 웹 서비스에 모델을 연결해 하나의 완성된 결과물로 만들어 보면, 포트폴리오에서 '모델을 실제 서비스로 구현할 줄 아는 사람'이라는 점을 분명히 보여 줄 수 있습니다.