로컬 AI와 클라우드 AI, 무엇이 다를까

기준: Google(Android·Chrome)·Microsoft·Apple·Ollama·Anthropic 공식 문서. 2026년 9~10월에 확인했습니다. 기기 조건과 제공 일정은 자주 바뀝니다.

AI가 어디에서 돌아가느냐에 따라 로컬 AI와 클라우드 AI로 나뉩니다. 로컬 AI는 휴대폰이나 PC 안에서 직접 계산하므로 모델만 받아 두면 인터넷 없이도 쓸 수 있고, 계산을 위해 입력 내용을 서버로 보내지 않습니다. 대신 기기 성능의 영향을 받고 모델이 작습니다. 클라우드 AI는 회사의 큰 서버에서 돌아가서 훨씬 크고 능력 있는 모델을 쓸 수 있지만, 인터넷이 필요하고 입력 내용이 서버로 전달되며, 무료·월정액 요금제나 사용량 요금이 붙습니다. 이 글에서는 두 방식의 차이를 비교표로 정리하고, Google·Microsoft·Apple 같은 회사들이 실제로 어떻게 둘을 섞어 쓰는지, 그리고 나에게 맞는 방식을 고르는 기준을 설명합니다.

비행기 모드에서도 되는 AI

AI라고 하면 보통 인터넷 너머 어딘가의 거대한 컴퓨터를 떠올립니다. 그런데 요즘은 인터넷을 끊어도 동작하는 AI 기능도 있습니다. 예를 들어 Google은 Gemini Nano가 기기 안에서 프롬프트를 처리해 서버 호출이 없고, 오프라인에서도 동작하며, 민감한 데이터를 기기 안에 둔다고 설명합니다. 글 요약, 맞춤법 교정, 다시 쓰기 같은 일을 휴대폰 안에서 처리하는 기능이 이 방식으로 만들어집니다.

여기서 나오는 용어를 먼저 정리해 두겠습니다.

• 로컬 AI: 내 기기(휴대폰, 노트북, 데스크톱)에서 AI 모델이 직접 계산하는 방식입니다. "온디바이스(on-device) AI"라고도 부릅니다. 온디바이스는 말 그대로 "기기 위에서"라는 뜻입니다.
• 클라우드 AI: AI 모델이 회사의 데이터센터 서버에서 돌아가고, 내 기기는 인터넷으로 질문을 보내고 답을 받기만 하는 방식입니다. 클라우드는 "인터넷 너머에 있는 남의 컴퓨터"입니다.
• 모델: AI가 학습을 마친 결과물로, 실제로 답을 만들어 내는 커다란 파일입니다. 이 파일이 어디에 있고 어디서 계산되느냐가 로컬과 클라우드를 가르는 기준입니다.

비유: 집밥과 배달

두 방식의 차이는 집밥과 배달의 차이와 같습니다.

로컬 AI는 집에서 요리하는 것과 같습니다. 재료와 주방이 모두 집 안에 있으니 무엇을 해 먹는지 식당에 알릴 일이 없고, 한 끼 먹을 때마다 배달비를 내지도 않습니다. 대신 주방 크기와 조리 도구(= 내 기기의 성능)가 허락하는 요리만 할 수 있고, 처음에 주방을 갖추는 데 공간과 비용이 듭니다.

클라우드 AI는 큰 식당에서 배달을 시키는 것과 같습니다. 식당에는 넓은 주방과 숙련된 요리사(= 큰 서버와 큰 모델)가 있으니 집에서 만들기 어려운 요리도 받을 수 있습니다. 대신 주문 내용이 가게로 전달되고, 전화가 연결되어야(= 인터넷) 주문할 수 있으며, 건별로 돈을 내거나 월 구독을 하는 식으로 비용이 듭니다.

어느 쪽이 무조건 낫지는 않습니다. 오늘 무엇을 먹을지(어떤 일을 맡길지)에 따라 고릅니다.

한눈에 보는 비교표

표의 컨텍스트 창은 AI가 한 번에 읽고 기억할 수 있는 글의 양을 말하고, 토큰은 AI가 글을 잘게 나눠 세는 단위입니다. 표 안의 숫자 가운데 Ollama 쪽(4096토큰)은 VRAM이 24GB보다 작은 PC의 기본값입니다. VRAM이 더 크면 기본값도 커지고, 환경 변수나 num_ctx 설정으로 바꿀 수 있습니다. Claude 쪽(100만 토큰)은 모델별 최대값이라 모델에 따라 더 작을 수 있습니다. 두 숫자를 그대로 성능 차이로 읽지는 마세요.

NPU라는 말도 낯설 수 있습니다. NPU는 AI 계산만 전문으로 하는 칩으로, 적은 전력으로 AI를 돌리도록 만들어졌습니다. 아래에 나오는 Microsoft의 Copilot+ PC가 NPU를 갖춘 대표적인 예입니다.

회사별 실제 사례

Google: 휴대폰과 브라우저 속 Gemini Nano

Android에서 Gemini Nano는 AICore라는 시스템 서비스를 통해 돌아갑니다. AICore가 기기 하드웨어를 이용해 추론(모델이 답을 계산하는 과정)을 빠르게 하고, 모델 배포와 업데이트도 관리합니다. Google이 꼽는 장점은 세 가지입니다. 민감한 데이터를 기기 안에 두고, 오프라인에서도 동작하며, 앱이 큰 모델을 쓰는 데 드는 추론 비용을 줄인다는 점입니다.

한계도 있습니다. 추론 속도가 기기 하드웨어에 따라 다르고, 호환되는 Android 기기가 필요하며, 클라우드 모델보다 능력이 작습니다. 채팅이나 블로그 글처럼 짧은 글은 기기 안 모델로 처리하지만, PDF 같은 큰 자료나 추가 지식이 필요한 일에는 클라우드의 더 강력한 Gemini 모델(Pro, Flash)이 필요할 수 있습니다.

Chrome 브라우저에도 Gemini Nano가 내장 AI로 들어가 있습니다. 다만 아무 컴퓨터에서나 되는 것은 아닙니다. 조건은 다음과 같습니다.

• 운영체제: Windows 10 또는 11, macOS 13 이상, Linux, 또는 Chromebook Plus 기기의 ChromeOS입니다. 휴대폰용 Chrome(Android, iOS)은 아직 지원하지 않습니다.
• 저장 공간: Chrome 프로필이 있는 드라이브에 최소 22GB의 여유 공간이 있어야 합니다.
• 계산 장치: GPU를 쓸 때는 VRAM(그래픽카드 전용 메모리)이 4GB를 넘어야 하고, CPU로 돌릴 때는 RAM 16GB 이상과 4코어 이상이 필요합니다.
• 네트워크: 처음 모델을 받을 때 데이터 요금이 따로 붙지 않는 연결이 필요하고, 그 뒤에는 없어도 됩니다.

Microsoft: Windows 속 Phi Silica

Microsoft는 Windows에서 로컬로 돌아가는 언어 모델 Phi Silica를 제공합니다. Phi Silica는 사용자가 직접 여는 앱이 아니라, Windows 앱 개발자가 자기 앱에 넣어 쓰는 기능(API)입니다. 게다가 접근 허가를 따로 받아야 하는 제한 접근 기능(Limited Access Feature)으로 분류되어 있습니다. 일반 사용자는 이 기능을 넣은 앱을 통해서 간접적으로 만나게 됩니다.

실행 장소는 두 가지입니다. Copilot+ PC에서는 NPU에서 돌아가며, 이 NPU용 모델은 Copilot+ PC에 미리 설치되어 있습니다. GPU에서 돌리는 방식도 있지만 아직 시험 단계입니다. Windows Insider 프로그램의 실험(Experimental) 채널 빌드, 개발자 모드, NVIDIA RTX 30 시리즈 이상 또는 AMD Radeon RX 9060 시리즈 이상(VRAM 6GB 이상), 제조사에서 직접 받은 최신 드라이버가 있어야 합니다. GPU용 모델은 미리 깔려 있지 않고 처음 쓸 때 수 GB 크기로 내려받기 때문에, Microsoft는 앱이 내려받기 전에 사용자 동의를 받도록 권합니다.

NPU와 GPU에는 차이가 있습니다. NPU는 전력 효율이 좋아 배터리로 쓸 때 알맞고, GPU로 돌리면 전력을 더 쓰고 응답 속도가 그래픽카드 세대와 메모리, 그때의 부하에 따라 달라집니다. 같은 모델이라 답의 품질은 같습니다.

Microsoft는 Phi Silica를 새 온디바이스 모델 Aion Instruct로 교체한다는 일정을 공식 문서에 적어 두었습니다. 2026년 10월 초에 시험용 패키지가 먼저 나오고, 2026년 11월에 Windows Insider 기기부터 Aion Instruct 배포가 시작됩니다. 이때는 Phi Silica도 함께 남아 있습니다. 2027년 1월에 일반 기기로 배포되면서 Phi Silica는 제거됩니다. 또 Phi Silica 기능은 중국에서는 제공되지 않습니다. 이 글을 2027년 1월 이후에 읽는다면 이름은 Aion Instruct로 바뀌어 있겠지만, "Windows PC 안에서 돌아가는 작은 언어 모델"이라는 개념은 그대로입니다.

Apple: 기기 우선, 필요할 때만 서버

Apple은 기기 안에서 처리하는 것을 보안과 개인정보 보호의 중심으로 삼습니다. 그리고 더 큰 모델이 필요한 복잡한 요청만 Private Cloud Compute(PCC)라는 Apple 서버로 보냅니다. Apple은 PCC로 보낸 개인 데이터를 사용자 외에는 Apple 직원도 볼 수 없고, 요청을 처리하는 데만 쓰며, 응답을 돌려준 뒤에는 어떤 형태로도 남기지 않는다고 설명합니다.

이 방식은 휴대폰 계산기와 은행 창구와 비슷합니다. 간단한 계산은 손 안의 계산기로 끝내고, 큰 거래가 있을 때만 창구에 갑니다. 로컬 AI를 쓰는 기능이라도 이렇게 필요할 때 서버로 넘기는 설계가 있으므로, "로컬 AI = 절대 밖으로 안 나감"이라고 단정할 수 없습니다.

Ollama: 내 PC에서 직접 모델을 돌리는 도구

회사가 미리 넣어 둔 기능 말고, 개인이 직접 공개 모델을 받아 PC에서 돌리는 방법도 있습니다. Ollama는 공개(오픈) 모델을 데스크톱 앱이나 코딩 도구, 직접 만든 앱에서 쓰게 해 주는 도구입니다. 특징은 다음과 같습니다.

1. 모델 파일이 내 디스크에 저장됩니다. Windows에서는 사용자 폴더 아래 .ollama\models에 들어갑니다.
2. 로컬에서 실행할 때 Ollama는 사용자의 프롬프트나 데이터를 보지 않는다고 FAQ에 밝혀 두었습니다.
3. 클라우드 기능을 끄고 완전히 오프라인으로 쓰는 설정이 있습니다.
4. 모델이 그래픽카드 메모리에 다 들어가지 않으면 CPU와 나누어 올라갑니다. ollama ps 명령으로 GPU와 CPU를 각각 얼마나 쓰는지 볼 수 있습니다. 즉 내 컴퓨터의 메모리가 속도를 크게 좌우합니다.
5. 기본 컨텍스트 창은 VRAM 크기에 따라 다릅니다. VRAM 24GB 미만인 PC에서는 4096토큰이고, OLLAMA_CONTEXT_LENGTH 환경 변수나 num_ctx 설정으로 늘릴 수 있습니다. 늘릴수록 메모리를 더 씁니다.
6. 내 컴퓨터 안에 API 서버(http://localhost:11434/api)를 열어, 다른 프로그램이 이 로컬 모델에 질문을 보낼 수 있게 합니다. API는 프로그램끼리 요청과 답을 주고받는 약속된 창구입니다.

Ollama도 로컬 모델뿐 아니라 로컬 GPU 없이 서버에서 돌리는 "클라우드 모델"을 함께 고를 수 있게 해 두었습니다. 로컬 도구도 클라우드와 섞어 쓰는 길을 열어 둔 것입니다.

모델 크기별로 RAM이 얼마나 필요한지는 모델마다 다릅니다. 받으려는 모델의 공식 페이지에서 확인하세요.

클라우드 쪽 예: Claude

클라우드 AI의 예로 Anthropic의 Claude가 있습니다. Claude는 Anthropic 서버나 AWS, Google Cloud, Azure 같은 클라우드에서 돌아가고, 인터넷을 통해 API로 불러 씁니다.

개인정보 면에서 Anthropic은 API 같은 상업용 제품의 입력과 출력을 기본적으로 모델 학습에 쓰지 않는다고 개인정보 안내에 밝히고 있습니다. 다만 좋아요·싫어요 같은 피드백을 보내거나 사용자가 직접 허용한 경우는 예외입니다. 그리고 일반인이 주로 쓰는 것은 API가 아니라 Claude 앱입니다. Claude 앱의 Free·Pro·Max 같은 개인 요금제는 학습 사용 정책을 안내하는 문서가 따로 있고, 대화를 모델 개선에 쓰도록 허용할지는 개인정보 설정에서 사용자가 고릅니다. 이처럼 같은 회사 안에서도 제품과 요금제마다 정책이 다릅니다. 쓰려는 서비스의 개인정보 문서를 직접 확인하세요.

로컬과 클라우드를 섞어 쓰는 흐름

위 사례를 모아 보면 공통점이 하나 보입니다. 어느 회사도 로컬과 클라우드 중 하나만 고르라고 하지 않습니다.

• Chrome 문서는 로컬(클라이언트) AI의 장점으로 응답이 빠르고 서버 비용이 줄고 개인정보를 지키기 쉽다는 점을 들면서, Firebase AI Logic으로 클라우드 대체 경로를 두는 방법도 안내합니다.
• Microsoft는 응답 시간이 중요한 앱이라면 사용자 동의를 받아 클라우드로 넘기는 대체 경로를 고려하라고 권합니다.
• Google Android는 짧은 글은 기기에서, 큰 자료나 추가 지식이 필요한 일은 클라우드 모델로 나누라고 안내합니다.
• Apple은 간단한 일은 기기에서, 복잡한 일만 서버로 보내는 구조를 씁니다.

앞의 비유로 돌아가면, 평소엔 집밥, 특별한 날엔 배달입니다. 매일 먹는 가벼운 끼니는 집에서 해결하고, 집 주방으로는 만들기 어려운 요리가 필요할 때만 식당에 주문하는 식입니다. AI도 일의 성격에 따라 나누어 쓰는 쪽으로 가고 있습니다.

나에게 맞는 방식 고르기

아래 표에서 내 상황과 가까운 줄을 찾아보세요.

로컬 AI를 직접 써 보고 싶다면 순서는 대략 이렇습니다.

1. 내 기기가 조건을 맞추는지 공식 문서에서 확인합니다(운영체제, 저장 공간, GPU 메모리, RAM).
2. 처음 한 번은 인터넷에 연결해 수 GB 크기의 모델을 내려받습니다.
3. 가벼운 일부터 맡겨 보고, 속도와 답의 품질이 만족스러운지 봅니다.
4. 부족하다고 느끼는 일만 클라우드 AI로 넘깁니다.

흔한 오해 다섯 가지

1. "로컬 AI도 클라우드 AI만큼 똑똑하다." 기기 안 모델은 대체로 클라우드 모델보다 능력이 작습니다. 긴 문서나 추가 지식이 필요한 일에는 클라우드의 더 강력한 모델이 필요할 수 있습니다.
2. "클라우드 AI에 넣은 내용은 전부 학습에 쓰인다." 서비스와 요금제마다 다릅니다. 예를 들어 Anthropic은 상업용 API의 입력·출력을 기본적으로 학습에 쓰지 않는다고 밝히고, Claude 앱의 Free·Pro·Max 개인 요금제는 따로 안내하며 모델 개선 사용 여부를 설정에서 고르게 합니다. 쓰는 서비스의 정책을 확인하세요.
3. "로컬 AI는 아무 컴퓨터에서나 공짜로 돌아간다." 호출 요금은 없는 경우가 많지만 운영체제, 저장 공간, GPU 메모리나 RAM 같은 조건이 있고, 모델을 받는 데 수 GB가 듭니다.
4. "로컬이면 인터넷이 아예 필요 없다." 처음 모델을 내려받을 때와 모델을 업데이트할 때는 인터넷이 필요합니다.
5. "둘 중 하나만 골라야 한다." Google, Microsoft, Apple 모두 둘을 섞어 쓰는 설계를 전제로 안내합니다.

정리

로컬 AI와 클라우드 AI의 차이는 계산을 내 기기에서 하느냐, 회사 서버에서 하느냐 하나에서 시작합니다. 여기서 개인정보(데이터가 서버로 가느냐), 비용(호출당 요금이나 구독이 필요하냐), 성능(얼마나 큰 모델을 쓸 수 있느냐), 필요 사양(내 기기가 감당할 수 있느냐)의 차이가 따라 나옵니다. 민감하고 가벼운 일은 로컬에, 크고 어려운 일은 클라우드에 맡기면 됩니다. 다만 제품 이름과 요건은 자주 바뀌므로, 쓰기 전에 공식 문서를 한 번 확인하세요.

참고 자료

• Android Developers, Gemini Nano — https://developer.android.com/ai/gemini-nano
• Android Developers, AI on Android overview — https://developer.android.com/ai/overview
• Chrome for Developers, Get started with built-in AI — https://developer.chrome.com/docs/ai/get-started
• Chrome for Developers, Built-in AI — https://developer.chrome.com/docs/ai/built-in
• Microsoft Learn, Get started with Phi Silica in the Windows App SDK — https://learn.microsoft.com/en-us/windows/ai/apis/phi-silica
• Apple Security Research, Private Cloud Compute — https://security.apple.com/blog/private-cloud-compute/
• Ollama Docs — https://docs.ollama.com/
• Ollama Docs, Context length — https://docs.ollama.com/context-length
• Ollama FAQ — https://docs.ollama.com/faq
• Ollama API introduction — https://docs.ollama.com/api/introduction
• Ollama README — https://github.com/ollama/ollama/blob/main/README.md
• Anthropic, API overview — https://platform.claude.com/docs/en/api/overview
• Anthropic, Context windows — https://platform.claude.com/docs/en/build-with-claude/context-windows
• Anthropic Privacy Center, Is my data used for model training? (상업용 제품) — https://privacy.claude.com/en/articles/7996868-is-my-data-used-for-model-training
• Anthropic Privacy Center, Is my data used for model training? (Claude Free·Pro·Max) — https://privacy.claude.com/en/articles/10023580-is-my-data-used-for-model-training