← Blog
앱· 읽는 데 3분
온디바이스 AI: 앱 안에서 도는 AI를 언제 쓰면 좋은가
새 스마트폰들이 기기 안에서 AI를 돌리는 성능을 앞세우고 있습니다. 앱에 AI 기능을 넣을 때 서버와 기기 중 어디서 돌릴지 판단하는 기준을 정리했습니다.
이달 Google이 공개한 Pixel 11은 새 칩 Tensor G6에서 최신 Gemini Nano 모델을 기기 안에서 직접 돌린다는 점을 앞세웠습니다. 스마트폰 안에서 AI가 도는 것이 점점 기본이 되고 있습니다.
앱에 AI 기능을 넣으려는 회사에는 선택지가 하나 더 생겼습니다. 서버에서 돌릴 것인가, 기기에서 돌릴 것인가.
기기에서 돌릴 때의 장점
개인정보가 밖으로 나가지 않는다
사진, 메모, 건강 기록처럼 민감한 정보를 서버로 보내지 않고 처리할 수 있습니다. 사용자의 신뢰를 얻기 쉽고, 개인정보 관련 부담이 줄어듭니다.
사용량이 늘어도 비용이 늘지 않는다
서버 모델은 호출할 때마다 비용이 듭니다. 기기에서 도는 모델은 사용자가 아무리 많이 써도 회사의 비용이 늘지 않습니다.
빠르고, 인터넷 없이도 된다
서버를 오가는 시간이 없어서 반응이 빠릅니다. 지하철이나 해외처럼 연결이 불안한 곳에서도 동작합니다.
기기에서 돌릴 때의 한계
- 모델이 작다: 복잡한 추론이나 긴 문서 분석은 서버의 큰 모델이 훨씬 낫습니다.
- 기기마다 다르다: 최신 기기에서만 되는 기능은 나머지 사용자에게 쓸모가 없습니다. 사용자들이 실제로 어떤 기기를 쓰는지 봐야 합니다.
- 플랫폼마다 다르다: iOS와 Android의 온디바이스 모델은 서로 다릅니다. 같은 기능을 양쪽에 맞춰 각각 확인해야 합니다.
- 통제가 어렵다: 서버 모델은 문제가 생기면 바로 고칠 수 있습니다. 기기 안의 모델은 OS 업데이트에 달려 있습니다.
판단 기준
| 기능의 성격 | 적합한 위치 |
|---|---|
| 입력 중 문장 다듬기, 짧은 요약 | 기기 |
| 사진 분류, 글자 인식 | 기기 |
| 민감한 개인정보를 다루는 처리 | 기기 |
| 최신 정보가 필요한 답변 | 서버 |
| 긴 문서 분석, 복잡한 판단 | 서버 |
| 회사의 데이터와 연결되는 기능 | 서버 |
섞어 쓰는 방식
실제로는 둘을 함께 쓰는 구성이 많습니다.
- 기기에서 되는 기기에서는 기기 모델로 처리합니다.
- 기기가 지원하지 않거나 결과가 부족하면 서버로 넘깁니다.
- 서버로 보내기 전에 기기에서 개인정보를 가립니다.
이렇게 하면 최신 기기의 사용자는 빠르고 사적인 경험을, 그렇지 않은 사용자도 같은 기능을 쓸 수 있습니다.
기획할 때
"AI 기능을 넣자"에서 출발하면 위치를 고르기 어렵습니다. 기능마다 세 가지를 적어 보면 답이 보입니다. 어떤 데이터를 다루는가, 얼마나 자주 쓰이는가, 틀렸을 때 얼마나 문제가 되는가.
참고 자료