你的手机里已经藏着一个 AI 大脑

想象一下：你打开 Google AI Edge Gallery 应用，说了一句话，AI 立刻回答了你——全程没有联网。没有请求云服务器，没有上传你的数据，一切在你手机的芯片上完成。

这不是魔法，这是端侧 AI（On-Device AI）。而 Google AI Edge Gallery 这个开源项目，就是迄今最完整的端侧 AI 落地案例展示台。

当你点击"AI Chat"时，发生了什么？

想象你是一名邮差，负责在城市的不同部门之间传递消息。传统 AI 的做法是：每次你要问一个问题，邮差必须先飞到旧金山的 Google 数据中心，取回答案，再飞回来。而端侧 AI 是：把整个"图书馆"搬进你的手机，邮差在楼下就能找到答案。

整个过程不超过 100 毫秒，你的数据从未离开手机。

Gallery 能做什么？认识 8 个核心功能

三个技术支柱

知识检验：端侧 AI 基础

就像乐队：每个人负责不同的乐器

Galaxy Gallery 是一个 Android 应用，用 Kotlin 编写，采用了 MVVM 架构模式。代码被整齐分成多个层，就像一支乐队：每个声部各司其职，互不干扰。

代码解读：Task 是什么样子的？

每个 AI 功能（聊天、图片分析、语音转录）在代码里都是一个 Task 对象。让我们读一读它的定义：

data class Task(
  val id: String,
  val label: String,
  val category: CategoryInfo,
  val description: String,
  val models: MutableList<Model>,
  val docUrl: String = "",
)

组件如何对话：一次"加载模型"对话

用户点击下载 Gemma，背后的组件是怎么协作的？

代码结构一览

就像在印钞机里放纸

想象一台老式印刷机。模型加载就像把印版安装进机器——这需要一些时间，但只做一次。推理（Inference）就像印刷——每次都很快，因为机器已经准备好了。

在 Gallery 中，当你选择一个模型并点击初始化，推理引擎被加载到内存中，之后每条消息的响应速度才会很快。

LlmModelHelper 接口：定义"推理引擎规范"

Gallery 支持多种底层推理引擎（LiteRT-LM 和 AICore）。为了让上层代码不需要关心底层差异，代码定义了一个接口（Interface）：

interface LlmModelHelper {
  fun initialize(
    context: Context,
    model: Model,
    onDone: (String) -> Unit,
    systemInstruction: Contents? = null,
  )
  fun runInference(...)
  fun resetConversation(...)
  fun cleanUp(model: Model)
}

Streaming 输出：为什么 AI 是一个字一个字出现的？

你有没有注意到 AI 回答时文字是流式出现的，而不是等一会儿然后全部出现？这是流式输出（Streaming）技术。

在 Gallery 的代码中，推理回调函数的签名揭示了这一机制：

typealias ResultListener =
  (partialResult: String,
   done: Boolean,
   partialThinkingResult: String?) -> Unit

多硬件后端：NPU 还是 GPU？

就像乐高积木：Task + Model + Screen

Gallery 的 UI 设计遵循一个清晰的模式：每个 AI 功能（Task）对应一个 Screen，每个 Screen 可以切换不同的 Model。就像乐高——积木形状固定（接口一致），但可以拼成各种形状（不同功能）。

模型配置的可视化：Prompt Lab 里的参数

Prompt Lab 功能让用户直接调整 AI 的行为参数。这些参数在 Gallery 里被定义为 ConfigValue 类型，每个任务的 Model 对象包含一个配置列表：

Agent Skills：让 LLM 调用真实工具

Gallery 的 Agent Skills 系统展示了如何给 LLM 添加工具调用能力。在代码里，每个 Skill 是一个 ToolProvider，传给 LlmModelHelper.initialize()：

fun initialize(
  context: Context,
  model: Model,
  tools: List<ToolProvider> = listOf(),
  enableConversationConstrainedDecoding:
    Boolean = false,
)

拖拽配对：认识 Gallery 的各个 Screen

Gallery 是一份最佳实践教材

学完 Gallery 的架构，你已经掌握了端侧 AI 应用的完整蓝图。这套模式不只适用于 Android——理解这些原则，你在指导 AI 构建任何端侧应用时都能做出更好的决策。

构建端侧 AI 应用的决策清单

常见陷阱与解法

综合测验：你准备好构建端侧 AI 了吗？