在手机上跑本地 LLM：一套可复现的 Arm64 优化工作台

手机端跑本地模型，难点不只在于“能不能跑起来”，还在于怎样知道这一次结果是否真的可比较。

Arm Mobile AI Optimization Workbench 是为 OnePlus 13 与 Arm64 Android 设备做的离线 LLM 优化实验工作台。它以官方 llama.cpp Android 示例为基础，补齐了实验过程中的可控变量与记录能力。

把性能测量变成可复现的实验

工具会记录首次输出时间、输出速度、内存峰值、设备热状态、电池温度等指标；线程数可以在 2、4、6、8 等候选值间自动探索。热状态过高的结果会标记为无效，避免把降频数据误当成优化收益。

每轮实验都独立归档为 JSON、CSV 与 HTML 报告，同时保存模型校验、编译配置、后端选择与批处理参数。这样性能结论能追溯到具体设备、具体模型和具体二进制文件，而不是一条难以复查的截图。

当前的可移植基线是 arm64-v8a CPU 推理路径，结合 llama.cpp、KleidiAI 与 OpenMP。项目也保留了 Snapdragon OpenCL 与 HTP 的可选集成方向，但不会在缺少实际层卸载、稳定输出与重复测量时宣称性能结论。