阿里开源的Android手机离线LLM应用，完全释放手机中的AI潜力！

随着 AI 技术的飞速发展，越来越多的应用和工具开始尝试将 AI 任务带到移动端。然而，尽管许多智能应用可以运行在手机上，通常都需要依赖云端计算，导致数据隐私问题以及网络延迟的困扰。

如果你手里的 Android 手机不仅能支持你日常的通讯、娱乐，甚至还能完成强大的人工智能任务，比如文本生成、图像生成，甚至实时音频转录。

所有这些强大的 AI 功能都能在本地离线运行，无需网络连接，也无需担心隐私问题。

而阿里巴巴最近通过开源 Mnn 框架上线的 MnnLlmApp 就可以实现。

MnnLlmApp 免费高速下载地址：​​https://pan.quark.cn/s/625e0421dbf6​

它可以将 AI 模型带到手机本地，支持各类大模型和多模态任务，实现真正的 离线运行，让 AI 助手随时随地为你服务。

图片

项目简介

MnnLlmApp 是阿里巴巴基于 MNN-LLM 框架开源的 Android 应用，能够让多种大型语言模型（LLM）在手机上实现离线运行，无需联网即可完成各种 AI 任务。

其强大的性能表现和灵活的多模态支持，使其成为智能手机上运行人工智能的全新尝试。

目前，MnnLlmApp 支持多种任务类型，包括：文本生成文本、图像生成文本、音频转文本、文本生成图像等。

该应用的亮点在于其支持多种流行的 AI 模型，并且全部运行在本地，不仅提高了隐私保护，还减少了对网络连接的依赖。

功能亮点

• • 多模态支持：提供多种任务功能，包括文本生成文本、图像生成文本、音频转文本及文本生成图像（基于扩散模型）。

• • CPU推理优化：预填充速度相较于llama.cpp提高了8.6倍，相较于fastllm提升了20.5倍，解码速度分别快了2.3倍和8.9倍。

• • 广泛的模型兼容性：支持多种领先的模型提供商，包括Qwen、Gemma、Llama（涵盖TinyLlama与MobileLLM）、Baichuan、Yi、DeepSeek、InternLM、Phi、ReaderLM和Smolm。

• • 本地运行：完全在设备本地运行，确保数据隐私，无需将信息上传至外部服务器。

快速使用

可以通过 Releases 页面直接下载应用，开发者也可以自行构建该应用。

安卓APK安装包可自行到项目页面下载，也可根据文末提示路径提取。

以下为自构建编译步骤：

① 克隆代码库

git clone https://github.com/alibaba/MNN.git

② 构建库

cd project/android mkdir build_64 ../build_64.sh "-DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true -DMNN_ARM82=true -DMNN_USE_LOGCAT=true -DMNN_OPENCL=true -DLLM_SUPPORT_VISION=true -DMNN_BUILD_OPENCV=true -DMNN_IMGCODECS=true -DLLM_SUPPORT_AUDIO=true -DMNN_BUILD_AUDIO=true -DMNN_BUILD_DIFFUSION=ON -DMNN_SEP_BUILD=ON"

③ 复制到 LLM Android 应用项目

find . -name "*.so" -exec cp {} ../apps/MnnLlmApp/app/src/main/jniLibs/arm64-v8a/ ;

④ 构建 Android 应用项目并安装

cd ../apps/MnnLlmApp/ ./gradlew installDebug

安装应用后，就可以浏览所有支持的模型，下载中意的模型，就能直接在应用内与模型交互。再之后可以通过侧边栏访问聊天历史，轻松查看和管理之前的对话记录。

写在最后

MnnLlmApp 通过将大规模语言模型与多模态任务能力带入 Android 手机，也给移动端离线 AI 应用带来一种新途径。

无论是文本生成、图像生成，还是音频转文本，它都能提供强大、快速的支持。而且所有功能都可以在本地完成，保护用户隐私的同时，确保流畅的用户体验。

对于开发者、创作者和AI爱好者而言，这款应用无疑是一个极具价值的工具。

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～