LLM大模型部署本地及应用示例【上】

本文仅分享LLM部署过程和心得，所提及的程序和模型包均为官方下载地址，请自行解决网络问题，所有内容均为免费，请勿随意商用或相信任何付费下载的链接。

本文所用软件下载网址汇总（建议在电脑端打开）

LM Studio程序本体 

https://lmstudio.ai/

https://lmstudio.ai/rocm （AMD平台，当前版本同为0.2.22）

模型下载

https://huggingface.co/ （国外）

https://www.modelscope.cn/（国内）

什么是LLM大模型

LLM（Large Language Models）大模型指的是使用深度学习技术训练的、参数量达到数十亿甚至千亿级别的人工智能语言模型。这些模型能够理解和生成自然语言文本，因此在自然语言处理领域有着广泛的应用。LLM大模型其实并不是什么新鲜的事情，在一些特殊专用领域早就已经存在。通俗的说法就是，大模型是一座超大的图书馆，里面有着无数的藏书，你需要不断的往里面去添加“书籍”（训练数据），以丰富其规模，让这个大模型更加的符合提问者的需求。

复杂的LLM大模型训练过程

为什么要在本地部署LLM大模型

前面提到LLM大模型就像是一座超大的图书馆，目前网络版本的对话式AI应用，包括chatGPT、文心一言、KIMI、天工等等，背后的本质就是一个/多个LLM大模型，但是对于个人用户来说，一个更加专用的领域，一个更符合自己的语言习惯、使用习惯的模型，往往会比什么都懂的笼统回答要实用得多，例如写论文、写小说、写程序等等，在经过更多的训练后，回答也会更加贴合个人的需求。大模型之所以“大”，是因为它们包含大量的参数，这些参数是模型在训练过程中学习到的，用以帮助模型理解和生成文本。这些参数通常包括词汇的嵌入、神经网络的权重等。

在使用网络对话应用的时候，我们需要注册账号，然后创建不同的对话，以此来训练自己的模型，在本地部署大模型的本质就是把这个账号搬到自己的电脑上，由于是在本地，所以使用的时候也不需要联网，不需要魔法，也无需再担心任何的隐私泄露（体制内的同学应该深有体会）。当然，缺点就是模型本身需要占用电脑的空间，训练模型对电脑的性能有一定的要求。

对了，本地部署大模型还有一个非常巨大的优势：永久免费。

硬件需求

相比图片生成的stable diffusion，语言类的硬件要求就要低得多，甚至在迷你主机上都能运行，但依然推荐6核或者8核以上的处理器，CPU本身的算力会影响生成速度。另外一点是加载模型时需要把整个模型挂在在内存中（如果用显卡训练则需要的是显存），而一般的7B级别模型都在4G到8G之间，加上系统本身的内存占用，因此在内存的需求上建议20G以上的内存才可以运行LLM大模型训练。硬盘容量没有硬性需求，但是单个模型包通常都在4G以上，推荐使用1T或者更大的容量。

具备独立AI NPU单元的磐镭HA-4迷你主机

本文以磐镭面向中高端主流市场的HA-4迷你主机为例演示安装部署并训练的过程，配置为AMD 锐龙7 7840HS，这是全球首款集成了独立AI运算单元的处理器，具备10TLOPS的AI运算能力，存储组合则为32G+2T。

操作界面和模型选择

前文提到，LLM大语言模型并不是新鲜事物，在科学、医学、编程等领域早就有大量的应用，在过去AI尚未兴起的时候，你需要掌握一定的编程知识才能部署。不过时至今日，已经有大量的开发者把整个操作界面和语言模型包进行了整合，由于大部分是基于浏览器作为主操作界面，所以也被称为“WebUI”，例如备受好评的Ollalma，而今天笔者介绍的是另一款更加傻瓜式的程序----LM Studio。

LM Studio主界面

LM Studio完全不需要任何的编程知识，下载安装后即可直接使用，程序本身占用仅200多M，可以支持CPU和GPU运算，甚至还有专门为AMD优化的版本，如果你和笔者一样使用的是AMD平台，那建议下载AMD ROCm（类似英伟达的CUDA）的版本。

可选择模型下载，这些均为热门、主流的模型

LM Studio可以在主界面直接选择一些热门、主流的大语言模型进行下载，诸如谷歌的Gemma，Mistral，微软的Phi 2，Meta的LLama 3，通义千问的Qwen等等都可以在上面找到，其实就是知名开源模型库的huggingface.co（需要特殊网络）的链接，你可以直接到原地址下载放到本地的文件夹（模型库必须在models下面有两级路径，即手动新建两个文件夹，例如E:LM-StudiomodelsQwen7Bqwen1_5-7b-chat-q8_0.gguf，否则无法识别）。

模型放置路径，必须新建两级文件夹，名字和文件名可随意

可放置多个模型库，推荐知名大公司的较大数据版本，大小建议4G以上

以众多产品评测所用到的英特尔AIPC DEMO为例，可以看到模型主要区分点是不同的语言，目前国际比较通用的，数据量较为丰富的都是英文模型，随着AI的兴起，国内的一些大公司如通义千问，百川等也推出了基于中文的模型包，虽然模型可以兼容翻译一部分的内容，但如果你的问题更偏向于国内，还是推荐使用原生就是中文版本的模型，也可以用“先翻译成英文提问，再把答案翻译成中文”的“笨方法”。还有一些面向专业领域的，如编程、医学等等，这些不在本文讨论范围内。

这款DEMO本质的中文模型是chatglm 6B，清华大学发布，对硬件要求低

英文模型则是llama 2 13B，Meta推出，当前已有llama3

LM Studio支持的是guff格式的模型，这类模型经过重新编译打包，整体尺寸更小，文件合一，非常适合移动和存储，尤其适合在迷你主机上运行。同一种模型通常会有4B,7B,14B,72B多种大小，部分模型在同一种规模下往往还有大中小尺寸可选，数字越大代表数据量越多越丰富，当然也需要更大的存储空间和更高级的电脑硬件。普通家用电脑一般使用7B级别的模型即可，大小在3G到15G不等，可根据自己的实际内存和硬盘大小选择。

【未完，待续】