MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。
经过 SFT 后，MiniCPM 在公开综合性评测集上，MiniCPM 与 Mistral-7B相近（中文、数学、代码能力更优），整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。
经过 DPO 后，MiniCPM 在当前最接近用户体感的评测集 MTBench上，MiniCPM-2B 也超越了 Llama2-70B-Chat、Vicuna-33B、Mistral-7B-Instruct-v0.1、Zephyr-7B-alpha 等众多代表性开源大模型。
以 MiniCPM-2B 为基础构建端侧多模态大模型 MiniCPM-V，整体性能在同规模模型中实现最佳，超越基于 Phi-2 构建的现有多模态大模型，在部分评测集上达到与 9.6B Qwen-VL-Chat 相当甚至更好的性能。
经过 Int4 量化后，MiniCPM 可在手机上进行部署推理，流式输出速度略高于人类说话速度。MiniCPM-V 也直接跑通了多模态大模型在手机上的部署。
一张1080/2080可高效参数微调，一张3090/4090可全参数微调，一台机器可持续训练 MiniCPM，二次开发成本较低。
项目Github地址：https://github.com/OpenBMB/MiniCPM.git
# 示例将代码下载到电脑E盘根目录cd E:\git clone https://github.com/OpenBMB/MiniCPM.git复制
模型下载地址：https://modelscope.cn/models/OpenBMB/miniCPM-bf16/files
基于Gradio的网页版Demo
使用如下命令启动基于Gradio的网页版demo：
# generation powered by huggingface# 在Github克隆下载的MiniCPM代码根目录地址运行命令cd e:\MiniCPMpython demo/hf_based_demo.py --model_path <hf_repo_path>复制
其中 <hf_repo_path>是模型下载到本地的文件路径，如：E:\miniCPM-bf16
其中pytorch_model.bin为主要的模型文件。文件信息总览：SHA256:0b0c993ace78c5983373948c636b0e587fcf1ac6f2e0f980bf7d735fe7dc52f8；文件大小: 5.08GB
安装过程中需要的环境：
1. cuda环境：CUDA Toolkit 12.1，下载地址：https://developer.nvidia.com/cuda-12-1-0-download-archive
2.torch环境：torch-2.1.0，下载网址：https://download.pytorch.org/whl/torch_stable.html
找到对应的版本下载，这里我下载的文件是：torch-2.1.0+cu121-cp310-cp310-win_amd64.whl，下载地址是：https://download.pytorch.org/whl/cu121/torch-2.1.0%2Bcu121-cp310-cp310-win_amd64.whl
# 安装命令：pip install "torch-2.1.0+cu121-cp310-cp310-win_amd64.whl"复制
3. python环境：版本3.10.13，大于3.10即可。可以利用Anaconda的虚拟环境。
4.电脑有英伟达的独立显卡，我的显卡是RTX2080
5.安装flash-attn：可以参照csdn上的文章进行安装，文章地址：https://blog.csdn.net/2301_77818837/article/details/135642828
成功部署效果图：
