Meta开源Llama 2免费大语言模型，媲美ChatGPT，可在线试玩

Llama 2是Llama 1模型的升级版本，引入了一系列预训练和微调 LLM，参数量范围从7B到70B (7B、13B、70B)。其预训练模型比 Llama 1模型有了显著改进，包括训练数据的总词元数增加了 40%、上下文长度更长 (4k 词元)，以及利用了分组查询注意力机制来加速 70B模型的推理！

但最激动人心的还是其发布的微调模型 (Llama 2-Chat)，该模型已使用基于人类反馈的强化学习 (RLHF) 技术针对对话场景进行了优化。在相当广泛的有用性和安全性测试基准中，Llama 2-Chat 模型的表现优于大多数开放模型，且其在人类评估中表现出与ChatGPT相当的性能。最最最激动人心的是Llama 2已经开源，且可以进行商用。

此模型首先使用公开的在线数据对Llama 2进行预训练。 然后通过应用监督微调创建Llama 2-Chat的初始版本。 随后，使用人类反馈强化学习 (RLHF) 方法，特别是通过拒绝采样和近端策略优化 (PPO) 来迭代完善模型。

Meta团队收集了大约2,000个用于人类评估的对抗性prompt，其中1,351个提示是单轮提示prompt，623个提示是多轮提示prompt。

Llama 2-Chat在不同模型尺寸中总体违规率较低，Llama 2-Chat在不同型号尺寸上均具有较高的安全性和实用性平均评级。针对这个开源的语言大模型，我们可以直接在hugging face上面来直接体验。

我们只需要进入hugging face的界面，就可以在demo界面进行体验，而且完全是免费的，不用我们注册账号，便可以拥有一个免费的聊天机器人，这里我们尝试使用了中文与英文，模型都会支持，但是有时候返回的信息是英文的，这里就跟ChatGPT有点距离，但是毕竟是免费开源的，且是Meta这么大公司开源的大语言模型，其效果也是杠杠的，虽然有些瑕疵，但是完全符合我们的需求了。

当然hugging face也提供了代码实现，当我们想自己部署到自己电脑上面时，可以使用transformers库来实现。在使用本代码前，首先确保自己有hugging face的账号，并获取来token。

并在hugging face上来申请可以使用Llama模型，这里我已经申请成功了，会提示可以使用Llama模型的标志，这里还需要到Meta的官网来申请模型的使用权限，这里填写自己的简单信息即可，这里重点强调一下此处的邮箱应该跟hugging face的账号一致，否则无法使用hugging face的transformers库来运行代码。

以上申请成功后，官方会发邮件进行提醒，等审核通过后，我们就可以使用Llama2了。

pip install transformers
pip install accelerate
huggingface-cli login

首先我们需要安装transformers与accelerate库，并使用huggingface-cli login来登陆hugging face，登陆时会提示要输入token，这里的token可以到自己的账号里面来复制。

获得token，成功登陆后，我们就可以输入如下代码，来使用Llama2来进行推理了。

from transformers import AutoTokenizer
import transformers
import torch
model = "meta-llama/Llama-2-7b-chat-hf"
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline( "text-generation",model=model,  torch_dtype=torch.float16, device_map="auto",)
sequences = pipeline( 'I liked "Breaking Bad" and "Band of Brothers". Do you have any recommendations of other shows I might like?\n',
    do_sample=True,top_k=10,num_return_sequences=1,   eos_token_id=tokenizer.eos_token_id, max_length=200,)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")

运行以上代码后，我们就可以得到模型输出的数据了。当然hugging face还开放了其他模型，可以根据自己的电脑配置来选择合适的模型。

https://ai.meta.com/resources/models-and-libraries/llama/ #注册申请模型
https://github.com/facebookresearch/llama #开源地址
https://huggingface.co/blog/llama2# 免费体验界面
https://huggingface.co/meta-llama# 模型申请
https://ai.meta.com/resources/models-and-libraries/llama-downloads/#模型下载