随着全球化进程的加速，跨语言跨文化的交流和沟通越来越重要。如今，借助先进的AI技术，像Qwen 2 LLM这样的大语言模型，可以帮助快速开发出支持多语言的应用。
使用Qwen 2 LLM构建一个支持英语、中文、日语等多种语言的应用程序，并且可根据需求添加更多语言，借助Hugging Face的transformers库来处理翻译任务，使用Gradio构建用户界面，以及通过Google Colab来运行应用。
在Hugging Face的模型库中可以获取Qwen 2 LLM模型。这个功能强大的模型覆盖了多种自然语言处理任务，无论是翻译还是聊天，都能轻松应对。
要使用Qwen 2 LLM构建翻译和聊天应用，首先安装必要的库。这些包括用于模型加速、文本转语音转换和在Google Colab中直接创建交互式Web界面的工具。
!pipinstallaccelerategTTSgradiotransformers
搭建翻译聊天应用，得先配置好环境，把需要的库和模型导入进来。下面是初始化的步骤：
导入库：导入处理模型、创建用户界面和文本转语音功能所需的基本库。
fromtransformersimportAutoTokenizer,AutoModelForCausalLM
importgradioasgr
importtorch
fromgttsimportgTTS
importos
根据硬件可用性设置模型推理的设备：
device="cuda"iftorch.cuda.is_available()else"cpu"
加载Qwen 2 LLM及其分词器，以处理翻译和聊天任务：
language_model_name="Qwen/Qwen2-1.5B-Instruct"
language_model=AutoModelForCausalLM.from_pretrained(language_model_name,torch_dtype="auto",device_map="auto")
tokenizer=AutoTokenizer.from_pretrained(language_model_name)
定义一个函数来根据选定的操作处理用户输入，无论是翻译还是聊天。
defprocess_input(input_text,action):
ifaction=="翻译成英语":
prompt=f"请将以下文本翻译成英语：{input_text}"
lang="en"
elifaction=="翻译成中文":
prompt=f"请将以下文本翻译成中文：{input_text}"
lang="zh-cn"
elifaction=="翻译成日语":
prompt=f"请将以下文本翻译成日语：{input_text}"
lang="ja"
else:
prompt=input_text
lang="en"
messages=[
{"role":"system","content":"你是一个乐于助人的AI助手。"},
{"role":"user","content":prompt}
]
text=tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs=tokenizer([text],return_tensors="pt").to(device)
generated_ids=language_model.generate(
model_inputs.input_ids,
max_new_tokens=512
)
generated_ids=[
output_ids[len(input_ids):]forinput_ids,output_idsinzip(model_inputs.input_ids,generated_ids)
]
output_text=tokenizer.batch_decode(generated_ids,skip_special_tokens=True)[0]
returnoutput_text,lang
实现一个函数，将生成的文本转换为语音：
deftext_to_speech(text,lang):
tts=gTTS(text=text,lang=lang)
filename="output_audio.mp3"
tts.save(filename)
returnfilename
创建一个函数来通过处理输入和将输出转换为语音来管理用户交互：
defhandle_interaction(input_text,action):
output_text,lang=process_input(input_text,action)
audio_filename=text_to_speech(output_text,lang)
returnoutput_text,audio_filename
指定用户可用的操作：
action_options=["翻译成英语","翻译成中文","翻译成日语","聊天"]
使用Gradio设置用户界面，与你的应用交互：
iface=gr.Interface(
fn=handle_interaction,
inputs=[
gr.Textbox(label="输入文本"),
gr.Dropdown(action_options,label="选择操作")
],
outputs=[
gr.Textbox(label="输出文本"),
gr.Audio(label="输出音频")
],
title="使用AI的翻译和聊天应用",
description="根据选定的操作翻译输入文本或进行聊天。",
theme="gradio/soft"
)
启动Gradio界面并使其在线可访问：
if__name__=="__main__":
iface.launch(share=True)
本书主要围绕如何充分挖掘、利用大语言模型的潜力,囊括了大语言模型的概念,如何通过提示词更好地利用大语言模型,大语言模型在信息检索、推荐系统、视觉问答等任务中的应用,以及大语言模型的微调、多模态训练、模型生产应用等高阶使用技巧。本书在讲解过程中搭配大量的应用实例以及相关代码,从大语言模型的概念、挖掘大语言模型潜力的方式到大语言模型的高级使用方式,读者能够将概念学习和实践应用同步进行,是相关领域工程技术人员、学术人员以及对大语言模型感兴趣的广大读者的不二之选。
本书的内容编排适合以下群体:
(1) 有一定的编程能力,但对大语言模型没有充分的认知,想通过本书迅速掌握大语言模型的概念,并在相关业务领域(信息检索、对话系统、推荐系统等)实现快速应用。
(2) 大语言模型某个研究领域的资深从业人员,但是想更全面地了解大语言模型在各个领域的研究应用现状,实现对大语言模型从学术研究到生产应用的全方位系统认知。
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |