|
ingFang SC";text-wrap: wrap;line-height: 1.75;font-size: 16px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">还记得我们之前介绍过的轻量级视觉基础模型 Florence-2 吗？Florence-2：微软开源的轻量级视觉基础模型，性能炸裂，吊打巨型模型！作为微软开源的全新架构，Florence-2 以其小巧的体积、炸裂的性能以及对多任务的统一处理方式，在视觉理解领域掀起了一阵旋风。ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">今天，我们将更进一步，探索如何将 Florence-2 应用于视觉问答（VQA）任务。我们将带你领略 Florence-2 如何通过微调，轻松玩转 VQA，展现其在实际应用中的巨大潜力！ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.2em;font-weight: bold;display: table;margin: 4em auto 2em;padding-right: 0.2em;padding-left: 0.2em;background: rgb(15, 76, 129);color: rgb(255, 255, 255);">回顾 Florence-2 的强大之处ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">在深入 VQA 之前，让我们先回顾一下 Florence-2 的一些关键优势：ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;padding-left: 1em;list-style: circle;color: rgb(63, 63, 63);" class="list-paddingleft-1">•轻量级: Florence-2 提供了 0.2B 和 0.7B 两种版本，即使在资源有限的设备上也能流畅运行，极大地降低了使用门槛。 •高性能: 得益于大规模数据集的预训练以及创新的多任务学习策略，Florence-2 在图像描述、目标检测、光学字符识别等任务上均有不俗的表现，甚至可以媲美那些巨型模型！ •统一架构: Florence-2 采用统一的表征来处理各种计算机视觉和视觉语言任务，无需为不同的任务设计不同的模型，简化了模型开发和部署流程。 ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.2em;font-weight: bold;display: table;margin: 4em auto 2em;padding-right: 0.2em;padding-left: 0.2em;background: rgb(15, 76, 129);color: rgb(255, 255, 255);">Florence-2 与 VQA 的完美邂逅ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.1em;font-weight: bold;margin-top: 2em;margin-right: 8px;margin-bottom: 0.75em;padding-left: 8px;border-left: 3px solid rgb(15, 76, 129);color: rgb(63, 63, 63);">VQA：让计算机拥有一双慧眼ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">视觉问答 (VQA) 就像赋予了计算机一双能够理解图像的慧眼，并能够用自然语言回答关于图像的问题。想象一下，计算机可以像我们一样，看着图片，回答诸如 "图中是什么动物？"、"他们在做什么？" 这样的问题，将会带来多么令人惊叹的应用场景！ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">VQA 的应用潜力巨大，例如：ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;padding-left: 1em;list-style: circle;color: rgb(63, 63, 63);" class="list-paddingleft-1">•图像搜索: 用户可以使用自然语言搜索图像，例如 "找到一张有猫和狗在玩耍的图片"。 •智能助手: 智能助手可以理解用户提供的图像，并回答用户关于图像的问题，提供更智能化的服务。 •辅助驾驶: 自动驾驶汽车可以使用 VQA 技术理解周围环境，例如识别交通信号灯、行人、车辆等，并做出更安全的驾驶决策。 微调：唤醒 Florence-2 的 VQA 潜力虽然 Florence-2 发布的模型没有直接包含 VQA 功能，但我们可以通过微调的方式，将它训练成一个强大的 VQA 模型。一种有效的方法是使用区域到描述提示，例如，我们可以将问题和图像区域作为输入，并训练模型生成对该区域的描述，从而间接地回答问题。 DocVQA：见证 Florence-2 的实力为了评估 Florence-2 在 VQA 任务上的性能，我们使用 DocVQA 数据集进行了实验。实验结果令人振奋：经过微调后，Florence-2 在 DocVQA 上的 Levenshtein 相似度从 0 提高到 57.0，这意味着模型能够生成与真实答案非常接近的文本输出！ 效果验证：模糊图像的问答，提取邮件主题。
手把手教你微调 Florence-2迫不及待地想体验 Florence-2 在 VQA 上的强大实力了吗？别着急，我们这就来手把手教你如何微调 Florence-2，打造属于你自己的 VQA 模型！ 准备工作在开始之前，我们需要做好以下准备工作： •硬件: 一块 NVIDIA GPU (建议使用 A100 或 T4)，当然，如果你没有 GPU 也不用担心，使用 CPU 也是可以的，只是训练速度会慢一些。 •软件: Python 3.8+, PyTorch 1.10+, Transformers 4.20+，这些工具都是开源免费的，安装也非常方便。 •数据集: DocVQA 数据集，你可以在 Hugging Face 上找到它。
代码实战万事俱备，只欠代码！接下来，我们将使用 Hugging Face Transformers 库来微调 Florence-2，让它学会回答关于图像的问题！ 1.安装依赖:
!pipinstall-qdatasetsflash_attntimmeinops 2.加载数据集:
fromdatasetsimportload_dataset
data=load_dataset("HuggingFaceM4/DocumentVQA")
3.加载模型:
fromtransformersimportAutoModelForCausalLM,AutoProcessor
importtorch
device=torch.device("cuda"iftorch.cuda.is_available()else"cpu")
model=AutoModelForCausalLM.from_pretrained(
"microsoft/Florence-2-base-ft",
trust_remote_code=True,
revision="refs/pr/6",
).to(device)
processor=AutoProcessor.from_pretrained(
"microsoft/Florence-2-base-ft",trust_remote_code=True,revision="refs/pr/6"
)
#冻结视觉编码器参数，降低训练成本
forparaminmodel.vision_tower.parameters():
param.requires_grad=False
4定义数据集类:
importtorch
fromtorch.utils.dataimportDataset
classDocVQADataset(Dataset):
def__init__(self,data):
self.data=data
def__len__(self):
returnlen(self.data)
def__getitem__(self,idx):
example=self.data[idx]
question="<DocVQA>"+example["question"]
first_answer=example["answers"][0]
image=example["image"].convert("RGB")
returnquestion,first_answer,image
5.定义数据加载器:
importos
fromtorch.utils.dataimportDataLoader
fromtqdmimporttqdm
fromtransformersimportAdamW,get_scheduler
defcollate_fn(batch):
questions,answers,images=zip(*batch)
inputs=processor(
text=list(questions),
images=list(images),
return_tensors="pt",
padding=True,
).to(device)
returninputs,answers
train_dataset=DocVQADataset(data["train"])
val_dataset=DocVQADataset(data["validation"])
batch_size=6#根据GPU内存调整
num_workers=0
train_loader=DataLoader(
train_dataset,
batch_size=batch_size,
collate_fn=collate_fn,
num_workers=num_workers,
shuffle=True,
)
val_loader=DataLoader(
val_dataset,
batch_size=batch_size,
collate_fn=collate_fn,
num_workers=num_workers,
)
6.微调模型:
epochs=7
optimizer=AdamW(model.parameters(),lr=1e-6)
num_training_steps=epochs*len(train_loader)
lr_scheduler=get_scheduler(
name="linear",
optimizer=optimizer,
num_warmup_steps=0,
num_training_steps=num_training_steps,
)
forepochinrange(epochs):
model.train()
train_loss=0
forinputs,answersintqdm(
train_loader,desc=f"TrainingEpoch{epoch+1}/{epochs}"
):
input_ids=inputs["input_ids"]
pixel_values=inputs["pixel_values"]
labels=(
processor.tokenizer(
text=answers,
return_tensors="pt",
padding=True,
return_token_type_ids=False,
)
.input_ids.to(device)
)
outputs=model(input_ids=input_ids,pixel_values=pixel_values,labels=labels)
loss=outputs.loss
loss.backward()
optimizer.step()
lr_scheduler.step()
optimizer.zero_grad()
train_loss+=loss.item()
avg_train_loss=train_loss/len(train_loader)
print(f"AverageTrainingLoss:{avg_train_loss}")
model.eval()
val_loss=0
withtorch.no_grad():
forbatchintqdm(
val_loader,desc=f"ValidationEpoch{epoch+1}/{epochs}"
):
inputs,answers=batch
input_ids=inputs["input_ids"]
pixel_values=inputs["pixel_values"]
labels=(
processor.tokenizer(
text=answers,
return_tensors="pt",
padding=True,
return_token_type_ids=False,
)
.input_ids.to(device)
)
outputs=model(
input_ids=input_ids,pixel_values=pixel_values,labels=labels
)
loss=outputs.loss
val_loss+=loss.item()
print(val_loss/len(val_loader))
7.保存模型:
model.save_pretrained("path/to/save/model")
processor.save_pretrained("path/to/save/processor")
测试模型完成训练后，你可以使用以下代码来测试你的 VQA 模型: fromPILimportImage
#加载图像
image=Image.open("path/to/your/image.jpg")
#输入问题
question="Whatisintheimage?"
#使用模型进行预测
inputs=processor(text=question,images=image,return_tensors="pt").to(device)
generated_text=model.generate(**inputs)
#输出预测结果
print(processor.decode(generated_text[0],skip_special_tokens=True))
Florence-2 VQA Demo为了更直观地展示 Florence-2 的 VQA 能力，我们提供一些 Demo 示例： 英文: 
中文: 
Florence-2：VQA 领域的未来之星Florence-2 凭借其轻量级、高性能和易于微调的特性，为 VQA 领域注入了新的活力。相信在不久的将来，Florence-2 将会在更多 VQA 应用中大放异彩，为我们带来更加智能化的生活体验！
|
