PaddlePaddle/PaddleSeg

简体中文 | English

最新动态

• 🔥[2024-11-05] 添加语义分割领域低代码全流程开发能力:

  • 飞桨低代码开发工具PaddleX，支持了图像分割领域的低代码全流程开发能力：

    • 🎨 模型丰富一键调用：将通用语义分割和图像异常检测涉及的19个模型整合为2条模型产线，通过极简的Python API一键调用，快速体验模型效果。此外，同一套API，也支持图像分类、目标检测、文本图像智能分析、通用OCR、时序预测等共计200+模型，形成20+单功能模块，方便开发者进行模型组合使用。
    • 🚀 提高效率降低门槛：提供基于统一命令和图形界面两种方式，实现模型简洁高效的使用、组合与定制。支持高性能部署、服务化部署和端侧部署等多种部署方式。此外，对于各种主流硬件如英伟达GPU、昆仑芯、昇腾、寒武纪和海光等，进行模型开发时，都可以无缝切换。

  • 增加图像异常检测算法SFTPM

• [2023-10-29] :fire: PaddleSeg 2.9版本发布！详细发版信息请参考Release Note。
  • 增加对多标签分割Multi-label segmentation，提供数据转换代码及结果可视化，实现对一系列语义分割模型的多标签分割支持。
  • 发布轻量视觉大模型MobileSAM，实现更快速的SAM推理。
  • 支持量化蒸馏训练压缩功能Quant Aware Distillation Training Compression，对PP-LiteSeg、PP-MobileSeg、OCRNet、SegFormer-B0增加量化训练压缩功能，提升推理速度。

简介

PaddleSeg是基于飞桨PaddlePaddle的端到端图像分割套件，内置45+模型算法及140+预训练模型，支持配置化驱动和API调用开发方式，打通数据标注、模型开发、训练、压缩、部署的全流程，提供语义分割、交互式分割、Matting、全景分割四大分割能力，助力算法在医疗、工业、遥感、娱乐等场景落地应用。

特性

• 高精度：跟踪学术界的前沿分割技术，结合高精度训练的骨干网络，提供45+主流分割网络、150+的高质量预训练模型，效果优于其他开源实现。

• 高性能：使用多进程异步I/O、多卡并行训练、评估等加速策略，结合飞桨核心框架的显存优化功能，大幅度减少分割模型的训练开销，让开发者更低成本、更高效地完成图像分割训练。

• 模块化：源于模块化设计思想，解耦数据准备、分割模型、骨干网络、损失函数等不同组件，开发者可以基于实际应用场景出发，组装多样化的配置，满足不同性能和精度的要求。

• 全流程：打通数据标注、模型开发、模型训练、模型压缩、模型部署全流程，经过业务落地的验证，让开发者完成一站式开发工作。

⚡ 快速开始

🔥 低代码全流程开发

产品矩阵

产业级分割模型库

高精度语义分割模型

高精度模型，分割mIoU高、推理算量大，适合部署在服务器端GPU和Jetson等设备。

模型名称	骨干网络	Cityscapes精度mIoU(%)	V100 TRT推理速度(FPS)	配置文件
FCN	HRNet_W18	78.97	24.43	yml
FCN	HRNet_W48	80.70	10.16	yml
DeepLabV3	ResNet50_OS8	79.90	4.56	yml
DeepLabV3	ResNet101_OS8	80.85	3.2	yml
DeepLabV3	ResNet50_OS8	80.36	6.58	yml
DeepLabV3	ResNet101_OS8	81.10	3.94	yml
OCRNet :star2:	HRNet_w18	80.67	13.26	yml
OCRNet	HRNet_w48	82.15	6.17	yml
CCNet	ResNet101_OS8	80.95	3.24	yml

测试条件：

• V100上测速条件：针对Nvidia GPU V100，使用PaddleInference预测库的Python API，开启TensorRT加速，数据类型是FP32，输入图像维度是1x3x1024x2048。

轻量级语义分割模型

轻量级模型，分割mIoU中等、推理算量中等，可以部署在服务器端GPU、服务器端X86 CPU和移动端ARM CPU。

模型名称	骨干网络	Cityscapes精度mIoU(%)	V100 TRT推理速度(FPS)	骁龙855推理速度(FPS)	配置文件
PP-LiteSeg :star2:	STDC1	77.04	69.82	17.22	yml
PP-LiteSeg :star2:	STDC2	79.04	54.53	11.75	yml
BiSeNetV1	-	75.19	14.67	1.53	yml
BiSeNetV2	-	73.19	61.83	13.67	yml
STDCSeg	STDC1	74.74	62.24	14.51	yml
STDCSeg	STDC2	77.60	51.15	10.95	yml
DDRNet_23	-	79.85	42.64	7.68	yml
HarDNet	-	79.03	30.3	5.44	yml
SFNet	ResNet18_OS8	78.72	10.72	-	yml

测试条件：

• V100上测速条件：针对Nvidia GPU V100，使用PaddleInference预测库的Python API，开启TensorRT加速，数据类型是FP32，输入图像维度是1x3x1024x2048。
• 骁龙855上测速条件：针对小米9手机，使用PaddleLite预测库的CPP API，ARMV8编译，单线程，输入图像维度是1x3x256x256。

超轻量级语义分割模型

超轻量级模型，分割mIoU一般、推理算量低，适合部署在服务器端X86 CPU和移动端ARM CPU。

模型名称	骨干网络	ADE20K精度mIoU(%)	骁龙855推理延时(ms)	参数量(M)	配置文件
TopFormer-Base	TopTransformer-Base	38.28	480.6	5.13	config
PP-MobileSeg-Base	StrideFormer-Base	41.57	265.5	5.62	config
TopFormer-Tiny	TopTransformer-Tiny	32.46	490.3	1.41	config
PP-MobileSeg-Tiny	StrideFormer-Tiny	36.39	215.3	1.61	config

测试条件:

• 针对小米9手机，使用PaddleLite预测库的CPP API，ARMV8编译，单线程，输入图像维度是1x3x512x512。测试模型在带有最后一个argmax算子的条件下进行测试。

模型名称	骨干网络	Cityscapes精度mIoU(%)	V100 TRT推理速度(FPS)	骁龙855推理速度(FPS)	配置文件
MobileSeg	MobileNetV2	73.94	67.57	27.01	yml
MobileSeg :star2:	MobileNetV3	73.47	67.39	32.90	yml
MobileSeg	Lite_HRNet_18	70.75	10.5	13.05	yml
MobileSeg	ShuffleNetV2_x1_0	69.46	37.09	39.61	yml
MobileSeg	GhostNet_x1_0	71.88	35.58	38.74	yml

测试条件：

• V100上测速条件：针对Nvidia GPU V100，使用PaddleInference预测库的Python API，开启TensorRT加速，数据类型是FP32，输入图像维度是1x3x1024x2048。
• 骁龙855上测速条件：针对小米9手机，使用PaddleLite预测库的CPP API，ARMV8编译，单线程，输入图像维度是1x3x256x256。

使用教程

入门教程

• 安装说明
• 快速体验
• 20分钟快速上手PaddleSeg
• 模型库

基础教程

• 准备数据集

  • 准备公开数据集
  • 准备自定义数据集
  • EISeg 数据标注

• 准备配置文件

• 模型训练

• 模型评估

• 模型预测

• 模型导出

  • 导出预测模型
  • 导出ONNX模型

• 模型部署

  • FastDeploy部署
  • Paddle Inference部署(Python)
  • Paddle Inference部署(C++)
  • Paddle Lite部署
  • Paddle Serving部署
  • Paddle JS部署
  • 推理Benchmark

进阶教程

• 训练技巧

• 模型压缩

  • 量化
  • 蒸馏
  • 裁剪
  • 自动压缩

• 常见问题汇总

欢迎贡献

• API文档
• 二次开发教程
  • 配置文件详解
  • 如何创造自己的模型
• 模型贡献
  • 提交PR说明
  • 模型PR规范

特色能力

• 交互式分割
• 图像抠图
• 人像分割
• 3D医疗分割
• Cityscapes打榜模型
• 全景分割
• CVPR冠军模型
• 领域自适应

产业实践范例

• 使用PP-HumanSegV2进行人像分割
• 使用PP-HumanSegV1进行人像分割
• 使用PP-LiteSeg进行遥感道路分割
• PaddleSeg实战之人脸部件分割与变妆
• PaddleSeg实战之小数据集3D椎骨分割
• PaddleSeg实战之车道线图像分割
• PaddleSeg动态图API使用教程
• 10分钟上手PaddleSeg
• 车路协同：交互式分割技术在智慧建图中的应用和实践
• 基于PaddleSeg的美甲预览机
• 基于PaddleSeg的钢筋长度超限监控

更多范例项目可参考：『图像分割经典项目集』用PaddleSeg能做什么？

许可证书

本项目的发布受Apache 2.0 license许可认证。

社区贡献

• 非常感谢jm12138贡献U²-Net模型。
• 非常感谢zjhellofss（傅莘莘）贡献Attention U-Net模型，和Dice loss损失函数。
• 非常感谢liuguoyu666贡献U-Net++模型。
• 非常感谢yazheng0307 (刘正)贡献快速开始教程文档。
• 非常感谢CuberrChen贡献STDC (rethink BiSeNet) PointRend，和 Detail Aggregate损失函数。
• 非常感谢stuartchen1949贡献 SegNet。
• 非常感谢justld(郎督)贡献 UPerNet, DDRNet, CCNet, ESPNetV2, DMNet, ENCNet, HRNet_W48_Contrast, BiSeNetV1, FastFCN, SECrossEntropyLoss 和PixelContrastCrossEntropyLoss。
• 非常感谢Herman-Hu-saber(胡慧明)参与贡献 ESPNetV2。
• 非常感谢zhangjin12138贡献数据增强方法 RandomCenterCrop。
• 非常感谢simuler 贡献 ESPNetV1。
• 非常感谢ETTR123(张恺) 贡献 ENet，PFPNNet。

学术引用

如果我们的项目在学术上帮助到你，请考虑以下引用：

@misc{liu2021paddleseg,
      title={PaddleSeg: A High-Efficient Development Toolkit for Image Segmentation},
      author={Yi Liu and Lutao Chu and Guowei Chen and Zewu Wu and Zeyu Chen and Baohua Lai and Yuying Hao},
      year={2021},
      eprint={2101.06175},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@misc{paddleseg2019,
    title={PaddleSeg, End-to-end image segmentation kit based on PaddlePaddle},
    author={PaddlePaddle Authors},
    howpublished = {\url{https://github.com/PaddlePaddle/PaddleSeg}},
    year={2019}
}