视觉编程教程
本教程说明 Darra RT IDE 视觉编程的公开工程流程。算子名称、参数和状态码以各分类参考页及当前 IDE 工具箱为准。
拖拽图与视觉 SCL 编辑同一个视觉程序。项目保存到 .dplc;保存定义只导出 .vscl 或 .scl 文本副本,不能单独部署。旧 C# 风格 Vision Script 不是视觉 SCL,不得作为新运行合同。
数据集、标注、训练和导出属于独立产品 Darra AI Studio。本教程只说明 PLC 如何消费已交付的推理工件。
第一章:入门
1.1 视觉在 Darra 中的位置
Darra 是 ISA-95 Level 1-2 软 PLC。视觉程序给出图像判定和有界标量结果;剔除、抓取、互锁由 PLC 执行。订单、批次、追溯、OEE 和 SPC 不属于本产品。
视觉作业在扫描周期外执行。PLC scan 不等待相机或推理。完整结果在后续扫描边界一次提交;失败、取消或超时不提交半成品。
1.2 典型工位
外观检测:到位 → 采集 → 传统算子或已交付模型 → PLC 决定剔除
定位抓取:采集 → 去畸变 → 模板匹配 → 输出 X/Y/角度 → PLC 在安全检查后运动
识码路由:采集 → 增强 → 解码 → 标量状态 + 有界文本 → PLC 按工艺路由
尺寸分选:背光采集 → 边缘拟合 → 公差判断 → PLC 分选
1.3 工作台
视觉编程包含三个工作区:
| 工作区 | 用途 |
|---|---|
| 流程 | 编辑拖拽图和视觉 SCL,打开图像并进行本地预览 |
| 相机 | 新增相机绑定,填写设备信息并确认最大帧尺寸和像素格式 |
| 部署 | 检查项目、相机、帧配置、结果绑定和当前批准状态 |
右侧查看原图、结果、测量、文本、属性和诊断。底部状态栏区分“本地预览”和“未连接 Runtime”。本地预览成功不表示已连接现场 Runtime。
| 能力 | 状态 |
|---|---|
| 拖拽图 / 视觉 SCL / 本地预览 | 可用 |
| 本地图像 / Windows UVC | 可用 |
| USB3 Vision / GigE Vision | 可用,需适配器,并在目标设备验证 |
| GenTL 厂商插件、多相机同步 | 推进中,不能按已交付选型 |
| 模型消费 | 引用 AI Studio 已交付工件;现场只消费已准备会话 |
| 数据集 / 训练 / 导出 | 不在本产品,见 Darra AI Studio |
1.4 工程选型参考
以下表格是光学与工位估算,不是产品规格,不能替代目标设备实测。
相机(按检测任务估算,最终以设备能力为准):
| 任务 | 常见类型 | 分辨率量级 | 快门 |
|---|---|---|---|
| 外观 | 面阵 | 500 万~2000 万 | 全局 |
| 定位 | 面阵 | 130 万~500 万 | 全局 |
| 识码 | 面阵或线阵 | 200 万~500 万 | 视运动而定 |
| 尺寸 | 面阵 + 远心镜头 | 500 万~1200 万 | 全局 |
镜头:定焦用于固定工位,远心用于尺寸,微距用于小字符。焦距估算 f = (工作距离 × 传感器宽度) / 视野宽度,只能作初选。
光源:环形用于字符,背光用于轮廓,同轴用于镜面,条形/暗场用于划痕。光源和安装通常决定检测能否稳定,不靠事后把阈值调极端来补。
现场算力:当前生产推理路径为 Windows 服务内的 ONNX Runtime CPU。不要按 GPU / NPU / TensorRT 已交付来选型。内存和并发上限以部署预检和 RuntimeResourcePolicy 为准。
1.5 软件流程
准备:安装 IDE → 打开 .dplc → 准备测试图像 → 需要相机时安装厂商驱动
编辑:相机绑定并确认帧合同 → 拖拽图 → 按需写 ACTION → 引用已交付模型
预览:打开图像 → 应用视觉 SCL → 本地预览 → 查看结果和诊断
部署:重新校验 → 当前环境提供批准时完成批准 → 已批准 ≠ 已在现场运行
现场:运行版本激活前准备推理会话 → PLC 触发作业 → 扫描边界提交结果
1.6 常见误区
| 误区 | 正确理解 |
|---|---|
| 分辨率越高越好 | 数据量增大,处理变慢;以满足最小缺陷或最小码模块为准 |
| 深度学习万能 | 简单场景用 Blob / 模板匹配更稳,也更好诊断 |
| 本地预览等于现场 | 预览在工程师电脑上跑,不准备现场会话 |
| 在 PLC IDE 里训练 | 训练在 AI Studio |
| 视觉线程直接打剔除 | 视觉只出结果,执行器由 PLC 驱动 |
第二章:相机配置
2.1 采集接口
- Windows UVC:普通 USB 相机,可用于开发和预览。UVC 与 USB3 Vision 不是同一协议。
- USB3 Vision / GigE Vision:安装对应适配器后可用,仍须在目标设备验证。没有适配器时,配置里出现设备类型也不表示可以采集。
- GenTL 厂商插件:推进中。Camera Link / CoaXPress 带宽数字只用于前期评估,不能写成已交付采集能力。
GigE 适合较长距离;USB 适合近距离单相机。多路相机的带宽、独立控制器和线缆质量必须在目标电脑验证。多相机同步仍在推进,不要把硬触发同步或跨相机原子结果当作已交付能力。
2.2 添加相机绑定
- 打开顶部 视觉编程,进入 相机。
- 点击 新增。
- 填写相机标识、设备标识和对应视觉程序。
- 填写最大宽度、最大高度和像素格式。
- 点击 确认帧合同。
- 查看列表校验状态;未通过时按提示修正。
IDE 不会从预览图或旧项目猜测现场相机规格。只做本地图片预览时,可以先跳过绑定。
2.3 常用参数
曝光、增益、触发和像素格式只有在相机适配器提供时才能设置,名称和范围以设备为准。下面是工程经验,不是固定 API。
- 曝光:静态工件可用较长曝光;运动工件优先缩短曝光,再用光源补光。增益尽量低,优先加光而不是加增益。
- 触发:开发可用软触发;产线同步用相机 Line 硬触发;传送带等距用编码器。延迟必须在目标设备实测。
- 像素格式:不需要颜色用 Mono8;需要颜色用 RGB8 或厂商 RAW。项目确认的最大帧尺寸和像素格式必须覆盖实际采集。
2.4 标定
尺寸和定位工位必须做内参标定和必要的手眼标定。标定板、拍摄角度和误差以现场报告为准,不要复制示例数值当验收指标。
标定完成后,在流程中加入去畸变节点,再做匹配或测量。标定文件是项目资源,不是运行时临时生成的。
常见问题:设备未找到先查驱动和适配器;采集超时先查触发;全黑/全白先查曝光和光圈;闪烁先查光源频闪与曝光整数倍。
第三章:图像采集
采集模式属于相机及适配器配置,不是固定的拖拽图节点。视觉流程通过 图像输入 接收当前帧。
| 方式 | 用途 |
|---|---|
| 单帧 | 触发式工位 |
| 连续 | 调试预览;不能代替目标设备长时间测试 |
| 软触发 | PLC 在扫描边界提交触发,Runtime 安排作业后由适配器采集 |
| 硬触发 | 传感器或 PLC DO 接到相机 Line |
| 编码器 | 传送带等距;参数以适配器为准 |
PLC 侧不要在 scan 内等待采集完成:
PLC 扫描边界提交触发和输入
↓
Runtime 安排视觉作业(扫描周期外)
↓
适配器采集 → 流程处理 → 完整输出
↓
后续扫描边界一次提交
按真实分辨率、像素格式和帧率估算带宽。处理速度低于采集速度时,先降低帧率或图像尺寸。缓存由适配器和 Runtime 管理,工作台不提供统一缓存阈值。
第四章:图像预处理
预处理质量直接影响后续检测。参数、默认值和范围以 算子参考 为准,本节只说明选用顺序。
推荐顺序:
输入帧 → 去畸变(如已标定)→ 灰度或色彩空间 → 滤波
→ 增强 / 阈值 → 形态学 → ROI → 检测或测量
| 步骤 | 何时使用 |
|---|---|
| 高斯 / 中值 / 双边 | 去噪;中值对椒盐,双边保边但更慢 |
| 开 / 闭运算 | 去小噪点或填小孔;迭代次数过大会吞掉真缺陷 |
| 全局 / 自适应 / Otsu 阈值 | 光照均匀用全局或 Otsu;光照不均用自适应或先 CLAHE |
| HSV 阈值 | 颜色分选;H 范围以当前算子为准 |
| 旋转 / 缩放 / 仿射 / 透视 | 对齐和纠正;测量前确认插值不会引入不可接受误差 |
| CLAHE | 条码、弱对比字符 |
| ROI | 减少处理量;坐标必须落在图像内 |
本地预览用于观察每一步图像,不代表现场节拍。
第五章:检测与定位
5.1 传统方法
当前公开可用的定位与分割基线是 Blob、模板匹配、形状匹配、Canny / Sobel 和 ORB 特征模板匹配。参数见算子参考。
- Blob:二值图连通域。用面积、圆形度等过滤后输出质心和外接框。
- 模板匹配:光照稳定、目标外观固定时使用。光照变化大时改形状匹配。
- 边缘:测量和拟合前先得到稳定边缘。阈值过低会噪,过高会断。
- ORB 特征匹配:用于有旋转的模板定位;缩放能力有限,必须用真实样本验证。
几何基元匹配、3D 模板匹配和立体标定当前不可用。
5.2 模型检测
分类、目标检测、语义分割节点只引用 AI Studio 已交付工件。运行时只消费已 Prepared 的 inference-only 会话。
- 可做:在节点中填写模型标识、版本和与工件一致的预处理。
- 不可做:在 PLC IDE 训练、批准模型、推理时懒加载、把本地预览当成现场精度。
- 实例分割和异常检测运行时算子当前不可用。
详见 模型消费。
第六章:测量
测量链通常是:去畸变 → 边缘 → 拟合直线/圆 → 距离或角度 → 公差判定 → 标量输出。
像素必须经标定换成物理单位。卡尺、亚像素边缘和 RANSAC 拟合是否可用,以测量类算子参考页为准,不要按本节示意图发明参数名。
验收只认量具比对和现场重复性,不认教程里的示例公差。
第七章:识别
条码、二维码、OCR 序列号只作为外部业务上下文的只读镜像。Darra 不建立追溯记录、批次台账或 MES 数据。外部系统经 OPC UA 读取识别状态和文本。
- 一维码 / QR / Data Matrix / PDF417:先增强再解码。完整文本是富结果;PLC 收成功标志或工程路由码。
- OCR:语言、白名单和页面模式以 OCR 算子参考为准。字符工位通常需要二值化、形态学和倾斜校正。
- 颜色:在 HSV 中设范围;光照变化后必须重新采样。
- 深度学习 OCR、异常检测运行时:当前不可用。
第八章:编辑视觉程序
详细操作见 卡片图编辑器、视觉 SCL 编程 和 ACTION 事件。这里只给最短路径。
- 在 流程 中放置 图像输入、处理节点和 结果输出,按类型连接端口。
- 在属性面板填写参数;条件和结果整理放进 ACTION。
- 需要文本时编辑视觉 SCL,点击 应用视觉 SCL。编译失败不会替换上一次有效程序。
- 打开测试图像,执行 本地预览,查看结果和诊断。
- 保存
.dplc。需要文本副本时用 保存定义。
ACTION 当前只有 OnTrigger、OnFrame、OnInferenceCompleted、OnFault、OnTimeout。循环必须有上限。ACTION 不能训练模型、访问文件网络或直接写过程映像。
int threshold = 100;
int result = 0;
void OnFrame()
{
var image = Input();
var gray = Grayscale(image);
Output(gray);
if (threshold > 100)
{
result = threshold + 1;
}
else
{
result = 0;
}
}
第九章:消费已交付模型
不要在视觉编程中寻找“AI 训练与验证”。训练、标注和导出在 Darra AI Studio 完成。
在 PLC 侧:
- 确认工件已交付到当前项目。
- 在检测或分类节点填写标识、版本和输入合同。
- 部署校验通过后,现场在运行版本激活前准备 inference-only 会话。
- 未准备、合同不匹配或资源不足时作业失败,不提交成功结果。
本地单图预览只确认流程能跑通当前测试图,不是数据集级精度,也不是现场性能。
第十章:与 PLC 集成
项目必须显式声明输入和输出绑定。系统不会自动创建 VIS_JOB_* 或 VIS_RESULT_* 变量。
10.1 触发
| 方式 | 说明 |
|---|---|
| PLC 变量 | 扫描边界提交触发,Runtime 安排作业 |
| 相机硬触发 | 适配器按 Line 采集,结果仍在扫描边界提交 |
| 编码器 | 等距采集,可用性取决于适配器 |
bool triggerPulse = partPresent && !partPresentPrevious;
partPresentPrevious = partPresent;
if (triggerPulse)
{
visionJobStart = true;
}
变量名必须来自项目绑定,不要照抄示例标识。
10.2 读取结果
if (visionJobDone && !visionJobBusy)
{
if (visionJobError)
{
systemState = VisionFault;
}
else
{
bool productOk = visionResultOk;
if (!productOk)
{
ejector = true;
}
}
visionJobDone = false;
}
成功、NG、故障和超时路径都要有完整输出。PLC 在无结果或结果过期时进入工程定义的安全态。视觉线程不得直接写 I/Q/M。
10.3 状态
| 状态 | 含义 |
|---|---|
| IDE 本地预览中 / 完成 / 失败 | 只处理当前打开图像 |
| 未连接 Runtime | 没有现场作业或运行资源状态 |
| 排队 / 运行 / 完成 / 故障 / 超时 | 仅现场 Runtime 有效 |
排障顺序:授权与启用 → 相机帧合同 → 模型是否已准备 → 队列与资源 → 第一条诊断码 → 输出是否完整。
第十一章:产线组合
完整节点链、ACTION 和上线检查见 应用示例。下面只列组合原则。
- 外观:灰度 → 滤波 → 阈值 / 参考图差异 → Blob。传统方法不稳时再换已交付检测模型。
- 抓取:去畸变 → 模板或特征匹配 → 标定换算。视觉坐标只是候选,运动前做安全门和空间检查。
- 识码:CLAHE → 解码。文本不进 MES。
- 测量:背光 → 边缘 → 拟合 → 公差。
多工位时每条相机绑定独立的视觉程序和帧合同。PLC 汇总各工位已提交结果后再动作。不要假设多相机同步已交付。
节拍、精度、识别率必须在目标设备 HIL 实测。教程不提供保证值。
第十二章:排障
先看视觉编程 诊断 页的第一条错误,再对同一时间的 IDE 日志。记录操作步骤、图像、项目版本、相机适配器和发生时间。
| 现象 | 检查 |
|---|---|
| 无图像 | 驱动、适配器、线缆、触发、曝光 |
| 节点被拒绝 | 是否在当前工具箱,参数是否越界 |
| 推理失败 | 工件是否交付、会话是否 Prepared、预处理是否匹配 |
| 想切换 GPU | 当前现场路径为 CPU,不能按未交付后端处理 |
| PLC 无结果 | 绑定是否声明、是否在扫描边界读取、失败路径是否未提交 |
| 本地有结果现场没有 | 预览 ≠ Runtime;重新校验并准备会话 |
| 测量跳变 | 标定、边缘稳定性、光源 |
| 队列满 | 降低并发或输入尺寸,不要在 scan 内等待空槽 |
性能验证必须在目标设备上用真实输入尺寸做:先预热,再记平均 / P99 / 内存峰值,同时记录程序版本和并发量。开发电脑结果只用于调参。