跳到主要内容

视觉编程教程

本教程说明 Darra RT IDE 视觉编程的公开工程流程。算子名称、参数和状态码以各分类参考页及当前 IDE 工具箱为准。

拖拽图与视觉 SCL 编辑同一个视觉程序。项目保存到 .dplc;保存定义只导出 .vscl 或 .scl 文本副本,不能单独部署。旧 C# 风格 Vision Script 不是视觉 SCL,不得作为新运行合同。

数据集、标注、训练和导出属于独立产品 Darra AI Studio。本教程只说明 PLC 如何消费已交付的推理工件。


第一章:入门​

1.1 视觉在 Darra 中的位置​

Darra 是 ISA-95 Level 1-2 软 PLC。视觉程序给出图像判定和有界标量结果;剔除、抓取、互锁由 PLC 执行。订单、批次、追溯、OEE 和 SPC 不属于本产品。

视觉作业在扫描周期外执行。PLC scan 不等待相机或推理。完整结果在后续扫描边界一次提交;失败、取消或超时不提交半成品。

1.2 典型工位​

外观检测:到位 → 采集 → 传统算子或已交付模型 → PLC 决定剔除
定位抓取:采集 → 去畸变 → 模板匹配 → 输出 X/Y/角度 → PLC 在安全检查后运动
识码路由:采集 → 增强 → 解码 → 标量状态 + 有界文本 → PLC 按工艺路由
尺寸分选:背光采集 → 边缘拟合 → 公差判断 → PLC 分选

1.3 工作台​

视觉编程包含三个工作区:

工作区用途
流程编辑拖拽图和视觉 SCL,打开图像并进行本地预览
相机新增相机绑定,填写设备信息并确认最大帧尺寸和像素格式
部署检查项目、相机、帧配置、结果绑定和当前批准状态

右侧查看原图、结果、测量、文本、属性和诊断。底部状态栏区分“本地预览”和“未连接 Runtime”。本地预览成功不表示已连接现场 Runtime。

能力状态
拖拽图 / 视觉 SCL / 本地预览可用
本地图像 / Windows UVC可用
USB3 Vision / GigE Vision可用,需适配器,并在目标设备验证
GenTL 厂商插件、多相机同步推进中,不能按已交付选型
模型消费引用 AI Studio 已交付工件;现场只消费已准备会话
数据集 / 训练 / 导出不在本产品,见 Darra AI Studio

1.4 工程选型参考​

以下表格是光学与工位估算,不是产品规格,不能替代目标设备实测。

相机(按检测任务估算,最终以设备能力为准):

任务常见类型分辨率量级快门
外观面阵500 万~2000 万全局
定位面阵130 万~500 万全局
识码面阵或线阵200 万~500 万视运动而定
尺寸面阵 + 远心镜头500 万~1200 万全局

镜头:定焦用于固定工位,远心用于尺寸,微距用于小字符。焦距估算 f = (工作距离 × 传感器宽度) / 视野宽度,只能作初选。

光源:环形用于字符,背光用于轮廓,同轴用于镜面,条形/暗场用于划痕。光源和安装通常决定检测能否稳定,不靠事后把阈值调极端来补。

现场算力:当前生产推理路径为 Windows 服务内的 ONNX Runtime CPU。不要按 GPU / NPU / TensorRT 已交付来选型。内存和并发上限以部署预检和 RuntimeResourcePolicy 为准。

1.5 软件流程​

准备:安装 IDE → 打开 .dplc → 准备测试图像 → 需要相机时安装厂商驱动
编辑:相机绑定并确认帧合同 → 拖拽图 → 按需写 ACTION → 引用已交付模型
预览:打开图像 → 应用视觉 SCL → 本地预览 → 查看结果和诊断
部署:重新校验 → 当前环境提供批准时完成批准 → 已批准 ≠ 已在现场运行
现场:运行版本激活前准备推理会话 → PLC 触发作业 → 扫描边界提交结果

1.6 常见误区​

误区正确理解
分辨率越高越好数据量增大,处理变慢;以满足最小缺陷或最小码模块为准
深度学习万能简单场景用 Blob / 模板匹配更稳,也更好诊断
本地预览等于现场预览在工程师电脑上跑,不准备现场会话
在 PLC IDE 里训练训练在 AI Studio
视觉线程直接打剔除视觉只出结果,执行器由 PLC 驱动

第二章:相机配置​

2.1 采集接口​

  • Windows UVC:普通 USB 相机,可用于开发和预览。UVC 与 USB3 Vision 不是同一协议。
  • USB3 Vision / GigE Vision:安装对应适配器后可用,仍须在目标设备验证。没有适配器时,配置里出现设备类型也不表示可以采集。
  • GenTL 厂商插件:推进中。Camera Link / CoaXPress 带宽数字只用于前期评估,不能写成已交付采集能力。

GigE 适合较长距离;USB 适合近距离单相机。多路相机的带宽、独立控制器和线缆质量必须在目标电脑验证。多相机同步仍在推进,不要把硬触发同步或跨相机原子结果当作已交付能力。

2.2 添加相机绑定​

  1. 打开顶部 视觉编程,进入 相机。
  2. 点击 新增。
  3. 填写相机标识、设备标识和对应视觉程序。
  4. 填写最大宽度、最大高度和像素格式。
  5. 点击 确认帧合同。
  6. 查看列表校验状态;未通过时按提示修正。

IDE 不会从预览图或旧项目猜测现场相机规格。只做本地图片预览时,可以先跳过绑定。

2.3 常用参数​

曝光、增益、触发和像素格式只有在相机适配器提供时才能设置,名称和范围以设备为准。下面是工程经验,不是固定 API。

  • 曝光:静态工件可用较长曝光;运动工件优先缩短曝光,再用光源补光。增益尽量低,优先加光而不是加增益。
  • 触发:开发可用软触发;产线同步用相机 Line 硬触发;传送带等距用编码器。延迟必须在目标设备实测。
  • 像素格式:不需要颜色用 Mono8;需要颜色用 RGB8 或厂商 RAW。项目确认的最大帧尺寸和像素格式必须覆盖实际采集。

2.4 标定​

尺寸和定位工位必须做内参标定和必要的手眼标定。标定板、拍摄角度和误差以现场报告为准,不要复制示例数值当验收指标。

标定完成后,在流程中加入去畸变节点,再做匹配或测量。标定文件是项目资源,不是运行时临时生成的。

常见问题:设备未找到先查驱动和适配器;采集超时先查触发;全黑/全白先查曝光和光圈;闪烁先查光源频闪与曝光整数倍。


第三章:图像采集​

采集模式属于相机及适配器配置,不是固定的拖拽图节点。视觉流程通过 图像输入 接收当前帧。

方式用途
单帧触发式工位
连续调试预览;不能代替目标设备长时间测试
软触发PLC 在扫描边界提交触发,Runtime 安排作业后由适配器采集
硬触发传感器或 PLC DO 接到相机 Line
编码器传送带等距;参数以适配器为准

PLC 侧不要在 scan 内等待采集完成:

PLC 扫描边界提交触发和输入
↓
Runtime 安排视觉作业(扫描周期外)
↓
适配器采集 → 流程处理 → 完整输出
↓
后续扫描边界一次提交

按真实分辨率、像素格式和帧率估算带宽。处理速度低于采集速度时,先降低帧率或图像尺寸。缓存由适配器和 Runtime 管理,工作台不提供统一缓存阈值。


第四章:图像预处理​

预处理质量直接影响后续检测。参数、默认值和范围以 算子参考 为准,本节只说明选用顺序。

推荐顺序:

输入帧 → 去畸变(如已标定)→ 灰度或色彩空间 → 滤波
→ 增强 / 阈值 → 形态学 → ROI → 检测或测量
步骤何时使用
高斯 / 中值 / 双边去噪;中值对椒盐,双边保边但更慢
开 / 闭运算去小噪点或填小孔;迭代次数过大会吞掉真缺陷
全局 / 自适应 / Otsu 阈值光照均匀用全局或 Otsu;光照不均用自适应或先 CLAHE
HSV 阈值颜色分选;H 范围以当前算子为准
旋转 / 缩放 / 仿射 / 透视对齐和纠正;测量前确认插值不会引入不可接受误差
CLAHE条码、弱对比字符
ROI减少处理量;坐标必须落在图像内

本地预览用于观察每一步图像,不代表现场节拍。


第五章:检测与定位​

5.1 传统方法​

当前公开可用的定位与分割基线是 Blob、模板匹配、形状匹配、Canny / Sobel 和 ORB 特征模板匹配。参数见算子参考。

  • Blob:二值图连通域。用面积、圆形度等过滤后输出质心和外接框。
  • 模板匹配:光照稳定、目标外观固定时使用。光照变化大时改形状匹配。
  • 边缘:测量和拟合前先得到稳定边缘。阈值过低会噪,过高会断。
  • ORB 特征匹配:用于有旋转的模板定位;缩放能力有限,必须用真实样本验证。

几何基元匹配、3D 模板匹配和立体标定当前不可用。

5.2 模型检测​

分类、目标检测、语义分割节点只引用 AI Studio 已交付工件。运行时只消费已 Prepared 的 inference-only 会话。

  • 可做:在节点中填写模型标识、版本和与工件一致的预处理。
  • 不可做:在 PLC IDE 训练、批准模型、推理时懒加载、把本地预览当成现场精度。
  • 实例分割和异常检测运行时算子当前不可用。

详见 模型消费。


第六章:测量​

测量链通常是:去畸变 → 边缘 → 拟合直线/圆 → 距离或角度 → 公差判定 → 标量输出。

像素必须经标定换成物理单位。卡尺、亚像素边缘和 RANSAC 拟合是否可用,以测量类算子参考页为准,不要按本节示意图发明参数名。

验收只认量具比对和现场重复性,不认教程里的示例公差。


第七章:识别​

条码、二维码、OCR 序列号只作为外部业务上下文的只读镜像。Darra 不建立追溯记录、批次台账或 MES 数据。外部系统经 OPC UA 读取识别状态和文本。

  • 一维码 / QR / Data Matrix / PDF417:先增强再解码。完整文本是富结果;PLC 收成功标志或工程路由码。
  • OCR:语言、白名单和页面模式以 OCR 算子参考为准。字符工位通常需要二值化、形态学和倾斜校正。
  • 颜色:在 HSV 中设范围;光照变化后必须重新采样。
  • 深度学习 OCR、异常检测运行时:当前不可用。

第八章:编辑视觉程序​

详细操作见 卡片图编辑器、视觉 SCL 编程 和 ACTION 事件。这里只给最短路径。

  1. 在 流程 中放置 图像输入、处理节点和 结果输出,按类型连接端口。
  2. 在属性面板填写参数;条件和结果整理放进 ACTION。
  3. 需要文本时编辑视觉 SCL,点击 应用视觉 SCL。编译失败不会替换上一次有效程序。
  4. 打开测试图像,执行 本地预览,查看结果和诊断。
  5. 保存 .dplc。需要文本副本时用 保存定义。

ACTION 当前只有 OnTrigger、OnFrame、OnInferenceCompleted、OnFault、OnTimeout。循环必须有上限。ACTION 不能训练模型、访问文件网络或直接写过程映像。

int threshold = 100;
int result = 0;

void OnFrame()
{
var image = Input();
var gray = Grayscale(image);
Output(gray);

if (threshold > 100)
{
result = threshold + 1;
}
else
{
result = 0;
}
}

第九章:消费已交付模型​

不要在视觉编程中寻找“AI 训练与验证”。训练、标注和导出在 Darra AI Studio 完成。

在 PLC 侧:

  1. 确认工件已交付到当前项目。
  2. 在检测或分类节点填写标识、版本和输入合同。
  3. 部署校验通过后,现场在运行版本激活前准备 inference-only 会话。
  4. 未准备、合同不匹配或资源不足时作业失败,不提交成功结果。

本地单图预览只确认流程能跑通当前测试图,不是数据集级精度,也不是现场性能。


第十章:与 PLC 集成​

项目必须显式声明输入和输出绑定。系统不会自动创建 VIS_JOB_* 或 VIS_RESULT_* 变量。

10.1 触发​

方式说明
PLC 变量扫描边界提交触发,Runtime 安排作业
相机硬触发适配器按 Line 采集,结果仍在扫描边界提交
编码器等距采集,可用性取决于适配器
bool triggerPulse = partPresent && !partPresentPrevious;
partPresentPrevious = partPresent;

if (triggerPulse)
{
visionJobStart = true;
}

变量名必须来自项目绑定,不要照抄示例标识。

10.2 读取结果​

if (visionJobDone && !visionJobBusy)
{
if (visionJobError)
{
systemState = VisionFault;
}
else
{
bool productOk = visionResultOk;
if (!productOk)
{
ejector = true;
}
}

visionJobDone = false;
}

成功、NG、故障和超时路径都要有完整输出。PLC 在无结果或结果过期时进入工程定义的安全态。视觉线程不得直接写 I/Q/M。

10.3 状态​

状态含义
IDE 本地预览中 / 完成 / 失败只处理当前打开图像
未连接 Runtime没有现场作业或运行资源状态
排队 / 运行 / 完成 / 故障 / 超时仅现场 Runtime 有效

排障顺序:授权与启用 → 相机帧合同 → 模型是否已准备 → 队列与资源 → 第一条诊断码 → 输出是否完整。


第十一章:产线组合​

完整节点链、ACTION 和上线检查见 应用示例。下面只列组合原则。

  • 外观:灰度 → 滤波 → 阈值 / 参考图差异 → Blob。传统方法不稳时再换已交付检测模型。
  • 抓取:去畸变 → 模板或特征匹配 → 标定换算。视觉坐标只是候选,运动前做安全门和空间检查。
  • 识码:CLAHE → 解码。文本不进 MES。
  • 测量:背光 → 边缘 → 拟合 → 公差。

多工位时每条相机绑定独立的视觉程序和帧合同。PLC 汇总各工位已提交结果后再动作。不要假设多相机同步已交付。

节拍、精度、识别率必须在目标设备 HIL 实测。教程不提供保证值。


第十二章:排障​

先看视觉编程 诊断 页的第一条错误,再对同一时间的 IDE 日志。记录操作步骤、图像、项目版本、相机适配器和发生时间。

现象检查
无图像驱动、适配器、线缆、触发、曝光
节点被拒绝是否在当前工具箱,参数是否越界
推理失败工件是否交付、会话是否 Prepared、预处理是否匹配
想切换 GPU当前现场路径为 CPU,不能按未交付后端处理
PLC 无结果绑定是否声明、是否在扫描边界读取、失败路径是否未提交
本地有结果现场没有预览 ≠ Runtime;重新校验并准备会话
测量跳变标定、边缘稳定性、光源
队列满降低并发或输入尺寸,不要在 scan 内等待空槽

性能验证必须在目标设备上用真实输入尺寸做:先预热,再记平均 / P99 / 内存峰值,同时记录程序版本和并发量。开发电脑结果只用于调参。


算子合同见 算子参考,运行隔离见 视觉运行时,模型引用见 模型消费。