光流
用于估计相邻图像间的像素运动,适合位移、跟踪和运动分析。
Farneback 密集光流可视化
DENSEOPTICALFLOW · 可执行
对两条图像入边给出的前帧与当前帧执行 Farneback 密集光流,并返回 HSV 编码的 BGR 可视化图。主目录已聚合本算子。
签名
var denseFlowNode = DENSEOPTICALFLOW(pyrScale: 0.5, levels: 5, winSize: 13, iterations: 10, polyN: 5, polySigma: 1.1, gauss: FALSE);
输入
previousImage- 前帧图像,由视觉图的第一条 Image 入边提供。
currentImage- 当前帧图像,由视觉图的第二条 Image 入边提供。
参数
pyrScaledouble- 构建下一层图像金字塔时相对上一层的缩放比例。
levelsint- Farneback 图像金字塔层数。
winSizeint- Farneback 平均窗口大小。
iterationsint- 每层金字塔的迭代次数。
polyNint- 像素邻域多项式展开窗口大小。
polySigmadouble- 多项式展开平滑高斯核的标准差。
gaussbool- TRUE 时启用 FarnebackGaussian 标志;FALSE 时使用默认窗口。
输出
imageImage- 与输入同宽高的 CV_8UC3 BGR 可视化图;色相表示方向,亮度表示归一化幅值。不是原始 CV_32FC2 光流场。
flowMeanMagdouble- 测量键 {nodeId}.dense.flowMeanMag,光流幅值均值。
flowMaxMagdouble- 测量键 {nodeId}.dense.flowMaxMag,光流幅值最大值。
flowStdMagdouble- 测量键 {nodeId}.dense.flowStdMag,光流幅值标准差。
flowAngleMeandouble- 测量键 {nodeId}.dense.flowAngleMean,非零幅值像素的方向均值,单位为度。
flowAngleStddouble- 测量键 {nodeId}.dense.flowAngleStd,非零幅值像素的方向标准差,单位为度。
processMicrosint- 测量键 {nodeId}.dense.processMicros,视觉运行时 计算耗时,单位为微秒。
totalPixelsint- 测量键 {nodeId}.dense.totalPixels,参与计算的像素总数。
行为
- 生产路径必须连接两条图像入边;两条入边可别名同一源图,但仍按两条 link 分别解析。
- 无图上下文时仅供 family dispatcher 旧兼容测试,语义为同一帧的确定性零运动。
- 内部原始光流为 CV_32FC2,公开节点输出只返回 HSV→BGR 可视化图和量测值。
- 量测键前缀为
{nodeId}.dense:flowMeanMag、flowMaxMag、flowStdMag、flowAngleMean、flowAngleStd、processMicros、totalPixels、inputResources。
错误与限制
VISION_PIPELINE_PARAMETER_UNKNOWN:节点提供 schema 未声明的参数。VISION_PIPELINE_PARAMETER_TYPE:整数、数值或布尔参数文本无法按声明类型解析。VISION_PIPELINE_PARAMETER_NON_FINITE:数值参数是 NaN 或 Infinity。VISION_PIPELINE_PARAMETER_RANGE:参数超出参数合同声明范围。VISION_CORE_INPUT_TYPE_UNSUPPORTED:输入为空、不是 CV_8U,或不是 1/3 通道图像。VISION_CORE_DEGENERATE_GEOMETRY:前帧与当前帧尺寸不一致,或内部光流为空/不是双通道。
示例
对相邻两帧计算 Farneback 密集光流并输出可视化图。
var denseFlowNode = DENSEOPTICALFLOW(pyrScale: 0.5, levels: 5, winSize: 13, iterations: 10, polyN: 5, polySigma: 1.1, gauss: FALSE);
密集逆搜索光流
DISOPTICALFLOW · 可执行
对两条图像入边执行块级密集逆搜索:以前帧 patch 在当前帧做 SqDiff 搜索,再线性稠密化位移场。不调用 Farneback,也不走单帧缓存替代。
签名
var disFlowNode = DISOPTICALFLOW(disPreset: "Medium", disPatchSize: 8);
输入
previousImage- 前帧图像,由视觉图的第一条 Image 入边提供。
currentImage- 当前帧图像,由视觉图的第二条 Image 入边提供。
参数
disPresetstring- 搜索网格步长与搜索半径预设。
disPatchSizeint- 前帧 patch 边长。
输出
imageImage- 与输入同宽高的 CV_8UC3 BGR 光流可视化图;不是原始 CV_32FC2 光流场。
flowMeanMagdouble- 测量键 {nodeId}.dis.flowMeanMag,光流幅值均值。
flowMaxMagdouble- 测量键 {nodeId}.dis.flowMaxMag,光流幅值最大值。
flowStdMagdouble- 测量键 {nodeId}.dis.flowStdMag,光流幅值标准差。
flowAngleMeandouble- 测量键 {nodeId}.dis.flowAngleMean,非零幅值像素方向均值,单位为度。
flowAngleStddouble- 测量键 {nodeId}.dis.flowAngleStd,非零幅值像素方向标准差,单位为度。
processMicrosint- 测量键 {nodeId}.dis.processMicros,计算耗时,单位为微秒。
totalPixelsint- 测量键 {nodeId}.dis.totalPixels,参与计算的像素总数。
行为
- 生产路径必须连接两条图像入边。OpenCvSharp 4.13 未公开 cv::DISOpticalFlow 包装,本算子实现独立的块级逆搜索,不以 Farneback 冒充。
- disPreset 决定网格步长与搜索半径;disPatchSize 决定 patch 边长。两帧相同时输出零光流。
- 内部 CV_32FC2 光流仅用于统计和 HSV→BGR 可视化,不作为节点图像输出。
错误与限制
VISION_PIPELINE_PARAMETER_UNKNOWN:节点提供 disPreset、disPatchSize 以外的参数。VISION_PIPELINE_PARAMETER_TYPE:disPatchSize 不是整数。VISION_PIPELINE_PARAMETER_ENUM:disPreset 不是 UltraFast、Fast 或 Medium。VISION_PIPELINE_PARAMETER_RANGE:disPatchSize 不在 4–64。VISION_CORE_INPUT_TYPE_UNSUPPORTED:输入为空、不是 CV_8U,或不是 1/3 通道图像。VISION_CORE_DEGENERATE_GEOMETRY:输入宽高小于 4,两帧尺寸不一致,或光流为空/不是双通道。
示例
以 Medium 预设执行块级密集逆搜索。
var disFlowNode = DISOPTICALFLOW(disPreset: "Medium", disPatchSize: 8);
块匹配视差
DisparityBm · 可执行
基于块匹配(BM)算法的立体视差计算,从左/右视图生成视差图。
签名
Image disparity = DisparityBm(numDisparities: 16, blockSize: 15, preFilterCap: 31, uniquenessRatio: 10, speckleWindowSize: 100, speckleRange: 32, textureThreshold: 10);
输入
leftImage- 左视图灰度图像。
rightImage- 右视图灰度图像。
参数
numDisparitiesint- 视差搜索范围。
blockSizeint- 匹配块大小。
preFilterCapint- 预滤波阈值上限。
uniquenessRatioint- 唯一性比率。
speckleWindowSizeint- 散斑过滤窗口大小。
speckleRangeint- 散斑过滤范围。
textureThresholdint- 纹理阈值。
返回值
returnImage- 8UC1 单通道视差图,值越大表示视差越大(距离越近)。
行为
- 必须同步连接左/右两路图像入边;无同步右图或左右为同一资源时 fail-closed,不用时序缓存冒充。
错误与限制
VISION_PIPELINE_PARAMETER_RANGE:任一数值参数超出参数合同范围。VISION_PIPELINE_PARAMETER_TYPE:整数或浮点参数格式错误。VISION_CORE_INPUT_TYPE_UNSUPPORTED:输入为空、不是 CV_8U,或通道数不受支持。
示例
计算左右视图之间的视差图。
Image disparity = DisparityBm(numDisparities: 16, blockSize: 15, preFilterCap: 31, uniquenessRatio: 10, speckleWindowSize: 100, speckleRange: 32, textureThreshold: 10);
Farneback 密集光流
FarnebackOpticalFlow · 可执行
基于 Gunnar Farneback 算法的密集光流计算,输出 HSV 编码的 BGR 可视化图,不是原始 CV_32FC2 光流场。
签名
Image flow = FarnebackOpticalFlow(pyrScale: 0.5, levels: 5, winSize: 13, iterations: 10, polyN: 5, polySigma: 1.1, gauss: FALSE);
输入
prevImage- 前一帧灰度图像。
nextImage- 当前帧灰度图像。
参数
pyrScaledouble- 图像金字塔缩放比例。
levelsint- 金字塔层数。
winSizeint- 平均窗口大小。
iterationsint- 每层金字塔迭代次数。
polyNint- 多项式展开邻域大小。
polySigmadouble- 多项式展开高斯标准差。
gaussbool- 是否使用高斯滤波器代替盒滤波器。
返回值
returnImage- 与输入同宽高的 CV_8UC3 BGR 光流可视化图;内部 CV_32FC2 光流不作为图像端口输出。
行为
- 计算两帧灰度图像之间的密集光流;公开输出为 HSV→BGR 可视化,不是原始位移场。
- 生产路径必须连接两条图像入边;量测键前缀为
{nodeId}.farneback。
错误与限制
VISION_PIPELINE_PARAMETER_RANGE:任一数值参数超出参数合同范围。VISION_PIPELINE_PARAMETER_TYPE:整数或浮点参数格式错误。VISION_CORE_INPUT_TYPE_UNSUPPORTED:输入为空、不是 CV_8U,或通道数不受支持。
示例
计算两帧之间的 Farneback 密集光流。
Image flow = FarnebackOpticalFlow(pyrScale: 0.5, levels: 5, winSize: 13, iterations: 10, polyN: 5, polySigma: 1.1, gauss: FALSE);
运动历史图像
MotionHistory · 可执行
基于运动历史图像(MHI)算法,对运动区域进行时间加权累积,输出运动方向与强度。
签名
Image mhi = MotionHistory(mhiDuration: 1.0, mhiMaxTime: 1.0);
输入
inputImage- 当前帧 8-bit 灰度或 BGR 图像;运动剪影由与缓存前帧做帧差得到,不是独立输入端口。
参数
mhiDurationdouble- 运动历史图像持续时间(秒)。
mhiMaxTimedouble- 最大运动历史时间戳(秒)。
返回值
returnImage- 32FC1 运动历史图像,像素值表示运动发生的时间戳。
行为
- 基于运动历史图像(MHI)算法,对运动区域进行时间加权累积。
- 运动越新的区域像素值越大,旧的运动区域逐渐衰减。
- 输出单通道浮点图像,可配合阈值和后续处理提取运动区域。
错误与限制
VISION_PIPELINE_PARAMETER_RANGE:任一数值参数超出参数合同范围。VISION_PIPELINE_PARAMETER_TYPE:整数或浮点参数格式错误。VISION_CORE_INPUT_TYPE_UNSUPPORTED:输入为空、不是 CV_8U,或通道数不受支持。
示例
获取运动历史图像,用于分析运动方向与强度。
Image mhi = MotionHistory(mhiDuration: 1.0, mhiMaxTime: 1.0);
稀疏光流
SparseOpticalFlow · 可执行
基于 Lucas-Kanade 金字塔算法的稀疏光流跟踪。特征点由前帧 GoodFeaturesToTrack 提取,不接受外部点集端口。
签名
Image flow = SparseOpticalFlow(maxLevel: 3, windowSize: 21, minEigThreshold: 1e-4, termMaxCount: 30, termEpsilon: 0.01, qualityLevel: 0.01, minDistance: 10, maxCorners: 200, blockSize: 3, useHarrisDetector: false, harrisK: 0.04);
输入
previousImage- 前帧图像,由视觉图的第一条 Image 入边提供。
currentImage- 当前帧图像,由视觉图的第二条 Image 入边提供。
参数
maxLevelint- 金字塔最大层数。
windowSizeint- 搜索窗口大小。
minEigThresholddouble- 最小特征值阈值。
termMaxCountint- 迭代终止最大次数。
termEpsilondouble- 迭代终止 epsilon 精度。
qualityLeveldouble- GoodFeaturesToTrack 角点质量阈值。
minDistancedouble- 相邻角点最小距离。
maxCornersint- 最多提取的角点数。
blockSizeint- 角点检测邻域边长。
useHarrisDetectorbool- 是否使用 Harris 角点。
harrisKdouble- Harris 检测器自由参数。
返回值
returnImage- 跟踪到的特征点位置。
行为
- 前帧用 GoodFeaturesToTrack 提取角点,再以金字塔 Lucas-Kanade 跟踪到当前帧。
- 未提取到特征点时 fail-closed,不写 0-flow 冒充成功。
- 生产路径必须连接两条图像入边。
错误与限制
VISION_PIPELINE_PARAMETER_RANGE:任一数值参数超出参数合同范围。VISION_PIPELINE_PARAMETER_TYPE:整数或浮点参数格式错误。VISION_CORE_INPUT_TYPE_UNSUPPORTED:输入为空、不是 CV_8U,或通道数不受支持。
示例
在连续两帧之间跟踪角点特征。
Image tracked = SparseOpticalFlow(maxLevel: 3, windowSize: 21, minEigThreshold: 1e-4, termMaxCount: 30, termEpsilon: 0.01);