跳到主要内容

光流

用于估计相邻图像间的像素运动,适合位移、跟踪和运动分析。

Farneback 密集光流可视化​

DENSEOPTICALFLOW · 可执行

对两条图像入边给出的前帧与当前帧执行 Farneback 密集光流,并返回 HSV 编码的 BGR 可视化图。主目录已聚合本算子。

签名​

var denseFlowNode = DENSEOPTICALFLOW(pyrScale: 0.5, levels: 5, winSize: 13, iterations: 10, polyN: 5, polySigma: 1.1, gauss: FALSE);

输入​

previousImage
  • 输入
  • 必填
  • 约束 必须为非空 CV_8U 图像。只接受 1 通道灰度或 3 通道 BGR;3 通道输入会先转灰度。与当前帧尺寸必须一致。
前帧图像,由视觉图的第一条 Image 入边提供。
currentImage
  • 输入
  • 必填
  • 约束 必须为非空 CV_8U 图像。只接受 1 通道灰度或 3 通道 BGR。生产路径必须保留两条入边。
当前帧图像,由视觉图的第二条 Image 入边提供。

参数​

pyrScaledouble
  • 输入
  • 可选
  • 默认 0.5
  • 约束 范围 0.01–0.99。
构建下一层图像金字塔时相对上一层的缩放比例。
levelsint
  • 输入
  • 可选
  • 默认 5
  • 约束 范围 1–64。
Farneback 图像金字塔层数。
winSizeint
  • 输入
  • 可选
  • 默认 13
  • 约束 范围 3–101。当前 参数合同 未声明奇数约束。
Farneback 平均窗口大小。
iterationsint
  • 输入
  • 可选
  • 默认 10
  • 约束 范围 1–100。
每层金字塔的迭代次数。
polyNint
  • 输入
  • 可选
  • 默认 5
  • 约束 范围 3–15。当前 参数合同 未限制为 5、7 或奇数;原生 视觉运行时 对不常用组合的行为未有集成证据。
像素邻域多项式展开窗口大小。
polySigmadouble
  • 输入
  • 可选
  • 默认 1.1
  • 约束 范围 0.1–10。
多项式展开平滑高斯核的标准差。
gaussbool
  • 输入
  • 可选
  • 默认 FALSE
TRUE 时启用 FarnebackGaussian 标志;FALSE 时使用默认窗口。

输出​

imageImage
与输入同宽高的 CV_8UC3 BGR 可视化图;色相表示方向,亮度表示归一化幅值。不是原始 CV_32FC2 光流场。
flowMeanMagdouble
测量键 {nodeId}.dense.flowMeanMag,光流幅值均值。
flowMaxMagdouble
测量键 {nodeId}.dense.flowMaxMag,光流幅值最大值。
flowStdMagdouble
测量键 {nodeId}.dense.flowStdMag,光流幅值标准差。
flowAngleMeandouble
测量键 {nodeId}.dense.flowAngleMean,非零幅值像素的方向均值,单位为度。
flowAngleStddouble
测量键 {nodeId}.dense.flowAngleStd,非零幅值像素的方向标准差,单位为度。
processMicrosint
测量键 {nodeId}.dense.processMicros,视觉运行时 计算耗时,单位为微秒。
totalPixelsint
测量键 {nodeId}.dense.totalPixels,参与计算的像素总数。

行为​

  • 生产路径必须连接两条图像入边;两条入边可别名同一源图,但仍按两条 link 分别解析。
  • 无图上下文时仅供 family dispatcher 旧兼容测试,语义为同一帧的确定性零运动。
  • 内部原始光流为 CV_32FC2,公开节点输出只返回 HSV→BGR 可视化图和量测值。
  • 量测键前缀为 {nodeId}.dense:flowMeanMag、flowMaxMag、flowStdMag、flowAngleMean、flowAngleStd、processMicros、totalPixels、inputResources。

错误与限制​

  • VISION_PIPELINE_PARAMETER_UNKNOWN:节点提供 schema 未声明的参数。
  • VISION_PIPELINE_PARAMETER_TYPE:整数、数值或布尔参数文本无法按声明类型解析。
  • VISION_PIPELINE_PARAMETER_NON_FINITE:数值参数是 NaN 或 Infinity。
  • VISION_PIPELINE_PARAMETER_RANGE:参数超出参数合同声明范围。
  • VISION_CORE_INPUT_TYPE_UNSUPPORTED:输入为空、不是 CV_8U,或不是 1/3 通道图像。
  • VISION_CORE_DEGENERATE_GEOMETRY:前帧与当前帧尺寸不一致,或内部光流为空/不是双通道。

示例​

对相邻两帧计算 Farneback 密集光流并输出可视化图。

var denseFlowNode = DENSEOPTICALFLOW(pyrScale: 0.5, levels: 5, winSize: 13, iterations: 10, polyN: 5, polySigma: 1.1, gauss: FALSE);

密集逆搜索光流​

DISOPTICALFLOW · 可执行

对两条图像入边执行块级密集逆搜索:以前帧 patch 在当前帧做 SqDiff 搜索,再线性稠密化位移场。不调用 Farneback,也不走单帧缓存替代。

签名​

var disFlowNode = DISOPTICALFLOW(disPreset: "Medium", disPatchSize: 8);

输入​

previousImage
  • 输入
  • 必填
  • 约束 必须为非空 CV_8U 图像。只接受 1 通道灰度或 3 通道 BGR。宽高均不得小于 4。
前帧图像,由视觉图的第一条 Image 入边提供。
currentImage
  • 输入
  • 必填
  • 约束 必须为非空 CV_8U 图像。与前帧尺寸必须一致。
当前帧图像,由视觉图的第二条 Image 入边提供。

参数​

disPresetstring
  • 输入
  • 可选
  • 默认 Medium
  • 约束 可选 UltraFast、Fast、Medium。UltraFast 用 patchSize 作步长、较小搜索半径;Fast/Medium 缩小步长并扩大搜索半径。
搜索网格步长与搜索半径预设。
disPatchSizeint
  • 输入
  • 可选
  • 默认 8
  • 约束 范围 4–64。实际取值会夹紧到不超过输入最小边长。
前帧 patch 边长。

输出​

imageImage
与输入同宽高的 CV_8UC3 BGR 光流可视化图;不是原始 CV_32FC2 光流场。
flowMeanMagdouble
测量键 {nodeId}.dis.flowMeanMag,光流幅值均值。
flowMaxMagdouble
测量键 {nodeId}.dis.flowMaxMag,光流幅值最大值。
flowStdMagdouble
测量键 {nodeId}.dis.flowStdMag,光流幅值标准差。
flowAngleMeandouble
测量键 {nodeId}.dis.flowAngleMean,非零幅值像素方向均值,单位为度。
flowAngleStddouble
测量键 {nodeId}.dis.flowAngleStd,非零幅值像素方向标准差,单位为度。
processMicrosint
测量键 {nodeId}.dis.processMicros,计算耗时,单位为微秒。
totalPixelsint
测量键 {nodeId}.dis.totalPixels,参与计算的像素总数。

行为​

  • 生产路径必须连接两条图像入边。OpenCvSharp 4.13 未公开 cv::DISOpticalFlow 包装,本算子实现独立的块级逆搜索,不以 Farneback 冒充。
  • disPreset 决定网格步长与搜索半径;disPatchSize 决定 patch 边长。两帧相同时输出零光流。
  • 内部 CV_32FC2 光流仅用于统计和 HSV→BGR 可视化,不作为节点图像输出。

错误与限制​

  • VISION_PIPELINE_PARAMETER_UNKNOWN:节点提供 disPreset、disPatchSize 以外的参数。
  • VISION_PIPELINE_PARAMETER_TYPE:disPatchSize 不是整数。
  • VISION_PIPELINE_PARAMETER_ENUM:disPreset 不是 UltraFast、Fast 或 Medium。
  • VISION_PIPELINE_PARAMETER_RANGE:disPatchSize 不在 4–64。
  • VISION_CORE_INPUT_TYPE_UNSUPPORTED:输入为空、不是 CV_8U,或不是 1/3 通道图像。
  • VISION_CORE_DEGENERATE_GEOMETRY:输入宽高小于 4,两帧尺寸不一致,或光流为空/不是双通道。

示例​

以 Medium 预设执行块级密集逆搜索。

var disFlowNode = DISOPTICALFLOW(disPreset: "Medium", disPatchSize: 8);

块匹配视差​

DisparityBm · 可执行

基于块匹配(BM)算法的立体视差计算,从左/右视图生成视差图。

签名​

Image disparity = DisparityBm(numDisparities: 16, blockSize: 15, preFilterCap: 31, uniquenessRatio: 10, speckleWindowSize: 100, speckleRange: 32, textureThreshold: 10);

输入​

leftImage
  • 输入
  • 必填
左视图灰度图像。
rightImage
  • 输入
  • 必填
右视图灰度图像。

参数​

numDisparitiesint
  • 输入
  • 可选
  • 默认 16
  • 约束 范围: 16-256必须为 16 的倍数
视差搜索范围。
blockSizeint
  • 输入
  • 可选
  • 默认 15
  • 约束 范围: 5-51必须为奇数
匹配块大小。
preFilterCapint
  • 输入
  • 可选
  • 默认 31
  • 约束 范围: 1-63
预滤波阈值上限。
uniquenessRatioint
  • 输入
  • 可选
  • 默认 10
  • 约束 范围: 1-100
唯一性比率。
speckleWindowSizeint
  • 输入
  • 可选
  • 默认 100
  • 约束 范围: 0-1000
散斑过滤窗口大小。
speckleRangeint
  • 输入
  • 可选
  • 默认 32
  • 约束 范围: 0-1000
散斑过滤范围。
textureThresholdint
  • 输入
  • 可选
  • 默认 10
  • 约束 范围: 0-10000
纹理阈值。

返回值​

returnImage
8UC1 单通道视差图,值越大表示视差越大(距离越近)。

行为​

  • 必须同步连接左/右两路图像入边;无同步右图或左右为同一资源时 fail-closed,不用时序缓存冒充。

错误与限制​

  • VISION_PIPELINE_PARAMETER_RANGE:任一数值参数超出参数合同范围。
  • VISION_PIPELINE_PARAMETER_TYPE:整数或浮点参数格式错误。
  • VISION_CORE_INPUT_TYPE_UNSUPPORTED:输入为空、不是 CV_8U,或通道数不受支持。

示例​

计算左右视图之间的视差图。

Image disparity = DisparityBm(numDisparities: 16, blockSize: 15, preFilterCap: 31, uniquenessRatio: 10, speckleWindowSize: 100, speckleRange: 32, textureThreshold: 10);

Farneback 密集光流​

FarnebackOpticalFlow · 可执行

基于 Gunnar Farneback 算法的密集光流计算,输出 HSV 编码的 BGR 可视化图,不是原始 CV_32FC2 光流场。

签名​

Image flow = FarnebackOpticalFlow(pyrScale: 0.5, levels: 5, winSize: 13, iterations: 10, polyN: 5, polySigma: 1.1, gauss: FALSE);

输入​

prevImage
  • 输入
  • 必填
前一帧灰度图像。
nextImage
  • 输入
  • 必填
当前帧灰度图像。

参数​

pyrScaledouble
  • 输入
  • 可选
  • 默认 0.5
  • 约束 范围: 0.01-0.99
图像金字塔缩放比例。
levelsint
  • 输入
  • 可选
  • 默认 5
  • 约束 范围: 1-64
金字塔层数。
winSizeint
  • 输入
  • 可选
  • 默认 13
  • 约束 范围: 3-101
平均窗口大小。
iterationsint
  • 输入
  • 可选
  • 默认 10
  • 约束 范围: 1-100
每层金字塔迭代次数。
polyNint
  • 输入
  • 可选
  • 默认 5
  • 约束 范围: 3-15
多项式展开邻域大小。
polySigmadouble
  • 输入
  • 可选
  • 默认 1.1
  • 约束 范围: 0.1-10
多项式展开高斯标准差。
gaussbool
  • 输入
  • 可选
  • 默认 FALSE
是否使用高斯滤波器代替盒滤波器。

返回值​

returnImage
与输入同宽高的 CV_8UC3 BGR 光流可视化图;内部 CV_32FC2 光流不作为图像端口输出。

行为​

  • 计算两帧灰度图像之间的密集光流;公开输出为 HSV→BGR 可视化,不是原始位移场。
  • 生产路径必须连接两条图像入边;量测键前缀为 {nodeId}.farneback。

错误与限制​

  • VISION_PIPELINE_PARAMETER_RANGE:任一数值参数超出参数合同范围。
  • VISION_PIPELINE_PARAMETER_TYPE:整数或浮点参数格式错误。
  • VISION_CORE_INPUT_TYPE_UNSUPPORTED:输入为空、不是 CV_8U,或通道数不受支持。

示例​

计算两帧之间的 Farneback 密集光流。

Image flow = FarnebackOpticalFlow(pyrScale: 0.5, levels: 5, winSize: 13, iterations: 10, polyN: 5, polySigma: 1.1, gauss: FALSE);

运动历史图像​

MotionHistory · 可执行

基于运动历史图像(MHI)算法,对运动区域进行时间加权累积,输出运动方向与强度。

签名​

Image mhi = MotionHistory(mhiDuration: 1.0, mhiMaxTime: 1.0);

输入​

inputImage
  • 输入
  • 必填
  • 约束 只接受 1 或 3 通道 CV_8U。
当前帧 8-bit 灰度或 BGR 图像;运动剪影由与缓存前帧做帧差得到,不是独立输入端口。

参数​

mhiDurationdouble
  • 输入
  • 可选
  • 默认 1.0
  • 约束 范围: 0.1-60
运动历史图像持续时间(秒)。
mhiMaxTimedouble
  • 输入
  • 可选
  • 默认 1.0
  • 约束 范围: 0.1-60
最大运动历史时间戳(秒)。

返回值​

returnImage
32FC1 运动历史图像,像素值表示运动发生的时间戳。

行为​

  • 基于运动历史图像(MHI)算法,对运动区域进行时间加权累积。
  • 运动越新的区域像素值越大,旧的运动区域逐渐衰减。
  • 输出单通道浮点图像,可配合阈值和后续处理提取运动区域。

错误与限制​

  • VISION_PIPELINE_PARAMETER_RANGE:任一数值参数超出参数合同范围。
  • VISION_PIPELINE_PARAMETER_TYPE:整数或浮点参数格式错误。
  • VISION_CORE_INPUT_TYPE_UNSUPPORTED:输入为空、不是 CV_8U,或通道数不受支持。

示例​

获取运动历史图像,用于分析运动方向与强度。

Image mhi = MotionHistory(mhiDuration: 1.0, mhiMaxTime: 1.0);

稀疏光流​

SparseOpticalFlow · 可执行

基于 Lucas-Kanade 金字塔算法的稀疏光流跟踪。特征点由前帧 GoodFeaturesToTrack 提取,不接受外部点集端口。

签名​

Image flow = SparseOpticalFlow(maxLevel: 3, windowSize: 21, minEigThreshold: 1e-4, termMaxCount: 30, termEpsilon: 0.01, qualityLevel: 0.01, minDistance: 10, maxCorners: 200, blockSize: 3, useHarrisDetector: false, harrisK: 0.04);

输入​

previousImage
  • 输入
  • 必填
  • 约束 必须为非空 CV_8U 图像。只接受 1 或 3 通道。
前帧图像,由视觉图的第一条 Image 入边提供。
currentImage
  • 输入
  • 必填
  • 约束 必须为非空 CV_8U 图像。与前帧尺寸必须一致。
当前帧图像,由视觉图的第二条 Image 入边提供。

参数​

maxLevelint
  • 输入
  • 可选
  • 默认 3
  • 约束 范围 0–20。
金字塔最大层数。
windowSizeint
  • 输入
  • 可选
  • 默认 21
  • 约束 范围 3–101。
搜索窗口大小。
minEigThresholddouble
  • 输入
  • 可选
  • 默认 1e-4
  • 约束 必须大于或等于 0。
最小特征值阈值。
termMaxCountint
  • 输入
  • 可选
  • 默认 30
  • 约束 范围 1–1000。
迭代终止最大次数。
termEpsilondouble
  • 输入
  • 可选
  • 默认 0.01
  • 约束 必须大于或等于 0。
迭代终止 epsilon 精度。
qualityLeveldouble
  • 输入
  • 可选
  • 默认 0.01
  • 约束 范围 1e-9–1。
GoodFeaturesToTrack 角点质量阈值。
minDistancedouble
  • 输入
  • 可选
  • 默认 10
  • 约束 范围 0–1000000。
相邻角点最小距离。
maxCornersint
  • 输入
  • 可选
  • 默认 200
  • 约束 范围 1–4096。
最多提取的角点数。
blockSizeint
  • 输入
  • 可选
  • 默认 3
  • 约束 范围 3–31,必须为奇数。
角点检测邻域边长。
useHarrisDetectorbool
  • 输入
  • 可选
  • 默认 FALSE
是否使用 Harris 角点。
harrisKdouble
  • 输入
  • 可选
  • 默认 0.04
  • 约束 范围 0–1。
Harris 检测器自由参数。

返回值​

returnImage
跟踪到的特征点位置。

行为​

  • 前帧用 GoodFeaturesToTrack 提取角点,再以金字塔 Lucas-Kanade 跟踪到当前帧。
  • 未提取到特征点时 fail-closed,不写 0-flow 冒充成功。
  • 生产路径必须连接两条图像入边。

错误与限制​

  • VISION_PIPELINE_PARAMETER_RANGE:任一数值参数超出参数合同范围。
  • VISION_PIPELINE_PARAMETER_TYPE:整数或浮点参数格式错误。
  • VISION_CORE_INPUT_TYPE_UNSUPPORTED:输入为空、不是 CV_8U,或通道数不受支持。

示例​

在连续两帧之间跟踪角点特征。

Image tracked = SparseOpticalFlow(maxLevel: 3, windowSize: 21, minEigThreshold: 1e-4, termMaxCount: 30, termEpsilon: 0.01);