Parallax Attention for Unsupervised Stereo Correspondence Learning
Parallax Attention for Unsupervised Stereo Correspondence Learning
type
status
date
slug
summary
tags
category
icon
password
提出了一种cost volume——unsupervised parallax-attention mechanism (PAM)
  1. 使用矩阵乘法而不是shift operation得到不同的disparities
  1. 在parallax-attention maps上进行正则化
  1. 不用显示的disparity计算就可以从左右视图得到3D线索，可应用于各种类型的任务

PAM

Overview

  1. feature map 变形为
  1. 使用矩阵乘法计算任意两个位置的相关性
  1. 对于左图中的一个pixel，计算与右图中延纵向线的所有pixel的相关性
notion image
notion image
  1. A, B两个特征图
    1. A图通过卷积生成query特征图，B通过另一个卷积生成key特征图并reshape为，通过矩阵相乘得到PAM(parallax-attention map)
    2. B图通过另一个卷积生成特征图，与PAM矩阵相乘得到结果特征O，同时生成valid mask
notion image

Left-Right Consistency and Cycle Consistency

其中表示geometry-aware matrix multiplication
 
扩展到cycle-attention maps的形式为
💡
: geometry-aware matrix multiplication操作
notion image

Valid Mask

主要针对occlusion区域(在一个视图中有，在另一个视图中不存在的区域)
通过PAM检测，其相应的PAM值很小——左视图中的pixel在右视图找不到相关的点
notion image

Unsupervised Stereo Matching

Stereo Image SR

SQNOFA
  • GitTalk
  • WebMention