Parallax Attention for Unsupervised Stereo Correspondence Learning
type
status
date
slug
summary
tags
category
icon
password
提出了一种cost volume——unsupervised parallax-attention mechanism (PAM)
- 使用矩阵乘法而不是shift operation得到不同的disparities
- 在parallax-attention maps上进行正则化
- 不用显示的disparity计算就可以从左右视图得到3D线索,可应用于各种类型的任务
PAM
Overview
- feature map 变形为
- 使用矩阵乘法计算任意两个位置的相关性
- 对于左图中的一个pixel,计算与右图中延纵向线的所有pixel的相关性
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F1967d4b5-8bd6-4d94-987e-b2ed6c93d96c%2FUntitled.png?table=block&id=402e797f-6f2b-492f-a111-203f32b9bfb6)
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F830b6bd8-26d2-416e-b5fc-f4a5ce31722e%2FUntitled.png?table=block&id=dee25480-4a5d-42aa-8d6d-d58f5572881a)
- A, B两个特征图
- A图通过卷积生成query特征图,B通过另一个卷积生成key特征图并reshape为,通过矩阵相乘得到PAM(parallax-attention map)
- B图通过另一个卷积生成特征图,与PAM矩阵相乘得到结果特征O,同时生成valid mask
![notion image](https://raw.githubusercontent.com/BigCiLeng/picgo_photos/main/img/20230515164902.png)
Left-Right Consistency and Cycle Consistency
其中表示geometry-aware matrix multiplication
扩展到cycle-attention maps的形式为
: geometry-aware matrix multiplication操作![notion image](https://raw.githubusercontent.com/BigCiLeng/picgo_photos/main/img/20230516233104.png)
![notion image](https://raw.githubusercontent.com/BigCiLeng/picgo_photos/main/img/20230516233104.png)
Valid Mask
主要针对occlusion区域(在一个视图中有,在另一个视图中不存在的区域)
通过PAM检测,其相应的PAM值很小——左视图中的pixel在右视图找不到相关的点
![notion image](https://raw.githubusercontent.com/BigCiLeng/picgo_photos/main/img/20230517114134.png)