SLAM Front-end

SLAM Overview

一種 SLAM 定義方式是由抓點方式定義，因為 ICP 時要抓點，所以有幾種方法可以抓點

另一種 SLAM 定義方式為 direct, indirect

我們可以把 Feature-based Visual SLAM 分成兩大學問

Computer Vision (measurement)
- Feature Points Matching
- Perspective-n-Points
- Bundle Adjustment
- Epipolar Geometry
System Pipeline (optimization)
- Map storage
- Graph Optimization
- Loop Closure Detection

Indirect method 雖然能夠容忍環境的變化，但 matching 耗時，在特殊場景會找不到特徵點，且大量的特徵點可能不會被使用

而 direct method 雖然需要在光源需穩定 (亮度不變)，相機移動小 (特徵點位置不會劇烈變化) 的情況才能實作，但計算較快速 (省略 matching)

必須滿足 intensity invariant，也就是 intensity 不變 (一階微分等於 I(x,y,t))

Lucas–Kanade (L-K) Method 是 optical flow 的一個算法

必須要滿足另一個條件 local consistency，也就是每個 pixel 的 optical flow displacement 一致

Direct Method 一樣要滿足 intensity invariant，想法是最小化轉換產生的 error term

ORB-SLAM 主要可以分成三大部分:

這三者是非同步處理的

在 ORB SLAM 中有幾種方法表示地圖

Covisibility Graph
- 每個 node 都是 keyframe，而 edges 的權重代表 keyframe 間共同分享的 points 數量
Essential Graph
- Covisibility graph 做完 spanning tree 之後所產生
- 做法是只對有最多共同點的 keyframe 進行連接
- 最後再連接共同點大於 100 的 keyframe 得到新的 edges

最後就可以直接用 essential graph 進行最佳化

使用 constant velocity motion model 來預測相機的 pose，根據上個 frame 和現在的 frame 來優化 pose

實作時先找附近的 keyframe (K1) 再從 K1 找到 K2 一起最佳化現在的 keyframe

找出潛在的 map points，然後再對他們進行優化

Keyframe Insertion 針對每個 unmatched ORB，在 covisibility graph 中尋找其他連接的 keyframe (Kc) 有沒有可以 match 的 points
Map Point Creation 在 covisibility graph 的 connected keyframes 對 ORB 進行 triangulation

優化當前的 keyframe 和所有連接的 keyframes，以及這些 keyframes 看到的所有 map points

那些看的到 map points 但不跟 current keyframe 連接的 keyframes 會被包含在最佳化中，但是不會改變