第1章?緒論 1
1.1?機器人視覺概述 1
1.1.1?人類視覺的組成與功能 1
1.1.2?機器人視覺的定義 3
1.1.3?機器人視覺的特點與優(yōu)勢 4
1.2?機器人視覺系統(tǒng)組成 5
1.2.1?視覺傳感器 6
1.2.2?光源 7
1.2.3?圖像采集模塊 8
1.2.4?視覺計算模塊 9
1.3?機器人視覺任務(wù)分類 10
1.3.1?空間感知任務(wù) 10
1.3.2?類別感知任務(wù) 11
1.4?機器人視覺的應(yīng)用領(lǐng)域 13
1.4.1?工業(yè)制造 14
1.4.2?智能交通 15
1.4.3?醫(yī)療健康 16
1.4.4?農(nóng)業(yè) 17
1.4.5?安防 18
1.4.6?服務(wù)機器人 19
1.5?機器人視覺未來挑戰(zhàn)與發(fā)展趨勢 20
1.6?本書的內(nèi)容安排 21
習題與思考題 23
參考文獻 23
第2章?相機成像和投影理論 26
2.1?成像原理簡介 26
2.2?相機模型 27
2.3?相機標定 29
2.3.1?棋盤格定義和檢測 30
2.3.2?相機位姿、內(nèi)參和畸變參數(shù)求解 31
2.3.3?非線性優(yōu)化標定 33
2.3.4?工具箱 34
2.4?投影理論 34
2.4.1?平面幾何 35
2.4.2?消失點理論 37
2.4.3?距離測量 39
本章小結(jié) 40
習題與思考題 41
參考文獻 41
第3章?機器人視覺圖像處理基礎(chǔ) 42
3.1?圖像的表示和存儲 42
3.1.1?圖像的基本概念 42
3.1.2?數(shù)字圖像表示 42
3.1.3?圖像的分類 44
3.2?圖像的基本操作 45
3.2.1?圖像變換 46
3.2.2?灰度變換 51
3.3?圖像的濾波和增強 53
3.3.1?圖像的濾波 53
3.3.2?圖像的增強 56
3.4?圖像的檢測與分割 57
3.4.1?圖像的檢測 57
3.4.2?圖像的分割 69
本章小結(jié) 76
習題與思考題 76
參考文獻 77
第4章?雙目視覺和對極幾何 78
4.1?雙目視覺原理 78
4.2?雙目視覺標定 79
4.3?對極幾何及雙目矯正 81
4.3.1?雙目的對極幾何約束 81
4.3.2?基礎(chǔ)矩陣 83
4.3.3?雙目矯正 83
4.4?雙目匹配及深度估計 85
4.4.1?雙目匹配 86
4.4.2?深度估計 88
4.4.3?誤差分析 89
4.5?主動雙目視覺 90
本章小結(jié) 91
習題與思考題 91
參考文獻 92
第5章　特征提取與匹配 93
5.1　視覺特征 93
5.2　特征提取方法 94
5.2.1　角點提取 94
5.2.2　快速計算 96
5.2.3　不變性 98
5.2.4　尺度不變性 99
5.3　特征描述方法 100
5.3.1　主方向 101
5.3.2　尺度不變特征變換 102
5.4　特征的匹配 103
本章小結(jié) 104
習題與思考題 104
參考文獻 105
第6章　機器人位姿估計 106
6.1　機器人位姿估計的概念與數(shù)字表示 106
6.1.1　狀態(tài)估計簡介 106
6.1.2　位姿估計的數(shù)學表示 106
6.2　基于特征點法的視覺里程計 109
6.2.1　基于對極幾何的2D-2D位姿求解 109
6.2.2　基于PnP的2D-3D位姿求解 113
6.2.3　基于ICP的3D-3D位姿求解 117
6.3　基于直接法的視覺里程計 119
6.3.1　光流估計 120
6.3.2　直接法求解機器人位姿 122
6.4　關(guān)鍵幀的概念及其選取策略 124
6.4.1　關(guān)鍵幀的概念 124
6.4.2　關(guān)鍵幀選取策略 125
本章小結(jié) 126
習題與思考題 127
參考文獻 127
第7章　機器人視覺同時定位與建圖 128
7.1　SLAM概述 128
7.1.1　SLAM的概念與分類 128
7.1.2　經(jīng)典視覺SLAM算法框架 129
7.2　前端設(shè)計方案 131
7.2.1　傳感器選型 131
7.2.2　里程計估計方法 132
7.3　后端優(yōu)化方法 132
7.3.1　濾波器方法 133
7.3.2　圖優(yōu)化方法 136
7.4　閉環(huán)檢測 139
7.4.1　閉環(huán)檢測的概念與意義 139
7.4.2　詞袋模型 139
7.4.3　相似度計算 141
7.5　全局地圖構(gòu)建與表示 144
7.5.1　面向機器人應(yīng)用的地圖表達與存儲 144
7.5.2　典型地圖表示方法 146
本章小結(jié) 148
習題與思考題 148
參考文獻 148
第8章　機器人目標識別 150
8.1　目標識別的基本任務(wù)和分類 150
8.2　目標分類方法 150
8.2.1　基于聚類的方法 151
8.2.2　基于機器學習的算法 154
8.2.3　基于深度學習的算法 158
8.3　目標檢測方法 163
8.3.1　兩階段檢測 163
8.3.2　一階段檢測 167
8.4　目標分割方法 173
8.4.1　全卷積網(wǎng)絡(luò) 173
8.4.2　U-Net網(wǎng)絡(luò) 175
8.4.3　SegNet網(wǎng)絡(luò) 176
8.4.4　DeepLab系列 177
8.4.5　PSPNet網(wǎng)絡(luò) 179
8.4.6　Transformer 180
本章小結(jié) 185
習題與思考題 186
參考文獻 186
第9章　機器人目標位姿估計 188
9.1　面向抓取的目標位姿估計應(yīng)用背景 188
9.1.1　工業(yè)場景 188
9.1.2　家用場景 189
9.1.3　目標位姿估計技術(shù)難點 189
9.2　目標3D位姿表示與描述 191
9.2.1　變換矩陣 191
9.2.2　歐拉角與四元數(shù) 192
9.2.3　評價指標 194
9.3　目標位姿估計方法分類 196
9.3.1　基于特征點匹配的目標位姿估計 196
9.3.2　基于深度學習的目標位姿估計 198
9.4　基于深度學習的3D目標位姿估計 198
9.4.1　基于深度學習的非端到端目標位姿估計 199
9.4.2　基于深度學習的端到端目標位姿估計 202
9.4.3　發(fā)展趨勢 204
本章小結(jié) 206
習題與思考題 207
參考文獻 207