映像メディア処理特論

class moc

第一回 チュートリアル

• 教科書輪読 + 課題演習
  • 1章を1-2人で分担
  • 発表者だけやって聞いてるだけだと悲しい
  • ポジティブなコメント期待
  • 授業前に質問, 不明点をリストアップして答える
• コンピュータビジョンは基礎理論・技術基盤の実験場
• プレゼン(3) + 態度(3)(質問, 姿勢) + レポート(4)
• オンラインなら毎回質問とか

ガイダンス

• キャプション生成も触れるよ

• ss2 カメラキャリブレーション

• ss3: 3次元復元: フォトグラメトリー, 自動運転にも関連

• ss4: AR, 位置姿勢の推定, SALM 位置同期

• (ss5: 陰影情報から形を推測)

• ss6: 近似最近傍探索の手法, CVと関係ない

• ss7: マルコフ確率場: 統計寄り, 最適化より, 難しい

• ss8: 凸最適化: ロバスト主成分分析

• (ss9: 顔認識, 簡単)

• (ss10: 人物属性認識)

• ss11: 行動認識, CNN

• (ss12: 重要領域, attention)

• ss13: RGBDカメラ(e.g. Kinect)で物体認識

• ss14: 動画キャプションの自動生成, 新しい, RNN

第二回

• 万能近似定理: NNが任意の関数を表現できる話

ニューラルネットワークと深層学習

• 隠れそうのweighted出力が図示されている
• s1 > s2 の時多値関数になるのはバグ？

自動微分

記号微分↔ 数値微分

第4回

3次元復元: 光学投影の逆問題を解くことになる

推定手法を: SfM=Structure from Motion

ロボティクスではSLAM=自己位置推定と環境地図を推定

3.2 カメラ幾何の基礎知識

3.2.3 エピポーラ幾何

3次元を撮影した画像間には拘束条件がある

基礎行列 F: 画像座標系の拘束条件

基本行列 E: カメラ座標系の高速条件

8点アルゴリズム

5点アルゴリズムの方がアウトライア: 外れ値を含む確率が低い

RANSACと相性がいい

3.3 SfMの概要

• 映像メディア処理特論 発表第14章