Step 01：Transformer 登場までの歴史と応用事例

詳細：Transformer登場までの歴史と、Transformer の応用事例について紹介します。Transformer以前はなにが問題だったのかを紹介し、Transformerが登場したことで、どのようにして様々な分野に変化をもたらしたのかを学びます。

  Step 02：Transformer 基本構造と機械翻訳タスク

詳細：Transformerの構造を説明し各コンポーネントの機能を理解してもらい、その後にTransformerを利用した機械翻訳タスクに取り組んでもらいます。最後にTransformerが自然言語だけでなく、画像、音声、マルチモーダルへとさまざまなドメインにスケールしている理由や、研究動向について紹介します。

  Step 03：BERTを用いた 固有表現抽出タスク

詳細：Transformer を応用した代表的なモデルである BERT の基本的な構造を理解してもらい、固有表現抽出(NER)タスクに取り組んでもらいます。

  Step 04：ViTを用いた 画像分類タスク

詳細：Transformerをコンピュータビジョン分野に応用した代表モデルの ViT(Vision Transformer) の基本的な構造を理解してもらい、スクラッチの実装に取り組んでもらいます。画像データに対するアプローチから、Transformer の汎用性を深く理解します。

  Step 05：BERT を用いた Attention の可視化

詳細：自然言語処理タスクにおける Attention メカニズムの動作を視覚的に理解します。モデルの内部動作を可視化し、より深い理解を目指します。

  Step 06：画像キャプショニングとAttentionの可視化

詳細：コンピュータビジョンと自然言語処理の融合分野である Vision and Language を取り上げ、この分野への Transformer の応用について取り上げます。06_attention_viz_text.ipynb で学んだ Attention の可視化も併せて実装することで、画像と自然言語のつながりをモデルがどのように解釈しているのか理解します。