Transformer
Transformer 講座
生成AIの動作原理を
基礎から学ぶ
自然言語処理や機械翻訳などのタスクで広く使用される深層学習モデルの一種である Transformer は、従来の RNN や CNN とは異なり、Transformerは注意機構 ( attention mechanism ) を中心に構築されています。
そのため、従来よりも高速で精度の高い自然言語処理が可能となりました。
本講座は、Transformer の歴史・基本原理から始まり、Transformerベースのモデルを活用することで、自然言語処理・画像処理・マルチモーダルタスクで優れた性能を発揮し、モデルの判断根拠も合わせて可視化する事ができます。
Overview
- DL4E - ディープラーニング基礎講座とは
活用事例
機械翻訳をはじめとする自然言語処理の、さまざまなタスクで優れた性能を発揮
自然言語処理（NLP）
翻訳（Google翻訳）
要約（ChatGPTのような生成モデル）
質問応答システム
コンピュータビジョン
Vision Transformer（ViT）による画像分類
マルチモーダル処理
画像キャプショニングやビデオ生成
講座概要
Transformerの深い理解とモデルの利用から応用技術まで、総合的に身につく
この講座では、Transformerの歴史と基本原理から始まり、Transformerベースのモデルを活用した自然言語処理、画像処理、マルチモーダルタスクにおける優れた性能について学びます。
また、モデルの判断根拠を可視化する技術も習得し、AIの意思決定過程を理解できるようになります。
カテゴリ | エンジニアリング力 |
講座名 | Transformer |
講座時間 | 1日6時間 |
備考備考 | DL4US講座のオプションとしておすすめ |
プログラミングスキル | Pythonコーディングの経験 / ライブラリの使用経験 / 機械学習の基礎知識 |
数学 | 大学レベルの基礎数学 |
Curriculum
- DL4E - ディープラーニング基礎講座とは
Step 01：Transformer 登場までの歴史と応用事例
詳細：Transformer登場までの歴史と、Transformer の応用事例について紹介します。Transformer以前はなにが問題だったのかを紹介し、Transformerが登場したことで、どのようにして様々な分野に変化をもたらしたのかを学びます。
Step 02：Transformer 基本構造と機械翻訳タスク
詳細：Transformerの構造を説明し各コンポーネントの機能を理解してもらい、その後にTransformerを利用した機械翻訳タスクに取り組んでもらいます。最後にTransformerが自然言語だけでなく、画像、音声、マルチモーダルへとさまざまなドメインにスケールしている理由や、研究動向について紹介します。
Step 03：BERTを用いた 固有表現抽出タスク
詳細：Transformer を応用した代表的なモデルである BERT の基本的な構造を理解してもらい、固有表現抽出(NER)タスクに取り組んでもらいます。
Step 04：ViTを用いた 画像分類タスク
詳細：Transformerをコンピュータビジョン分野に応用した代表モデルの ViT(Vision Transformer) の基本的な構造を理解してもらい、スクラッチの実装に取り組んでもらいます。画像データに対するアプローチから、Transformer の汎用性を深く理解します。
Step 05：BERT を用いた Attention の可視化
詳細：自然言語処理タスクにおける Attention メカニズムの動作を視覚的に理解します。モデルの内部動作を可視化し、より深い理解を目指します。
Step 06：画像キャプショニングとAttentionの可視化
詳細：コンピュータビジョンと自然言語処理の融合分野である Vision and Language を取り上げ、この分野への Transformer の応用について取り上げます。06_attention_viz_text.ipynb で学んだ Attention の可視化も併せて実装することで、画像と自然言語のつながりをモデルがどのように解釈しているのか理解 します。