流行りに乗って軽い気持ちで手を出した私が悪うございました……。
ChatGPT をはじめとする大規模言語モデルが世界的に大きな注目を集めています。大規模言語モデルは、大規模なテキストデータを使って訓練された大規模なパラメータで構成されるニューラルネットワークです。自然言語処理や機械学習の研究で培われてきた多くの知見をもとに開発され、特に 2020年以降にパラメータ数およびテキストデータを大規模化することで飛躍的に性能が向上しました。近年の大規模言語モデルは非常に高性能であり、コンピュータが我々の住む世界のことをよく理解し、人間と自然にやりとりできるような新しい能力を獲得したと言えるでしょう。
本書は大規模言語モデルの技術的な側面に興味を持つ方に向けた入門書です。執筆にあたっては、理論と実装（プログラミング）の双方をバランスよく学べることを重視しました。本書の前半の理論的な解説では、大規模言語モデルの”先祖”であるword2vecから ChatGPT に至るまでの技術的な変遷を系統立てて解説することを目指しました。またモデルの説明には、数式だけでなく図や例を加えて、なるべく直感的に理解できるように工夫しました。
第1章 はじめに
第2章 Transformer
第3章 大規模言語モデルの基礎
第4章 大規模言語モデルの進展
第5章 大規模言語モデルのファインチューニング
第6章 固有表現認識
第7章 要約生成
第8章 文埋め込み
第9章 質問応答システム
007.13
