tech
ChatGPTという名前の末尾の3文字には、その仕組みが隠れています。まず膨大な文章で学習し、特別な種類のニューラルネットワークの上で答えを組み立てます。
GPTは「Generative Pre-trained Transformer」の略だ。「Generative(生成的)」は、既存のテキストを分類するだけでなく新しい文章を生み出すことを意味し、「Pre-trained(事前学習済み)」は、細かな用途向けの調整に入る前に、まず膨大なデータから言語の一般的なパターンを学んでいることを意味する。そして「Transformer」は、注意機構を中心に構築され、大規模な言語モデリングを実用可能にしたニューラルネットワークの構造そのものを指す。
「General Purpose Technology」や「Global Personal Tool」は、頭文字のG・P・Tには当てはまるものの、この略語が実際に指し示す意味、すなわちモデルの生成的な性質、学習方法、そして構造とは一致しない。
GPTを支えるTransformerという構造は、ChatGPTが登場するわずか数年前に発表されたものだが、それ以来、OpenAIに限らず主要な大規模言語モデルのほとんどの基盤となっている。
tech
そんなチャットボットと「AIエージェント」を根本的に分けるものは何でしょう?「機械学習」とは?ソフトウェアが「オープンソース」であるとはどういう意味ですか?「ブロックチェーン」とは、簡単に言うと何ですか?クラウドコンピューティングの「クラウド」とは何ですか?AIの「ニューラルネットワーク」は、何をゆるやかに模して作られているでしょう?「NFT」は何を表しますか?ソフトウェアにおける「API」とは何でしょう?「チューリング・テスト」は何を測るものでしょうか?「コンピュータービジョン」とは何でしょう?「プロンプトエンジニアリング」とは何でしょう?AIにおける「LLM」とは何の略?Quration — Quration Play