14項目のリスト

ChatGPTがどのように動作し、なぜそれが機能するのか？が書かれた技術解説を要約しました

作成者: テクノロジー好きな人（@picolis_tech）

ChatGPTは、それがこれまでに得たテキストの「合理的な続き」を生成しようと常に試みています。これは、何十億ものウェブページなどから得られるテキストに基づいています。
ChatGPTは、与えられたテキストに続く可能性のある単語のランク付けされたリストを生成し、それぞれに「確率」を割り当てます。
このプロセスは、エッセイを書くときなどに、ChatGPTが「これまでのテキストに基づいて次の単語は何か？」と何度も問いかけ、それぞれの回答で単語を追加することによって行われます。
しかし、どの単語を実際にエッセイに追加するべきかは、一部の不確定性があります。最も高い「確率」が割り当てられた単語を選ぶべきかと思われるかもしれませんが、それが常に最善の結果をもたらすわけではありません。
一部のランダム性があるため、同じプロンプトを複数回使用すると、毎回異なるエッセイが生成される可能性があります。
ChatGPTの次の単語の選択は確率に基づいていますが、それらの確率はどこから来るのでしょうか？これは、大量の英語テキストから得られる単語や単語の組み合わせの出現頻度に基づいています。
しかし、全ての可能な単語の組み合わせの確率を直接計算することは不可能です。そのため、ChatGPTは「大規模言語モデル」を使用して、これらの確率を推定します。
このモデルは、特定のタスクを実行するために必要なパラメータ（重み）を学習することで、特定の入力に対する適切な出力を生成することができます。
このモデルは、人間が行うようなタスク（例えば、画像認識）に対しても適用可能で、人間が行う認識タスクと同様の結果を生成することができます。
ニューラルネットワークは、このモデルの基礎となる技術であり、人間の脳が情報を処理する方法を模倣しています。ニューラルネットワークは、入力（例えば、画像やテキスト）を受け取り、それを一連の層を通じて処理し、最終的な出力（例えば、画像の分類やテキストの生成）を生成します。
ニューラルネットワークの各層は、特定のタスク（例えば、特定の特徴の検出）を行うために設計されており、これらの層が連携してより複雑なタスクを達成します。
ニューラルネットワークは、大量のデータからパターンを学習することができ、これにより人間が行うような複雑なタスクを実行する能力が得られます。
しかし、ニューラルネットワークがどのようにして特定の結果を生成したのかを理解するのは難しい場合があります。これは、ニューラルネットワークが大量のパラメータを使用して複雑な計算を行うためです。
それにもかかわらず、ニューラルネットワークとそのような大規模言語モデルは、人間が行うような複雑なタスクを実行する能力をAIに与える強力なツールであり、ChatGPTのようなシステムの背後にある主要な技術です。

作成日: 2023年5月30日　更新日: 2023年5月30日