生成AIを利用するためには、膨大な量のデータを処理するためスペックの高いデバイスが必要になることがあります。しかし、コスト的にハイスペックなデバイスを導入をすることが難しい環境もあるでしょう。
そんな時に活躍するのが小規模言語モデルです。この記事では、小規模言語モデルの概要だけではなく、メリットやデメリットまでご紹介します。最後には、代表的な小規模言語モデルもご紹介しますので、ぜひ最後までご覧ください。
小規模言語モデルとは
小規模言語モデル（Small Language Model）とは、名前の通りChatGPTやClaudeのような大規模言語モデル（Large language Models）に比べて、少ないパラメーター数で構成されているモデルのことを指します。
小規模言語モデルと大規模言語モデルの明確な定義はありませんが、小規模言語モデルは数百万〜数億、大規模言語モデルは数十億〜数兆のパラメーター数という具合に振り分けられていることが多いです。
また、小規模言語モデルの特徴としては、大規模言語モデルと比べると汎用性にかける部分がありますが、特定の分野や目的に絞ってトレーニングするため、小規模ながらも学習させた分野においては、大規模言語モデル以上の性能を発揮することがあるとがあります。
なお、大規模言語モデルについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
小規模言語モデルのメリット
小規模言語モデルの概要は先ほどご紹介させていただきましたが、小規模言語モデルにはどのようなメリットがあるのでしょうか。
まずは、小規模言語モデルのメリットについてご紹介します。
開発コストを抑えられる
小規模言語モデルは大規模言語モデルに比べて、サイズが小さいため必要な学習データの量や計算リソースも限られた量だけでいいので、開発期間が短くなることが多いです。
生成AIの開発を外注する場合は、人件費や開発期間によって料金が前後するため、アサインする人数や開発期間が短い小規模言語モデルは大規模言語モデルに比べて開発コストを抑えることができます。
反応速度が早い
小規模言語モデルは、大規模言語モデルのように膨大なデータから回答を生成するわけではなく、限られた学習データの中で回答を生成するため、反応速度が早いのが特徴です。
そのため、待ち時間を減らし業務効率をあげることができるため、汎用性の高い大規模言語モデルではなく、業務に特化し反応速度の早い小規模言語モデルが重宝される場面も多くあります。
限られたリソースで動作可能
大規模言語モデルに比べて、小規模言語モデルはデータ量や計算リソースが少ないため、幅広いデバイスで利用することができます。
例えば、大規模言語モデルを利用するにはスペックが足りないPCやスマートフォン、タブレットなどの端末上でも動かすこともできるので、ハイスペックな端末が用意できない環境でも利用できるのがメリットでしょう。
ハルシネーションが発生しづらい
生成AIは便利なツールですが、あたかも真実のように嘘の情報を出力することがあります。この現象をハルシネーションといいます。
大規模言語モデルでは、膨大な学習データの中から回答を生成するため、このハルシネーションが発生する可能性が高いと考えられます。
それに対して小規模言語モデルは、特定の分野や目的に絞って学習・トレーニングを行うため不要な情報を挟まずに処理を行えるため、ハルシネーションが発生しづらいのが特徴です。
ファインチューニングが容易
ファインチューニングとは、簡単に説明すると回答精度を高めたり目的に沿ったモデルにするために、学習済みのモデルの一部や全てを再学習させる手法のことです。
大規模言語モデルをファインチューニングしようとする場合、膨大なデータを扱っているため、あらゆる場合を想定して再学習をする必要があるため手間がかかってしまいます。
しかし、小規模言語モデルの場合はもともとデータ量が少なく、特定の分野や目的に沿って構成されているモデルなので、再学習しやすい点もメリットと言えるでしょう。
小規模言語モデルのデメリット
ここまで、小規模言語モデルのメリットについては理解いただけたかと思いますが、もちろん小規模言語モデルにもデメリットがあります。
次に、小規模言語モデルのデメリットについてみてみましょう。
汎用性が低い
小規模言語モデルは特定の分野や目的に絞って作られたモデルなので、専門的な分野や特定のタスクにおいては高い性能を持っています。
このように、専門的な分野においては高い性能を誇っていますが、大規模言語モデルのように幅広いタスクをこなすことはできません。あくまで、限られた環境でのみ性能を発揮する汎用性の低いモデルであるということは理解する必要はあるでしょう。
データ収集が難しい
小規模言語モデルは専門的な分野に特化したモデルであるため、ハルシネーションを起こしづらいというメリットがあることは前章でご紹介しましたが、それゆえに正確な専門的な情報を集める必要があります。
特に、専門性の高い法律や医療の分野で活用する場合は、データ収集や学習、トレーニングを行う際にも専門的な知識が必要なため、データ収集が難しいという点においてはデメリットといえるでしょう。
代表的な小規模言語モデル
冒頭でもご紹介した通り、小規模言語モデルと大規模言語モデルの明確な定義はありませんが、世間一般的に小規模言語モデルと区分されるモデルはたくさんあります。
今回は、その中でも代表的な小規模言語モデルを4つご紹介します。
Phi-3
Phi-3はMicrosoft社が開発したオープンソースの高性能小規模言語モデルです。
Phi-3の中にも種類があり、その中でも2024年4月23日に公開された「Phi-3-mini」はシリーズ最小モデルで、スマートフォン等の小型デバイスでも動作するほど軽量かつ、数倍も大きいモデルと同等の性能を発揮することができます。
Phi-3-miniは高性能ながらも無料で利用でき、商用利用も可能なため幅広い分野で活用されています。
なお、Phi-3シリーズ最小のPhi-3-miniについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
StableLM 2 1.6B
StableLM 2 1.6Bは、代表的な画像生成AIであるStable Diffusionを公開しているStability AIが開発した小規模言語モデルです。
英語、スペイン語、ドイツ語、イタリア語、フランス語、ポルトガル語、オランダ語の多言語データでトレーニングされており、そのパラメータ数は16億という非常に小型の言語モデルですが、大規模言語モデルを上回る性能を持っています。
Stability AI Membershipに登録していれば無料で利用できるので、興味のある方は利用することをお勧めします。
なお、StableLM 2 1.6Bについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
Orca-2-13b
こちらのOrca-2-13bもMicrosoft社から公開された小規模言語モデルで、meta社が開発したLLAMA 2をベースにファインチューニングされており、推論や論理的な問題解決に焦点を当てた言語モデルとなっています。
パラメーター数は13億となっていますが、複雑な推論プロセスを模倣するように設計されているため、大規模な基礎モデル（LFM）のように複雑な推論を行う能力を持っているのが特徴です。
なお、Orca-2-13bについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
TinyLlama-1.1B
TinyLlama-1.1Bは、シンガポールの大学のNLP研究チームが公開したモデルです。最大の特徴としては、Llama 2と同じアーキテクチャとトークナイザーを採用しながらも、Llama 2よりも軽量であるため、メモリを節約しつつ高速に文章を生成することが可能な点です。
こちらも、誰でも無料で利用が可能なオープンソースなので、高スペックな端末を持っていないけど、高速で文章を生成したいという方におすすめです。
なお、TinyLlama-1.1Bについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
小規模言語モデルと大規模言語モデルをうまく使い分ける
小規模言語モデルと大規模言語モデルにはそれぞれメリットとデメリットがあります。基本的には大は小を兼ねると思われがちなため、大規模言語モデルの方が汎用性があって使いやすいと思う方もいらっしゃるでしょう。
もちろん汎用性が高いということは、さまざまなシーンに対応できるため便利ではありますが、処理速度が遅かったり、ハルシネーションを起こす可能性も高いです。
それに比べて、小規模言語モデルは対応範囲は狭いものの、利用方法によっては大規模言語モデルよりも性能が高く、処理速度もあげることができます。
しかし、生成AIの活用方法は人それぞれなので一概にどちらが良いとは言えません。そのため、生成AIを導入して果たしたい目的や用途をしっかりと決めた上で、専門知識を持ったエンジニアに相談しながらモデル規模を決めていく必要があるでしょう。
生成AIの導入に関するご相談はこちらから！
最後に
いかがだったでしょうか？
弊社では
・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発
などの開発実績がございます。
まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、弊社紹介資料もご用意しておりますので、併せてご確認ください。
