Samba-1とは
Samba-1はSambaNova Systemsによって開発された、1兆パラメータ規模の大型言語モデルです。
本モデルは「Composition of Experts」と呼ばれており、50以上のAIモデルを組み合わせているのが特徴。異なる分野の専門知識を統合し、より精度の高い予測や判断を実行できます。
Samba-1の注目ポイントは処理速度の速さ。送信してから結果が出力されるまでが早すぎることからSNSでも話題となっています。
ナニコレ。速すぎる。見えん。（もう少し悩んでくれｗ
— ホーダチ | AI✖️Cloud✖️Dev | 外資×ひとり法人 (@hokazuya) May 30, 2024
Llama-3-8Bの高速すぎる環境。
【Samba-1-Turbo】
送信したらもう結果出てる。（等倍でふ
何つーか、送信した後、待つのに慣れてしまっていたから、結果が出力されていることに気づけない。
以下から利用可能👇… pic.twitter.com/PZ85n0drBr
Samba-1で採用しているLLMは下記の通りです。
- Meta-Llama-3-8B-Instruct
- Samba CoE
- Mistral-T5-7B-v1
- v1olet_merged_dpo_7B
- WestLake-7B-v2-laser-truthy-dpo
- DonutLM-v1
- SambaLingo Arabic
- SambaLingo Bulgarian
- SambaLingo Hungarian
- SambaLingo Russian
- SambaLingo Serbian (Cyrillic)
- SambaLingo Slovenian
- SambaLingo Thai
- SambaLingo Turkish
- SambaLingo Japanese
Meta社が公開している最新のLLM「Llama-3」も利用できるため、実行速度と品質の双方に優れています。
Samba-1とGroqのどちらが速いのか
GroqはLPU推論エンジン（Language Processing Unit）と呼ばれるシステムを用いることで、Llama 3などのLLMを高速実行できるサービスです。
AI言語モデルとAPIプロバイダーの分析を実施している「Artiticial Analysis」が、1秒あたりに生成できるトークン数について公開していました。
その内容によると、Llama 3（8B）で1秒あたりに生成できるトークン数はGroqが876トークンなのに対し、Samba-1は1084トークンという結果でした。
First throughput tokens/s benchmarks of Llama 3 🐎@GroqInc is coming fast out of the gate with 284 tokens/s on Llama 3 70B and 876 tokens/s on Llama 3 8B.
— Artificial Analysis (@ArtificialAnlys) April 19, 2024
Once-again showing the step-change speed benefits of their custom LPU chips.
Congratulations to other providers too,… pic.twitter.com/tot6TfzeiQ
Artificial Analysis has independently benchmarked @SambaNovaAI's custom AI chips at 1,084 tokens/s on Llama 3 Instruct (8B)! 🏁
— Artificial Analysis (@ArtificialAnlys) May 28, 2024
This is the fastest output speed we have benchmarked to date and >8 times faster than the median output speed across API providers of @Meta's Llama 3… pic.twitter.com/2qadP3lseW
1秒間で生成できるトークン数はSamba-1の方が多いことから、実行速度においてもSamba-1の方が高速だということが伺えます。
Samba-1の使い方
はじめにSamba-1の公式ページへアクセスします。
Samba-1のURL:https://fast.snova.ai/
Samba-1より
表示画面の右上にあるドロップダウンメニューをクリックすると、利用できるLLMが表示されます。こちらで任意のLLMを選び、画面下にある入力欄でプロンプトを入力・実行できます。
今回はテストとして「プログラミング言語「Java」の学習方法を教えて」というプロンプトを実行してみます。
Samba-1より
上記のようにJavaを身につけるステップが出力されました。これらの情報を出力するのに1秒もかかっていません。
日本語の表現に違和感もないため、応答速度を重視して実践的に使えるLLMを求めている人に適しています。
Samba-1より
実行結果の下部には全体的な実行速度と、生成されたトークン数を時間で割った値が表示されます。1秒換算だと1018トークン生成できていることがわかります。
※上記コンテンツの内容やソースコードはAIで確認・デバッグしておりますが、間違いやエラー、脆弱性などがある場合は、コメントよりご報告いただけますと幸いです。
ITやプログラミングに関するコラム
【画像生成AI】Stylarの使い方。料金プランや商用利用の有無など詳しく解説
DXリスキリング助成金はどのようなDX施策で活用できるのか？特徴や利用条件、具体的な利用手順について紹介
躍進的な事業推進のための設備投資支援はDXで活用できるのか？特徴や利用条件、具体的な利用手順について紹介
東京都臨海副都心DX推進事業はDXで活用できるのか？特徴や利用条件、具体的な利用手順について紹介
サイバーセキュリティ対策促進助成金はDXで活用できるのか？特徴や利用条件、具体的な利用手順について紹介
