記事の3行要約
- Stable LM 2 1.6Bは多言語対応の小型言語モデル
- モデル詳細と開発者へのサポートを提供
- Stable LM 2 1.6Bのパフォーマンス評価
多言語対応の新世代モデル「Stable LM 2 1.6B」の登場
2024年1月22日、新たな多言語小型言語モデル「Stable LM 2 1.6B」が発表された。このモデルは、英語、スペイン語、ドイツ語、イタリア語、フランス語、ポルトガル語、オランダ語を含む多言語データで学習され、16億パラメータを有する。[1]
「Stable LM 2 1.6B」の特徴はコンパクトなサイズと高速性能であり、これによりハードウェアの障壁が低減され、多くの開発者がAIエコシステムに容易に参加できるようになった。
さらに、プリトレーニング済みバージョンとインストラクションチューニング済みバージョンが提供される他、最適化関数の状態を含む収束前の最後のチェックポイントも公開され、開発者がモデルの微調整や実験を行いやすくなっている。
このモデルは約2兆トークンを2エポック学習しており、言語モデリングの最新アルゴリズムを利用して速度と性能のバランスを実現している。
Stable LM 2 1.6BはStability AIメンバーシップを通じて商用利用が可能で、またHugging Faceでのテストも行われている。
高性能を実現する「Stable LM 2 1.6B」の評価と利用可能性
「Stable LM 2 1.6B」はMicrosoftのPhi-1.5（1.3B）、Phi-2（2.7B）、TinyLlama 1.1B、Falcon 1Bなどの一般的な小規模言語モデルと比較され、その性能が評価されている。
Open LLM Leaderboardに掲載されている一般的なベンチマークのテストでは、このモデルはコンパクトなサイズながら高いスピードと性能を示している。
多言語テキストに対する明示的なトレーニングにより、ARCチャレンジ、HellaSwag、TruthfulQA、MMLU、LAMBADAの翻訳版において、他のモデルを上回るパフォーマンスを実現。
また、Okapi翻訳ベンチマークと多言語LAMBADAにおける0ショット平均精度では、大規模モデルと競争力を持ち、時には上回る性能を示している。
このモデルのリリースにより、開発者やモデル作成者は迅速な実験と反復を行いやすくなり、AI開発の効率化に貢献するだろう。
trends編集部「K」の一言
「Stable LM 2 1.6B」のリリースは、多言語対応のAI開発に新たな可能性をもたらしている。特に小型で高性能なモデルは、AIの活用範囲を広げる重要なステップと言えるだろう。
しかし、このモデルの高いハルシネーション率や潜在的な毒性言語の問題は、今後の課題となる。開発者はこれらの問題に対処するため、適切な手段を講じる必要がある。
最終的にはこのようなモデルの開発が、AI技術の民主化を進める上で重要な役割を果たすと思うので、さらなる言語のサポートやモデル精度、安定性の向上などを期待したい。
References
- ^ stability.ai. 「Stable LM 2 1.6B のご紹介 — Stability AI Japan」. https://ja.stability.ai/blog/stable-lm-2-16b, (参照 24-01-22).
※上記コンテンツの内容やソースコードはAIで確認・デバッグしておりますが、間違いやエラー、脆弱性などがある場合は、コメントよりご報告いただけますと幸いです。
ITやプログラミングに関するコラム
3Dモデルを生成できるGPT「Tripo3D」を使ってみた。
【Python】タプルの基本操作！値の取り出しやスライス、ループの利用法を解説
プロンプトを共有できる便利サイト「プロンプト研究所」の使い方を徹底解説
【SNSで話題】AIでアバターを生成できる「HeyGen」の使い方と料金形態をくわしく解説
社内DXは重要？実施が難しい理由やその必要性を解説。社内DXに重要なポイントも紹介。
