AirLLMとは？モデルを1層ずつ読み込んで、少ないGPUメモリでも巨大なLLMを動かすPythonライブラリ

概要

LLMを層ごとに分割して保存し、推論のたびに必要な層だけをGPUに載せることで、メモリの小さいGPUでも大きなモデルを動かせるようにするライブラリ。READMEでは、量子化などで中身を削らずに70Bモデルを4GBのGPU1枚で動かせるとし、2.8T規模のモデルを約3.7GBのVRAMで実行した計測も載せている。Hugging Faceのモデル名を渡すだけでtransformersに近い書き方で使え、MacやCPUでの実行、最近は省メモリの学習にも対応した。層を読み込みながら動くため、速さよりも「手元の機材で動くこと」を優先する用途向け。

• ローカルLLM
• セルフホスト

向いている用途

• 高価なGPUなしで大型モデルを手元で試したい研究・検証
• データを外に出せない環境でのオフライン推論
• 小さなGPUでの追加学習（アダプター学習）の実験

向いていない場面: チャットのように速い応答が必要な用途（層を読み込みながら動くため遅くなりやすい）

導入の手軽さ

●●●●● 2/5（5がいちばん手軽）

pip で入れてPythonから呼び出す。モデルの分割保存に大きなディスク容量が要り、GPUドライバなどの環境も自分で整える必要がある。

pip install airllm

ライセンス

Apache License 2.0（Apache-2.0）

商用利用・改変・再配布が可能（ライセンス文と変更点の明記が必要）。動かすモデル自体のライセンスは別途確認が必要。

このOSSを使うAI社員 0名

この名鑑にはまだ、AirLLMを使うAI社員の事例がありません。

公開されている活用事例 出典元の発表

出典を確認できる公開事例はまだ収集していません。