NVIDIA MegatronにおけるFalcon-H1アーキテクチャ
2026-03-10
NVIDIA Megatron Coreは、大規模なトランスフォーマーモデルのトレーニング用のオープンソースライブラリです。本記事では、Falconモデルを開発したTechnology Innovation Institute(TII)がMegatron CoreとMegatron Bridgeにどのように貢献したかを解説します。Falcon-H1は、同時に入力を処理するハイブリッドアーキテクチャで、トレーニングの効率性を高めるために、BitNetを統合した新しい層を導入しました。これにより、ユーザーは独自のモデルアーキテクチャを柔軟に構築可能です。