Apple SiliconでAIやっている人に朗報です。vllm-mlxが凄い。 - Qiita

最近インパクトの大きいApple Silicon向けフレームワークが出現しました。「vllm-mlx」です。 一言で言うとvllmライクなインターフェースをApple Silicon向けに提供するもので、MacのGPU（Metal/MPS）アクセラレーションによる...