LLaVA Llama-3 和 Phi-3 現已在 MLX 上推出

 LLaVA Llama-3 和 Phi-3 現已在 MLX 上推出 

現在可以在你的 Mac 上在本地運行推理了。

pip install -U mlx-vlm

在 M3 Max 上可以達到每秒約 50 個 token 的速度。

LLaVA (Large Language and Vision Assistant)是一個多模態的大型語言模型,可以同時處理文字和圖像。它是基於Meta的LLaMA架構訓練而成。現在LLaVA的Llama-3和Phi-3版本都已經在MLX平台上推出。

使用pip install -U mlx-vlm指令,就可以在Mac上安裝最新版的MLX Python套件,直接在本地端運行LLaVA模型進行推理。

就效能而言,在配備M3 Max晶片的Mac機器上,推理速度可以達到每秒約50個token,相當不錯。

感興趣的開發者可以到MLX平台上查看LLaVA Llama-3和Phi-3的模型說明頁(Model card),了解更多模型的細節、性能指標和使用案例等資訊。

LLaVA模型在MLX平台上的發布,為Mac用戶帶來了方便的本地端推理選擇。這對於某些對隱私和安全有較高要求的應用場景來說很有幫助。期待看到社群能夠利用LLaVA打造出更多有趣且實用的多模態AI應用!