ある開発者が、中古の2019年Mac ProにAMDのeGPUを1台接続し、総額3,000ドル未満で35BパラメータのローカルLLMサーバーに改造し、毎秒52トークンの処理速度を実現しま...
ある開発者が、中古の2019年Mac ProにAMDのeGPUを1台接続し、総額3,000ドル未満で35BパラメータのローカルLLMサーバーに改造し、毎秒52トークンの処理速度を実現しました。彼は机の下にあるMac Proと、RX 6800を搭載したPaladin eGPUエンクロージャに接続された1本のThunderboltケーブルの動画を投稿しています。