EIS 導入前：CPU ノード、セルフマネージド、モデルごとに 1 つ。
EIS 導入前：CPU ノード、セルフマネージド、モデルごとに 1 つ。 EIS 導入後：Elastic による管理のもと、GPU 加速フリート 1 つ。 ベクトル検索とセマンティック リランキングは、それぞれユーザーが自分でプロビジョニングした CPU ノード上で実行されていました。 モデルが増えるほど、運用するインフラストラクチャも増えていました。 Elastic Inference Service（EIS）
\binference\b
「\binference\b」タグが付いたAI Pulseの更新一覧です。
20 件のシグナルTypeGPU における深度を考慮したライトインジェクション 448×448 の単眼深度モデルを、M4 Pro 上で約 250 回のディスパッチを跨って約 8 ms にまで短縮できました...
TypeGPU における深度を考慮したライトインジェクション 448×448 の単眼深度モデルを、M4 Pro 上で約 250 回のディスパッチを跨って約 8 ms にまで短縮できました。これはリアルタイムで使うには十分速いです :D 推論が TypeGPU に直接書かれているので、深度バッファをそのまま
Cheaper Inference は、ほとんどの主要モデルに対する API アクセスを 30% オフで販売しています。
Cheaper Inference は、ほとんどの主要モデルに対する API アクセスを 30% オフで販売しています。 http:// cheaperinference.com /?twclid=2drokxbgyzpbftxp1birzo8ov3
Big announcement from @MistralAI today: European Compute Units Regional inference Third-party...
Big announcement from @MistralAI today: European Compute Units Regional inference Third-party model support starting with GLM 5.2 @MistralAI is bringing together the inference infrastructure, open models, and long-term c
NVIDIA just released the DSpark speculative decoding checkpoint on Hugging Face A lightweight...
NVIDIA just released the DSpark speculative decoding checkpoint on Hugging Face A lightweight draft model that speeds up Nemotron-3.5-Lightning inference by up to 60-85% on DGX Spark
...
...
sie - Open-source inference server and production cluster for all the models your agent needs.
sie - Open-source inference server and production cluster for all the models your agent needs.
ちょっとしたリマインダー： OpenAIが計画しているデータセンターのほとんどはまだ建設されていません。
ちょっとしたリマインダー： OpenAIが計画しているデータセンターのほとんどはまだ建設されていません。 NVIDIAのRubin GPUは、2026年第4四半期から推論コストを約90%削減すると予想されています。 さらに、OAI独自のチップはVera Rubinよりも推論を50%安くできる可能性があり、発売が計画されています。
株は下落しているが、宇宙におけるテスラの未来がこれほど可能性が高く、差し迫っていることはかつてない。テスラが新しいMegaPodノードを即座に作成し、電力供給する能力は、グリッド改善、地...
株は下落しているが、宇宙におけるテスラの未来がこれほど可能性が高く、差し迫っていることはかつてない。テスラが新しいMegaPodノードを即座に作成し、電力供給する能力は、グリッド改善、地球での推論質問のための分散型AI計算クラスターを強化することであり、これは巨大なAIである。
汎用AIの価値がオンチェーンAIに流れ込んでいる。中国のオープンウェイトラボ → 推論プロバイダー → インテリジェントルーター。Veniceはより多くのトークンシェアを獲得しており、D...
汎用AIの価値がオンチェーンAIに流れ込んでいる。中国のオープンウェイトラボ → 推論プロバイダー → インテリジェントルーター。Veniceはより多くのトークンシェアを獲得しており、DIEMの二次市場が確立されつつあり、分散型コンシューマー推論が構造的な堀を形成している。ダイビング
マルチエージェントシステムについて知っているすべてを忘れてください！このインターフェースは、64の専用ノードが中央コーディネーターを待たずに12ミリ秒ごとに状態更新を交換するリアルタイム...
マルチエージェントシステムについて知っているすべてを忘れてください！このインターフェースは、64の専用ノードが中央コーディネーターを待たずに12ミリ秒ごとに状態更新を交換するリアルタイム推論メッシュを実行しています。すべての決定は、次のトークンが生成される前でさえ伝播されます。
31歳のブカレストのオペレーターが、8枚の中古NVIDIA T4をSupermicroシャーシに詰め込み、1,847ドルで構築。現在、ルーマニアのShopifyストアに推論サービスを提供...
31歳のブカレストのオペレーターが、8枚の中古NVIDIA T4をSupermicroシャーシに詰め込み、1,847ドルで構築。現在、ルーマニアのShopifyストアに推論サービスを提供し、月額11,240ドルで運用している。
推論は決して同じではなくなる：Etchedは、計算コスト、速度、ワットあたりの効率を大幅に向上させる2つの新しい方法、低電圧推論（より多くのFLOPs）とクラスター規模のメモリ（メモリ/...
推論は決して同じではなくなる：Etchedは、計算コスト、速度、ワットあたりの効率を大幅に向上させる2つの新しい方法、低電圧推論（より多くのFLOPs）とクラスター規模のメモリ（メモリ/帯域幅）を発明した。この組み合わせにより、80%以上のMFUで兆パラメータモデルを実行する。
3,999ドルまたは4,699ドル。同じ128GB。同じローカル推論。箱のロゴだけが違う。
3,999ドルまたは4,699ドル。同じ128GB。同じローカル推論。箱のロゴだけが違う。 AMDのRyzen AI Halo開発者プラットフォーム。NVIDIAのDGX Spark。どちらも大規模モデルをローカルで実行可能。どちらも128GBのユニファイドメモリを搭載。同じカテゴリー、同じユースケースで、700ドルの差。 以下のビデオはJensenを編集
エッジでのコンピューティングはもはや贅沢品ではない
エッジでのコンピューティングはもはや贅沢品ではない
中国の開発者が、PS5のシリコンから作った80ドルのカードでAIを実行し、月額2万2000ドルを稼ぐ一方、すべてのAIスタートアップは8ヶ月待ちのH100待機リストに載っている。Leno...
中国の開発者が、PS5のシリコンから作った80ドルのカードでAIを実行し、月額2万2000ドルを稼ぐ一方、すべてのAIスタートアップは8ヶ月待ちのH100待機リストに載っている。LenovoのオフィスPC。側面から突き出たAMD BC-250。ソニーがPS5に搭載している同じチップが、現在3人の有料顧客のために推論を実行している。ハードウェアは80ドル。
死んだ暗号ラックから24枚のBC250ボードをクラスタリングして384GBの推論プールにしたところ、1トークン/秒、年間電力費5000ドルに達した。あなたのマップ上のティアゼロハックは4...
死んだ暗号ラックから24枚のBC250ボードをクラスタリングして384GBの推論プールにしたところ、1トークン/秒、年間電力費5000ドルに達した。あなたのマップ上のティアゼロハックは4ノードを超えてスケールしない。
この開発者は、ウィキペディア規模の知識ベースを持つ完全なローカルAIを運用しており、月額3ドルで済ませている一方、他の人々は300ドル支払っている。オープンフレームのAIワークステーショ...
この開発者は、ウィキペディア規模の知識ベースを持つ完全なローカルAIを運用しており、月額3ドルで済ませている一方、他の人々は300ドル支払っている。オープンフレームのAIワークステーション、GPU負荷とメモリ使用量をリアルタイム表示するLCDディスプレイ、ローカル推論用のPCIeカード、そして知識グラフを表示するモニター。
LLM が人間の言語ではなく潜在空間でうまくコミュニケーションできるようにする方法を示します。
LLM が人間の言語ではなく潜在空間でうまくコミュニケーションできるようにする方法を示します。 #ICML2026 スポットライト (上位 2%) 自己回帰的な潜在思考 -> KV 伝達 -> 入出力調整 デコードをバイパスすることで推論を 4 倍以上高速化し、パフォーマンスを最大 14% 向上させます。
100 デシベルの ASICS 10,000 台は、月当たり 160 万ドルの電力を消費します。
100 デシベルの ASICS 10,000 台は、月当たり 160 万ドルの電力を消費します。 85 DB で 5,000 GPUS を備えた同じ倉庫が AI 推論で 400 万ドルをクリア 100 decibels on the warehouse floor, workers wear industrial ear muffs all 8 hour shifts, you cannot hold a conversation 3