LeCun：LLMの知識蓄積を理解に置き換える
Yann LeCunは、LLMが宣言的知識を大量に蓄積するためパラメータとメモリが膨らむと指摘。JEPA世界モデルは理解による蓄積の置き換えを目指す。
LLM
「LLM」タグが付いたAI Pulseの更新一覧です。
20 件のシグナルSentient OS：デジタル生活を夜間に処理
ローカルモデルの進化により、毎晩デジタル上の情報全体を読み込む時代が到来。Sentient OSは端末上のAIで、夜間にメッセージやファイルをローカルLLMで処理し、内容をフォルダに記録する。
ollma-without-restrictionsがトレンド入り
WolfTweezers/ollma-without-restrictionsは、Windows向けLLMローカル推論環境をうたい、簡略化された導入とハードウェア紐付け設定を強調している。
TokenGate、prefillを最大11.3倍高速化
TokenGateはLLMにコンテキストトークンを条件付きでスキムさせることで、prefillを最大11.3倍高速化し、長文脈タスクのピークメモリを大幅に削減する。
今日のLLMの意識はどう感じるか
文献や議論に頼らず、著者は自らの体で試し、現行LLMにセンサーがないことを指摘し、「意識の感じ」をどう考えるか探る。
llm-course：LLM学習ロードマップとColab実践コースがGitHub急上昇
mlabonneのllm-courseがGitHub Trendingに登場。大規模言語モデル入門のロードマップとColabノートブックを提供する学習コース。
Skillが吸収されればPromptが再び重要に？
Skillは長期的な複雑なタスクをモデル訓練に吸収する「公開された共謀」のように見えるという見方がある。Skillが消化されれば、過去の専門Skillを呼び出すPromptが再び重要になるかもしれない。
LLM呼び出し前に受信コンテンツを分類
流入コンテンツを先に分類・並べ替えし、必要な場合だけLLMを呼ぶ設計。無駄なモデル実行を減らし、処理効率を上げる考え方。
TokenSpeedがGitHubトレンド入り、光速級LLM推論エンジン
TokenSpeedは「光速級」のLLM推論エンジン。Python製で、現在GitHubトレンドに登場している。
TypeSafe、初のSystem OneモデルJevを発表
TypeSafe AIは初のSystem OneモデルJevを発表。前沿LLMより100倍速く安く判断できる。TypeSafeはJevで高額なLLM呼び出しを置き換えられる9つの用途も紹介。
Karpathy氏、見過ごされるLLMのパレート最適点を指摘
Karpathy氏は、この種のモデルをLLMのパレート最適曲線上の大きな潜在需要の点と見なす。思考不要・単一トークン・低遅延・許容可能な知能でありながら、高知能への競争のために投資不足だったという。
Google：編集可能な手順グラフで長タスク改善
Googleの論文は、実行から学ぶ編集可能な手順グラフにワークフローを置くと、長時間実行での忘却やツール重複が減るとする。
LLMs still produce bugs, but those bugs are different than what they used to be.
LLMs still produce bugs, but those bugs are different than what they used to be. It’s less off-by-ones and more about system design, ui usability, missing broader context. Some kinds of coding has been solved, but not al
私はベイエリアの家の間取り図をLLMに渡して、別の美学で再設計してもらうのが大好きです。今回は京都風です。モデルは3Dにおいて驚くほど進歩しています。
私はベイエリアの家の間取り図をLLMに渡して、別の美学で再設計してもらうのが大好きです。今回は京都風です。モデルは3Dにおいて驚くほど進歩しています。
DatabricksはLLMを使用して、30日以内にデータベース全体を引き上げることができます
それはかつて数年かかっていました。
ローカルLLM PC市場が非常に現実的になった
2000ドル未満のミニAI PCがローカルLLMマシンとして販売されています。
「第3位のクローズドソースLLMが最も窮地に陥っている。
「第3位のクローズドソースLLMが最も窮地に陥っている。 企業がモデル ルーティングを採用するにつれて、最上位の独自モデルと急速に改良されたオープンソースの代替モデルの間で選択することが増えています。 これにより、第 3 位のクローズドソースプロバイダーが両側から圧迫されることになり、
私たちは最初の AI チップ、ハラペーニョを設計しました。
ChatGPT と将来の製品のために特別に構築されました。
過小評価されている開発ツールのアイデアの源
古い退屈なAPIを採用し、エージェントネイティブにするという過小評価されているスタートアップ開発ツールのアイデアの源。
ヤン・ルカン ( @ylecun ) ブルームバーグのインタビューで、LLM が現実世界のインテリジェンスに関して制限がある理由を説明しました。
ヤン・ルカン ( @ylecun ) ブルームバーグのインタビューで、LLM が現実世界のインテリジェンスに関して制限がある理由を説明しました。 「言語は、世界を非常に近似的に、縮小し、量子化し、単純化した記述であり、LLM はシンボルの離散シーケンスのみを扱うことができます。