Nokia Applied Researchは、ユーザーが単一フォワードパスでLLMの内部状態から信頼性の高い意思決定を直接抽出できるプロジェクトAnyJevをリリースしました。
- この手法には生成ループ、解析、ファインチューニングは不要です。
- これにより、低速なチャットボットを高速かつ低コストの決定論的分類器に効果的に変換します。
media
r/LocalLLaMA
·
1時間前
·
open_models
Nokia Applied ResearchがAnyJevをリリースし、任意のLLMをJevスタイルの意思決定モデルに変換
翻訳元 English → 日本語
関連記事
arxiv
arXiv cs.AI
·
7日前
·
29 回表示
TokenProbeは推論の品質を維持しつつCoTのトークン使用量を76%削減
研究者らは、チェーン・オブ・ソート（Chain-of-Thought）推論における高いトークン消費に対処し、シーケンス内のトークンの非一様な価値を活用するフレームワーク「TokenProbe」を発表しました。この手法は正規化対数確率を用いて中核的な構造的トークンと冗長なフィラーを区別し、選択的圧縮を可能にします。
media
Hugging Face Forums
·
16日前
·
33 回表示
GlucoEdge: INT8量子化によるオンデバイス血糖値トレンド予測
独立研究者のMohamed Menasyは、連続血糖モニターデータから5クラス15分先の血糖値トレンドを予測するためのエンドツーエンドのオンデバイス機械学習パイプラインを詳述したエンジニアリング研究「GlucoEdge」を公開しました。本作業では、わずか2,909パラメータからなるコンパクトな1D CNNを導入し、PyTorchからLiteRTへの変換に至る完全なワークフローをカバーしています。
media
Hugging Face Forums
·
16日前
·
48 回表示
文献レビュー：圧縮による節約は測定されたエネルギー消費と弱い相関しかない
独立した研究者が、量子化、プルーニング、蒸留などのモデル圧縮技術が実際に測定されたエネルギー消費を削減するのか、それとも単に FLOPs を低減させるだけなのかを分析する文献レビューを発表しました。
lab
Hugging Face Blog
·
41日前
·
62 回表示
Multiverse ComputingのQAHが4ビットGPT-OSSをフル精度版より優位にする
Multiverse Computingは、Quantization-Aware Healing (QAH) を導入した。これは、圧縮前の教師モデルから直接、圧縮・量子化された大規模言語モデルを蒸留する手法である。60Bパラメータに圧縮されMXFP4で量子化されたGPT-OSS 120Bモデルに適用すると、9つのベンチマークのうち7つでフル精度のbfloat16版を上回る性能を発揮する。
arxiv
arXiv cs.CL
·
53日前
·
49 回表示
行列積の削減: LLM推論のための入力適応型行列積削減手法
研究者らは、学習不要で入力が適応する推論手法であるReduced Matrix Multiplication (RMM)を提案した。これは、モデルの重みを変更せずに収縮次元に沿って情報的なスライスを選択することで、Transformerの行列積を削減する。単純な保持率制御の下、RMMは1Bから70Bパラメータの言語モデル全体で、精度と効率の滑らかで予測可能なトレードオフを提供する。