media Latent Space · 1時間前 · agents

Gemini 3.7 Flash アップデートで GDM が再び注目される

翻訳元 English → 日本語

記事では、Gemini 3.7 Flash アップデートのチャートが強調されており、以前のバージョン（特に 3.5 および 3.6 Flash）が、Claude 4.8+ や GPT 5.5+ シリーズなどのより新しいモデルに遅れを取っていたことが示されています。

このアップデートは、Claude 4.8+ や GPT 5.5+ などの競合他社に対するパフォーマンスのギャップを解消することを目指しています。
アナウンスで最も説得力のある要素としてチャートが引用されており、以前の性能の遅れを示しています。

重要度 2/3 Latent Space Google DeepMind Benchmark results

原文を読む

arxiv arXiv cs.AI · 1日前 · 2 回表示

VITAの臨床用RAGはHealthBenchにおいて最先端LLMと同等かそれ以上の性能を示す

低所得・中所得環境向けに設計された、VITAという目的特化型の検索拡張生成システムが、HealthBenchベンチマークを用いて汎用大規模言語モデルと比較評価された。本研究は、コーパス固有の設計により、新しい最先端モデルがリリースされても競争力のある性能を維持できることを示している。

arxiv arXiv cs.CL · 1日前 · 1 回表示

Corpus固有のVITA RAGはHealthBenchで最先端LLMに匹敵または上回る

低所得・中所得環境向けに設計された検索拡張生成システムであるVITAは、HealthBenchの英語版サブセットで1位となり、GPT-5.4、o4-mini、Gemini 3.1 Pro、Claude Sonnet 4.6を上回った。

arxiv arXiv cs.AI · 39日前

TestEvo-Bench: テストとコードの共進化を評価するための実行可能なライブベンチマーク

研究者らは、ソフトウェアテストとコードの共進化においてエージェントがどの程度対応できるかを評価するために設計されたライブベンチマークであるTestEvo-Benchを紹介している。既存のベンチマークが静的メタデータに依存するのに対し、このフレームワークは実際のコミット履歴と環境設定を使用し、パス率やカバレッジなどの実行可能メトリクスを検証する。

media r/LocalLLaMA · 39日前

MetaはChatGPT、Gemini、Character.AIをマイナー視点の危機的プロンプトでテスト

Metaは数百人の契約社員に未成年者になりすまして、OpenAI、Google、Character.AIのチャットボットに自殺、性、薬物関連のプロンプトを送らせたと報告されている。単一のテストラウンドで45,000件以上プロンプトが送信された。

arxiv arXiv cs.CL · 39日前 · 1 回表示

Gemma 4 31BのQLoRAファインチューニングがルーマニア語の異言語関係抽出のギャップを解消

本研究は、SemEval-2010 Task 8ベンチマークを翻訳し、エンコーダベースラインに対してGemma 4 31Bを評価することで、ルーマニア語の異言語関係抽出を検証する。結果、QLoRAファインチューニングによりマクロF1スコアが22パーセントポイント以上向上し、異言語ギャップは3.3から1.4ppに縮小された。