Benchmark · math

PutnamBench

2 hasil 1 model

PutnamBench adalah benchmark pembuktian teorema formal yang dibangun dari matematika kompetisi tingkat sarjana: ia mengukur berapa banyak soal Kompetisi Putnam yang dapat dibuktikan sebuah sistem di dalam asisten pembuktian (Lean 4, Isabelle, atau Coq), dengan skor berupa jumlah atau proporsi bukti yang terverifikasi mesin.

Selengkapnya

Contoh: Sebuah soal Putnam tingkat sarjana yang sulit — misalnya klaim keterbagian dari teori bilangan, batas suatu integral atau pertidaksamaan, atau identitas kombinatorik — disajikan sebagai pernyataan teorema formal yang buktinya dibiarkan sebagai `sorry` untuk dilengkapi oleh sistem.
Penilaian: Metriknya adalah jumlah (atau persentase) soal yang untuknya sistem menghasilkan bukti formal yang lengkap. Sebuah soal hanya terhitung jika asisten pembuktian memverifikasinya sepenuhnya; argumen parsial atau penalaran informal bernilai nol.
Verifikasi: Hasil hanya diterima ketika kernel asisten pembuktian target memeriksa-tipe seluruh bukti tanpa `sorry`, tanpa aksioma tambahan, dan tanpa mengubah pernyataan yang diberikan — putusan ya/tidak dari verifier adalah satu-satunya penilai.
Mengapa penting: Soal-soal Putnam termasuk yang tersulit dalam matematika sarjana, dan bukti yang diperiksa mesin tidak menyisakan ruang bagi penalaran yang salah atau 'reward-hacking', menjadikan PutnamBench penerus MiniF2F yang ketat dan jauh lebih sulit untuk pembuktian teorema otomatis dan penalaran matematis.

Contoh penyelesaian

Tugas

(Ilustratif, disederhanakan.) Sebuah teorema Lean 4 dalam format PutnamBench, untuk dibuktikan tanpa sorry: ```lean theorem putnam_illustrative (n : ℕ) : ∑ i ∈ Finset.range n, (2 * i + 1) = n ^ 2 := by sorry ```

Solusi

```lean
theorem putnam_illustrative (n : ℕ) :
    ∑ i ∈ Finset.range n, (2 * i + 1) = n ^ 2 := by
  induction n with
  | zero => simp
  | succ k ih => rw [Finset.sum_range_succ, ih]; ring
```

Penjelasan

Jumlah n bilangan ganjil pertama sama dengan n^2; dibuktikan dengan induksi: kasus dasar menyusut menjadi 0 = 0, dan langkahnya memakai Finset.sum_range_succ, menerapkan hipotesis induksi, lalu menutup k^2 + (2k+1) = (k+1)^2 dengan ring. Ia lolos hanya karena kernel Lean menerima setiap langkah — soal PutnamBench yang sebenarnya jauh lebih sulit.

Leanstral 1.5

Linimasa

Tanggal	Model	Skor	Sumber
2026-07-03	Leanstral 1.5	587.0pts	Mistral merilis Leanstral-1.5-119B-A6B
2026-07-03	Leanstral 1.5	587.0pts	Leanstral 1.5: Kelimpahan Bukti untuk Semua