{
  "results": [
    {
      "arm_name": "subset_base_hot_k4",
      "records": {
        "candidate_count_mean": 4.0,
        "coverage": 0.5833333333333334,
        "covered_tasks": [
          12,
          13,
          14,
          17,
          18,
          19,
          21,
          22,
          23,
          27,
          28,
          29,
          30,
          32
        ],
        "distinct_behavior_rate_mean": 0.875,
        "distinct_functional_rate_mean": 0.5104166666666666,
        "forward_tokens": 23434,
        "hidden_pass_candidates_mean": 1.5416666666666667,
        "parse_success_mean": 3.5416666666666665,
        "pass1_proxy": 0.375,
        "pass1_tasks": [
          13,
          17,
          18,
          19,
          22,
          27,
          28,
          29,
          32
        ],
        "records": 24,
        "visible_candidates_mean": 2.2083333333333335,
        "visible_coverage": 0.7916666666666666
      }
    },
    {
      "arm_name": "subset_base_hot_k8",
      "records": {
        "candidate_count_mean": 7.708333333333333,
        "coverage": 0.6666666666666666,
        "covered_tasks": [
          11,
          12,
          13,
          14,
          17,
          18,
          19,
          22,
          23,
          27,
          28,
          29,
          30,
          32,
          33,
          34
        ],
        "distinct_behavior_rate_mean": 0.7182539682539683,
        "distinct_functional_rate_mean": 0.3209325396825397,
        "forward_tokens": 44219,
        "hidden_pass_candidates_mean": 3.0,
        "parse_success_mean": 7.5,
        "pass1_proxy": 0.4166666666666667,
        "pass1_tasks": [
          11,
          12,
          14,
          17,
          18,
          19,
          27,
          28,
          29,
          30
        ],
        "records": 24,
        "visible_candidates_mean": 4.208333333333333,
        "visible_coverage": 0.8333333333333334
      }
    },
    {
      "arm_name": "subset_constrained_k4",
      "records": {
        "candidate_count_mean": 3.8333333333333335,
        "coverage": 0.625,
        "covered_tasks": [
          11,
          12,
          13,
          14,
          17,
          18,
          19,
          22,
          23,
          25,
          27,
          28,
          29,
          30,
          32
        ],
        "distinct_behavior_rate_mean": 0.8541666666666666,
        "distinct_functional_rate_mean": 0.548611111111111,
        "forward_tokens": 21785,
        "hidden_pass_candidates_mean": 1.5416666666666667,
        "parse_success_mean": 3.5833333333333335,
        "pass1_proxy": 0.4166666666666667,
        "pass1_tasks": [
          12,
          14,
          17,
          18,
          19,
          22,
          23,
          27,
          28,
          32
        ],
        "records": 24,
        "visible_candidates_mean": 1.9583333333333333,
        "visible_coverage": 0.7083333333333334
      }
    },
    {
      "arm_name": "subset_hot2_plus_constrained4",
      "records": {
        "candidate_count_mean": 5.833333333333333,
        "coverage": 0.625,
        "covered_tasks": [
          11,
          12,
          13,
          14,
          17,
          18,
          19,
          22,
          23,
          25,
          27,
          28,
          29,
          30,
          32
        ],
        "distinct_behavior_rate_mean": 0.7888888888888889,
        "distinct_functional_rate_mean": 0.41944444444444445,
        "forward_tokens": 33549,
        "hidden_pass_candidates_mean": 2.1666666666666665,
        "parse_success_mean": 5.375,
        "pass1_proxy": 0.375,
        "pass1_tasks": [
          13,
          17,
          18,
          19,
          22,
          27,
          28,
          29,
          32
        ],
        "records": 24,
        "visible_candidates_mean": 3.0,
        "visible_coverage": 0.7916666666666666
      }
    },
    {
      "arm_name": "subset_hot4_plus_constrained4",
      "records": {
        "candidate_count_mean": 7.833333333333333,
        "coverage": 0.6666666666666666,
        "covered_tasks": [
          11,
          12,
          13,
          14,
          17,
          18,
          19,
          21,
          22,
          23,
          25,
          27,
          28,
          29,
          30,
          32
        ],
        "distinct_behavior_rate_mean": 0.7363095238095237,
        "distinct_functional_rate_mean": 0.3410714285714285,
        "forward_tokens": 45219,
        "hidden_pass_candidates_mean": 3.0833333333333335,
        "parse_success_mean": 7.125,
        "pass1_proxy": 0.375,
        "pass1_tasks": [
          13,
          17,
          18,
          19,
          22,
          27,
          28,
          29,
          32
        ],
        "records": 24,
        "visible_candidates_mean": 4.166666666666667,
        "visible_coverage": 0.8333333333333334
      }
    },
    {
      "arm_name": "subset_constrained4_plus_hot4",
      "records": {
        "candidate_count_mean": 7.833333333333333,
        "coverage": 0.6666666666666666,
        "covered_tasks": [
          11,
          12,
          13,
          14,
          17,
          18,
          19,
          21,
          22,
          23,
          25,
          27,
          28,
          29,
          30,
          32
        ],
        "distinct_behavior_rate_mean": 0.7363095238095237,
        "distinct_functional_rate_mean": 0.3410714285714285,
        "forward_tokens": 45219,
        "hidden_pass_candidates_mean": 3.0833333333333335,
        "parse_success_mean": 7.125,
        "pass1_proxy": 0.4166666666666667,
        "pass1_tasks": [
          12,
          14,
          17,
          18,
          19,
          22,
          23,
          27,
          28,
          32
        ],
        "records": 24,
        "visible_candidates_mean": 4.166666666666667,
        "visible_coverage": 0.8333333333333334
      }
    },
    {
      "arm_name": "subset_visible_gate_hot2_then_constrained",
      "records": {
        "candidate_count_mean": 3.3333333333333335,
        "coverage": 0.5416666666666666,
        "covered_tasks": [
          11,
          12,
          13,
          14,
          17,
          18,
          19,
          22,
          27,
          28,
          29,
          30,
          32
        ],
        "distinct_behavior_rate_mean": 0.9305555555555555,
        "distinct_functional_rate_mean": 0.6458333333333334,
        "forward_tokens": 20755,
        "hidden_pass_candidates_mean": 0.875,
        "parse_success_mean": 2.9583333333333335,
        "pass1_proxy": 0.375,
        "pass1_tasks": [
          13,
          17,
          18,
          19,
          22,
          27,
          28,
          29,
          32
        ],
        "records": 24,
        "visible_candidates_mean": 1.375,
        "visible_coverage": 0.7916666666666666
      }
    },
    {
      "arm_name": "subset_visible_gate_hot4_then_constrained",
      "records": {
        "candidate_count_mean": 4.833333333333333,
        "coverage": 0.625,
        "covered_tasks": [
          11,
          12,
          13,
          14,
          17,
          18,
          19,
          21,
          22,
          23,
          27,
          28,
          29,
          30,
          32
        ],
        "distinct_behavior_rate_mean": 0.8541666666666666,
        "distinct_functional_rate_mean": 0.4739583333333333,
        "forward_tokens": 29184,
        "hidden_pass_candidates_mean": 1.5833333333333333,
        "parse_success_mean": 4.291666666666667,
        "pass1_proxy": 0.375,
        "pass1_tasks": [
          13,
          17,
          18,
          19,
          22,
          27,
          28,
          29,
          32
        ],
        "records": 24,
        "visible_candidates_mean": 2.2916666666666665,
        "visible_coverage": 0.8333333333333334
      }
    },
    {
      "arm_name": "subset_oracle_choose_arm",
      "records": {
        "candidate_count_mean": 4.166666666666667,
        "coverage": 0.75,
        "covered_tasks": [
          11,
          12,
          13,
          14,
          17,
          18,
          19,
          21,
          22,
          23,
          25,
          27,
          28,
          29,
          30,
          32,
          33,
          34
        ],
        "distinct_behavior_rate_mean": 0.875,
        "distinct_functional_rate_mean": 0.5381944444444444,
        "forward_tokens": 22223,
        "hidden_pass_candidates_mean": 1.5833333333333333,
        "parse_success_mean": 3.9583333333333335,
        "pass1_proxy": 0.375,
        "pass1_tasks": [
          14,
          17,
          18,
          19,
          22,
          27,
          28,
          29,
          32
        ],
        "records": 24,
        "visible_candidates_mean": 2.1666666666666665,
        "visible_coverage": 0.8333333333333334
      }
    }
  ],
  "task_count": 24
}