{
  "metadata": {
    "python": "3.12.3",
    "platform": "Linux-6.8.0-62-generic-x86_64-with-glibc2.39",
    "torch": "2.8.0+cu128",
    "cuda_available": true,
    "gpu_name": "NVIDIA RTX 6000 Ada Generation",
    "args": {
      "run_name": "smoke_context_trace_reranker",
      "compiler_checkpoint": "large_artifacts/qwen_context_trace_verifier/checkpoints/fixed_mixed_vm_trace_compiler_s512",
      "train_examples": 24,
      "val_examples": 12,
      "eval_examples": 12,
      "eval_pairs": 6,
      "domain_eval_examples": 0,
      "train_min_len": 1,
      "train_max_len": 3,
      "eval_length": 3,
      "val_length": 3,
      "hard_length": 4,
      "harder_length": 0,
      "domains": "arithmetic,calendar,unit,list,boolean,lookup",
      "train_template_mode": "mixed",
      "repair_topk": 2,
      "repair_max_edits": 1,
      "repair_max_pair_arg_slots": 4,
      "qwen_batch_size": 4,
      "max_length": 512,
      "trace_d_model": 64,
      "trace_layers": 1,
      "trace_heads": 4,
      "trace_ff_mult": 4,
      "verifier_dropout": 0.05,
      "verifier_epochs": 2,
      "verifier_lr": 0.001,
      "verifier_weight_decay": 0.0001,
      "positive_label": "answer",
      "no_positive_base_weight": 0.2,
      "base_positive_group_weight": 0.5,
      "repairable_group_weight": 4.0,
      "no_positive_group_weight": 1.0,
      "hard_negative_weight": 0.2,
      "hard_negative_margin": 1.0,
      "hard_negative_prefix_threshold": 0.5,
      "hard_negative_max_edits": 1,
      "pair_train_weight": 0.05,
      "pair_require_state_consistency": false,
      "grad_clip": 1.0,
      "pair_top_m": 8,
      "pair_bonus": 1.0,
      "seed": 101,
      "eval_seed": 202
    },
    "compiler_args": {
      "model_id": "Qwen/Qwen3-4B",
      "value_modulus": 97,
      "max_steps": 10,
      "head_width": 512,
      "rank_temperature": 1.0,
      "arg_window": 16,
      "arg_distance_temperature": 4.0
    },
    "feature_names": [
      "bias",
      "candidate_prior",
      "prior_delta",
      "candidate_prior_per_slot",
      "prior_delta_per_edit",
      "base_prior",
      "edit_count",
      "changed",
      "init_edit",
      "op_edit_count",
      "arg_edit_count",
      "edit_fraction",
      "first_edit_pos_norm",
      "last_edit_pos_norm",
      "mean_edit_pos_norm",
      "edit_span_norm",
      "mean_new_rank",
      "max_new_rank",
      "mean_changed_margin",
      "min_changed_margin",
      "mean_changed_entropy",
      "mean_logp_delta",
      "min_logp_delta",
      "max_logp_delta",
      "base_init_margin",
      "base_op_margin_mean",
      "base_op_margin_min",
      "base_arg_margin_mean",
      "base_arg_margin_min",
      "base_op_entropy_mean",
      "base_arg_entropy_mean",
      "candidate_answer_norm",
      "candidate_final_soft_logp",
      "candidate_state_soft_logp_mean",
      "candidate_state_soft_logp_min",
      "base_final_soft_logp",
      "base_state_soft_logp_mean",
      "answer_equals_base",
      "state_same_fraction_as_base",
      "state_prefix_same_as_base",
      "mean_old_value_norm",
      "mean_new_value_norm",
      "mean_abs_value_delta_norm",
      "arg_new_value_mean_norm",
      "arg_abs_delta_mean_norm",
      "op_new_add_frac",
      "op_new_sub_frac",
      "op_new_mul_frac",
      "op_new_add7_frac",
      "op_new_sub7_frac",
      "op_new_set_frac",
      "op_new_max_frac",
      "op_new_min_frac",
      "op_new_xor_frac",
      "op_new_gt_frac",
      "candidate_add_frac",
      "candidate_sub_frac",
      "candidate_mul_frac",
      "candidate_add7_frac",
      "candidate_sub7_frac",
      "candidate_set_frac",
      "candidate_max_frac",
      "candidate_min_frac",
      "candidate_xor_frac",
      "candidate_gt_frac",
      "candidate_arg_mean_norm",
      "candidate_arg_std_norm",
      "base_add_frac",
      "base_sub_frac",
      "base_mul_frac",
      "base_add7_frac",
      "base_sub7_frac",
      "base_set_frac",
      "base_max_frac",
      "base_min_frac",
      "base_xor_frac",
      "base_gt_frac"
    ],
    "trace_feature_names": [
      "is_global",
      "is_step",
      "active",
      "step_pos_norm",
      "candidate_prior",
      "prior_delta",
      "edit_count",
      "init_value_norm",
      "init_changed",
      "answer_norm",
      "final_soft_logp",
      "base_final_soft_logp",
      "answer_equals_base",
      "op_add",
      "op_sub",
      "op_mul",
      "op_add7",
      "op_sub7",
      "op_set",
      "op_max",
      "op_min",
      "op_xor",
      "op_gt",
      "arg_norm",
      "state_norm",
      "state_soft_logp",
      "base_op_add",
      "base_op_sub",
      "base_op_mul",
      "base_op_add7",
      "base_op_sub7",
      "base_op_set",
      "base_op_max",
      "base_op_min",
      "base_op_xor",
      "base_op_gt",
      "base_arg_norm",
      "base_state_norm",
      "base_state_soft_logp",
      "op_changed",
      "arg_changed",
      "state_same_as_base",
      "op_logp",
      "arg_logp",
      "op_logp_delta",
      "arg_logp_delta",
      "op_margin",
      "arg_margin",
      "op_entropy",
      "arg_entropy"
    ],
    "train_seconds": 11.374605655670166
  },
  "metrics": {
    "train_len1_3": {
      "n": 24.0,
      "oracle_found_fraction": 0.9583333333333334,
      "avg_candidates": 6.583333333333333,
      "avg_positive_candidates": 2.125,
      "avg_state_exact_candidates": 1.375,
      "avg_program_exact_candidates": 0.9583333333333334,
      "base_executor_accuracy": 0.8333333333333334,
      "base_state_exact": 0.7916666666666666,
      "base_program_exact": 0.7916666666666666,
      "base_state_prefix_fraction": 0.8819444444444443,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "domain_arithmetic_n": 4.0,
      "domain_arithmetic_base_executor_accuracy": 1.0,
      "domain_arithmetic_base_state_exact": 1.0,
      "domain_arithmetic_base_state_prefix_fraction": 1.0,
      "domain_calendar_n": 4.0,
      "domain_calendar_base_executor_accuracy": 0.75,
      "domain_calendar_base_state_exact": 0.75,
      "domain_calendar_base_state_prefix_fraction": 0.875,
      "domain_unit_n": 4.0,
      "domain_unit_base_executor_accuracy": 0.5,
      "domain_unit_base_state_exact": 0.5,
      "domain_unit_base_state_prefix_fraction": 0.8333333333333333,
      "domain_list_n": 4.0,
      "domain_list_base_executor_accuracy": 0.75,
      "domain_list_base_state_exact": 0.75,
      "domain_list_base_state_prefix_fraction": 0.8333333333333333,
      "domain_boolean_n": 4.0,
      "domain_boolean_base_executor_accuracy": 1.0,
      "domain_boolean_base_state_exact": 1.0,
      "domain_boolean_base_state_prefix_fraction": 1.0,
      "domain_lookup_n": 4.0,
      "domain_lookup_base_executor_accuracy": 1.0,
      "domain_lookup_base_state_exact": 0.75,
      "domain_lookup_base_state_prefix_fraction": 0.75,
      "prior_executor_accuracy": 0.8333333333333334,
      "prior_state_exact": 0.7916666666666666,
      "prior_program_exact": 0.7916666666666666,
      "prior_state_prefix_fraction": 0.8819444444444443,
      "prior_changed_fraction": 0.0,
      "prior_avg_edits": 0.0,
      "soft_trace_executor_accuracy": 0.8333333333333334,
      "soft_trace_state_exact": 0.7916666666666666,
      "soft_trace_program_exact": 0.7916666666666666,
      "soft_trace_state_prefix_fraction": 0.8819444444444443,
      "soft_trace_changed_fraction": 0.0,
      "soft_trace_avg_edits": 0.0,
      "oracle_executor_accuracy": 0.9583333333333334,
      "oracle_state_exact": 0.9166666666666666,
      "oracle_program_exact": 0.9166666666666666,
      "oracle_state_prefix_fraction": 0.9305555555555557,
      "oracle_changed_fraction": 0.125,
      "oracle_avg_edits": 0.125,
      "domain_arithmetic_oracle_executor_accuracy": 1.0,
      "domain_arithmetic_oracle_state_exact": 1.0,
      "domain_arithmetic_oracle_state_prefix_fraction": 1.0,
      "domain_calendar_oracle_executor_accuracy": 1.0,
      "domain_calendar_oracle_state_exact": 1.0,
      "domain_calendar_oracle_state_prefix_fraction": 1.0,
      "domain_unit_oracle_executor_accuracy": 1.0,
      "domain_unit_oracle_state_exact": 1.0,
      "domain_unit_oracle_state_prefix_fraction": 1.0,
      "domain_list_oracle_executor_accuracy": 0.75,
      "domain_list_oracle_state_exact": 0.75,
      "domain_list_oracle_state_prefix_fraction": 0.8333333333333333,
      "domain_boolean_oracle_executor_accuracy": 1.0,
      "domain_boolean_oracle_state_exact": 1.0,
      "domain_boolean_oracle_state_prefix_fraction": 1.0,
      "domain_lookup_oracle_executor_accuracy": 1.0,
      "domain_lookup_oracle_state_exact": 0.75,
      "domain_lookup_oracle_state_prefix_fraction": 0.75,
      "learned_executor_accuracy": 0.8333333333333334,
      "learned_state_exact": 0.7916666666666666,
      "learned_program_exact": 0.7916666666666666,
      "learned_state_prefix_fraction": 0.8819444444444443,
      "learned_changed_fraction": 0.0,
      "learned_avg_edits": 0.0,
      "domain_arithmetic_learned_executor_accuracy": 1.0,
      "domain_arithmetic_learned_state_exact": 1.0,
      "domain_arithmetic_learned_state_prefix_fraction": 1.0,
      "domain_calendar_learned_executor_accuracy": 0.75,
      "domain_calendar_learned_state_exact": 0.75,
      "domain_calendar_learned_state_prefix_fraction": 0.875,
      "domain_unit_learned_executor_accuracy": 0.5,
      "domain_unit_learned_state_exact": 0.5,
      "domain_unit_learned_state_prefix_fraction": 0.8333333333333333,
      "domain_list_learned_executor_accuracy": 0.75,
      "domain_list_learned_state_exact": 0.75,
      "domain_list_learned_state_prefix_fraction": 0.8333333333333333,
      "domain_boolean_learned_executor_accuracy": 1.0,
      "domain_boolean_learned_state_exact": 1.0,
      "domain_boolean_learned_state_prefix_fraction": 1.0,
      "domain_lookup_learned_executor_accuracy": 1.0,
      "domain_lookup_learned_state_exact": 0.75,
      "domain_lookup_learned_state_prefix_fraction": 0.75,
      "learned_oracle_gap_recovered": 0.0
    },
    "val_mixed_len3": {
      "n": 12.0,
      "oracle_found_fraction": 1.0,
      "avg_candidates": 8.0,
      "avg_positive_candidates": 2.6666666666666665,
      "avg_state_exact_candidates": 1.5833333333333333,
      "avg_program_exact_candidates": 0.9166666666666666,
      "base_executor_accuracy": 0.9166666666666666,
      "base_state_exact": 0.9166666666666666,
      "base_program_exact": 0.9166666666666666,
      "base_state_prefix_fraction": 0.9722222222222222,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "domain_arithmetic_n": 2.0,
      "domain_arithmetic_base_executor_accuracy": 1.0,
      "domain_arithmetic_base_state_exact": 1.0,
      "domain_arithmetic_base_state_prefix_fraction": 1.0,
      "domain_calendar_n": 2.0,
      "domain_calendar_base_executor_accuracy": 1.0,
      "domain_calendar_base_state_exact": 1.0,
      "domain_calendar_base_state_prefix_fraction": 1.0,
      "domain_unit_n": 2.0,
      "domain_unit_base_executor_accuracy": 0.5,
      "domain_unit_base_state_exact": 0.5,
      "domain_unit_base_state_prefix_fraction": 0.8333333333333333,
      "domain_list_n": 2.0,
      "domain_list_base_executor_accuracy": 1.0,
      "domain_list_base_state_exact": 1.0,
      "domain_list_base_state_prefix_fraction": 1.0,
      "domain_boolean_n": 2.0,
      "domain_boolean_base_executor_accuracy": 1.0,
      "domain_boolean_base_state_exact": 1.0,
      "domain_boolean_base_state_prefix_fraction": 1.0,
      "domain_lookup_n": 2.0,
      "domain_lookup_base_executor_accuracy": 1.0,
      "domain_lookup_base_state_exact": 1.0,
      "domain_lookup_base_state_prefix_fraction": 1.0,
      "prior_executor_accuracy": 0.9166666666666666,
      "prior_state_exact": 0.9166666666666666,
      "prior_program_exact": 0.9166666666666666,
      "prior_state_prefix_fraction": 0.9722222222222222,
      "prior_changed_fraction": 0.0,
      "prior_avg_edits": 0.0,
      "soft_trace_executor_accuracy": 0.8333333333333334,
      "soft_trace_state_exact": 0.8333333333333334,
      "soft_trace_program_exact": 0.8333333333333334,
      "soft_trace_state_prefix_fraction": 0.9444444444444445,
      "soft_trace_changed_fraction": 0.08333333333333333,
      "soft_trace_avg_edits": 0.08333333333333333,
      "oracle_executor_accuracy": 1.0,
      "oracle_state_exact": 0.9166666666666666,
      "oracle_program_exact": 0.9166666666666666,
      "oracle_state_prefix_fraction": 0.9166666666666666,
      "oracle_changed_fraction": 0.08333333333333333,
      "oracle_avg_edits": 0.08333333333333333,
      "domain_arithmetic_oracle_executor_accuracy": 1.0,
      "domain_arithmetic_oracle_state_exact": 1.0,
      "domain_arithmetic_oracle_state_prefix_fraction": 1.0,
      "domain_calendar_oracle_executor_accuracy": 1.0,
      "domain_calendar_oracle_state_exact": 1.0,
      "domain_calendar_oracle_state_prefix_fraction": 1.0,
      "domain_unit_oracle_executor_accuracy": 1.0,
      "domain_unit_oracle_state_exact": 0.5,
      "domain_unit_oracle_state_prefix_fraction": 0.5,
      "domain_list_oracle_executor_accuracy": 1.0,
      "domain_list_oracle_state_exact": 1.0,
      "domain_list_oracle_state_prefix_fraction": 1.0,
      "domain_boolean_oracle_executor_accuracy": 1.0,
      "domain_boolean_oracle_state_exact": 1.0,
      "domain_boolean_oracle_state_prefix_fraction": 1.0,
      "domain_lookup_oracle_executor_accuracy": 1.0,
      "domain_lookup_oracle_state_exact": 1.0,
      "domain_lookup_oracle_state_prefix_fraction": 1.0,
      "learned_executor_accuracy": 0.9166666666666666,
      "learned_state_exact": 0.9166666666666666,
      "learned_program_exact": 0.9166666666666666,
      "learned_state_prefix_fraction": 0.9722222222222222,
      "learned_changed_fraction": 0.0,
      "learned_avg_edits": 0.0,
      "domain_arithmetic_learned_executor_accuracy": 1.0,
      "domain_arithmetic_learned_state_exact": 1.0,
      "domain_arithmetic_learned_state_prefix_fraction": 1.0,
      "domain_calendar_learned_executor_accuracy": 1.0,
      "domain_calendar_learned_state_exact": 1.0,
      "domain_calendar_learned_state_prefix_fraction": 1.0,
      "domain_unit_learned_executor_accuracy": 0.5,
      "domain_unit_learned_state_exact": 0.5,
      "domain_unit_learned_state_prefix_fraction": 0.8333333333333333,
      "domain_list_learned_executor_accuracy": 1.0,
      "domain_list_learned_state_exact": 1.0,
      "domain_list_learned_state_prefix_fraction": 1.0,
      "domain_boolean_learned_executor_accuracy": 1.0,
      "domain_boolean_learned_state_exact": 1.0,
      "domain_boolean_learned_state_prefix_fraction": 1.0,
      "domain_lookup_learned_executor_accuracy": 1.0,
      "domain_lookup_learned_state_exact": 1.0,
      "domain_lookup_learned_state_prefix_fraction": 1.0,
      "learned_oracle_gap_recovered": 0.0
    },
    "fresh_standard_len3": {
      "n": 12.0,
      "oracle_found_fraction": 0.9166666666666666,
      "avg_candidates": 8.0,
      "avg_positive_candidates": 2.4166666666666665,
      "avg_state_exact_candidates": 1.5,
      "avg_program_exact_candidates": 0.75,
      "base_executor_accuracy": 0.8333333333333334,
      "base_state_exact": 0.6666666666666666,
      "base_program_exact": 0.6666666666666666,
      "base_state_prefix_fraction": 0.7222222222222223,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "domain_arithmetic_n": 2.0,
      "domain_arithmetic_base_executor_accuracy": 1.0,
      "domain_arithmetic_base_state_exact": 1.0,
      "domain_arithmetic_base_state_prefix_fraction": 1.0,
      "domain_calendar_n": 2.0,
      "domain_calendar_base_executor_accuracy": 1.0,
      "domain_calendar_base_state_exact": 1.0,
      "domain_calendar_base_state_prefix_fraction": 1.0,
      "domain_unit_n": 2.0,
      "domain_unit_base_executor_accuracy": 1.0,
      "domain_unit_base_state_exact": 1.0,
      "domain_unit_base_state_prefix_fraction": 1.0,
      "domain_list_n": 2.0,
      "domain_list_base_executor_accuracy": 0.5,
      "domain_list_base_state_exact": 0.5,
      "domain_list_base_state_prefix_fraction": 0.5,
      "domain_boolean_n": 2.0,
      "domain_boolean_base_executor_accuracy": 1.0,
      "domain_boolean_base_state_exact": 0.0,
      "domain_boolean_base_state_prefix_fraction": 0.16666666666666666,
      "domain_lookup_n": 2.0,
      "domain_lookup_base_executor_accuracy": 0.5,
      "domain_lookup_base_state_exact": 0.5,
      "domain_lookup_base_state_prefix_fraction": 0.6666666666666666,
      "prior_executor_accuracy": 0.8333333333333334,
      "prior_state_exact": 0.6666666666666666,
      "prior_program_exact": 0.6666666666666666,
      "prior_state_prefix_fraction": 0.7222222222222223,
      "prior_changed_fraction": 0.0,
      "prior_avg_edits": 0.0,
      "soft_trace_executor_accuracy": 0.6666666666666666,
      "soft_trace_state_exact": 0.5,
      "soft_trace_program_exact": 0.5,
      "soft_trace_state_prefix_fraction": 0.611111111111111,
      "soft_trace_changed_fraction": 0.16666666666666666,
      "soft_trace_avg_edits": 0.16666666666666666,
      "oracle_executor_accuracy": 0.9166666666666666,
      "oracle_state_exact": 0.6666666666666666,
      "oracle_program_exact": 0.6666666666666666,
      "oracle_state_prefix_fraction": 0.7222222222222223,
      "oracle_changed_fraction": 0.08333333333333333,
      "oracle_avg_edits": 0.08333333333333333,
      "domain_arithmetic_oracle_executor_accuracy": 1.0,
      "domain_arithmetic_oracle_state_exact": 1.0,
      "domain_arithmetic_oracle_state_prefix_fraction": 1.0,
      "domain_calendar_oracle_executor_accuracy": 1.0,
      "domain_calendar_oracle_state_exact": 1.0,
      "domain_calendar_oracle_state_prefix_fraction": 1.0,
      "domain_unit_oracle_executor_accuracy": 1.0,
      "domain_unit_oracle_state_exact": 1.0,
      "domain_unit_oracle_state_prefix_fraction": 1.0,
      "domain_list_oracle_executor_accuracy": 1.0,
      "domain_list_oracle_state_exact": 0.5,
      "domain_list_oracle_state_prefix_fraction": 0.5,
      "domain_boolean_oracle_executor_accuracy": 1.0,
      "domain_boolean_oracle_state_exact": 0.0,
      "domain_boolean_oracle_state_prefix_fraction": 0.16666666666666666,
      "domain_lookup_oracle_executor_accuracy": 0.5,
      "domain_lookup_oracle_state_exact": 0.5,
      "domain_lookup_oracle_state_prefix_fraction": 0.6666666666666666,
      "learned_executor_accuracy": 0.8333333333333334,
      "learned_state_exact": 0.6666666666666666,
      "learned_program_exact": 0.6666666666666666,
      "learned_state_prefix_fraction": 0.7222222222222223,
      "learned_changed_fraction": 0.0,
      "learned_avg_edits": 0.0,
      "domain_arithmetic_learned_executor_accuracy": 1.0,
      "domain_arithmetic_learned_state_exact": 1.0,
      "domain_arithmetic_learned_state_prefix_fraction": 1.0,
      "domain_calendar_learned_executor_accuracy": 1.0,
      "domain_calendar_learned_state_exact": 1.0,
      "domain_calendar_learned_state_prefix_fraction": 1.0,
      "domain_unit_learned_executor_accuracy": 1.0,
      "domain_unit_learned_state_exact": 1.0,
      "domain_unit_learned_state_prefix_fraction": 1.0,
      "domain_list_learned_executor_accuracy": 0.5,
      "domain_list_learned_state_exact": 0.5,
      "domain_list_learned_state_prefix_fraction": 0.5,
      "domain_boolean_learned_executor_accuracy": 1.0,
      "domain_boolean_learned_state_exact": 0.0,
      "domain_boolean_learned_state_prefix_fraction": 0.16666666666666666,
      "domain_lookup_learned_executor_accuracy": 0.5,
      "domain_lookup_learned_state_exact": 0.5,
      "domain_lookup_learned_state_prefix_fraction": 0.6666666666666666,
      "learned_oracle_gap_recovered": 0.0
    },
    "fresh_paraphrase_len3": {
      "n": 12.0,
      "oracle_found_fraction": 1.0,
      "avg_candidates": 8.0,
      "avg_positive_candidates": 2.6666666666666665,
      "avg_state_exact_candidates": 1.5,
      "avg_program_exact_candidates": 0.9166666666666666,
      "base_executor_accuracy": 0.9166666666666666,
      "base_state_exact": 0.8333333333333334,
      "base_program_exact": 0.8333333333333334,
      "base_state_prefix_fraction": 0.9166666666666665,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "domain_arithmetic_n": 2.0,
      "domain_arithmetic_base_executor_accuracy": 1.0,
      "domain_arithmetic_base_state_exact": 1.0,
      "domain_arithmetic_base_state_prefix_fraction": 1.0,
      "domain_calendar_n": 2.0,
      "domain_calendar_base_executor_accuracy": 1.0,
      "domain_calendar_base_state_exact": 1.0,
      "domain_calendar_base_state_prefix_fraction": 1.0,
      "domain_unit_n": 2.0,
      "domain_unit_base_executor_accuracy": 1.0,
      "domain_unit_base_state_exact": 1.0,
      "domain_unit_base_state_prefix_fraction": 1.0,
      "domain_list_n": 2.0,
      "domain_list_base_executor_accuracy": 1.0,
      "domain_list_base_state_exact": 1.0,
      "domain_list_base_state_prefix_fraction": 1.0,
      "domain_boolean_n": 2.0,
      "domain_boolean_base_executor_accuracy": 1.0,
      "domain_boolean_base_state_exact": 0.5,
      "domain_boolean_base_state_prefix_fraction": 0.6666666666666666,
      "domain_lookup_n": 2.0,
      "domain_lookup_base_executor_accuracy": 0.5,
      "domain_lookup_base_state_exact": 0.5,
      "domain_lookup_base_state_prefix_fraction": 0.8333333333333333,
      "prior_executor_accuracy": 0.9166666666666666,
      "prior_state_exact": 0.8333333333333334,
      "prior_program_exact": 0.8333333333333334,
      "prior_state_prefix_fraction": 0.9166666666666665,
      "prior_changed_fraction": 0.0,
      "prior_avg_edits": 0.0,
      "soft_trace_executor_accuracy": 0.6666666666666666,
      "soft_trace_state_exact": 0.5833333333333334,
      "soft_trace_program_exact": 0.5833333333333334,
      "soft_trace_state_prefix_fraction": 0.8055555555555555,
      "soft_trace_changed_fraction": 0.25,
      "soft_trace_avg_edits": 0.25,
      "oracle_executor_accuracy": 1.0,
      "oracle_state_exact": 0.9166666666666666,
      "oracle_program_exact": 0.9166666666666666,
      "oracle_state_prefix_fraction": 0.9444444444444443,
      "oracle_changed_fraction": 0.08333333333333333,
      "oracle_avg_edits": 0.08333333333333333,
      "domain_arithmetic_oracle_executor_accuracy": 1.0,
      "domain_arithmetic_oracle_state_exact": 1.0,
      "domain_arithmetic_oracle_state_prefix_fraction": 1.0,
      "domain_calendar_oracle_executor_accuracy": 1.0,
      "domain_calendar_oracle_state_exact": 1.0,
      "domain_calendar_oracle_state_prefix_fraction": 1.0,
      "domain_unit_oracle_executor_accuracy": 1.0,
      "domain_unit_oracle_state_exact": 1.0,
      "domain_unit_oracle_state_prefix_fraction": 1.0,
      "domain_list_oracle_executor_accuracy": 1.0,
      "domain_list_oracle_state_exact": 1.0,
      "domain_list_oracle_state_prefix_fraction": 1.0,
      "domain_boolean_oracle_executor_accuracy": 1.0,
      "domain_boolean_oracle_state_exact": 0.5,
      "domain_boolean_oracle_state_prefix_fraction": 0.6666666666666666,
      "domain_lookup_oracle_executor_accuracy": 1.0,
      "domain_lookup_oracle_state_exact": 1.0,
      "domain_lookup_oracle_state_prefix_fraction": 1.0,
      "learned_executor_accuracy": 0.9166666666666666,
      "learned_state_exact": 0.8333333333333334,
      "learned_program_exact": 0.8333333333333334,
      "learned_state_prefix_fraction": 0.9166666666666665,
      "learned_changed_fraction": 0.0,
      "learned_avg_edits": 0.0,
      "domain_arithmetic_learned_executor_accuracy": 1.0,
      "domain_arithmetic_learned_state_exact": 1.0,
      "domain_arithmetic_learned_state_prefix_fraction": 1.0,
      "domain_calendar_learned_executor_accuracy": 1.0,
      "domain_calendar_learned_state_exact": 1.0,
      "domain_calendar_learned_state_prefix_fraction": 1.0,
      "domain_unit_learned_executor_accuracy": 1.0,
      "domain_unit_learned_state_exact": 1.0,
      "domain_unit_learned_state_prefix_fraction": 1.0,
      "domain_list_learned_executor_accuracy": 1.0,
      "domain_list_learned_state_exact": 1.0,
      "domain_list_learned_state_prefix_fraction": 1.0,
      "domain_boolean_learned_executor_accuracy": 1.0,
      "domain_boolean_learned_state_exact": 0.5,
      "domain_boolean_learned_state_prefix_fraction": 0.6666666666666666,
      "domain_lookup_learned_executor_accuracy": 0.5,
      "domain_lookup_learned_state_exact": 0.5,
      "domain_lookup_learned_state_prefix_fraction": 0.8333333333333333,
      "learned_oracle_gap_recovered": 0.0
    },
    "fresh_paired_len3": {
      "n": 12.0,
      "oracle_found_fraction": 1.0,
      "avg_candidates": 8.0,
      "avg_positive_candidates": 2.5833333333333335,
      "avg_state_exact_candidates": 1.6666666666666667,
      "avg_program_exact_candidates": 1.0,
      "base_executor_accuracy": 0.6666666666666666,
      "base_state_exact": 0.6666666666666666,
      "base_program_exact": 0.6666666666666666,
      "base_state_prefix_fraction": 0.8333333333333334,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "domain_arithmetic_n": 2.0,
      "domain_arithmetic_base_executor_accuracy": 0.0,
      "domain_arithmetic_base_state_exact": 0.0,
      "domain_arithmetic_base_state_prefix_fraction": 0.3333333333333333,
      "domain_calendar_n": 2.0,
      "domain_calendar_base_executor_accuracy": 1.0,
      "domain_calendar_base_state_exact": 1.0,
      "domain_calendar_base_state_prefix_fraction": 1.0,
      "domain_unit_n": 2.0,
      "domain_unit_base_executor_accuracy": 1.0,
      "domain_unit_base_state_exact": 1.0,
      "domain_unit_base_state_prefix_fraction": 1.0,
      "domain_list_n": 2.0,
      "domain_list_base_executor_accuracy": 0.0,
      "domain_list_base_state_exact": 0.0,
      "domain_list_base_state_prefix_fraction": 0.6666666666666666,
      "domain_boolean_n": 2.0,
      "domain_boolean_base_executor_accuracy": 1.0,
      "domain_boolean_base_state_exact": 1.0,
      "domain_boolean_base_state_prefix_fraction": 1.0,
      "domain_lookup_n": 2.0,
      "domain_lookup_base_executor_accuracy": 1.0,
      "domain_lookup_base_state_exact": 1.0,
      "domain_lookup_base_state_prefix_fraction": 1.0,
      "prior_executor_accuracy": 0.6666666666666666,
      "prior_state_exact": 0.6666666666666666,
      "prior_program_exact": 0.6666666666666666,
      "prior_state_prefix_fraction": 0.8333333333333334,
      "prior_changed_fraction": 0.0,
      "prior_avg_edits": 0.0,
      "soft_trace_executor_accuracy": 0.6666666666666666,
      "soft_trace_state_exact": 0.6666666666666666,
      "soft_trace_program_exact": 0.6666666666666666,
      "soft_trace_state_prefix_fraction": 0.8333333333333334,
      "soft_trace_changed_fraction": 0.0,
      "soft_trace_avg_edits": 0.0,
      "oracle_executor_accuracy": 1.0,
      "oracle_state_exact": 1.0,
      "oracle_program_exact": 1.0,
      "oracle_state_prefix_fraction": 1.0,
      "oracle_changed_fraction": 0.3333333333333333,
      "oracle_avg_edits": 0.3333333333333333,
      "domain_arithmetic_oracle_executor_accuracy": 1.0,
      "domain_arithmetic_oracle_state_exact": 1.0,
      "domain_arithmetic_oracle_state_prefix_fraction": 1.0,
      "domain_calendar_oracle_executor_accuracy": 1.0,
      "domain_calendar_oracle_state_exact": 1.0,
      "domain_calendar_oracle_state_prefix_fraction": 1.0,
      "domain_unit_oracle_executor_accuracy": 1.0,
      "domain_unit_oracle_state_exact": 1.0,
      "domain_unit_oracle_state_prefix_fraction": 1.0,
      "domain_list_oracle_executor_accuracy": 1.0,
      "domain_list_oracle_state_exact": 1.0,
      "domain_list_oracle_state_prefix_fraction": 1.0,
      "domain_boolean_oracle_executor_accuracy": 1.0,
      "domain_boolean_oracle_state_exact": 1.0,
      "domain_boolean_oracle_state_prefix_fraction": 1.0,
      "domain_lookup_oracle_executor_accuracy": 1.0,
      "domain_lookup_oracle_state_exact": 1.0,
      "domain_lookup_oracle_state_prefix_fraction": 1.0,
      "learned_executor_accuracy": 0.6666666666666666,
      "learned_state_exact": 0.6666666666666666,
      "learned_program_exact": 0.6666666666666666,
      "learned_state_prefix_fraction": 0.8333333333333334,
      "learned_changed_fraction": 0.0,
      "learned_avg_edits": 0.0,
      "domain_arithmetic_learned_executor_accuracy": 0.0,
      "domain_arithmetic_learned_state_exact": 0.0,
      "domain_arithmetic_learned_state_prefix_fraction": 0.3333333333333333,
      "domain_calendar_learned_executor_accuracy": 1.0,
      "domain_calendar_learned_state_exact": 1.0,
      "domain_calendar_learned_state_prefix_fraction": 1.0,
      "domain_unit_learned_executor_accuracy": 1.0,
      "domain_unit_learned_state_exact": 1.0,
      "domain_unit_learned_state_prefix_fraction": 1.0,
      "domain_list_learned_executor_accuracy": 0.0,
      "domain_list_learned_state_exact": 0.0,
      "domain_list_learned_state_prefix_fraction": 0.6666666666666666,
      "domain_boolean_learned_executor_accuracy": 1.0,
      "domain_boolean_learned_state_exact": 1.0,
      "domain_boolean_learned_state_prefix_fraction": 1.0,
      "domain_lookup_learned_executor_accuracy": 1.0,
      "domain_lookup_learned_state_exact": 1.0,
      "domain_lookup_learned_state_prefix_fraction": 1.0,
      "learned_oracle_gap_recovered": 0.0,
      "pair_rerank_executor_accuracy": 0.6666666666666666,
      "pair_rerank_state_exact": 0.6666666666666666,
      "pair_rerank_program_exact": 0.6666666666666666,
      "pair_rerank_state_prefix_fraction": 0.8333333333333334,
      "pair_rerank_changed_fraction": 0.0,
      "pair_rerank_avg_edits": 0.0,
      "domain_arithmetic_pair_rerank_executor_accuracy": 0.0,
      "domain_arithmetic_pair_rerank_state_exact": 0.0,
      "domain_arithmetic_pair_rerank_state_prefix_fraction": 0.3333333333333333,
      "domain_calendar_pair_rerank_executor_accuracy": 1.0,
      "domain_calendar_pair_rerank_state_exact": 1.0,
      "domain_calendar_pair_rerank_state_prefix_fraction": 1.0,
      "domain_unit_pair_rerank_executor_accuracy": 1.0,
      "domain_unit_pair_rerank_state_exact": 1.0,
      "domain_unit_pair_rerank_state_prefix_fraction": 1.0,
      "domain_list_pair_rerank_executor_accuracy": 0.0,
      "domain_list_pair_rerank_state_exact": 0.0,
      "domain_list_pair_rerank_state_prefix_fraction": 0.6666666666666666,
      "domain_boolean_pair_rerank_executor_accuracy": 1.0,
      "domain_boolean_pair_rerank_state_exact": 1.0,
      "domain_boolean_pair_rerank_state_prefix_fraction": 1.0,
      "domain_lookup_pair_rerank_executor_accuracy": 1.0,
      "domain_lookup_pair_rerank_state_exact": 1.0,
      "domain_lookup_pair_rerank_state_prefix_fraction": 1.0,
      "learned_pair_answer_consistency": 0.8333333333333334,
      "learned_pair_both_correct": 0.6666666666666666,
      "learned_pair_both_state_exact": 0.6666666666666666,
      "learned_pair_program_consistency": 0.8333333333333334,
      "learned_pair_state_consistency": 0.8333333333333334,
      "pair_rerank_pair_answer_consistency": 0.8333333333333334,
      "pair_rerank_pair_both_correct": 0.6666666666666666,
      "pair_rerank_pair_both_state_exact": 0.6666666666666666,
      "pair_rerank_pair_program_consistency": 0.8333333333333334,
      "pair_rerank_pair_state_consistency": 0.8333333333333334,
      "oracle_pair_answer_consistency": 1.0,
      "oracle_pair_both_correct": 1.0,
      "oracle_pair_both_state_exact": 1.0,
      "oracle_pair_program_consistency": 1.0,
      "oracle_pair_state_consistency": 1.0,
      "base_pair_answer_consistency": 0.8333333333333334,
      "base_pair_both_correct": 0.6666666666666666,
      "base_pair_both_state_exact": 0.6666666666666666,
      "base_pair_program_consistency": 0.8333333333333334,
      "base_pair_state_consistency": 0.8333333333333334
    },
    "hard_standard_len4": {
      "n": 12.0,
      "oracle_found_fraction": 0.9166666666666666,
      "avg_candidates": 10.0,
      "avg_positive_candidates": 3.6666666666666665,
      "avg_state_exact_candidates": 1.9166666666666667,
      "avg_program_exact_candidates": 0.8333333333333334,
      "base_executor_accuracy": 0.75,
      "base_state_exact": 0.6666666666666666,
      "base_program_exact": 0.5833333333333334,
      "base_state_prefix_fraction": 0.7708333333333334,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "domain_arithmetic_n": 2.0,
      "domain_arithmetic_base_executor_accuracy": 0.5,
      "domain_arithmetic_base_state_exact": 0.5,
      "domain_arithmetic_base_state_prefix_fraction": 0.875,
      "domain_calendar_n": 2.0,
      "domain_calendar_base_executor_accuracy": 0.5,
      "domain_calendar_base_state_exact": 0.5,
      "domain_calendar_base_state_prefix_fraction": 0.625,
      "domain_unit_n": 2.0,
      "domain_unit_base_executor_accuracy": 0.5,
      "domain_unit_base_state_exact": 0.5,
      "domain_unit_base_state_prefix_fraction": 0.625,
      "domain_list_n": 2.0,
      "domain_list_base_executor_accuracy": 1.0,
      "domain_list_base_state_exact": 1.0,
      "domain_list_base_state_prefix_fraction": 1.0,
      "domain_boolean_n": 2.0,
      "domain_boolean_base_executor_accuracy": 1.0,
      "domain_boolean_base_state_exact": 0.5,
      "domain_boolean_base_state_prefix_fraction": 0.5,
      "domain_lookup_n": 2.0,
      "domain_lookup_base_executor_accuracy": 1.0,
      "domain_lookup_base_state_exact": 1.0,
      "domain_lookup_base_state_prefix_fraction": 1.0,
      "prior_executor_accuracy": 0.75,
      "prior_state_exact": 0.6666666666666666,
      "prior_program_exact": 0.5833333333333334,
      "prior_state_prefix_fraction": 0.7708333333333334,
      "prior_changed_fraction": 0.0,
      "prior_avg_edits": 0.0,
      "soft_trace_executor_accuracy": 0.5833333333333334,
      "soft_trace_state_exact": 0.5,
      "soft_trace_program_exact": 0.4166666666666667,
      "soft_trace_state_prefix_fraction": 0.6666666666666666,
      "soft_trace_changed_fraction": 0.16666666666666666,
      "soft_trace_avg_edits": 0.16666666666666666,
      "oracle_executor_accuracy": 0.9166666666666666,
      "oracle_state_exact": 0.8333333333333334,
      "oracle_program_exact": 0.6666666666666666,
      "oracle_state_prefix_fraction": 0.8541666666666666,
      "oracle_changed_fraction": 0.16666666666666666,
      "oracle_avg_edits": 0.16666666666666666,
      "domain_arithmetic_oracle_executor_accuracy": 1.0,
      "domain_arithmetic_oracle_state_exact": 1.0,
      "domain_arithmetic_oracle_state_prefix_fraction": 1.0,
      "domain_calendar_oracle_executor_accuracy": 1.0,
      "domain_calendar_oracle_state_exact": 1.0,
      "domain_calendar_oracle_state_prefix_fraction": 1.0,
      "domain_unit_oracle_executor_accuracy": 0.5,
      "domain_unit_oracle_state_exact": 0.5,
      "domain_unit_oracle_state_prefix_fraction": 0.625,
      "domain_list_oracle_executor_accuracy": 1.0,
      "domain_list_oracle_state_exact": 1.0,
      "domain_list_oracle_state_prefix_fraction": 1.0,
      "domain_boolean_oracle_executor_accuracy": 1.0,
      "domain_boolean_oracle_state_exact": 0.5,
      "domain_boolean_oracle_state_prefix_fraction": 0.5,
      "domain_lookup_oracle_executor_accuracy": 1.0,
      "domain_lookup_oracle_state_exact": 1.0,
      "domain_lookup_oracle_state_prefix_fraction": 1.0,
      "learned_executor_accuracy": 0.75,
      "learned_state_exact": 0.6666666666666666,
      "learned_program_exact": 0.5833333333333334,
      "learned_state_prefix_fraction": 0.7708333333333334,
      "learned_changed_fraction": 0.0,
      "learned_avg_edits": 0.0,
      "domain_arithmetic_learned_executor_accuracy": 0.5,
      "domain_arithmetic_learned_state_exact": 0.5,
      "domain_arithmetic_learned_state_prefix_fraction": 0.875,
      "domain_calendar_learned_executor_accuracy": 0.5,
      "domain_calendar_learned_state_exact": 0.5,
      "domain_calendar_learned_state_prefix_fraction": 0.625,
      "domain_unit_learned_executor_accuracy": 0.5,
      "domain_unit_learned_state_exact": 0.5,
      "domain_unit_learned_state_prefix_fraction": 0.625,
      "domain_list_learned_executor_accuracy": 1.0,
      "domain_list_learned_state_exact": 1.0,
      "domain_list_learned_state_prefix_fraction": 1.0,
      "domain_boolean_learned_executor_accuracy": 1.0,
      "domain_boolean_learned_state_exact": 0.5,
      "domain_boolean_learned_state_prefix_fraction": 0.5,
      "domain_lookup_learned_executor_accuracy": 1.0,
      "domain_lookup_learned_state_exact": 1.0,
      "domain_lookup_learned_state_prefix_fraction": 1.0,
      "learned_oracle_gap_recovered": 0.0
    },
    "hard_paraphrase_len4": {
      "n": 12.0,
      "oracle_found_fraction": 1.0,
      "avg_candidates": 10.0,
      "avg_positive_candidates": 3.3333333333333335,
      "avg_state_exact_candidates": 1.5833333333333333,
      "avg_program_exact_candidates": 0.9166666666666666,
      "base_executor_accuracy": 0.75,
      "base_state_exact": 0.6666666666666666,
      "base_program_exact": 0.6666666666666666,
      "base_state_prefix_fraction": 0.8125,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "domain_arithmetic_n": 2.0,
      "domain_arithmetic_base_executor_accuracy": 1.0,
      "domain_arithmetic_base_state_exact": 1.0,
      "domain_arithmetic_base_state_prefix_fraction": 1.0,
      "domain_calendar_n": 2.0,
      "domain_calendar_base_executor_accuracy": 0.5,
      "domain_calendar_base_state_exact": 0.5,
      "domain_calendar_base_state_prefix_fraction": 0.875,
      "domain_unit_n": 2.0,
      "domain_unit_base_executor_accuracy": 1.0,
      "domain_unit_base_state_exact": 1.0,
      "domain_unit_base_state_prefix_fraction": 1.0,
      "domain_list_n": 2.0,
      "domain_list_base_executor_accuracy": 0.0,
      "domain_list_base_state_exact": 0.0,
      "domain_list_base_state_prefix_fraction": 0.5,
      "domain_boolean_n": 2.0,
      "domain_boolean_base_executor_accuracy": 1.0,
      "domain_boolean_base_state_exact": 0.5,
      "domain_boolean_base_state_prefix_fraction": 0.5,
      "domain_lookup_n": 2.0,
      "domain_lookup_base_executor_accuracy": 1.0,
      "domain_lookup_base_state_exact": 1.0,
      "domain_lookup_base_state_prefix_fraction": 1.0,
      "prior_executor_accuracy": 0.75,
      "prior_state_exact": 0.6666666666666666,
      "prior_program_exact": 0.6666666666666666,
      "prior_state_prefix_fraction": 0.8125,
      "prior_changed_fraction": 0.0,
      "prior_avg_edits": 0.0,
      "soft_trace_executor_accuracy": 0.9166666666666666,
      "soft_trace_state_exact": 0.5833333333333334,
      "soft_trace_program_exact": 0.5833333333333334,
      "soft_trace_state_prefix_fraction": 0.75,
      "soft_trace_changed_fraction": 0.25,
      "soft_trace_avg_edits": 0.25,
      "oracle_executor_accuracy": 1.0,
      "oracle_state_exact": 0.75,
      "oracle_program_exact": 0.6666666666666666,
      "oracle_state_prefix_fraction": 0.7916666666666666,
      "oracle_changed_fraction": 0.25,
      "oracle_avg_edits": 0.25,
      "domain_arithmetic_oracle_executor_accuracy": 1.0,
      "domain_arithmetic_oracle_state_exact": 1.0,
      "domain_arithmetic_oracle_state_prefix_fraction": 1.0,
      "domain_calendar_oracle_executor_accuracy": 1.0,
      "domain_calendar_oracle_state_exact": 0.5,
      "domain_calendar_oracle_state_prefix_fraction": 0.625,
      "domain_unit_oracle_executor_accuracy": 1.0,
      "domain_unit_oracle_state_exact": 1.0,
      "domain_unit_oracle_state_prefix_fraction": 1.0,
      "domain_list_oracle_executor_accuracy": 1.0,
      "domain_list_oracle_state_exact": 0.5,
      "domain_list_oracle_state_prefix_fraction": 0.625,
      "domain_boolean_oracle_executor_accuracy": 1.0,
      "domain_boolean_oracle_state_exact": 0.5,
      "domain_boolean_oracle_state_prefix_fraction": 0.5,
      "domain_lookup_oracle_executor_accuracy": 1.0,
      "domain_lookup_oracle_state_exact": 1.0,
      "domain_lookup_oracle_state_prefix_fraction": 1.0,
      "learned_executor_accuracy": 0.75,
      "learned_state_exact": 0.6666666666666666,
      "learned_program_exact": 0.6666666666666666,
      "learned_state_prefix_fraction": 0.8125,
      "learned_changed_fraction": 0.0,
      "learned_avg_edits": 0.0,
      "domain_arithmetic_learned_executor_accuracy": 1.0,
      "domain_arithmetic_learned_state_exact": 1.0,
      "domain_arithmetic_learned_state_prefix_fraction": 1.0,
      "domain_calendar_learned_executor_accuracy": 0.5,
      "domain_calendar_learned_state_exact": 0.5,
      "domain_calendar_learned_state_prefix_fraction": 0.875,
      "domain_unit_learned_executor_accuracy": 1.0,
      "domain_unit_learned_state_exact": 1.0,
      "domain_unit_learned_state_prefix_fraction": 1.0,
      "domain_list_learned_executor_accuracy": 0.0,
      "domain_list_learned_state_exact": 0.0,
      "domain_list_learned_state_prefix_fraction": 0.5,
      "domain_boolean_learned_executor_accuracy": 1.0,
      "domain_boolean_learned_state_exact": 0.5,
      "domain_boolean_learned_state_prefix_fraction": 0.5,
      "domain_lookup_learned_executor_accuracy": 1.0,
      "domain_lookup_learned_state_exact": 1.0,
      "domain_lookup_learned_state_prefix_fraction": 1.0,
      "learned_oracle_gap_recovered": 0.0
    }
  },
  "train_log": [
    {
      "epoch": 1,
      "train_loss": 1.9253353360109031,
      "hard_negative_loss": 0.609025526791811,
      "pair_train_loss": 0.0,
      "pair_train_batches": 0.0,
      "val_n": 12.0,
      "val_oracle_found_fraction": 1.0,
      "val_avg_candidates": 8.0,
      "val_avg_positive_candidates": 2.6666666666666665,
      "val_avg_state_exact_candidates": 1.5833333333333333,
      "val_avg_program_exact_candidates": 0.9166666666666666,
      "val_base_executor_accuracy": 0.9166666666666666,
      "val_base_state_exact": 0.9166666666666666,
      "val_base_program_exact": 0.9166666666666666,
      "val_base_state_prefix_fraction": 0.9722222222222222,
      "val_base_changed_fraction": 0.0,
      "val_base_avg_edits": 0.0,
      "val_domain_arithmetic_n": 2.0,
      "val_domain_arithmetic_base_executor_accuracy": 1.0,
      "val_domain_arithmetic_base_state_exact": 1.0,
      "val_domain_arithmetic_base_state_prefix_fraction": 1.0,
      "val_domain_calendar_n": 2.0,
      "val_domain_calendar_base_executor_accuracy": 1.0,
      "val_domain_calendar_base_state_exact": 1.0,
      "val_domain_calendar_base_state_prefix_fraction": 1.0,
      "val_domain_unit_n": 2.0,
      "val_domain_unit_base_executor_accuracy": 0.5,
      "val_domain_unit_base_state_exact": 0.5,
      "val_domain_unit_base_state_prefix_fraction": 0.8333333333333333,
      "val_domain_list_n": 2.0,
      "val_domain_list_base_executor_accuracy": 1.0,
      "val_domain_list_base_state_exact": 1.0,
      "val_domain_list_base_state_prefix_fraction": 1.0,
      "val_domain_boolean_n": 2.0,
      "val_domain_boolean_base_executor_accuracy": 1.0,
      "val_domain_boolean_base_state_exact": 1.0,
      "val_domain_boolean_base_state_prefix_fraction": 1.0,
      "val_domain_lookup_n": 2.0,
      "val_domain_lookup_base_executor_accuracy": 1.0,
      "val_domain_lookup_base_state_exact": 1.0,
      "val_domain_lookup_base_state_prefix_fraction": 1.0,
      "val_prior_executor_accuracy": 0.9166666666666666,
      "val_prior_state_exact": 0.9166666666666666,
      "val_prior_program_exact": 0.9166666666666666,
      "val_prior_state_prefix_fraction": 0.9722222222222222,
      "val_prior_changed_fraction": 0.0,
      "val_prior_avg_edits": 0.0,
      "val_soft_trace_executor_accuracy": 0.8333333333333334,
      "val_soft_trace_state_exact": 0.8333333333333334,
      "val_soft_trace_program_exact": 0.8333333333333334,
      "val_soft_trace_state_prefix_fraction": 0.9444444444444445,
      "val_soft_trace_changed_fraction": 0.08333333333333333,
      "val_soft_trace_avg_edits": 0.08333333333333333,
      "val_oracle_executor_accuracy": 1.0,
      "val_oracle_state_exact": 0.9166666666666666,
      "val_oracle_program_exact": 0.9166666666666666,
      "val_oracle_state_prefix_fraction": 0.9166666666666666,
      "val_oracle_changed_fraction": 0.08333333333333333,
      "val_oracle_avg_edits": 0.08333333333333333,
      "val_domain_arithmetic_oracle_executor_accuracy": 1.0,
      "val_domain_arithmetic_oracle_state_exact": 1.0,
      "val_domain_arithmetic_oracle_state_prefix_fraction": 1.0,
      "val_domain_calendar_oracle_executor_accuracy": 1.0,
      "val_domain_calendar_oracle_state_exact": 1.0,
      "val_domain_calendar_oracle_state_prefix_fraction": 1.0,
      "val_domain_unit_oracle_executor_accuracy": 1.0,
      "val_domain_unit_oracle_state_exact": 0.5,
      "val_domain_unit_oracle_state_prefix_fraction": 0.5,
      "val_domain_list_oracle_executor_accuracy": 1.0,
      "val_domain_list_oracle_state_exact": 1.0,
      "val_domain_list_oracle_state_prefix_fraction": 1.0,
      "val_domain_boolean_oracle_executor_accuracy": 1.0,
      "val_domain_boolean_oracle_state_exact": 1.0,
      "val_domain_boolean_oracle_state_prefix_fraction": 1.0,
      "val_domain_lookup_oracle_executor_accuracy": 1.0,
      "val_domain_lookup_oracle_state_exact": 1.0,
      "val_domain_lookup_oracle_state_prefix_fraction": 1.0,
      "val_learned_executor_accuracy": 0.9166666666666666,
      "val_learned_state_exact": 0.9166666666666666,
      "val_learned_program_exact": 0.9166666666666666,
      "val_learned_state_prefix_fraction": 0.9722222222222222,
      "val_learned_changed_fraction": 0.0,
      "val_learned_avg_edits": 0.0,
      "val_domain_arithmetic_learned_executor_accuracy": 1.0,
      "val_domain_arithmetic_learned_state_exact": 1.0,
      "val_domain_arithmetic_learned_state_prefix_fraction": 1.0,
      "val_domain_calendar_learned_executor_accuracy": 1.0,
      "val_domain_calendar_learned_state_exact": 1.0,
      "val_domain_calendar_learned_state_prefix_fraction": 1.0,
      "val_domain_unit_learned_executor_accuracy": 0.5,
      "val_domain_unit_learned_state_exact": 0.5,
      "val_domain_unit_learned_state_prefix_fraction": 0.8333333333333333,
      "val_domain_list_learned_executor_accuracy": 1.0,
      "val_domain_list_learned_state_exact": 1.0,
      "val_domain_list_learned_state_prefix_fraction": 1.0,
      "val_domain_boolean_learned_executor_accuracy": 1.0,
      "val_domain_boolean_learned_state_exact": 1.0,
      "val_domain_boolean_learned_state_prefix_fraction": 1.0,
      "val_domain_lookup_learned_executor_accuracy": 1.0,
      "val_domain_lookup_learned_state_exact": 1.0,
      "val_domain_lookup_learned_state_prefix_fraction": 1.0,
      "val_learned_oracle_gap_recovered": 0.0
    },
    {
      "epoch": 2,
      "train_loss": 2.2161048401487355,
      "hard_negative_loss": 0.23498158423853965,
      "pair_train_loss": 0.0,
      "pair_train_batches": 0.0,
      "val_n": 12.0,
      "val_oracle_found_fraction": 1.0,
      "val_avg_candidates": 8.0,
      "val_avg_positive_candidates": 2.6666666666666665,
      "val_avg_state_exact_candidates": 1.5833333333333333,
      "val_avg_program_exact_candidates": 0.9166666666666666,
      "val_base_executor_accuracy": 0.9166666666666666,
      "val_base_state_exact": 0.9166666666666666,
      "val_base_program_exact": 0.9166666666666666,
      "val_base_state_prefix_fraction": 0.9722222222222222,
      "val_base_changed_fraction": 0.0,
      "val_base_avg_edits": 0.0,
      "val_domain_arithmetic_n": 2.0,
      "val_domain_arithmetic_base_executor_accuracy": 1.0,
      "val_domain_arithmetic_base_state_exact": 1.0,
      "val_domain_arithmetic_base_state_prefix_fraction": 1.0,
      "val_domain_calendar_n": 2.0,
      "val_domain_calendar_base_executor_accuracy": 1.0,
      "val_domain_calendar_base_state_exact": 1.0,
      "val_domain_calendar_base_state_prefix_fraction": 1.0,
      "val_domain_unit_n": 2.0,
      "val_domain_unit_base_executor_accuracy": 0.5,
      "val_domain_unit_base_state_exact": 0.5,
      "val_domain_unit_base_state_prefix_fraction": 0.8333333333333333,
      "val_domain_list_n": 2.0,
      "val_domain_list_base_executor_accuracy": 1.0,
      "val_domain_list_base_state_exact": 1.0,
      "val_domain_list_base_state_prefix_fraction": 1.0,
      "val_domain_boolean_n": 2.0,
      "val_domain_boolean_base_executor_accuracy": 1.0,
      "val_domain_boolean_base_state_exact": 1.0,
      "val_domain_boolean_base_state_prefix_fraction": 1.0,
      "val_domain_lookup_n": 2.0,
      "val_domain_lookup_base_executor_accuracy": 1.0,
      "val_domain_lookup_base_state_exact": 1.0,
      "val_domain_lookup_base_state_prefix_fraction": 1.0,
      "val_prior_executor_accuracy": 0.9166666666666666,
      "val_prior_state_exact": 0.9166666666666666,
      "val_prior_program_exact": 0.9166666666666666,
      "val_prior_state_prefix_fraction": 0.9722222222222222,
      "val_prior_changed_fraction": 0.0,
      "val_prior_avg_edits": 0.0,
      "val_soft_trace_executor_accuracy": 0.8333333333333334,
      "val_soft_trace_state_exact": 0.8333333333333334,
      "val_soft_trace_program_exact": 0.8333333333333334,
      "val_soft_trace_state_prefix_fraction": 0.9444444444444445,
      "val_soft_trace_changed_fraction": 0.08333333333333333,
      "val_soft_trace_avg_edits": 0.08333333333333333,
      "val_oracle_executor_accuracy": 1.0,
      "val_oracle_state_exact": 0.9166666666666666,
      "val_oracle_program_exact": 0.9166666666666666,
      "val_oracle_state_prefix_fraction": 0.9166666666666666,
      "val_oracle_changed_fraction": 0.08333333333333333,
      "val_oracle_avg_edits": 0.08333333333333333,
      "val_domain_arithmetic_oracle_executor_accuracy": 1.0,
      "val_domain_arithmetic_oracle_state_exact": 1.0,
      "val_domain_arithmetic_oracle_state_prefix_fraction": 1.0,
      "val_domain_calendar_oracle_executor_accuracy": 1.0,
      "val_domain_calendar_oracle_state_exact": 1.0,
      "val_domain_calendar_oracle_state_prefix_fraction": 1.0,
      "val_domain_unit_oracle_executor_accuracy": 1.0,
      "val_domain_unit_oracle_state_exact": 0.5,
      "val_domain_unit_oracle_state_prefix_fraction": 0.5,
      "val_domain_list_oracle_executor_accuracy": 1.0,
      "val_domain_list_oracle_state_exact": 1.0,
      "val_domain_list_oracle_state_prefix_fraction": 1.0,
      "val_domain_boolean_oracle_executor_accuracy": 1.0,
      "val_domain_boolean_oracle_state_exact": 1.0,
      "val_domain_boolean_oracle_state_prefix_fraction": 1.0,
      "val_domain_lookup_oracle_executor_accuracy": 1.0,
      "val_domain_lookup_oracle_state_exact": 1.0,
      "val_domain_lookup_oracle_state_prefix_fraction": 1.0,
      "val_learned_executor_accuracy": 0.9166666666666666,
      "val_learned_state_exact": 0.9166666666666666,
      "val_learned_program_exact": 0.9166666666666666,
      "val_learned_state_prefix_fraction": 0.9722222222222222,
      "val_learned_changed_fraction": 0.0,
      "val_learned_avg_edits": 0.0,
      "val_domain_arithmetic_learned_executor_accuracy": 1.0,
      "val_domain_arithmetic_learned_state_exact": 1.0,
      "val_domain_arithmetic_learned_state_prefix_fraction": 1.0,
      "val_domain_calendar_learned_executor_accuracy": 1.0,
      "val_domain_calendar_learned_state_exact": 1.0,
      "val_domain_calendar_learned_state_prefix_fraction": 1.0,
      "val_domain_unit_learned_executor_accuracy": 0.5,
      "val_domain_unit_learned_state_exact": 0.5,
      "val_domain_unit_learned_state_prefix_fraction": 0.8333333333333333,
      "val_domain_list_learned_executor_accuracy": 1.0,
      "val_domain_list_learned_state_exact": 1.0,
      "val_domain_list_learned_state_prefix_fraction": 1.0,
      "val_domain_boolean_learned_executor_accuracy": 1.0,
      "val_domain_boolean_learned_state_exact": 1.0,
      "val_domain_boolean_learned_state_prefix_fraction": 1.0,
      "val_domain_lookup_learned_executor_accuracy": 1.0,
      "val_domain_lookup_learned_state_exact": 1.0,
      "val_domain_lookup_learned_state_prefix_fraction": 1.0,
      "val_learned_oracle_gap_recovered": 0.0
    }
  ]
}