{
  "metadata": {
    "python": "3.12.3",
    "platform": "Linux-6.8.0-62-generic-x86_64-with-glibc2.39",
    "torch": "2.8.0+cu128",
    "cuda_available": true,
    "gpu_name": "NVIDIA RTX 6000 Ada Generation",
    "args": {
      "run_name": "pilot_iterative_paired_select_s96",
      "compiler_checkpoint": "large_artifacts/qwen_iterative_repair_policy/checkpoints/fixed_compiler_step00800",
      "train_examples": 96,
      "val_examples": 48,
      "val_pairs": 48,
      "eval_examples": 64,
      "eval_pairs": 64,
      "train_length": 24,
      "eval_length": 24,
      "train_template_modes": "standard,paraphrase",
      "repair_topk": 3,
      "repair_max_edits": 2,
      "repair_max_pair_arg_slots": 24,
      "qwen_batch_size": 8,
      "max_length": 384,
      "editor_d_model": 128,
      "editor_layers": 2,
      "editor_heads": 4,
      "editor_ff_mult": 4,
      "editor_dropout": 0.05,
      "editor_epochs": 8,
      "editor_lr": 0.001,
      "editor_weight_decay": 0.0001,
      "editor_target_mode": "oracle_or_base",
      "changed_slot_weight": 5.0,
      "base_copy_logit_bias": 5.0,
      "edit_gate_loss_weight": 1.0,
      "edit_value_loss_weight": 1.0,
      "edit_gate_pos_weight": 6.0,
      "unchanged_value_loss_weight": 0.1,
      "edit_threshold_grid": "0.2,0.3,0.4,0.5,0.6,0.7,0.8",
      "train_select_k_values": "1,2,3",
      "selection_split": "val_paired_len24",
      "eval_k_values": "0,1,2,3",
      "max_edits_per_iteration": 1,
      "augment_cases_per_group": 3,
      "augment_top_pool": 24,
      "augment_repairable_only": true,
      "include_target_noedit_case": true,
      "stats_candidate_traces": 8,
      "init_loss_weight": 1.0,
      "op_loss_weight": 1.0,
      "arg_loss_weight": 1.0,
      "grad_clip": 1.0,
      "seed": 203,
      "eval_seed": 203001
    },
    "compiler_args": {
      "model_id": "Qwen/Qwen3-4B",
      "modulus": 97,
      "max_steps": 24,
      "head_width": 768,
      "rank_temperature": 1.0,
      "arg_reader_mode": "after_op",
      "arg_window": 8,
      "arg_distance_temperature": 2.0
    },
    "feature_names": [
      "bias",
      "candidate_prior",
      "prior_delta",
      "candidate_prior_per_slot",
      "prior_delta_per_edit",
      "base_prior",
      "edit_count",
      "changed",
      "init_edit",
      "op_edit_count",
      "arg_edit_count",
      "edit_fraction",
      "first_edit_pos_norm",
      "last_edit_pos_norm",
      "mean_edit_pos_norm",
      "edit_span_norm",
      "mean_new_rank",
      "max_new_rank",
      "mean_changed_margin",
      "min_changed_margin",
      "mean_changed_entropy",
      "mean_logp_delta",
      "min_logp_delta",
      "max_logp_delta",
      "base_init_margin",
      "base_op_margin_mean",
      "base_op_margin_min",
      "base_arg_margin_mean",
      "base_arg_margin_min",
      "base_op_entropy_mean",
      "base_arg_entropy_mean",
      "candidate_answer_norm",
      "candidate_final_soft_logp",
      "candidate_state_soft_logp_mean",
      "candidate_state_soft_logp_min",
      "base_final_soft_logp",
      "base_state_soft_logp_mean",
      "answer_equals_base",
      "state_same_fraction_as_base",
      "state_prefix_same_as_base",
      "mean_old_value_norm",
      "mean_new_value_norm",
      "mean_abs_value_delta_norm",
      "arg_new_value_mean_norm",
      "arg_abs_delta_mean_norm",
      "op_new_add_frac",
      "op_new_sub_frac",
      "op_new_mul_frac",
      "candidate_add_frac",
      "candidate_sub_frac",
      "candidate_mul_frac",
      "candidate_arg_mean_norm",
      "candidate_arg_std_norm",
      "base_add_frac",
      "base_sub_frac",
      "base_mul_frac"
    ],
    "trace_feature_names": [
      "is_global",
      "is_step",
      "active",
      "step_pos_norm",
      "candidate_prior",
      "prior_delta",
      "edit_count",
      "init_value_norm",
      "init_changed",
      "answer_norm",
      "final_soft_logp",
      "base_final_soft_logp",
      "answer_equals_base",
      "op_add",
      "op_sub",
      "op_mul",
      "arg_norm",
      "state_norm",
      "state_soft_logp",
      "base_op_add",
      "base_op_sub",
      "base_op_mul",
      "base_arg_norm",
      "base_state_norm",
      "base_state_soft_logp",
      "op_changed",
      "arg_changed",
      "state_same_as_base",
      "op_logp",
      "arg_logp",
      "op_logp_delta",
      "arg_logp_delta",
      "op_margin",
      "arg_margin",
      "op_entropy",
      "arg_entropy"
    ],
    "editor_type": "iterative_sparse_edit_policy",
    "best_editor_epoch": 5,
    "best_editor_threshold": 0.7,
    "best_editor_k": 1,
    "train_seconds": 960.4804975986481
  },
  "metrics": {
    "train_len24_k0": {
      "n": 96.0,
      "k_steps": 0.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.8229166666666666,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.21875,
      "base_executor_accuracy": 0.22916666666666666,
      "base_program_exact": 0.22916666666666666,
      "base_state_prefix_fraction": 0.5069444444444446,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.8229166666666666,
      "oracle_program_exact": 0.8229166666666666,
      "oracle_state_prefix_fraction": 0.8589409722222223,
      "oracle_changed_fraction": 0.59375,
      "oracle_avg_edits": 0.8333333333333334,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.22916666666666666,
      "iter_program_exact": 0.22916666666666666,
      "iter_state_prefix_fraction": 0.5069444444444446,
      "iter_changed_fraction": 0.0,
      "iter_avg_edits": 0.0,
      "iter_in_candidate_set_fraction": 1.0,
      "iter_steps_used_mean": 0.0,
      "iter_total_iter_edits_mean": 0.0,
      "iter_oracle_gap_recovered": 0.0
    },
    "train_len24_k1": {
      "n": 96.0,
      "k_steps": 1.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.8229166666666666,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.21875,
      "base_executor_accuracy": 0.22916666666666666,
      "base_program_exact": 0.22916666666666666,
      "base_state_prefix_fraction": 0.5069444444444446,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.8229166666666666,
      "oracle_program_exact": 0.8229166666666666,
      "oracle_state_prefix_fraction": 0.8589409722222223,
      "oracle_changed_fraction": 0.59375,
      "oracle_avg_edits": 0.8333333333333334,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.22916666666666666,
      "iter_program_exact": 0.22916666666666666,
      "iter_state_prefix_fraction": 0.5069444444444446,
      "iter_changed_fraction": 0.041666666666666664,
      "iter_avg_edits": 0.041666666666666664,
      "iter_in_candidate_set_fraction": 0.9583333333333334,
      "iter_steps_used_mean": 0.041666666666666664,
      "iter_total_iter_edits_mean": 0.041666666666666664,
      "iter_oracle_gap_recovered": 0.0
    },
    "train_len24_k2": {
      "n": 96.0,
      "k_steps": 2.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.8229166666666666,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.21875,
      "base_executor_accuracy": 0.22916666666666666,
      "base_program_exact": 0.22916666666666666,
      "base_state_prefix_fraction": 0.5069444444444446,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.8229166666666666,
      "oracle_program_exact": 0.8229166666666666,
      "oracle_state_prefix_fraction": 0.8589409722222223,
      "oracle_changed_fraction": 0.59375,
      "oracle_avg_edits": 0.8333333333333334,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.22916666666666666,
      "iter_program_exact": 0.22916666666666666,
      "iter_state_prefix_fraction": 0.5069444444444446,
      "iter_changed_fraction": 0.041666666666666664,
      "iter_avg_edits": 0.041666666666666664,
      "iter_in_candidate_set_fraction": 0.9583333333333334,
      "iter_steps_used_mean": 0.08333333333333333,
      "iter_total_iter_edits_mean": 0.08333333333333333,
      "iter_oracle_gap_recovered": 0.0
    },
    "train_len24_k3": {
      "n": 96.0,
      "k_steps": 3.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.8229166666666666,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.21875,
      "base_executor_accuracy": 0.22916666666666666,
      "base_program_exact": 0.22916666666666666,
      "base_state_prefix_fraction": 0.5069444444444446,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.8229166666666666,
      "oracle_program_exact": 0.8229166666666666,
      "oracle_state_prefix_fraction": 0.8589409722222223,
      "oracle_changed_fraction": 0.59375,
      "oracle_avg_edits": 0.8333333333333334,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.22916666666666666,
      "iter_program_exact": 0.22916666666666666,
      "iter_state_prefix_fraction": 0.5069444444444446,
      "iter_changed_fraction": 0.041666666666666664,
      "iter_avg_edits": 0.052083333333333336,
      "iter_in_candidate_set_fraction": 0.9583333333333334,
      "iter_steps_used_mean": 0.125,
      "iter_total_iter_edits_mean": 0.125,
      "iter_oracle_gap_recovered": 0.0
    },
    "val_len24_k0": {
      "n": 48.0,
      "k_steps": 0.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.9166666666666666,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.1041666666666667,
      "base_executor_accuracy": 0.20833333333333334,
      "base_program_exact": 0.20833333333333334,
      "base_state_prefix_fraction": 0.5243055555555555,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.9166666666666666,
      "oracle_program_exact": 0.9166666666666666,
      "oracle_state_prefix_fraction": 0.9348958333333334,
      "oracle_changed_fraction": 0.7083333333333334,
      "oracle_avg_edits": 1.0208333333333333,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.20833333333333334,
      "iter_program_exact": 0.20833333333333334,
      "iter_state_prefix_fraction": 0.5243055555555555,
      "iter_changed_fraction": 0.0,
      "iter_avg_edits": 0.0,
      "iter_in_candidate_set_fraction": 1.0,
      "iter_steps_used_mean": 0.0,
      "iter_total_iter_edits_mean": 0.0,
      "iter_oracle_gap_recovered": 0.0
    },
    "val_len24_k1": {
      "n": 48.0,
      "k_steps": 1.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.9166666666666666,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.1041666666666667,
      "base_executor_accuracy": 0.20833333333333334,
      "base_program_exact": 0.20833333333333334,
      "base_state_prefix_fraction": 0.5243055555555555,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.9166666666666666,
      "oracle_program_exact": 0.9166666666666666,
      "oracle_state_prefix_fraction": 0.9348958333333334,
      "oracle_changed_fraction": 0.7083333333333334,
      "oracle_avg_edits": 1.0208333333333333,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.20833333333333334,
      "iter_program_exact": 0.20833333333333334,
      "iter_state_prefix_fraction": 0.5243055555555555,
      "iter_changed_fraction": 0.020833333333333332,
      "iter_avg_edits": 0.020833333333333332,
      "iter_in_candidate_set_fraction": 0.9791666666666666,
      "iter_steps_used_mean": 0.020833333333333332,
      "iter_total_iter_edits_mean": 0.020833333333333332,
      "iter_oracle_gap_recovered": 0.0
    },
    "val_len24_k2": {
      "n": 48.0,
      "k_steps": 2.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.9166666666666666,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.1041666666666667,
      "base_executor_accuracy": 0.20833333333333334,
      "base_program_exact": 0.20833333333333334,
      "base_state_prefix_fraction": 0.5243055555555555,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.9166666666666666,
      "oracle_program_exact": 0.9166666666666666,
      "oracle_state_prefix_fraction": 0.9348958333333334,
      "oracle_changed_fraction": 0.7083333333333334,
      "oracle_avg_edits": 1.0208333333333333,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.20833333333333334,
      "iter_program_exact": 0.20833333333333334,
      "iter_state_prefix_fraction": 0.5243055555555555,
      "iter_changed_fraction": 0.020833333333333332,
      "iter_avg_edits": 0.020833333333333332,
      "iter_in_candidate_set_fraction": 0.9791666666666666,
      "iter_steps_used_mean": 0.041666666666666664,
      "iter_total_iter_edits_mean": 0.041666666666666664,
      "iter_oracle_gap_recovered": 0.0
    },
    "val_len24_k3": {
      "n": 48.0,
      "k_steps": 3.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.9166666666666666,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.1041666666666667,
      "base_executor_accuracy": 0.20833333333333334,
      "base_program_exact": 0.20833333333333334,
      "base_state_prefix_fraction": 0.5243055555555555,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.9166666666666666,
      "oracle_program_exact": 0.9166666666666666,
      "oracle_state_prefix_fraction": 0.9348958333333334,
      "oracle_changed_fraction": 0.7083333333333334,
      "oracle_avg_edits": 1.0208333333333333,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.20833333333333334,
      "iter_program_exact": 0.20833333333333334,
      "iter_state_prefix_fraction": 0.5243055555555555,
      "iter_changed_fraction": 0.020833333333333332,
      "iter_avg_edits": 0.020833333333333332,
      "iter_in_candidate_set_fraction": 0.9791666666666666,
      "iter_steps_used_mean": 0.0625,
      "iter_total_iter_edits_mean": 0.0625,
      "iter_oracle_gap_recovered": 0.0
    },
    "val_paired_len24_k0": {
      "n": 96.0,
      "k_steps": 0.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.8333333333333334,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.2604166666666667,
      "base_executor_accuracy": 0.2916666666666667,
      "base_program_exact": 0.2916666666666667,
      "base_state_prefix_fraction": 0.575954861111111,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.8333333333333334,
      "oracle_program_exact": 0.8333333333333334,
      "oracle_state_prefix_fraction": 0.8671874999999997,
      "oracle_changed_fraction": 0.5416666666666666,
      "oracle_avg_edits": 0.6875,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.2916666666666667,
      "iter_program_exact": 0.2916666666666667,
      "iter_state_prefix_fraction": 0.575954861111111,
      "iter_changed_fraction": 0.0,
      "iter_avg_edits": 0.0,
      "iter_in_candidate_set_fraction": 1.0,
      "iter_steps_used_mean": 0.0,
      "iter_total_iter_edits_mean": 0.0,
      "iter_oracle_gap_recovered": 0.0,
      "base_pair_answer_consistency": 0.7083333333333334,
      "base_pair_both_correct": 0.2708333333333333,
      "base_pair_program_consistency": 0.7083333333333334,
      "base_pair_state_consistency": 0.7083333333333334,
      "oracle_pair_answer_consistency": 0.8541666666666666,
      "oracle_pair_both_correct": 0.8125,
      "oracle_pair_program_consistency": 0.8541666666666666,
      "oracle_pair_state_consistency": 0.8541666666666666,
      "iter_pair_answer_consistency": 0.7083333333333334,
      "iter_pair_both_correct": 0.2708333333333333,
      "iter_pair_program_consistency": 0.7083333333333334,
      "iter_pair_state_consistency": 0.7083333333333334
    },
    "val_paired_len24_k1": {
      "n": 96.0,
      "k_steps": 1.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.8333333333333334,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.2604166666666667,
      "base_executor_accuracy": 0.2916666666666667,
      "base_program_exact": 0.2916666666666667,
      "base_state_prefix_fraction": 0.575954861111111,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.8333333333333334,
      "oracle_program_exact": 0.8333333333333334,
      "oracle_state_prefix_fraction": 0.8671874999999997,
      "oracle_changed_fraction": 0.5416666666666666,
      "oracle_avg_edits": 0.6875,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.3125,
      "iter_program_exact": 0.3125,
      "iter_state_prefix_fraction": 0.5820312500000001,
      "iter_changed_fraction": 0.052083333333333336,
      "iter_avg_edits": 0.052083333333333336,
      "iter_in_candidate_set_fraction": 0.9791666666666666,
      "iter_steps_used_mean": 0.052083333333333336,
      "iter_total_iter_edits_mean": 0.052083333333333336,
      "iter_oracle_gap_recovered": 0.03846153846153842,
      "base_pair_answer_consistency": 0.7083333333333334,
      "base_pair_both_correct": 0.2708333333333333,
      "base_pair_program_consistency": 0.7083333333333334,
      "base_pair_state_consistency": 0.7083333333333334,
      "oracle_pair_answer_consistency": 0.8541666666666666,
      "oracle_pair_both_correct": 0.8125,
      "oracle_pair_program_consistency": 0.8541666666666666,
      "oracle_pair_state_consistency": 0.8541666666666666,
      "iter_pair_answer_consistency": 0.6458333333333334,
      "iter_pair_both_correct": 0.2708333333333333,
      "iter_pair_program_consistency": 0.6458333333333334,
      "iter_pair_state_consistency": 0.6458333333333334
    },
    "val_paired_len24_k2": {
      "n": 96.0,
      "k_steps": 2.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.8333333333333334,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.2604166666666667,
      "base_executor_accuracy": 0.2916666666666667,
      "base_program_exact": 0.2916666666666667,
      "base_state_prefix_fraction": 0.575954861111111,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.8333333333333334,
      "oracle_program_exact": 0.8333333333333334,
      "oracle_state_prefix_fraction": 0.8671874999999997,
      "oracle_changed_fraction": 0.5416666666666666,
      "oracle_avg_edits": 0.6875,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.3020833333333333,
      "iter_program_exact": 0.3020833333333333,
      "iter_state_prefix_fraction": 0.5768229166666667,
      "iter_changed_fraction": 0.052083333333333336,
      "iter_avg_edits": 0.052083333333333336,
      "iter_in_candidate_set_fraction": 0.96875,
      "iter_steps_used_mean": 0.09375,
      "iter_total_iter_edits_mean": 0.09375,
      "iter_oracle_gap_recovered": 0.01923076923076916,
      "base_pair_answer_consistency": 0.7083333333333334,
      "base_pair_both_correct": 0.2708333333333333,
      "base_pair_program_consistency": 0.7083333333333334,
      "base_pair_state_consistency": 0.7083333333333334,
      "oracle_pair_answer_consistency": 0.8541666666666666,
      "oracle_pair_both_correct": 0.8125,
      "oracle_pair_program_consistency": 0.8541666666666666,
      "oracle_pair_state_consistency": 0.8541666666666666,
      "iter_pair_answer_consistency": 0.6458333333333334,
      "iter_pair_both_correct": 0.2708333333333333,
      "iter_pair_program_consistency": 0.6458333333333334,
      "iter_pair_state_consistency": 0.6458333333333334
    },
    "val_paired_len24_k3": {
      "n": 96.0,
      "k_steps": 3.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.8333333333333334,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.2604166666666667,
      "base_executor_accuracy": 0.2916666666666667,
      "base_program_exact": 0.2916666666666667,
      "base_state_prefix_fraction": 0.575954861111111,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.8333333333333334,
      "oracle_program_exact": 0.8333333333333334,
      "oracle_state_prefix_fraction": 0.8671874999999997,
      "oracle_changed_fraction": 0.5416666666666666,
      "oracle_avg_edits": 0.6875,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.3020833333333333,
      "iter_program_exact": 0.3020833333333333,
      "iter_state_prefix_fraction": 0.5768229166666667,
      "iter_changed_fraction": 0.052083333333333336,
      "iter_avg_edits": 0.0625,
      "iter_in_candidate_set_fraction": 0.9583333333333334,
      "iter_steps_used_mean": 0.13541666666666666,
      "iter_total_iter_edits_mean": 0.13541666666666666,
      "iter_oracle_gap_recovered": 0.01923076923076916,
      "base_pair_answer_consistency": 0.7083333333333334,
      "base_pair_both_correct": 0.2708333333333333,
      "base_pair_program_consistency": 0.7083333333333334,
      "base_pair_state_consistency": 0.7083333333333334,
      "oracle_pair_answer_consistency": 0.8541666666666666,
      "oracle_pair_both_correct": 0.8125,
      "oracle_pair_program_consistency": 0.8541666666666666,
      "oracle_pair_state_consistency": 0.8541666666666666,
      "iter_pair_answer_consistency": 0.6458333333333334,
      "iter_pair_both_correct": 0.2708333333333333,
      "iter_pair_program_consistency": 0.6458333333333334,
      "iter_pair_state_consistency": 0.6458333333333334
    },
    "fresh_standard_len24_k0": {
      "n": 64.0,
      "k_steps": 0.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.890625,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.28125,
      "base_executor_accuracy": 0.34375,
      "base_program_exact": 0.34375,
      "base_state_prefix_fraction": 0.5865885416666666,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.890625,
      "oracle_program_exact": 0.890625,
      "oracle_state_prefix_fraction": 0.9134114583333333,
      "oracle_changed_fraction": 0.546875,
      "oracle_avg_edits": 0.765625,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.34375,
      "iter_program_exact": 0.34375,
      "iter_state_prefix_fraction": 0.5865885416666666,
      "iter_changed_fraction": 0.0,
      "iter_avg_edits": 0.0,
      "iter_in_candidate_set_fraction": 1.0,
      "iter_steps_used_mean": 0.0,
      "iter_total_iter_edits_mean": 0.0,
      "iter_oracle_gap_recovered": 0.0
    },
    "fresh_standard_len24_k1": {
      "n": 64.0,
      "k_steps": 1.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.890625,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.28125,
      "base_executor_accuracy": 0.34375,
      "base_program_exact": 0.34375,
      "base_state_prefix_fraction": 0.5865885416666666,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.890625,
      "oracle_program_exact": 0.890625,
      "oracle_state_prefix_fraction": 0.9134114583333333,
      "oracle_changed_fraction": 0.546875,
      "oracle_avg_edits": 0.765625,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.34375,
      "iter_program_exact": 0.34375,
      "iter_state_prefix_fraction": 0.5891927083333333,
      "iter_changed_fraction": 0.03125,
      "iter_avg_edits": 0.03125,
      "iter_in_candidate_set_fraction": 1.0,
      "iter_steps_used_mean": 0.03125,
      "iter_total_iter_edits_mean": 0.03125,
      "iter_oracle_gap_recovered": 0.0
    },
    "fresh_standard_len24_k2": {
      "n": 64.0,
      "k_steps": 2.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.890625,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.28125,
      "base_executor_accuracy": 0.34375,
      "base_program_exact": 0.34375,
      "base_state_prefix_fraction": 0.5865885416666666,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.890625,
      "oracle_program_exact": 0.890625,
      "oracle_state_prefix_fraction": 0.9134114583333333,
      "oracle_changed_fraction": 0.546875,
      "oracle_avg_edits": 0.765625,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.34375,
      "iter_program_exact": 0.34375,
      "iter_state_prefix_fraction": 0.5891927083333333,
      "iter_changed_fraction": 0.03125,
      "iter_avg_edits": 0.03125,
      "iter_in_candidate_set_fraction": 0.984375,
      "iter_steps_used_mean": 0.046875,
      "iter_total_iter_edits_mean": 0.046875,
      "iter_oracle_gap_recovered": 0.0
    },
    "fresh_standard_len24_k3": {
      "n": 64.0,
      "k_steps": 3.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.890625,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.28125,
      "base_executor_accuracy": 0.34375,
      "base_program_exact": 0.34375,
      "base_state_prefix_fraction": 0.5865885416666666,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.890625,
      "oracle_program_exact": 0.890625,
      "oracle_state_prefix_fraction": 0.9134114583333333,
      "oracle_changed_fraction": 0.546875,
      "oracle_avg_edits": 0.765625,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.34375,
      "iter_program_exact": 0.34375,
      "iter_state_prefix_fraction": 0.5891927083333333,
      "iter_changed_fraction": 0.03125,
      "iter_avg_edits": 0.03125,
      "iter_in_candidate_set_fraction": 0.984375,
      "iter_steps_used_mean": 0.0625,
      "iter_total_iter_edits_mean": 0.0625,
      "iter_oracle_gap_recovered": 0.0
    },
    "fresh_paraphrase_len24_k0": {
      "n": 64.0,
      "k_steps": 0.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.875,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.34375,
      "base_executor_accuracy": 0.328125,
      "base_program_exact": 0.328125,
      "base_state_prefix_fraction": 0.5618489583333334,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.875,
      "oracle_program_exact": 0.859375,
      "oracle_state_prefix_fraction": 0.8964843749999999,
      "oracle_changed_fraction": 0.546875,
      "oracle_avg_edits": 0.765625,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.328125,
      "iter_program_exact": 0.328125,
      "iter_state_prefix_fraction": 0.5618489583333334,
      "iter_changed_fraction": 0.0,
      "iter_avg_edits": 0.0,
      "iter_in_candidate_set_fraction": 1.0,
      "iter_steps_used_mean": 0.0,
      "iter_total_iter_edits_mean": 0.0,
      "iter_oracle_gap_recovered": 0.0
    },
    "fresh_paraphrase_len24_k1": {
      "n": 64.0,
      "k_steps": 1.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.875,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.34375,
      "base_executor_accuracy": 0.328125,
      "base_program_exact": 0.328125,
      "base_state_prefix_fraction": 0.5618489583333334,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.875,
      "oracle_program_exact": 0.859375,
      "oracle_state_prefix_fraction": 0.8964843749999999,
      "oracle_changed_fraction": 0.546875,
      "oracle_avg_edits": 0.765625,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.328125,
      "iter_program_exact": 0.328125,
      "iter_state_prefix_fraction": 0.5618489583333334,
      "iter_changed_fraction": 0.03125,
      "iter_avg_edits": 0.03125,
      "iter_in_candidate_set_fraction": 0.96875,
      "iter_steps_used_mean": 0.03125,
      "iter_total_iter_edits_mean": 0.03125,
      "iter_oracle_gap_recovered": 0.0
    },
    "fresh_paraphrase_len24_k2": {
      "n": 64.0,
      "k_steps": 2.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.875,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.34375,
      "base_executor_accuracy": 0.328125,
      "base_program_exact": 0.328125,
      "base_state_prefix_fraction": 0.5618489583333334,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.875,
      "oracle_program_exact": 0.859375,
      "oracle_state_prefix_fraction": 0.8964843749999999,
      "oracle_changed_fraction": 0.546875,
      "oracle_avg_edits": 0.765625,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.328125,
      "iter_program_exact": 0.328125,
      "iter_state_prefix_fraction": 0.5618489583333334,
      "iter_changed_fraction": 0.03125,
      "iter_avg_edits": 0.03125,
      "iter_in_candidate_set_fraction": 0.96875,
      "iter_steps_used_mean": 0.0625,
      "iter_total_iter_edits_mean": 0.0625,
      "iter_oracle_gap_recovered": 0.0
    },
    "fresh_paraphrase_len24_k3": {
      "n": 64.0,
      "k_steps": 3.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.875,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.34375,
      "base_executor_accuracy": 0.328125,
      "base_program_exact": 0.328125,
      "base_state_prefix_fraction": 0.5618489583333334,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.875,
      "oracle_program_exact": 0.859375,
      "oracle_state_prefix_fraction": 0.8964843749999999,
      "oracle_changed_fraction": 0.546875,
      "oracle_avg_edits": 0.765625,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.328125,
      "iter_program_exact": 0.328125,
      "iter_state_prefix_fraction": 0.5618489583333334,
      "iter_changed_fraction": 0.03125,
      "iter_avg_edits": 0.046875,
      "iter_in_candidate_set_fraction": 0.96875,
      "iter_steps_used_mean": 0.09375,
      "iter_total_iter_edits_mean": 0.09375,
      "iter_oracle_gap_recovered": 0.0
    },
    "fresh_paired_len24_k0": {
      "n": 128.0,
      "k_steps": 0.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.8515625,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.59375,
      "base_executor_accuracy": 0.3125,
      "base_program_exact": 0.3125,
      "base_state_prefix_fraction": 0.5823567708333336,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.8515625,
      "oracle_program_exact": 0.8515625,
      "oracle_state_prefix_fraction": 0.8736979166666665,
      "oracle_changed_fraction": 0.5390625,
      "oracle_avg_edits": 0.765625,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.3125,
      "iter_program_exact": 0.3125,
      "iter_state_prefix_fraction": 0.5823567708333336,
      "iter_changed_fraction": 0.0,
      "iter_avg_edits": 0.0,
      "iter_in_candidate_set_fraction": 1.0,
      "iter_steps_used_mean": 0.0,
      "iter_total_iter_edits_mean": 0.0,
      "iter_oracle_gap_recovered": 0.0,
      "base_pair_answer_consistency": 0.734375,
      "base_pair_both_correct": 0.296875,
      "base_pair_program_consistency": 0.734375,
      "base_pair_state_consistency": 0.734375,
      "oracle_pair_answer_consistency": 0.859375,
      "oracle_pair_both_correct": 0.84375,
      "oracle_pair_program_consistency": 0.859375,
      "oracle_pair_state_consistency": 0.859375,
      "iter_pair_answer_consistency": 0.734375,
      "iter_pair_both_correct": 0.296875,
      "iter_pair_program_consistency": 0.734375,
      "iter_pair_state_consistency": 0.734375
    },
    "fresh_paired_len24_k1": {
      "n": 128.0,
      "k_steps": 1.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.8515625,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.59375,
      "base_executor_accuracy": 0.3125,
      "base_program_exact": 0.3125,
      "base_state_prefix_fraction": 0.5823567708333336,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.8515625,
      "oracle_program_exact": 0.8515625,
      "oracle_state_prefix_fraction": 0.8736979166666665,
      "oracle_changed_fraction": 0.5390625,
      "oracle_avg_edits": 0.765625,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.3125,
      "iter_program_exact": 0.3125,
      "iter_state_prefix_fraction": 0.5823567708333336,
      "iter_changed_fraction": 0.0390625,
      "iter_avg_edits": 0.0390625,
      "iter_in_candidate_set_fraction": 0.9765625,
      "iter_steps_used_mean": 0.0390625,
      "iter_total_iter_edits_mean": 0.0390625,
      "iter_oracle_gap_recovered": 0.0,
      "base_pair_answer_consistency": 0.734375,
      "base_pair_both_correct": 0.296875,
      "base_pair_program_consistency": 0.734375,
      "base_pair_state_consistency": 0.734375,
      "oracle_pair_answer_consistency": 0.859375,
      "oracle_pair_both_correct": 0.84375,
      "oracle_pair_program_consistency": 0.859375,
      "oracle_pair_state_consistency": 0.859375,
      "iter_pair_answer_consistency": 0.71875,
      "iter_pair_both_correct": 0.296875,
      "iter_pair_program_consistency": 0.71875,
      "iter_pair_state_consistency": 0.71875
    },
    "fresh_paired_len24_k2": {
      "n": 128.0,
      "k_steps": 2.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.8515625,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.59375,
      "base_executor_accuracy": 0.3125,
      "base_program_exact": 0.3125,
      "base_state_prefix_fraction": 0.5823567708333336,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.8515625,
      "oracle_program_exact": 0.8515625,
      "oracle_state_prefix_fraction": 0.8736979166666665,
      "oracle_changed_fraction": 0.5390625,
      "oracle_avg_edits": 0.765625,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.3125,
      "iter_program_exact": 0.3125,
      "iter_state_prefix_fraction": 0.5823567708333336,
      "iter_changed_fraction": 0.0390625,
      "iter_avg_edits": 0.0390625,
      "iter_in_candidate_set_fraction": 0.9765625,
      "iter_steps_used_mean": 0.0625,
      "iter_total_iter_edits_mean": 0.0625,
      "iter_oracle_gap_recovered": 0.0,
      "base_pair_answer_consistency": 0.734375,
      "base_pair_both_correct": 0.296875,
      "base_pair_program_consistency": 0.734375,
      "base_pair_state_consistency": 0.734375,
      "oracle_pair_answer_consistency": 0.859375,
      "oracle_pair_both_correct": 0.84375,
      "oracle_pair_program_consistency": 0.859375,
      "oracle_pair_state_consistency": 0.859375,
      "iter_pair_answer_consistency": 0.71875,
      "iter_pair_both_correct": 0.296875,
      "iter_pair_program_consistency": 0.71875,
      "iter_pair_state_consistency": 0.71875
    },
    "fresh_paired_len24_k3": {
      "n": 128.0,
      "k_steps": 3.0,
      "threshold": 0.7,
      "oracle_found_fraction": 0.8515625,
      "avg_candidates": 1299.0,
      "avg_positive_candidates": 1.59375,
      "base_executor_accuracy": 0.3125,
      "base_program_exact": 0.3125,
      "base_state_prefix_fraction": 0.5823567708333336,
      "base_changed_fraction": 0.0,
      "base_avg_edits": 0.0,
      "base_in_candidate_set_fraction": 1.0,
      "oracle_executor_accuracy": 0.8515625,
      "oracle_program_exact": 0.8515625,
      "oracle_state_prefix_fraction": 0.8736979166666665,
      "oracle_changed_fraction": 0.5390625,
      "oracle_avg_edits": 0.765625,
      "oracle_in_candidate_set_fraction": 1.0,
      "iter_executor_accuracy": 0.3125,
      "iter_program_exact": 0.3125,
      "iter_state_prefix_fraction": 0.5823567708333336,
      "iter_changed_fraction": 0.0390625,
      "iter_avg_edits": 0.0625,
      "iter_in_candidate_set_fraction": 0.9765625,
      "iter_steps_used_mean": 0.0859375,
      "iter_total_iter_edits_mean": 0.0859375,
      "iter_oracle_gap_recovered": 0.0,
      "base_pair_answer_consistency": 0.734375,
      "base_pair_both_correct": 0.296875,
      "base_pair_program_consistency": 0.734375,
      "base_pair_state_consistency": 0.734375,
      "oracle_pair_answer_consistency": 0.859375,
      "oracle_pair_both_correct": 0.84375,
      "oracle_pair_program_consistency": 0.859375,
      "oracle_pair_state_consistency": 0.859375,
      "iter_pair_answer_consistency": 0.71875,
      "iter_pair_both_correct": 0.296875,
      "iter_pair_program_consistency": 0.71875,
      "iter_pair_state_consistency": 0.71875
    }
  },
  "train_log": [
    {
      "epoch": 1,
      "train_groups": 96,
      "train_cases": 480,
      "train_loss": 8.652944141626358,
      "train_gate_loss": 0.3993306879225808,
      "train_value_loss": 8.253613447149595,
      "train_target_changed_slots": 1.15,
      "train_target_changed_fraction": 0.023469387755101965,
      "val_selected_threshold": 0.5,
      "val_selected_k": 1,
      "val_n": 96.0,
      "val_k_steps": 1.0,
      "val_threshold": 0.5,
      "val_oracle_found_fraction": 0.8333333333333334,
      "val_avg_candidates": 1299.0,
      "val_avg_positive_candidates": 1.2604166666666667,
      "val_base_executor_accuracy": 0.2916666666666667,
      "val_base_program_exact": 0.2916666666666667,
      "val_base_state_prefix_fraction": 0.575954861111111,
      "val_base_changed_fraction": 0.0,
      "val_base_avg_edits": 0.0,
      "val_base_in_candidate_set_fraction": 1.0,
      "val_oracle_executor_accuracy": 0.8333333333333334,
      "val_oracle_program_exact": 0.8333333333333334,
      "val_oracle_state_prefix_fraction": 0.8671874999999997,
      "val_oracle_changed_fraction": 0.5416666666666666,
      "val_oracle_avg_edits": 0.6875,
      "val_oracle_in_candidate_set_fraction": 1.0,
      "val_iter_executor_accuracy": 0.2916666666666667,
      "val_iter_program_exact": 0.2916666666666667,
      "val_iter_state_prefix_fraction": 0.575954861111111,
      "val_iter_changed_fraction": 0.0,
      "val_iter_avg_edits": 0.0,
      "val_iter_in_candidate_set_fraction": 1.0,
      "val_iter_steps_used_mean": 0.0,
      "val_iter_total_iter_edits_mean": 0.0,
      "val_iter_oracle_gap_recovered": 0.0
    },
    {
      "epoch": 2,
      "train_groups": 96,
      "train_cases": 480,
      "train_loss": 7.956500278910001,
      "train_gate_loss": 0.3604433029152763,
      "train_value_loss": 7.596056983868281,
      "train_target_changed_slots": 1.1541666666666666,
      "train_target_changed_fraction": 0.023554421768707444,
      "val_selected_threshold": 0.6,
      "val_selected_k": 1,
      "val_n": 96.0,
      "val_k_steps": 1.0,
      "val_threshold": 0.6,
      "val_oracle_found_fraction": 0.8333333333333334,
      "val_avg_candidates": 1299.0,
      "val_avg_positive_candidates": 1.2604166666666667,
      "val_base_executor_accuracy": 0.2916666666666667,
      "val_base_program_exact": 0.2916666666666667,
      "val_base_state_prefix_fraction": 0.575954861111111,
      "val_base_changed_fraction": 0.0,
      "val_base_avg_edits": 0.0,
      "val_base_in_candidate_set_fraction": 1.0,
      "val_oracle_executor_accuracy": 0.8333333333333334,
      "val_oracle_program_exact": 0.8333333333333334,
      "val_oracle_state_prefix_fraction": 0.8671874999999997,
      "val_oracle_changed_fraction": 0.5416666666666666,
      "val_oracle_avg_edits": 0.6875,
      "val_oracle_in_candidate_set_fraction": 1.0,
      "val_iter_executor_accuracy": 0.2916666666666667,
      "val_iter_program_exact": 0.2916666666666667,
      "val_iter_state_prefix_fraction": 0.575954861111111,
      "val_iter_changed_fraction": 0.03125,
      "val_iter_avg_edits": 0.03125,
      "val_iter_in_candidate_set_fraction": 0.96875,
      "val_iter_steps_used_mean": 0.03125,
      "val_iter_total_iter_edits_mean": 0.03125,
      "val_iter_oracle_gap_recovered": 0.0
    },
    {
      "epoch": 3,
      "train_groups": 96,
      "train_cases": 480,
      "train_loss": 7.561309569080671,
      "train_gate_loss": 0.3440040797771265,
      "train_value_loss": 7.217305494348208,
      "train_target_changed_slots": 1.1583333333333334,
      "train_target_changed_fraction": 0.023639455782312867,
      "val_selected_threshold": 0.4,
      "val_selected_k": 1,
      "val_n": 96.0,
      "val_k_steps": 1.0,
      "val_threshold": 0.4,
      "val_oracle_found_fraction": 0.8333333333333334,
      "val_avg_candidates": 1299.0,
      "val_avg_positive_candidates": 1.2604166666666667,
      "val_base_executor_accuracy": 0.2916666666666667,
      "val_base_program_exact": 0.2916666666666667,
      "val_base_state_prefix_fraction": 0.575954861111111,
      "val_base_changed_fraction": 0.0,
      "val_base_avg_edits": 0.0,
      "val_base_in_candidate_set_fraction": 1.0,
      "val_oracle_executor_accuracy": 0.8333333333333334,
      "val_oracle_program_exact": 0.8333333333333334,
      "val_oracle_state_prefix_fraction": 0.8671874999999997,
      "val_oracle_changed_fraction": 0.5416666666666666,
      "val_oracle_avg_edits": 0.6875,
      "val_oracle_in_candidate_set_fraction": 1.0,
      "val_iter_executor_accuracy": 0.2916666666666667,
      "val_iter_program_exact": 0.2916666666666667,
      "val_iter_state_prefix_fraction": 0.575954861111111,
      "val_iter_changed_fraction": 0.0,
      "val_iter_avg_edits": 0.0,
      "val_iter_in_candidate_set_fraction": 1.0,
      "val_iter_steps_used_mean": 0.0,
      "val_iter_total_iter_edits_mean": 0.0,
      "val_iter_oracle_gap_recovered": 0.0
    },
    {
      "epoch": 4,
      "train_groups": 96,
      "train_cases": 480,
      "train_loss": 7.39646805425485,
      "train_gate_loss": 0.318653220225436,
      "train_value_loss": 7.077814836303393,
      "train_target_changed_slots": 1.1395833333333334,
      "train_target_changed_fraction": 0.02325680272108836,
      "val_selected_threshold": 0.7,
      "val_selected_k": 1,
      "val_n": 96.0,
      "val_k_steps": 1.0,
      "val_threshold": 0.7,
      "val_oracle_found_fraction": 0.8333333333333334,
      "val_avg_candidates": 1299.0,
      "val_avg_positive_candidates": 1.2604166666666667,
      "val_base_executor_accuracy": 0.2916666666666667,
      "val_base_program_exact": 0.2916666666666667,
      "val_base_state_prefix_fraction": 0.575954861111111,
      "val_base_changed_fraction": 0.0,
      "val_base_avg_edits": 0.0,
      "val_base_in_candidate_set_fraction": 1.0,
      "val_oracle_executor_accuracy": 0.8333333333333334,
      "val_oracle_program_exact": 0.8333333333333334,
      "val_oracle_state_prefix_fraction": 0.8671874999999997,
      "val_oracle_changed_fraction": 0.5416666666666666,
      "val_oracle_avg_edits": 0.6875,
      "val_oracle_in_candidate_set_fraction": 1.0,
      "val_iter_executor_accuracy": 0.2916666666666667,
      "val_iter_program_exact": 0.2916666666666667,
      "val_iter_state_prefix_fraction": 0.575954861111111,
      "val_iter_changed_fraction": 0.0,
      "val_iter_avg_edits": 0.0,
      "val_iter_in_candidate_set_fraction": 1.0,
      "val_iter_steps_used_mean": 0.0,
      "val_iter_total_iter_edits_mean": 0.0,
      "val_iter_oracle_gap_recovered": 0.0
    },
    {
      "epoch": 5,
      "train_groups": 96,
      "train_cases": 480,
      "train_loss": 7.207113761703173,
      "train_gate_loss": 0.3000566621582645,
      "train_value_loss": 6.9070570975542065,
      "train_target_changed_slots": 1.1354166666666667,
      "train_target_changed_fraction": 0.023171768707482946,
      "val_selected_threshold": 0.7,
      "val_selected_k": 1,
      "val_n": 96.0,
      "val_k_steps": 1.0,
      "val_threshold": 0.7,
      "val_oracle_found_fraction": 0.8333333333333334,
      "val_avg_candidates": 1299.0,
      "val_avg_positive_candidates": 1.2604166666666667,
      "val_base_executor_accuracy": 0.2916666666666667,
      "val_base_program_exact": 0.2916666666666667,
      "val_base_state_prefix_fraction": 0.575954861111111,
      "val_base_changed_fraction": 0.0,
      "val_base_avg_edits": 0.0,
      "val_base_in_candidate_set_fraction": 1.0,
      "val_oracle_executor_accuracy": 0.8333333333333334,
      "val_oracle_program_exact": 0.8333333333333334,
      "val_oracle_state_prefix_fraction": 0.8671874999999997,
      "val_oracle_changed_fraction": 0.5416666666666666,
      "val_oracle_avg_edits": 0.6875,
      "val_oracle_in_candidate_set_fraction": 1.0,
      "val_iter_executor_accuracy": 0.3125,
      "val_iter_program_exact": 0.3125,
      "val_iter_state_prefix_fraction": 0.5820312500000001,
      "val_iter_changed_fraction": 0.052083333333333336,
      "val_iter_avg_edits": 0.052083333333333336,
      "val_iter_in_candidate_set_fraction": 0.9791666666666666,
      "val_iter_steps_used_mean": 0.052083333333333336,
      "val_iter_total_iter_edits_mean": 0.052083333333333336,
      "val_iter_oracle_gap_recovered": 0.03846153846153842
    },
    {
      "epoch": 6,
      "train_groups": 96,
      "train_cases": 480,
      "train_loss": 6.995734182993571,
      "train_gate_loss": 0.30440494865955164,
      "train_value_loss": 6.691329224904378,
      "train_target_changed_slots": 1.1583333333333334,
      "train_target_changed_fraction": 0.023639455782312847,
      "val_selected_threshold": 0.8,
      "val_selected_k": 1,
      "val_n": 96.0,
      "val_k_steps": 1.0,
      "val_threshold": 0.8,
      "val_oracle_found_fraction": 0.8333333333333334,
      "val_avg_candidates": 1299.0,
      "val_avg_positive_candidates": 1.2604166666666667,
      "val_base_executor_accuracy": 0.2916666666666667,
      "val_base_program_exact": 0.2916666666666667,
      "val_base_state_prefix_fraction": 0.575954861111111,
      "val_base_changed_fraction": 0.0,
      "val_base_avg_edits": 0.0,
      "val_base_in_candidate_set_fraction": 1.0,
      "val_oracle_executor_accuracy": 0.8333333333333334,
      "val_oracle_program_exact": 0.8333333333333334,
      "val_oracle_state_prefix_fraction": 0.8671874999999997,
      "val_oracle_changed_fraction": 0.5416666666666666,
      "val_oracle_avg_edits": 0.6875,
      "val_oracle_in_candidate_set_fraction": 1.0,
      "val_iter_executor_accuracy": 0.2916666666666667,
      "val_iter_program_exact": 0.2916666666666667,
      "val_iter_state_prefix_fraction": 0.575954861111111,
      "val_iter_changed_fraction": 0.020833333333333332,
      "val_iter_avg_edits": 0.020833333333333332,
      "val_iter_in_candidate_set_fraction": 0.9791666666666666,
      "val_iter_steps_used_mean": 0.020833333333333332,
      "val_iter_total_iter_edits_mean": 0.020833333333333332,
      "val_iter_oracle_gap_recovered": 0.0
    },
    {
      "epoch": 7,
      "train_groups": 96,
      "train_cases": 480,
      "train_loss": 6.722834832469622,
      "train_gate_loss": 0.2776171340063835,
      "train_value_loss": 6.445217686891556,
      "train_target_changed_slots": 1.16875,
      "train_target_changed_fraction": 0.023852040816326487,
      "val_selected_threshold": 0.6,
      "val_selected_k": 1,
      "val_n": 96.0,
      "val_k_steps": 1.0,
      "val_threshold": 0.6,
      "val_oracle_found_fraction": 0.8333333333333334,
      "val_avg_candidates": 1299.0,
      "val_avg_positive_candidates": 1.2604166666666667,
      "val_base_executor_accuracy": 0.2916666666666667,
      "val_base_program_exact": 0.2916666666666667,
      "val_base_state_prefix_fraction": 0.575954861111111,
      "val_base_changed_fraction": 0.0,
      "val_base_avg_edits": 0.0,
      "val_base_in_candidate_set_fraction": 1.0,
      "val_oracle_executor_accuracy": 0.8333333333333334,
      "val_oracle_program_exact": 0.8333333333333334,
      "val_oracle_state_prefix_fraction": 0.8671874999999997,
      "val_oracle_changed_fraction": 0.5416666666666666,
      "val_oracle_avg_edits": 0.6875,
      "val_oracle_in_candidate_set_fraction": 1.0,
      "val_iter_executor_accuracy": 0.2916666666666667,
      "val_iter_program_exact": 0.2916666666666667,
      "val_iter_state_prefix_fraction": 0.575954861111111,
      "val_iter_changed_fraction": 0.0,
      "val_iter_avg_edits": 0.0,
      "val_iter_in_candidate_set_fraction": 1.0,
      "val_iter_steps_used_mean": 0.0,
      "val_iter_total_iter_edits_mean": 0.0,
      "val_iter_oracle_gap_recovered": 0.0
    },
    {
      "epoch": 8,
      "train_groups": 96,
      "train_cases": 480,
      "train_loss": 6.6876290291547775,
      "train_gate_loss": 0.24368266249269557,
      "train_value_loss": 6.4439463724692665,
      "train_target_changed_slots": 1.1479166666666667,
      "train_target_changed_fraction": 0.02342687074829926,
      "val_selected_threshold": 0.8,
      "val_selected_k": 1,
      "val_n": 96.0,
      "val_k_steps": 1.0,
      "val_threshold": 0.8,
      "val_oracle_found_fraction": 0.8333333333333334,
      "val_avg_candidates": 1299.0,
      "val_avg_positive_candidates": 1.2604166666666667,
      "val_base_executor_accuracy": 0.2916666666666667,
      "val_base_program_exact": 0.2916666666666667,
      "val_base_state_prefix_fraction": 0.575954861111111,
      "val_base_changed_fraction": 0.0,
      "val_base_avg_edits": 0.0,
      "val_base_in_candidate_set_fraction": 1.0,
      "val_oracle_executor_accuracy": 0.8333333333333334,
      "val_oracle_program_exact": 0.8333333333333334,
      "val_oracle_state_prefix_fraction": 0.8671874999999997,
      "val_oracle_changed_fraction": 0.5416666666666666,
      "val_oracle_avg_edits": 0.6875,
      "val_oracle_in_candidate_set_fraction": 1.0,
      "val_iter_executor_accuracy": 0.2916666666666667,
      "val_iter_program_exact": 0.2916666666666667,
      "val_iter_state_prefix_fraction": 0.575954861111111,
      "val_iter_changed_fraction": 0.020833333333333332,
      "val_iter_avg_edits": 0.020833333333333332,
      "val_iter_in_candidate_set_fraction": 0.9895833333333334,
      "val_iter_steps_used_mean": 0.020833333333333332,
      "val_iter_total_iter_edits_mean": 0.020833333333333332,
      "val_iter_oracle_gap_recovered": 0.0
    }
  ]
}