Проверка чувствительности и повторяемости нового инструмента на трёх точных текстах главы.
Базовый пилот: валидны 7/9; без валидного результата 2 (ответы отклонены: 2; вызов не завершён: 0; ещё не запущены: 0). Поправка к сравнениям: валидны 3/3; ожидают результата 0. Источниковая проверка конституции: валидны 3/3; ожидают результата 0.
Пилот не является оценкой людей, доказательством причинного улучшения или разрешением на публикацию.
| Версия | Задание | Итог | Неудачных попыток | Пояснение |
|---|---|---|---|---|
| ch01-v25-futuristic · проверка конституции | j001 · constitution | валиден | 1 | |
| ch01-v15-dialogue · проверка конституции | j001 · constitution | валиден | 0 | |
| ch01-v01 · проверка конституции | j001 · constitution | валиден | 0 | |
| ch01-v25-futuristic · поправка к сравнению | j001 · comparison | валиден | 0 | |
| ch01-v25-futuristic · поправка к сравнению | j001 · comparison | валиден | 0 | |
| ch01-v15-dialogue · поправка к сравнению | j001 · comparison | валиден | 0 | |
| ch01-v25-futuristic | j004 · comparison | ответ отклонён | 1 | В оценке индикатора не приведены подтверждения с обеих сторон пары. |
| ch01-v25-futuristic | j003 · comparison | ответ отклонён | 2 | В оценке критерия не приведены подтверждения с обеих сторон пары. |
| ch01-v25-futuristic | j002 · diagnostic | валиден | 0 | |
| ch01-v25-futuristic | j001 · diagnostic | валиден | 0 | |
| ch01-v15-dialogue | j001 · diagnostic | валиден | 0 | |
| ch01-v15-dialogue | j002 · diagnostic | валиден | 0 | |
| ch01-v15-dialogue | j003 · comparison | валиден | 0 | |
| ch01-v01 | j002 · diagnostic | валиден | 1 | |
| ch01-v01 | j001 · diagnostic | валиден | 1 |
| Версия | Критерии | Слепые пары | Заданий |
|---|---|---|---|
| ch01-v01 | 2 свежих чтения всех критериев | — | 2 |
| ch01-v15-dialogue | 2 свежих чтения всех критериев | v15↔v01 | 3 |
| ch01-v25-futuristic | 2 свежих чтения всех критериев | v25↔v01; v25↔v15 | 4 |
| Итого | 6 диагностик | 3 сравнения | 9 |
После исходного плана отдельно зарегистрировали 3 слепых сравнений с уточнённым требованием доказательств по обеим версиям пары. Первые ответы остались в журнале как отклонённые; эти повторы их не переписывают.
Отдельно зарегистрировано 3 source-bound проверок конституции по корпусу K01–K18. Они заполняют измерение, которого не было в базовых диагностических заданиях.
Сравниваются 15 критериев, в том числе точные юмористические биты и их контекст. Отдельно считаются согласие двух чтений и выбор по каждому индикатору. Общего рейтинга нет.
| Версия | Диагностики | Повторяемость категорий / индикаторов | Комические биты двух чтений | Слепое сравнение |
|---|---|---|---|---|
| ch01-v25-futuristic | 2/2 | 13/15 (86.7%); 44/46 (95.7%) | 6 (5.445/1000 слов); 5 (4.537/1000 слов); точное совпадение разметок 0/1 | Валидных слепых сравнений: 0/2; ответы отклонены проверкой доказательств. |
| ch01-v15-dialogue | 2/2 | 12/15 (80.0%); 40/46 (87.0%) | 6 (6.452/1000 слов); 7 (7.527/1000 слов); точное совпадение разметок 0/1 | ch01-v15-dialogue ↔ ch01-v01: общий выбор ch01-v15-dialogue; критерии {"ch01-v15-dialogue": 5, "ничья": 9, "недостаточно данных": 1} |
| ch01-v01 | 2/2 | 15/15 (100.0%); 43/46 (93.5%) | 7 (7.511/1000 слов); 7 (7.511/1000 слов); точное совпадение разметок 0/1 | Слепых сравнений не планировалось. |
| ch01-v25-futuristic · поправка к сравнению | — | — | — | ch01-v25-futuristic ↔ ch01-v15-dialogue: общий выбор ch01-v15-dialogue; критерии {"ch01-v25-futuristic": 5, "ch01-v15-dialogue": 8, "ничья": 1, "недостаточно данных": 1} |
| ch01-v25-futuristic · поправка к сравнению | — | — | — | ch01-v25-futuristic ↔ ch01-v01: общий выбор ch01-v25-futuristic; критерии {"ch01-v25-futuristic": 8, "ch01-v01": 5, "ничья": 1, "недостаточно данных": 1} |
| ch01-v15-dialogue · поправка к сравнению | — | — | — | ch01-v15-dialogue ↔ ch01-v01: общий выбор ch01-v15-dialogue; критерии {"ch01-v15-dialogue": 5, "ничья": 9, "недостаточно данных": 1} |
| Слепая пара | Критерий | Индикатор | Выбор Sol |
|---|---|---|---|
| ch01-v15-dialogue ↔ ch01-v01 | humor | comic_beats | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | humor | comic_mechanism | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | humor | character_integration | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | humor | tension_compatibility | ничья |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | humor | comic_beats | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | humor | comic_mechanism | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | humor | character_integration | ничья |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | humor | tension_compatibility | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | humor | comic_beats | ch01-v01 |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | humor | comic_mechanism | ch01-v01 |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | humor | character_integration | ch01-v01 |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | humor | tension_compatibility | ch01-v25-futuristic |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | humor | comic_beats | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | humor | comic_mechanism | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | humor | character_integration | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | humor | tension_compatibility | ничья |
| Слепая пара | Критерий | Индикатор | Выбор Sol |
|---|---|---|---|
| ch01-v15-dialogue ↔ ch01-v01 | causality | cause_to_effect | ch01-v15-dialogue |
| ch01-v15-dialogue ↔ ch01-v01 | causality | choice_constraints | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | causality | inference_limits | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | character | motivation | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | character | agency | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | character | change_or_resistance | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | clarity | action_reconstruction | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | clarity | causal_reconstruction | ch01-v15-dialogue |
| ch01-v15-dialogue ↔ ch01-v01 | clarity | intentional_unknowns | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | coherence | event_chain | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | coherence | reference_tracking | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | coherence | whole_scene_function | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | constitution | applicable_clause_status | недостаточно данных |
| ch01-v15-dialogue ↔ ch01-v01 | constitution | source_fidelity | недостаточно данных |
| ch01-v15-dialogue ↔ ch01-v01 | constitution | reader_takeaway | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | detail | detail_function | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | detail | attention_value | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | detail | clutter_cost | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | emotion | stakes | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | emotion | emotional_turn | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | emotion | emotional_restraint | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | ending | local_payoff | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | ending | forward_pressure | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | ending | earned_opening | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | humor | comic_beats | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | humor | comic_mechanism | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | humor | character_integration | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | humor | tension_compatibility | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | purpose | dramatic_change | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | purpose | exposition_integration | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | purpose | payoff_or_setup | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | setting | world_constraint | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | setting | sensory_place | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | setting | setting_consequence | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | style | sentence_rhythm | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | style | precision | ch01-v15-dialogue |
| ch01-v15-dialogue ↔ ch01-v01 | style | register_control | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | subtext | unstated_motive | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | subtext | productive_ambiguity | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | subtext | over_explanation | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | technical | source_support | недостаточно данных |
| ch01-v15-dialogue ↔ ch01-v01 | technical | procedure_trace | ch01-v15-dialogue |
| ch01-v15-dialogue ↔ ch01-v01 | technical | failure_and_recovery | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | voice | speaker_distinction | ничья |
| ch01-v15-dialogue ↔ ch01-v01 | voice | voice_consistency | ch01-v15-dialogue |
| ch01-v15-dialogue ↔ ch01-v01 | voice | dialogue_action | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | causality | cause_to_effect | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | causality | choice_constraints | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | causality | inference_limits | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | character | motivation | ничья |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | character | agency | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | character | change_or_resistance | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | clarity | action_reconstruction | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | clarity | causal_reconstruction | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | clarity | intentional_unknowns | ничья |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | coherence | event_chain | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | coherence | reference_tracking | ничья |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | coherence | whole_scene_function | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | constitution | applicable_clause_status | недостаточно данных |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | constitution | source_fidelity | недостаточно данных |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | constitution | reader_takeaway | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | detail | detail_function | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | detail | attention_value | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | detail | clutter_cost | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | emotion | stakes | ничья |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | emotion | emotional_turn | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | emotion | emotional_restraint | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | ending | local_payoff | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | ending | forward_pressure | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | ending | earned_opening | ничья |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | humor | comic_beats | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | humor | comic_mechanism | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | humor | character_integration | ничья |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | humor | tension_compatibility | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | purpose | dramatic_change | ничья |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | purpose | exposition_integration | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | purpose | payoff_or_setup | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | setting | world_constraint | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | setting | sensory_place | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | setting | setting_consequence | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | style | sentence_rhythm | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | style | precision | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | style | register_control | ничья |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | subtext | unstated_motive | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | subtext | productive_ambiguity | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | subtext | over_explanation | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | technical | source_support | недостаточно данных |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | technical | procedure_trace | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | technical | failure_and_recovery | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | voice | speaker_distinction | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | voice | voice_consistency | ch01-v15-dialogue |
| ch01-v25-futuristic ↔ ch01-v15-dialogue · поправка | voice | dialogue_action | ничья |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | causality | cause_to_effect | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | causality | choice_constraints | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | causality | inference_limits | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | character | motivation | ch01-v01 |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | character | agency | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | character | change_or_resistance | ch01-v01 |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | clarity | action_reconstruction | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | clarity | causal_reconstruction | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | clarity | intentional_unknowns | ничья |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | coherence | event_chain | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | coherence | reference_tracking | ничья |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | coherence | whole_scene_function | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | constitution | applicable_clause_status | недостаточно данных |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | constitution | source_fidelity | недостаточно данных |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | constitution | reader_takeaway | недостаточно данных |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | detail | detail_function | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | detail | attention_value | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | detail | clutter_cost | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | emotion | stakes | ничья |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | emotion | emotional_turn | ch01-v01 |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | emotion | emotional_restraint | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | ending | local_payoff | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | ending | forward_pressure | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | ending | earned_opening | ничья |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | humor | comic_beats | ch01-v01 |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | humor | comic_mechanism | ch01-v01 |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | humor | character_integration | ch01-v01 |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | humor | tension_compatibility | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | purpose | dramatic_change | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | purpose | exposition_integration | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | purpose | payoff_or_setup | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | setting | world_constraint | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | setting | sensory_place | ch01-v01 |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | setting | setting_consequence | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | style | sentence_rhythm | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | style | precision | ничья |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | style | register_control | ch01-v01 |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | subtext | unstated_motive | ch01-v01 |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | subtext | productive_ambiguity | ничья |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | subtext | over_explanation | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | technical | source_support | недостаточно данных |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | technical | procedure_trace | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | technical | failure_and_recovery | ch01-v25-futuristic |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | voice | speaker_distinction | ch01-v01 |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | voice | voice_consistency | ch01-v01 |
| ch01-v25-futuristic ↔ ch01-v01 · поправка | voice | dialogue_action | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | causality | cause_to_effect | ch01-v15-dialogue |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | causality | choice_constraints | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | causality | inference_limits | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | character | motivation | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | character | agency | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | character | change_or_resistance | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | clarity | action_reconstruction | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | clarity | causal_reconstruction | ch01-v15-dialogue |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | clarity | intentional_unknowns | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | coherence | event_chain | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | coherence | reference_tracking | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | coherence | whole_scene_function | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | constitution | applicable_clause_status | недостаточно данных |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | constitution | source_fidelity | недостаточно данных |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | constitution | reader_takeaway | недостаточно данных |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | detail | detail_function | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | detail | attention_value | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | detail | clutter_cost | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | emotion | stakes | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | emotion | emotional_turn | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | emotion | emotional_restraint | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | ending | local_payoff | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | ending | forward_pressure | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | ending | earned_opening | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | humor | comic_beats | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | humor | comic_mechanism | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | humor | character_integration | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | humor | tension_compatibility | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | purpose | dramatic_change | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | purpose | exposition_integration | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | purpose | payoff_or_setup | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | setting | world_constraint | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | setting | sensory_place | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | setting | setting_consequence | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | style | sentence_rhythm | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | style | precision | ch01-v15-dialogue |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | style | register_control | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | subtext | unstated_motive | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | subtext | productive_ambiguity | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | subtext | over_explanation | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | technical | source_support | недостаточно данных |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | technical | procedure_trace | ch01-v15-dialogue |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | technical | failure_and_recovery | ничья |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | voice | speaker_distinction | ch01-v15-dialogue |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | voice | voice_consistency | ch01-v15-dialogue |
| ch01-v15-dialogue ↔ ch01-v01 · поправка | voice | dialogue_action | ничья |
Повторяемость измерена у двух чтений одной модели и не является надёжностью независимых оценщиков. Плотность комических битов — описание разметки, не балл качества или нормы шуток. В будущих слепых сравнениях контракт явно требует подтверждения с обеих сторон для каждого выбора A/B; текущие отклонённые ответы сохранены без исправления задним числом. Для подробных профилей и исходных ответов откройте научный журнал.
| Версия | Результат | Глубина K01–K18 | Верность источнику | Дидактичность | Фокус главы |
|---|---|---|---|---|---|
| ch01-v25-futuristic | валиден | {"absent": 3, "mentioned": 3, "explained": 3, "enacted": 7, "tested": 1, "consequence": 1} | {"faithful": 15, "uncertain": 3} | {"none": 10, "integrated": 8} | {"K01": "enacted", "K04": "mentioned", "K08": "consequence", "K14": "mentioned"} |
| ch01-v15-dialogue | валиден | {"absent": 4, "mentioned": 4, "explained": 1, "enacted": 9} | {"faithful": 16, "uncertain": 2} | {"none": 7, "integrated": 11} | {"K01": "enacted", "K04": "mentioned", "K08": "enacted", "K14": "mentioned"} |
| ch01-v01 | валиден | {"absent": 3, "mentioned": 4, "explained": 4, "enacted": 6, "tested": 1} | {"faithful": 16, "uncertain": 2} | {"none": 7, "integrated": 11} | {"K01": "enacted", "K04": "mentioned", "K08": "enacted", "K14": "mentioned"} |
Модельная интерпретация источников K01–K18, не независимое решение канонического арбитра и не человеческая проверка.
Базовый план включал 9 вызовов Sol; затем добавлены 3 сравнения с уточнённым контрактом и 3 source-bound проверки конституции. Это 15 запланированных заданий и 19 фактических вызовов, включая 6 сохранённых невалидных/сбойных попыток. Полная матрица 14 ролей × 3 модели на той же тройке текстов потребовала бы 126 вызовов; фактический объём ниже примерно в 6,6 раза. Это сравнение количества вызовов, не денежной цены; реальная стоимость зависит от маршрута и токенов. Автоматических повторов и подмены провайдера не было. Пилот проверяет только первичную устойчивость одного семейства модели на этих версиях; он не подтверждает человеческую точность и не доказывает превосходство поздней версии.
Польза отдельного совета требует отдельной изолированной правки, слепого выбора автора и технической/канонической проверки.
Пути исходников ниже проверены по архивным SHA. Выполни команды один раз: snapshot не даст создать копию при расхождении байтов. Они замораживают точные тексты и планы, но не вызывают модель.
python3 outputs/book-pipeline/observability/helix.py snapshot --id ch01-v01-v5-eval --parent ch01-v01 --file work/book-pipeline/night/chapter01_fable/response.md --label 'v01 exact evaluation copy' --evaluation-copy --defer-export python3 outputs/book-pipeline/observability/helix.py snapshot --id ch01-v15-v5-eval --parent ch01-v15-dialogue --file work/book-pipeline/revision-04/candidate-dialogue.md --label 'v15 exact evaluation copy' --evaluation-copy --defer-export python3 outputs/book-pipeline/observability/helix.py snapshot --id ch01-v25-v5-eval --parent ch01-v25-futuristic --file work/book-pipeline/revision-09/candidate-v25.md --label 'v25 exact evaluation copy' --evaluation-copy --defer-export python3 outputs/book-pipeline/evaluation/evaluate.py plan ch01-v01 --evaluation-copy ch01-v01-v5-eval --mode calibration_pilot --out work/science/calibration-pilot-v5/ch01-v01 python3 outputs/book-pipeline/evaluation/evaluate.py plan ch01-v15-dialogue --evaluation-copy ch01-v15-v5-eval --mode calibration_pilot --compare-to ch01-v01 --out work/science/calibration-pilot-v5/ch01-v15 python3 outputs/book-pipeline/evaluation/evaluate.py plan ch01-v25-futuristic --evaluation-copy ch01-v25-v5-eval --mode calibration_pilot --compare-to ch01-v01 --compare-to ch01-v15-dialogue --out work/science/calibration-pilot-v5/ch01-v25 python3 outputs/book-pipeline/observability/helix.py --offline sync
Запечатанные результаты будут отображены в журнале научной критики; этот пилот не закрывает публикационные проверки.