Звірка: чи джерело каже саме те, що написано

Перевірити, чи джерело назване, і перевірити, чи воно каже те, що ви написали, це дві різні роботи. Перша дешева й робиться машиною. Друга дорога, і доки її не робили жодного разу, про текст не відомо нічого.

Порядок величин, щоб було з чим порівнювати. На одному сайті з 1993 тверджень із виносками машинно звірити можна було 1088, тобто 55%; решта 45% спиралися на архівний опис, газету за передплатою або сайт, тобто на те, чого перевірник відкрити не може. З перевірених точність вийшла 91% (20 підтверджено, 2 розходження, 9 несудимих). Для порівняння, у промислових систем із пошуковою основою точність цитування близько 90%, у лідера галузі 90,24%. Тобто кожна десята виноска бита навіть у найкращих, і питання не в тому, чи є помилки, а в тому, чи ви їх бачите.

Три умови, без яких звірка не звірка

Перевіряє не той, хто писав. Автор захищає власний текст, навіть коли щиро намагається цього не робити. Перевірник дістає сторінку й джерела, не дістає ходу думки автора й не бачить, як текст складався.

Чистий контекст. Перевірник не має бачити ні розвідки, ні чернеток, ні сусідніх сторінок. Ідеально - тільки твердження і витяг із джерела, більше нічого: ні назви села, ні номера сторінки, ні того, що ви взагалі шукали. Усе зайве в контексті працює як підказка, і перевірник починає підтверджувати очікуване.

Спершу машина, тоді модель. Що вже доведено скриптом (виноска є, посилання не бите, число збігається з таблицею), удруге не перевіряють. Що машина назвала підозрілим, перевіряють першим. Модель дорога, і витрачати її на те, що ловить grep, безглуздо.

Порядок

Механіка взята з Claimify (Microsoft Research, ACL 2025) - системи, яка витягає з довгого тексту атомарні твердження. Чотири стадії, і третя найважливіша.

1. Розбиття. Текст на речення разом із контекстом: сусідні речення, ієрархія заголовків.
2. Відбір. Речення без перевірюваного змісту йде геть. Змішане переписується так, щоб лишилося перевірюване.
3. Розтлумачення. Якщо речення читається двома способами і контекст цього не знімає, воно позначається «не розтлумачити» і далі не йде. Не вгадуйте одне з двох прочитань. Це єдина стадія, яку зазвичай пропускають, і саме вона відрізняє звірку від вгадування: система свідомо відмовляється судити те, що двозначне.
4. Декомпозиція. Самодостатні твердження зі збереженим контекстом. «Село згадане 1611 року» це твердження; «воно старе» - ні.

Далі кожне твердження прив'язується до конкретного доказу: файл, сторінка, рядок реєстру. Твердження, яке нікуди не лягло, це блокер, а не дрібниця: або факт узятий повз розвідку, або в реєстрі доказів дірка.

Для кожного твердження питань чотири:

• чи є воно в джерелі за виноскою;
• чи джерело каже саме це, а не щось поруч;
• чи виноска стоїть після потрібного твердження, а не після сусіднього;
• чи не додано правдоподібного, чого в джерелі немає.

Пʼять вердиктів

Вердикт	Коли
підтверджено	джерело каже саме це
джерело каже інше	розходження в змісті, числі, даті, імені
у джерелі цього немає	твердження не спирається ні на що
не розтлумачити	речення двозначне, судити не можна, іде людині
сказано менше, ніж дозволяє джерело	окремим списком

Останній вердикт зазвичай забувають, а він потрібен. Документальну опору один раз уже назвали легендою, і зовні це виглядало як сумлінність: «переказують, що…» там, де в томі стоїть документ. Обережність, яка применшує власне джерело, теж є помилкою - просто вона не бʼється в очі.

Дві моделі незалежно, і розбіжність між ними головний сигнал

Одна модель дає нуль блокерів і виглядає переконливо. На трьох сторінках поспіль слабша модель дала нуль там, де сильніша знайшла вісім і вісім.

Тому: два незалежні проходи різними моделями, кожен у своєму файлі, і порівнюються не висновки, а списки. Те, що знайшла одна й не знайшла інша, дивиться людина. Це дорожче за один прохід рівно вдвічі й ловить те, чого не ловить ніщо інше.

Нуль блокерів доводиться дорожче за десять

«Усе перевірив, помилок немає» це найдешевша відповідь, яку може дати модель, і найчастіше вона означає, що нічого не відкривали.

Тому звіт без блокерів приймається тільки з переліком: який файл і яку сторінку перевірник справді відкрив для кожного твердження. Шлях, «кн. с. 73», «арк. 12». Менше ніж дві такі адреси - звіт не зараховується, і сторінка йде на звірку наново.

Твердження про мовчання джерела перевіряється як позитивне

«Нариси про це не кажуть», «імен не лишилося», «краєзнавець спростував сам себе». Такі речення проходять повз звірку, бо перевіряти нібито нічого.

Це найдорожчий клас помилок. Дві найгірші, які траплялися, були саме такі: у томі стояли два рядки таблиці з іменами, а на сторінці було написано, що імен не збереглося. Відкрий джерело й подивись - так само, як для позитивного твердження.

Окремо: заперечення про ціле видання фрагментом не доводиться взагалі. «Цієї назви у виданні немає» вимагає повного тексту, а не сторінки. Такі твердження або перевіряються суцільним проходом по тому, або не перевіряються; вердикт «не зміг перевірити» тут чесна відповідь, а не поразка.

Що перевірник віддає

Есе про хід перевірки читати ніхто не буде. Виміряно дорого: виконавці правок ковтали звіти на 30 КБ із кожним викликом, і десять заходів коштували 1,8 мільйона токенів.

Тому звіт кінчається таблицею правок, до 3 КБ, і це єдине, що читає той, хто правитиме:

| № | де (рядок або перші слова) | було | стало / дія | опора |
|---|---|---|---|---|
| Б1 | «Спалили церкву» | спалили | зруйнували | pokhylevych-1864, с. 73 |
| Б2 | абзац «У книзі смертей…» | дорослих троє | зняти число; таблиця дає 6 | dako-r5634-1-621 |
| Б5 | виноска під Карцевою | [[pamiatky]] | зняти або перенести на речення про памʼятник | - |

Дія мусить бути виконуваною без джерел: зняти, замінити на X, перенести виноску, позначити як неперевірене. Що вимагає переписати сюжет, так і пишеться: «потрібен автор: …». Тоді правку робить дешевий виконавець, який джерел не відкриває взагалі.

Куди далі

• Як дістати з джерела потрібне місце, а не те, що підтверджує саме себе - references/vytiah.md. Це вузьке місце всієї звірки, і воно не там, де здається.
• Як поміряти якість власного тексту числом і чого очікувати - references/audyt.md.