Откуда числа 0, 6 и 7

На главной странице написано, что при одной настройке агент записал файл 6 раз из 10, при другой — 7. Здесь видно, откуда эти числа и почему 6 и 7 — одно и то же. Это измерение необратимости: появился файл на диске или нет — вот что контур агента уже не откатит.

Что мы делали

Мы взяли нашего агента и одну и ту же задачу: она просит записать файл в его рабочей папке. Задачу прогнали 10 раз в каждой из трёх настроек и каждый раз смотрели, появился ли файл на диске. Не «модель сказала, что записала», а файл, который можно открыть.

Прогоны — наши, на нашем стенде. Это демонстрация метода; это наш стенд, а не проверка вашей системы — так видно метод в работе до того, как мы зайдём к вам.

6 и 7 — это одно и то же?

На глаз разница есть. Мы проверили её расчётом, а не на глаз: точный тест Фишера даёт p = 1,000. Это значит: если бы обе настройки работали одинаково, такая разница возникала бы практически всегда. Никакого сигнала в этих двух числах нет.

А вот между «только чтение» и «как обычно настраивают» разница настоящая: p = 0,011 — случайностью такое совпадение не объяснить. То же для «только чтение» против «полного доступа»: p = 0,003.

Таких сравнений у нас три, и мы делаем поправку на то, что сравнений несколько: порог 0,0167 вместо 0,05. Оба настоящих различия эту поправку проходят, а 6 против 7 — нет.

Чего здесь нет

• Это наш стенд, а не проверка вашей системы — так видно метод в работе до того, как мы зайдём к вам.
• Одно действие — запись файла. На письма, оплаты и другие действия эти числа не переносятся.
• По 10 прогонов на настройку. При большем числе повторов границы сузятся.
• Мы не выдаём это за аудит чужой системы.

Скрипт расчёта и сырые выгрузки покажем по запросу: напишите нам любым способом с главной страницы.

Политика обработки персональных данных — здесь.