Как построчно проверить сгенерированную ИИ подпись к диаграмме по данным
Если подпись к диаграмме, созданная ИИ, не совпадает с данными, проверьте каждое утверждение по исходной таблице и подписям к диаграмме, прежде чем редактировать текст. Проверьте ряды данных, показатели и единицы измерения, даты, масштаб осей, итоговые значения и погрешность именно в таком порядке. Зафиксируйте точную формулировку утверждения из подписи, проверенные подтверждающие данные, несоответствие и исправление. Это обеспечит прозрачность проверки и не позволит правдоподобно звучащему описанию скрыть грубую ошибку в данных.
Начните с правильной версии подтверждающих данных
Соберите подпись, изображение или интерактивную версию диаграммы, а также соответствующую исходную таблицу данных или файл выгрузки. Также найдите указание источника, подзаголовок, сноски и любые пояснения к методологии или определениям, предоставленные источником. Убедитесь, что все эти материалы относятся к одной и той же версии, географическому региону, периоду времени и показателю. Одно только изображение диаграммы может не давать точных значений; если таблица недоступна, отметьте утверждения, требующие точных чисел, как непроверенные, а не оценивайте их на глаз по картинке.
Не меняйте черновик ИИ во время проверки. Разбейте его на отдельные утверждения: какая группа выше, когда произошло изменение, насколько оно было велико, увеличился ли итог или перекрываются ли диапазоны неопределенности. Одно предложение может содержать несколько утверждений, и для каждого требуются свои подтверждения. Официальные руководства по составлению графиков рассматривают заголовки, подзаголовки, источники, сноски, подписи к осям, даты и метки категорий как значимые смысловые элементы диаграммы, а не как визуальное оформление. Управление национальной статистики Великобритании (ONS), «Chart details: Chart text»
Сопоставьте каждое название ряда с нанесенными данными
Сравните каждую группу, упомянутую в подписи, с легендой диаграммы, прямыми подписями на графике и соответствующим столбцом или полем в данных. Убедитесь, что подписи не были перепутаны местами, не сокращены до потери ясности и не смешаны со схожей категорией. Если на диаграмме используются цвета или стили линий, сопоставьте каждый из них с элементом легенды; не делайте вывод о принадлежности к группе только по цвету, если соответствие не очевидно.
Затем проверьте направление утверждения. Если в подписи говорится, что один ряд опережает другой, сравните значения на указанные даты или по указанным категориям. Если говорится, что показатель вырос, упал или остался на прежнем уровне, проверьте соответствующую числовую последовательность, а не полагайтесь на общее визуальное впечатление. Зафиксируйте сопоставленное имя поля или метку, чтобы другой специалист мог повторить проверку. ONS рекомендует делать метки категорий четкими и краткими, сохраняя дополнительные подробности в пояснительном тексте, если метки сокращены. Руководство ONS по тексту диаграмм
Проверьте показатель и единицы измерения перед сравнением чисел
Изучите название оси, метки делений, подзаголовок и примечания, чтобы определить, что именно измеряют приведенные значения и в каких единицах. Абсолютное количество, коэффициент, процентная доля и денежная сумма отражают совершенно разные величины, даже если их числовые значения похожи. Обращайте внимание на множители вроде «в тысячах», знаки процентов и символы валют. Убедитесь, что в подписи изменение в процентных пунктах не превратилось в изменение в процентах, а коэффициент или ставка не описаны как абсолютное количество.
По возможности сравнивайте сопоставимые величины: один и тот же показатель, единицу измерения, совокупность или категорию, а также любой указанный знаменатель. Если в подписи единица измерения пересчитана или вычислена разница, повторите этот пересчет или вычитание по отображаемым исходным значениям и проверьте, не объясняется ли небольшое расхождение округлением. Не заменяйте неясный показатель своей догадкой без явного указания на это. Стандарт отчетности Бюро переписи населения США требует подписывать оси, использовать соответствующие масштабу графика единицы измерения, а также приводить легенды, поясняющие значения или специальные термины. Бюро переписи населения США, «Statistical Quality Standard E2: Reporting Results»
Проверьте даты, периоды и пропуски данных
Сверьте каждую дату, упомянутую в подписи, с осью графика и исходной таблицей. Отличайте отдельную дату наблюдения от периода, такого как месяц, квартал или год; проверяйте, обозначается ли завершающийся период годом начала или годом окончания; и удостоверьтесь, что первая и последняя названные точки действительно присутствуют в данных. Если в подписи описывается изменение «с» определенной даты, подтвердите обе граничные точки.
Прежде чем говорить о непрерывном тренде, проверьте данные на наличие пропущенных наблюдений, неравномерных интервалов или разрывов в рядах. Линия, проведенная между точками, сама по себе не доказывает, что данные собирались в каждую промежуточную дату. Проверьте примечания на предмет отсутствующих или несопоставимых оценок и обязательно сохраняйте подобные оговорки в исправленной подписи. Руководство ONS гласит, что подписи дат должны точно идентифицировать моменты времени или временные отрезки, использовать единообразные сокращения, а в метаданных диаграммы даты следует прописывать полностью. Руководство ONS по тексту диаграмм
Изучите масштаб, прежде чем описывать величину изменения
Посмотрите на метки делений вертикальной оси и определите, какой масштаб используется — линейный или логарифмический, а также начинается ли отображаемый диапазон с нуля. Затем сопоставьте: описывает ли подпись реальные значения данных или лишь видимый размер столбца либо наклона линии. Усеченная ось может визуально преувеличить небольшую разницу; логарифмический масштаб меняет соответствие между равными визуальными расстояниями и числовыми значениями. В подписи нельзя называть изменение «резким» или «драматическим» исключительно на основании видимой крутизны графика или высоты столбца.
Если сопоставляются несколько диаграмм, проверьте, согласованы ли их масштабы. Если на диаграмме используется ограниченный диапазон или нелинейная шкала, описывайте фактические значения и избегайте формулировок, усиливающих оптическую иллюзию. Бюро переписи населения рекомендует использовать единый масштаб для графиков, которые могут сравниваться между собой, и отмечает нулевую базовую линию как способ избежать искаженного визуального восприятия. Руководство Datawrapper по линейным графикам подробно объясняет, как линейные и логарифмические шкалы по-разному отображают значения и как настраивать пользовательские диапазоны осей. Стандарт отчетности Бюро переписи населения США, Datawrapper Academy, «Customizing your line chart»
Пересчитайте итоговые показатели и производные значения
Если в подписи упоминаются итог, среднее значение, распределение по местам (рейтинг), разница или процентное изменение, отследите их происхождение по фактическим исходным значениям и формулам расчета. Проверьте, какие строки или периоды включены, не перекрываются ли категории и показан ли на графике промежуточный или общий итог. Выполните перерасчет, используя определение и точность, указанные источником. Если на диаграмме представлены округленные значения, видимое расхождение может быть следствием округления; не утверждайте о точных результатах, если отображаемая степень точности их не подтверждает.
Для процентного изменения определите начальное и сравниваемое значения, а затем проверьте знаменатель, использованный в расчете. Для суммирования по категориям убедитесь, что эти категории действительно предназначены для сложения и ни одна группа не учтена дважды. Если источник не дает достаточно четкого определения производного показателя, позволяющего его воспроизвести, пометьте утверждение как нерешенное и обратитесь к исходной документации, вместо того чтобы подбирать правдоподобный вариант расчета самостоятельно.
Учитывайте погрешность как неотъемлемую часть утверждения
Если на диаграмме отображаются планки погрешностей, доверительные интервалы, диапазоны или иные визуальные показатели неопределенности, сверьтесь с легендой и примечаниями, чтобы понять, что означают эти отметки. Не называйте интервал доверительным интервалом, пределом погрешности или стандартным отклонением, если источник сам прямо так его не определяет. Проверьте, не преподносит ли подпись оценочное значение как абсолютно точное, не утверждает ли о наличии различий между двумя группами там, где они статистически незначимы, и не игнорирует ли погрешность, показанную на рисунке. Если источник не поясняет интервал, нейтрально опишите его как диапазон неопределенности, только если это подтверждается материалами диаграммы; в противном случае укажите, что его значение неясно.
Неопределенность строго связана с тем, как оценивается результат и каковы погрешности исходных данных; нельзя угадывать ее тип исключительно по внешнему виду. В обзоре NIST компоненты неопределенности разделяются по способу их оценки и объясняется, что итоговые расчетные значения опираются на входные оценки. Практическое правило при проверке подписи — сохранять терминологию источника и избегать более категоричных заявлений, чем допускают сама оценка и отображенная для нее погрешность. NIST, «Basic definitions of uncertainty»
Ведите журнал расхождений и переписывайте только подтвержденные утверждения
Фиксируйте каждое утверждение отдельной записью, чтобы процесс исправлений оставался прозрачным и проверяемым. Краткая запись может содержать: формулировку из подписи; местоположение на графике или в таблице; ряд или категорию; показатель и единицу измерения; дату или период; исходное значение или доказательство; тип расхождения; решение; статус проверки. Среди удобных категорий расхождений: несовпадение меток, несовпадение единиц измерения, неверный период, завышение оценки из-за масштаба, арифметическая ошибка, пропущенная погрешность, невозможно проверить по доступным данным. Это рабочие поля аудита, а не замена самому источнику.
После проверки перепишите подпись, оставив только те утверждения, которые подтверждаются данными. Укажите показатель и период там, где это важно, опишите основную наблюдаемую закономерность и прямо зафиксируйте существенные ограничения. Если утверждение невозможно проверить, удалите его или укажите, что именно остается неизвестным; не сохраняйте его лишь потому, что оно звучит убедительно. Для читателей, которым требуются детальные данные к графику, W3C рекомендует сочетать краткое описание с развернутым изложением ключевой информации, куда могут входить числовые значения, тренды и структурированные данные, например таблицы. W3C Web Accessibility Initiative, «Complex Images»
Полезный финальный шаг — прочитать каждое предложение параллельно с подтверждающими данными из источника и задаться вопросом: сможет ли другой проверяющий найти то же самое значение, метку, дату, масштаб или примечание о погрешности? Если нет, записи или подписи не хватает точности. Главная цель — получить подпись, которая передает только то, что действительно подтверждается диаграммой, и полностью исключает необоснованные интерпретации.