Прозрачность в фондовых моделях: следующий шаг в индексе прозрачности фондовых моделей FMTI
Фондовые модели играют центральную роль в влиянии искусственного интеллекта на экономику и общество. Прозрачность является ключевым элементом для ответственности, конкуренции и понимания, особенно в отношении данных, используемых в этих моделях. Правительства принимают регулятивные акты, такие как Закон ЕС об искусственном интеллекте и Закон США о прозрачности фондовых моделей ИИ, чтобы повысить прозрачность. Индекс прозрачности фондовых моделей (FMTI), представленный в 2023 году, оценивает прозрачность у 10 основных разработчиков (например, OpenAI, Google, Meta) с использованием 100 показателей. Начальная версия FMTI v1.0 показала значительную непрозрачность, со средним баллом 37 из 100, но также отметила изменчивость в раскрытии информации.
Индекс прозрачности фондовых моделей (FMTI) — ключевые моменты
В октябре 2023 года был представлен Индекс прозрачности фондовых моделей (FMTI), концептуализирующий прозрачность через иерархическую таксономию, соотнесенную с цепочкой поставок фондовых моделей. Эта таксономия включает три основных домена: начальные ресурсы, сама модель и ее последующее использование, охватывающие 23 поддомена и 100 двоичных показателей прозрачности. FMTI v1.0 выявил широкое распространение непрозрачности среди 10 оцениваемых компаний, при этом лучшие баллы достигали всего лишь 54 из 100. Открытые разработчики моделей показывали более высокие результаты, чем закрытые. Индекс направлен на отслеживание изменений со временем, поощряя прозрачность через публичное и стейкхолдерское давление, как это продемонстрировано историческими индексами, такими как Индекс человеческого развития и Индекс прав цифровых технологий 2018 года.
Исследователи из Стэнфордского университета, Массачусетского технологического института и Принстонского университета представили последующее исследование (FMTI v1.1) для оценки эволюции прозрачности в фондовых моделях за шесть месяцев, сохраняя 100 первоначальных показателей прозрачности. В исследовании приняли участие 14 разработчиков, раскрыв новую информацию для 16,6 показателей в среднем.
FMTI v1.1 включает четыре этапа: выбор показателей, выбор разработчиков, сбор информации и оценка. 100 показателей из FMTI v1.0 охватывают три домена: начальные ресурсы, сама модель и ее последующее использование. Четырнадцать разработчиков, включая восемь из v1.0, представили отчеты о прозрачности для своих флагманских моделей. Сбор информации перешел от публичных поисков к прямым представлениям разработчиков, обеспечивая полноту и ясность. Оценка включала независимую оценку каждого разработчика и последующий итерационный процесс опровержения. Этот подход улучшил прозрачность, позволяя разработчикам предоставлять дополнительную информацию и снижая усилия исследователей.
Результаты исследования
В рамках оценки 14 разработчиков представили отчеты о прозрачности по 100 показателям для своих флагманских моделей. Начальные баллы существенно различались, при этом 11 из 14 разработчиков набрали менее 65 баллов, что указывает на потенциал для улучшения. Средние и медианные баллы составили 57,93 и 57 соответственно, со стандартным отклонением 13,98. Разработчик с наивысшим баллом набрал 85 из 100 показателей, в то время как разработчик с наименьшим баллом набрал 33. Разработчики раскрыли значительную новую информацию, улучшив баллы прозрачности в среднем на 14,2 пункта. Прозрачность была наивысшей в области последующего использования и наименьшей в области начальных ресурсов, при этом открытые разработчики в целом превосходили закрытых. Прозрачность улучшилась во всех областях по сравнению с предыдущей версией.
Общественное воздействие фондовых моделей
Влияние фондовых моделей на общество растет, привлекая внимание различных заинтересованных сторон. Индекс прозрачности фондовых моделей показывает, что прозрачность в этой экосистеме нуждается в улучшении, хотя с октября 2023 года произошли положительные изменения. Анализируя раскрытия разработчиков, Индекс помогает заинтересованным сторонам принимать обоснованные решения. Установление отчетности о прозрачности для фондовых моделей предоставляет ценный ресурс для разработчиков, исследователей и журналистов для улучшения общего понимания.
