Почему 90% проектов ИИ в сфере обороны терпят неудачу и как правильная аннотация данных решает эту проблему

Современные военные методы в настоящее время в значительной степени полагаются на искусственный интеллект (ИИ), который улучшает автономные системы, идентификацию угроз и мониторинг. Однако, Около 90% оборонных программ ИИ терпят неудачу еще до их развертывания, даже при значительном финансировании. Основная причина? неадекватная аннотация данных. Модели ИИ испытывают трудности с обработкой реальных ситуаций без должным образом аннотированных наборов данных, что приводит к непоследовательным результатам.

В статье будут рассмотрены причины провала оборонных программ ИИ, функции Службы аннотации оборонных данныхи как вмешательство человека может значительно повысить производительность ИИ.

Высокий процент неудач проектов ИИ в сфере обороны

Согласно оценке Министерства обороны США, 90% инициатив в области ИИ в сфере обороны терпят неудачу, несмотря на заметные прорывы в оборонных технологиях на основе ИИ. Основная причина? Данные с неадекватными аннотациями приводят к неэффективности и серьезным сбоям в моделях ИИ.

Основными причинами провалов проектов оборонительного ИИ являются:

• Отсутствие качественных данных с метками: Для хорошей работы моделей ИИ необходимы огромные объемы структурированных, маркированных данных. Тем не менее, модели ИИ бесполезны, поскольку большинство защитных наборов данных содержат ошибки, несоответствия или неадекватные аннотации.
• Непредсказуемые боевые ситуации может привести к провалу миссии для систем искусственного интеллекта защиты, которые обучаются в контролируемых средах, но функционируют непоследовательно в реальном мире. Солдаты могут оказаться в опасности, если модель, обученная на плохо аннотированных боевых образах, неправильно идентифицирует угрозы. 
• Риски безопасности и предубеждения: Данные по обороне должны быть точными и беспристрастными. Плохое аннотирование приводит к неправильная классификация вражеских активов, ложные оповещения об угрозах или игнорирование опасностей, что приводит к тяжелым последствиям.
• Неспособность адаптироваться к условиям реального времени: Модели ИИ нуждаются в постоянном обучении, но если аннотация данных не обновляется и не уточняется регулярноСистемы ИИ быстро устаревают.

«Модели ИИ могут обрабатывать огромные наборы данных, но именно человеческий фактор обеспечивает точность»— Алекс Попович, генеральный директор Keymakr

Почему аннотация данных является недостающим звеном

Для эффективного функционирования моделей ИИ требуется точная, предметно-ориентированная маркировка:

• Модели ИИ опираются на подробные и актуальные данные для принятия точных прогнозов и решений.
• В обороне это подразумевает маркировку всего: от оружия и транспортных средств до конкретных моделей поведения противника и особенностей местности.
• Некачественное аннотирование может привести к неправильной интерпретации со стороны ИИ, например, к принятию транспортного средства за дружественный отряд или пропуску скрытой угрозы.

Службы аннотации оборонных данных гарантируют, что наборы данных структурированы, высококачественны и соответствуют требованиям безопасности:

• Соблюдение требований безопасности гарантирует, что конфиденциальные военные данные останутся защищенными на протяжении всего процесса аннотирования.
• Правильное структурирование данных помогает системам ИИ эффективно распознавать закономерности, повышая вероятность точной идентификации во время развертывания.
• Специализирующиеся на аннотации оборонных данных службы знают, как обрабатывать сложную и конфиденциальную информацию, гарантируя, что модели будут обучаться на основе правильных входных данных.

Ошибки в аннотациях приводят к неправильной классификации угроз, что может увеличить риски миссии.:

• Небольшие ошибки в аннотациях могут иметь масштабные последствия в военных целях, где разница между правильной идентификацией цели может повлиять на всю операцию.

Качественные аннотации имеют решающее значение для эффективности модели.:

• В реальном мире модель, обученная на частичных или некачественных аннотациях, не будет функционировать стабильно.
• Правильная аннотация позволяет ИИ более эффективно обучаться и обобщать данные, точно классифицируя каждый фрагмент данных.
• Обеспечение качества данных имеет решающее значение для оборонных приложений, поскольку позволяет принимать верные решения в сложных ситуациях.

Правильная аннотация способствует лучшему обучению и совершенствованию модели.:

• Высококачественные аннотированные данные обеспечивают непрерывное обучение и совершенствование, помогая модели ИИ развиваться в соответствии с реальными условиями.
• Последовательное обновление данных обучения повышает адаптивность модели, гарантируя ее хорошую работу даже при изменении параметров миссии.
• При правильном контуре обратной связи и аннотации данных модели ИИ могут улучшить распознавание новых угроз и адаптацию к разнообразным и непредсказуемым средам.

Человек в петле (HITL): почему это важно

• Системы искусственного интеллекта сами по себе не могут гарантировать точность; человеческий контроль имеет решающее значение:
  
  • Искусственному интеллекту не хватает тонкого понимания, присущего людям, особенно в ситуациях, требующих суждения или контекста, выходящего за рамки того, что видно из данных.
    
• ХИТЛ обеспечивает внесение исправлений в модели ИИ в режиме реального времени:
  
  • Модели ИИ могут совершать ошибки в реальных ситуациях; люди играют важную роль в мгновенном исправлении этих ошибок, гарантируя бесперебойное выполнение миссии.
  • Вмешательство человека в режиме реального времени помогает выявлять ошибки, которые ИИ может пропустить, например, ошибочную идентификацию гражданских сооружений как угроз.
  • Люди могут исправлять ошибки ИИ в случае возникновения непредвиденных событий, справляться с которыми ИИ пока не обучен.
    
• Повышает адаптивность ИИ в сложных и высокорисковых военных операциях:
  
  • Поскольку военные операции очень динамичны и часто меняются неожиданным образом, ИИ может оказаться не в состоянии прогнозировать их на основе исторических данных.
  • Система может подстраиваться под изменения в поведении противника, топографии или тактике в режиме реального времени, интегрируя человеческий контроль, гарантируя, что модель ИИ останется адаптивной.
  • В быстро меняющихся боевых ситуациях, когда требуется быстрый и точный выбор, такая гибкость имеет решающее значение.
    
• Повышает точность принятия решений за счет снижения смещения в обучающих наборах данных.:
  
  • На модели ИИ могут влиять предвзятости в данных, что приводит к несправедливым или неверным выводам.
  • Участие человека повышает точность модели и справедливость принятия решений, гарантируя, что эти предубеждения будут выявлены и исправлены.
  • Устранение предубеждений повышает качество интерпретации данных, особенно при различении идентичных поведений или объектов в сложных боевых ситуациях.

Без ручного труда человека результаты работы моделей [ИИ] были бы «очень, очень плохими». — Франсуа Шолле, создатель библиотеки глубокого обучения Keras

Пример 1: Project Maven – Неправильная идентификация цели

Задний план:

• Инициировано в 2017 году Министерством обороны США для улучшения идентификации потенциальных целей путем анализа видеоматериалов с беспилотников с использованием машинного обучения (МО).
  
• Целью было улучшение процесса принятия военных решений и операций по наблюдению путем автоматизации обработки данных с беспилотников для идентификации вражеских бойцов и военных объектов.

Возникшие проблемы:

• Предвзятость в аннотации:
  
  • Данные для обучения в основном получены из конкретных конфликтных регионов.
  • Система искусственного интеллекта с трудом адаптировалась к различным условиям, что приводило к неточной идентификации целей в зонах, не охваченных конфликтом.
    
• Ошибки маркировки:
  
  • Люди-аннотаторы ошибочно классифицировали действия гражданского населения или невраждебную деятельность как угрозы.
  • Это привело к тому, что ИИ ошибочно идентифицировал безобидных людей или транспортные средства как враждебные.

Последствия:

• Увеличение количества ложных срабатываний:
  
  • Система помечала невраждебных людей или объекты как угрозы, подвергающие риску жизни невинных людей и эффективность операций.
    
• Моральные проблемы:
  
  • Протесты работников Google подняли моральные вопросы относительно возможного злоупотребления ИИ в военных целях.
  • Из-за внутреннего сопротивления Google вышла из проекта, подчеркнув важность предрассудков и этики в инициативах по защите ИИ.

Пример 2: Использование Израилем ИИ для идентификации целей

Задний план:

•  В 2021 году Израиль использовал искусственный интеллект (ИИ) для определения целей во время военных операций, уделяя особое внимание разведывательной деятельности во время сирийского кризиса. источник
• Выявление угроз в режиме реального времени достигалось с помощью анализа системой искусственного интеллекта данных и изображений с камер видеонаблюдения, беспилотников и спутников.

Возникшие проблемы:

• Смещение и точность данных:
  
  • Предубеждения, возникшие в результате предыдущих военных действий, были включены в исторические данные, используемые для обучения систем искусственного интеллекта, применяемых для распознавания целей.
  • В результате алгоритм часто принимал мирных жителей за боевиков, ошибочно классифицируя их как риски на основе тенденций, наблюдавшихся в районах предыдущих войн.
    
• Чрезмерная зависимость от искусственного интеллекта:
  
  • Выводы часто делались на основе неточных данных, поскольку система в значительной степени зависела от способности быстро делать выводы в ситуациях высокого стресса, часто без контроля со стороны человека.

Последствия:

• Увеличение потерь среди гражданского населения:
  
  • Из-за неточной идентификации целей и предвзятых данных система искусственного интеллекта убивала невинных людей, которых ошибочно принимали за боевиков.
    
• Гуманитарные проблемы:
  
  • Правозащитные организации были глубоко встревожены использованием ИИ в военных операциях, поскольку считали, что автономные системы могут нарушать международное право и причинять неоправданный вред.
  • Дискуссии о моральной стороне применения решений, принимаемых с помощью ИИ, в зонах конфликтов начались из-за отсутствия ответственности за эти решения.

Пример 3: Точные аннотации для ИИ в сфере обороны – Министерство обороны Индии

Задний план:

• Чтобы улучшить свои возможности по наблюдению и разведке, Министерство обороны Индии объединилось с оборонной компанией, занимающейся разработкой искусственного интеллекта.
• Целью было улучшение военной разведки путем использования ИИ для анализа спутниковых снимков в режиме реального времени, мониторинга ключевых объектов и выявления опасностей.

Обнаружены проблемы: 

• Ненадежные спутниковые снимки:
  
  • Точная идентификация и классификация предметов представляла собой сложную задачу для системы, поскольку спутниковые фотографии, используемые для обучения моделей ИИ, часто имели низкое разрешение или содержали запутанные компоненты.
  • Эффективность модели была повышена за счет добавления высококачественных аннотаций к данным.
    
• Сложность аннотации данных:
  
  • Чтобы гарантировать точную маркировку, классификацию и проверку огромных объемов спутниковых данных, требовалось активное участие человека.
  • Эффективность модели ИИ в критически важных приложениях может быть поставлена ​​под угрозу из-за ошибок аннотаций, таких как неправильная идентификация зданий, автомобилей и географических объектов.

Последствия:

• Ложные прогнозы и упущенная угроза:
  
  • Система искусственного интеллекта не смогла правильно распознать некоторые элементы без точных и последовательных аннотаций, что могло привести к уязвимостям безопасности и неверному толкованию информации.
    
• Операционные задержки:
  
  • Неточные аннотации задерживали развертывание системы ИИ для операций в реальном времени и замедляли реакцию на возможные атаки.

Реализованное решение:

• Превосходная аннотация данных:
  
  • Для аннотирования спутниковых фотографий в соответствии с требованиями военного бизнеса компания RMSI предоставила услуги по точной аннотации данных.
  • Возможности идентификации системы были улучшены благодаря экспертам-аннотаторам, которые обеспечили правильную классификацию и маркировку сложных изображений, включая автомагистрали, здания и автомобили.

Результат:

• Министерство обороны Индии смогло проводить более надежные операции по наблюдению благодаря улучшенным возможностям системы искусственного интеллекта по идентификации и категоризации объектов благодаря точным аннотациям данных.

Роль современных служб аннотации данных в сфере обороны

Безопасная и секретная аннотация

• Поскольку военные данные являются конфиденциальными, системы искусственного интеллекта для обороны должны быть очень безопасными.
• Обеспечивая безопасную обработку и категоризацию наборов данных, современные службы аннотирования военных данных снижают вероятность утечки данных.

Автоматизированные инструменты для аннотаций

• Поскольку автоматизированные технологии оптимизируют процесс аннотирования, они значительно сокращают объем ручного труда.
• Хотя эти инструменты ускоряют обработку данных, точность и качество по-прежнему обеспечиваются контролем со стороны человека.

Объединение моделей искусственного интеллекта и человека для повышения точности

• Гибридный подход, объединяющий ИИ и специалистов-людей, повышает точность и снижает вероятность ошибок.
• В то время как люди предоставляют контекстные знания, необходимые для правильной оценки сложных событий, системы искусственного интеллекта выполняют повторяющиеся задачи.
• Эта стратегия гарантирует, что система ИИ выиграет от масштабируемости автоматизации.

Меры контроля качества

• Команды применяют строгие процедуры контроля качества, чтобы сократить количество ошибок в аннотациях.
• Система ИИ может эффективно функционировать в реальных сценариях благодаря регулярным проверкам и процедурам проверки, которые гарантируют последовательность, точность и надежность аннотаций данных.

Как реализовать эффективную аннотацию данных в ИИ для защиты

• Инвестируйте в Domain-Expert Высококачественная аннотация Команды
• Точность маркировки зависит от формирования группы опытных аннотаторов, обладающих опытом в конкретной предметной области.
• Опыт в работе, связанной с обороной, позволяет точно интерпретировать сложные данные, такие как военные фотографии или спутниковые сигналы.

Используйте масштабируемые инструменты аннотации для обработки больших наборов данных

• Масштабируемые системы эффективно управляют большими объемами данных, что имеет решающее значение для оборонных операций.
• Эти платформы способны управлять огромными объемами данных, создаваемыми системами искусственного интеллекта, гарантируя быстрые и бесперебойные процедуры аннотирования.

Включить процедуры проверки человеком в валидацию этикеток, созданную искусственным интеллектом

• Для того чтобы аннотации, созданные с помощью ИИ, были корректными, необходимо участие человека в процедурах.
• Для критически важных приложений проверка человеком обеспечивает дополнительную степень контроля качества, помогая выявлять любые ошибки и неверные классификации в метках, созданных ИИ.

Регулярно обновляйте наборы данных для улучшения адаптивности ИИ в миссиях в реальном времени

• Модели ИИ в обороне должны адаптироваться к динамичным средам, поэтому важно регулярно обновляйте наборы данных.
• Регулярные обновления гарантируют, что система ИИ останется актуальной и способной справляться с меняющимися реальными сценариями.

Аннотирование данных имеет решающее значение для всех компаний, занимающихся машинным обучением и ИИ. Аннотирование или маркировка необработанных наборов данных формирует основу для разработки и уточнения машинной модели».— Невилл Патель, генеральный директор Qualitas Global

Заключение

Плохая аннотация данных часто становится причиной провала проектов ИИ в сфере обороны. Без точных и высококачественных маркированных наборов данных модели ИИ остаются неэффективными в реальных сценариях. Внедрение службы аннотации оборонных данных с человек в петле подход обеспечивает большую точность, меньшую предвзятость и повышенную безопасность.

Примеры, такие как программа DARPA's AI Pilot Program и проект Maven, демонстрируют, как улучшенная аннотация может превратить неудачные инициативы ИИ в истории успеха. Инвестирование в надежные процессы аннотации данных — это не просто возможность, а необходимость для будущего систем обороны на базе ИИ.

Часто задаваемые вопросы (FAQ)

Предыдущий блог

Следующий блог