«защита и безопасность систем искусственного интеллекта»

Дата среза
25 сентября 2026
Готово за
1 мин 4 с
9 кандидатовв ТОП 5, исключено 4
200 источников обработаносервисов опрошено: 2
3 сигнала с уверенностью > 75 %
25 из 25 зарубежных источников ТОП — с резюме на русском

Часть сервисов не ответила

Без данных или с подозрительно пустым ответом: arXiv. Выдача построена по остальным сервисам — подробности на вкладке «Как получена выдача».

ТОП-5: кандидаты в слабые сигналы

Кандидаты в слабые сигналы — темы, прошедшие правило отбора; порядок — по числу пройденных критериев из 12. Стадия и тренд — грубая оценка по числу публикаций.

  1. 1

    состязательное машинное обучение

    adversarial machine learning

    Состязательное машинное обучение изучает уязвимости моделей к специально сформированным атакам и разрабатывает методы повышения их устойчивости. По документам, направление охватывает защиту классических и квантовых моделей, обнаружение мошенничества, безопасность устройств и коммуникаций, а также анализ угроз и механизмов противодействия им.

    Ключевые предикторы: наклон доли в потоке, наклон работ, доля препринтов и ещё 9 107 документов
    Работы по годам 2015–2026: от 37 до 3 317, в 2026 — 2 170 (неполный год) 12 из 12

    Масштабирование, растёт

    уверенность 100 %

  2. 2

    конфиденциальное машинное обучение

    privacy-preserving machine learning

    Конфиденциальное машинное обучение объединяет методы защиты данных с анализом и обучением моделей, включая локальную дифференциальную приватность и федеративное обучение. Документы показывают, что направление решает не только задачу сохранения конфиденциальности при агрегировании данных и совместном обучении без передачи исходных данных, но и задачу защиты таких систем от отравления данных и других атак.

    Ключевые предикторы: наклон доли в потоке, рост с поправкой, наклон работ и ещё 8 3 документа
    Работы по годам 2015–2026: от 35 до 2 090, в 2026 — 1 530 (неполный год) 11 из 12

    Масштабирование, растёт

    уверенность 92 %

  3. 3

    атаки отравления данных

    data poisoning attacks

    Атаки отравления данных — это направление защиты систем искусственного интеллекта от внесения злоумышленником искажённых данных или параметров, способных ухудшить работу моделей и привести к ошибочным решениям. Документы рассматривают обнаружение и подавление таких атак в федеративном обучении, медицинской классификации изображений, распознавании дорожных знаков, мультимодальном прогнозировании, моделях преобразования текста в изображение и других задачах.

    Ключевые предикторы: наклон доли в потоке, доля препринтов, наклон работ и ещё 7 101 документ
    Работы по годам 2015–2026: от 14 до 751, в 2026 — 593 (неполный год) 10 из 12

    Ранние разработки / PoC, растёт

    уверенность 83 %

  4. 4

    водяные знаки моделей ИИ

    AI model watermarking

    Водяные знаки моделей ИИ — направление, связанное с внедрением распознаваемых признаков в модели или связанные с ними данные для подтверждения происхождения и выявления несанкционированного использования. В доступном документе рассмотрен близкий сценарий: водяные знаки для наборов данных, подвергнутых безопасному отравлению, чтобы подтверждать принадлежность данных и обнаруживать потенциальное отравление.

    Ключевые предикторы: наклон доли в потоке, наклон работ, доля препринтов и ещё 6 1 документ
    Работы по годам 2015–2026: от 0 до 102, в 2026 — 92 (неполный год) 9 из 12

    Ранние разработки / PoC, растёт быстро

    уверенность 75 %

  5. 5

    верификация нейронных сетей

    neural network verification

    Верификация нейронных сетей в представленном документе рассматривается как точная проверка устойчивости процесса обучения к атакам с отравлением данных. Подход моделирует изменение данных, динамику обучения на основе градиентов и тестовую оценку в единой оптимизационной задаче, чтобы выявлять наихудшие атаки и оценивать устойчивость всего конвейера.

    Ключевые предикторы: наклон доли в потоке, наклон работ, доля препринтов и ещё 4 1 документ
    Работы по годам 2015–2026: от 153 до 1 191, в 2026 — 1 191 (неполный год) 7 из 12

    Ранние разработки / PoC, растёт

    уверенность 58 %

Исключено из выдачи (4)

Кандидаты, которые не вошли в ТОП. У группы — правило исключения с порогом, у темы — причина. Пороги и все правила — в методике.

Нет документов в источниках 4

Правило: публикации по годам есть, но поиск не нашёл документов по теме — сигнал не подтверждён

Правила без совпадений в этом поиске: зрелые тренды, отраслевые стандарты, шум, спад, недостаточно слабых признаков, недостаточно данных, область запроса.

Как получена выдача

Запрос и расширение

Запрос «защита и безопасность систем искусственного интеллекта» расширен моделью gpt-5.6-luna через Selectel в область, подтемы и поисковые фразы.

Как искали

Область запроса — «безопасность и защищённость систем искусственного интеллекта»: встречается в 0 из 200 документов поиска.

Подтема или фразаДокументовПоиск в сервисах
состязательное машинное обучение общий термин области 107 документов (53 %) искали по ней
атаки отравления данных общий термин области 101 документ (50 %) искали по ней
атаки извлечения моделей 0 документов искали по ней
защита от инъекций промптов 0 документов искали по ней
конфиденциальное машинное обучение 3 документа (1 %) искали по ней
водяные знаки моделей ИИ 1 документ (меньше 1 %) искали по ней
верификация нейронных сетей 1 документ (меньше 1 %) искали по ней
оценка безопасности ИИ 0 документов искали по ней

Документов — сколько найденных документов относится к подтеме (столько же у темы в выдаче): все её слова есть в названии или аннотации либо документ найден по ней. В сервисах искали по всем подтемам и фразам. «Общий термин области» — встречается в 30 % найденных документов и чаще.

Ключевые слова области в поиск не уходят: по ним видно, какие термины чаще всего встречаются в найденных документах.

  • robust machine learning — 22 документа (11 %)
  • model privacy — 8 документов (4 %)
  • AI security — 4 документа (2 %)
  • neural network robustness — 4 документа (2 %)
  • secure machine learning — 3 документа (1 %)
  • trustworthy AI — 1 документ (меньше 1 %)
  • AI red teaming — не встречается
  • AI safety — не встречается
  • large language model security — не встречается
  • responsible AI — не встречается

Документов без совпадения с подтемами и ключевыми словами: 0 из 200.

Опрошенные сервисы

СервисСостояниеДокументовВремя ответа
arXiv подозрительно пусто 0 документов 8,3 с
OpenAIRE Graph API ответил 200 документов 5,2 с

Обработано источников (документов): 200; опрошено сервисов: 2.

Кандидаты

Темы-кандидаты взяты из расширения запроса: сама область, подтемы и поисковые фразы. Готовых групп документов для этого направления нет.

  • подтема из расширения запроса — 8
  • область запроса — 1

Правило отбора

В ТОП попадают темы, которые подтверждены найденными документами, прошли достаточно критериев из 12 и не попали под правила исключения (вкладка «Исключено»).

  • Недостаточно слабых признаков: пройдено меньше 4 из 12 критериев
  • Недостаточно данных: измерено меньше 8 из 12 критериев — решение не принимается

Все пороги и правила — в методике

Тексты карточек и модели

Тексты 5 из 5 карточек ТОП написала модель gpt-5.6-luna через Selectel по документам темы (описание, преимущество, кейс); почему тема — сигнал, объясняют правила по числам, без модели.

Модели по шагам
Расширение запроса
gpt-5.6-luna через Selectel
Резюме источников
gpt-5.6-luna через Selectel
Тексты карточек
gpt-5.6-luna через Selectel

Резюме зарубежных источников

Русское резюме есть у 25 из 25 зарубежных источников карточек ТОП (модель gpt-5.6-luna через Selectel; в карточке помечено как генеративное резюме).