«защита и безопасность систем искусственного интеллекта»
- Дата среза
- 25 сентября 2026
- Готово за
- 1 мин 4 с
Часть сервисов не ответила
Без данных или с подозрительно пустым ответом: arXiv. Выдача построена по остальным сервисам — подробности на вкладке «Как получена выдача».
ТОП-5: кандидаты в слабые сигналы
Кандидаты в слабые сигналы — темы, прошедшие правило отбора; порядок — по числу пройденных критериев из 12. Стадия и тренд — грубая оценка по числу публикаций.
- число работ по годам, 2015–2026
- критерий пройден
- ниже порога
- не измерен
- Как читать — в методике
-
1
состязательное машинное обучение
adversarial machine learning
Состязательное машинное обучение изучает уязвимости моделей к специально сформированным атакам и разрабатывает методы повышения их устойчивости. По документам, направление охватывает защиту классических и квантовых моделей, обнаружение мошенничества, безопасность устройств и коммуникаций, а также анализ угроз и механизмов противодействия им.
Ключевые предикторы: наклон доли в потоке, наклон работ, доля препринтов и ещё 9 107 документов12 из 12Масштабирование, растёт
уверенность 100 %
-
2
конфиденциальное машинное обучение
privacy-preserving machine learning
Конфиденциальное машинное обучение объединяет методы защиты данных с анализом и обучением моделей, включая локальную дифференциальную приватность и федеративное обучение. Документы показывают, что направление решает не только задачу сохранения конфиденциальности при агрегировании данных и совместном обучении без передачи исходных данных, но и задачу защиты таких систем от отравления данных и других атак.
Ключевые предикторы: наклон доли в потоке, рост с поправкой, наклон работ и ещё 8 3 документа11 из 12Масштабирование, растёт
уверенность 92 %
-
3
атаки отравления данных
data poisoning attacks
Атаки отравления данных — это направление защиты систем искусственного интеллекта от внесения злоумышленником искажённых данных или параметров, способных ухудшить работу моделей и привести к ошибочным решениям. Документы рассматривают обнаружение и подавление таких атак в федеративном обучении, медицинской классификации изображений, распознавании дорожных знаков, мультимодальном прогнозировании, моделях преобразования текста в изображение и других задачах.
Ключевые предикторы: наклон доли в потоке, доля препринтов, наклон работ и ещё 7 101 документ10 из 12Ранние разработки / PoC, растёт
уверенность 83 %
-
4
водяные знаки моделей ИИ
AI model watermarking
Водяные знаки моделей ИИ — направление, связанное с внедрением распознаваемых признаков в модели или связанные с ними данные для подтверждения происхождения и выявления несанкционированного использования. В доступном документе рассмотрен близкий сценарий: водяные знаки для наборов данных, подвергнутых безопасному отравлению, чтобы подтверждать принадлежность данных и обнаруживать потенциальное отравление.
Ключевые предикторы: наклон доли в потоке, наклон работ, доля препринтов и ещё 6 1 документ9 из 12Ранние разработки / PoC, растёт быстро
уверенность 75 %
-
5
верификация нейронных сетей
neural network verification
Верификация нейронных сетей в представленном документе рассматривается как точная проверка устойчивости процесса обучения к атакам с отравлением данных. Подход моделирует изменение данных, динамику обучения на основе градиентов и тестовую оценку в единой оптимизационной задаче, чтобы выявлять наихудшие атаки и оценивать устойчивость всего конвейера.
Ключевые предикторы: наклон доли в потоке, наклон работ, доля препринтов и ещё 4 1 документ7 из 12Ранние разработки / PoC, растёт
уверенность 58 %
Исключено из выдачи (4)
Кандидаты, которые не вошли в ТОП. У группы — правило исключения с порогом, у темы — причина. Пороги и все правила — в методике.
Нет документов в источниках 4
Правило: публикации по годам есть, но поиск не нашёл документов по теме — сигнал не подтверждён
-
AI safety evaluation
- поиск не нашёл документов по теме — сигнал не подтверждён документами
11 из 12 -
безопасность и защищённость систем искусственного интеллекта
AI system security and safety
- поиск не нашёл документов по теме — сигнал не подтверждён документами
10 из 12 -
model extraction attacks
- поиск не нашёл документов по теме — сигнал не подтверждён документами
10 из 12 -
prompt injection defense
- поиск не нашёл документов по теме — сигнал не подтверждён документами
8 из 12
Правила без совпадений в этом поиске: зрелые тренды, отраслевые стандарты, шум, спад, недостаточно слабых признаков, недостаточно данных, область запроса.
Как получена выдача
Запрос и расширение
Запрос «защита и безопасность систем искусственного интеллекта» расширен моделью gpt-5.6-luna через Selectel в область, подтемы и поисковые фразы.
Как искали
Область запроса — «безопасность и защищённость систем искусственного интеллекта»: встречается в 0 из 200 документов поиска.
| Подтема или фраза | Документов | Поиск в сервисах |
|---|---|---|
| состязательное машинное обучение общий термин области | 107 документов (53 %) | искали по ней |
| атаки отравления данных общий термин области | 101 документ (50 %) | искали по ней |
| атаки извлечения моделей | 0 документов | искали по ней |
| защита от инъекций промптов | 0 документов | искали по ней |
| конфиденциальное машинное обучение | 3 документа (1 %) | искали по ней |
| водяные знаки моделей ИИ | 1 документ (меньше 1 %) | искали по ней |
| верификация нейронных сетей | 1 документ (меньше 1 %) | искали по ней |
| оценка безопасности ИИ | 0 документов | искали по ней |
Документов — сколько найденных документов относится к подтеме (столько же у темы в выдаче): все её слова есть в названии или аннотации либо документ найден по ней. В сервисах искали по всем подтемам и фразам. «Общий термин области» — встречается в 30 % найденных документов и чаще.
Ключевые слова области в поиск не уходят: по ним видно, какие термины чаще всего встречаются в найденных документах.
- robust machine learning — 22 документа (11 %)
- model privacy — 8 документов (4 %)
- AI security — 4 документа (2 %)
- neural network robustness — 4 документа (2 %)
- secure machine learning — 3 документа (1 %)
- trustworthy AI — 1 документ (меньше 1 %)
- AI red teaming — не встречается
- AI safety — не встречается
- large language model security — не встречается
- responsible AI — не встречается
Документов без совпадения с подтемами и ключевыми словами: 0 из 200.
Опрошенные сервисы
| Сервис | Состояние | Документов | Время ответа |
|---|---|---|---|
| arXiv | подозрительно пусто | 0 документов | 8,3 с |
| OpenAIRE Graph API | ответил | 200 документов | 5,2 с |
Обработано источников (документов): 200; опрошено сервисов: 2.
Кандидаты
Темы-кандидаты взяты из расширения запроса: сама область, подтемы и поисковые фразы. Готовых групп документов для этого направления нет.
- подтема из расширения запроса — 8
- область запроса — 1
Правило отбора
В ТОП попадают темы, которые подтверждены найденными документами, прошли достаточно критериев из 12 и не попали под правила исключения (вкладка «Исключено»).
- Недостаточно слабых признаков: пройдено меньше 4 из 12 критериев
- Недостаточно данных: измерено меньше 8 из 12 критериев — решение не принимается
Тексты карточек и модели
Тексты 5 из 5 карточек ТОП написала модель gpt-5.6-luna через Selectel по документам темы (описание, преимущество, кейс); почему тема — сигнал, объясняют правила по числам, без модели.
Модели по шагам
- Расширение запроса
- gpt-5.6-luna через Selectel
- Резюме источников
- gpt-5.6-luna через Selectel
- Тексты карточек
- gpt-5.6-luna через Selectel
Резюме зарубежных источников
Русское резюме есть у 25 из 25 зарубежных источников карточек ТОП (модель gpt-5.6-luna через Selectel; в карточке помечено как генеративное резюме).