Перше подвійно сліпе випробування закритої моделі
27 серпня 2026 року Google DeepMind разом з Інститутом безпеки ШІ Сінгапуру, OpenMined, AVERI та MLCommons оприлюднила технічний звіт про випробування, у якому оцінювач не бачив ваг моделі, а власник не бачив питань. Модель Gemini 2.5 Flash Lite перевірили на вибірці із закритого корпусу AILuminate всередині захищеного анклаву на NVIDIA H100.
Чому це важливо
Досі зовнішня перевірка закритої моделі вимагала, щоб хтось поступився таємницею: або оцінювач віддавав питання власникові, або власник віддавав ваги. Випробування показало третій шлях, за якого обидві сторони перевіряють на рівні заліза, що друга не бачить їхнього, — і зробило перевірку можливою там, де контракт про незбереження журналів довіри не заміняє.
Захист будується на анклаві, що шифрує дані просто в пам'яті: господарська частина — Intel TDX, обчислювальна — NVIDIA H100 із шифрованою відеопам'яттю, усе в середовищі Confidential Space у Google Cloud, а приватність даних і моделі тримає бібліотека PySyft від OpenMined. Ваги течуть у відеопам'ять, питання — в оперативну, назовні виходять лише обмежені показники. Звіт підписали автори з п'яти організацій: AVERI, Google, Інститут безпеки ШІ Сінгапуру, OpenMined і ML Commons. Він називає три причини, чому довіри до бенчмарків бракує: за Singh et al. (2025), одна передова лабораторія випробувала 27 приватних варіантів моделі на Chatbot Arena й оприлюднила найкращий; за Xu et al. (2024), ознаки витоку даних бенчмарка знайшлися приблизно в половини з 31 випробуваної моделі; за Schaeffer et al. (2026), забруднення тестового набору завищує вимір, і завищення росте разом із обсягом забруднення й розміром моделі. Чого запис не стверджує. Що це перше подвійно сліпе випробування у світі: так каже сама компанія, і незалежного підтвердження цього першенства запис не наводить. Які вийшли результати: запис про спосіб, а не про оцінку моделі. Що спосіб доступний іншим: описано пілот, а не службу. Допис компанії називає модель лише «Gemini Flash Lite»; точну назву взято з технічного звіту.