Лікарі віддають перевагу відповідям моделі
16 травня 2023 року Google опублікувала Med-PaLM 2: 86,5 % на MedQA, на понад 19 пунктів вище за Med-PaLM, а на 1 066 питаннях споживачів лікарі віддали перевагу її відповідям над відповідями лікарів за вісьмома з дев'яти осей клінічної корисності.
Чому це важливо
За п'ять місяців результат на питаннях медичного іспиту виріс з рівня, який автори називають ледь прохідним, до рівня, де лікарі-оцінювачі частіше обирали відповідь моделі, ніж колеги. Оцінку робили автори з Google, рецензовану версію надруковано через двадцять місяців.
Модель побудовано на PaLM 2 з медичним донавчанням і новим способом підказок — ансамблевим уточненням. До оцінки додано 240 «змагальних» питань, що шукають межі моделі; на них Med-PaLM 2 краща за Med-PaLM за кожною віссю. Перша версія називає результат Med-PaLM на MedQA 67,2 % і пише, що та першою перейшла прохідний поріг. Рецензована стаття в Nature Medicine повторює 86,5 % і вісім осей із дев'яти. Порівняння йде з письмовими відповідями лікарів, а не з лікуванням пацієнтів.