The post has been translated automatically. Original language: Russian
Now many startups in the field of medicine and healthcare claim that their AI assistants are about to replace a doctor or solve the problem of staff shortages. But if you descend from the heavens (clouds) of automation to the ground, the reality turns out to be much more complicated.
Industry experts identify several "pitfalls" that AI service developers need to think about even at the product design stage.:
The main fear is the atrophy (degradation) of clinical thinking. Doctors and experts fear (which we fully agree with) that blindly trusting AI prompts will gradually reduce their own diagnostic skills.
As one of the specialists put it at the recent Orgzdrav-2025 congress: "If the system freezes, should I reboot it along with the patient's life?"
There is a high percentage of errors at the intersection of theory and practice. AI does an excellent job with routine tasks like analyzing CT scans or X-rays, but the accuracy of this diagnosis is still "floating." And in medicine, as well as in aviation, for example, "instructions and rules are written in blood" (the price of a mistake is human life).
To reduce the percentage of false positives, generative models should be trained on strictly validated data under the supervision of hundreds of practicing doctors, and not just on "raw" arrays of incomprehensible data from the Internet. That is, technology needs time and an involved expert environment is needed.
Patients are "experts" as a negative trigger for doctors. The availability of AI platforms has led to patients coming to appointments with ready-made diagnoses from neural networks. This creates ethical conflicts and causes a natural resistance to innovation in the conservative medical environment (and doctors are a very conservative environment).
The problem of onboarding. According to statistics, only about half of doctors today regularly and actively use modern IT tools in their work. For various reasons (and not only economic ones), the barrier to entry is still high.
Advice for startups: The success of an IT product in medicine, in our opinion, today does not depend on the number of fancy chips in AI solutions, but mainly on whether you were able to prove the system's safety to the doctor and organically integrate it into his daily routine. So that these solutions really relieve the doctor and help him in practice. It is also important for startups to create solutions that protect both the doctor (from burnout and mistakes) and the patient. After all, as we wrote above, the cost of mistakes in the medical field is incredibly high.
PS: The picture was made using AI
Сейчас многие стартапы в сфере медицины и здравоохранения заявляют, что их ИИ-ассистенты вот-вот заменят врача или решат проблему дефицита кадров. Но если спуститься с небес (облаков) автоматизации на землю, реальность оказывается намного сложнее
Эксперты в отрасли выделяют несколько "подводных камней", о которых разработчикам ИИ-сервисов нужно думать еще на этапе проектирования продукта:
Главный страх - атрофия (деградация) клинического мышления. Врачи и эксперты опасаются (с чем мы полностью согласны), что слепое доверие подсказкам ИИ будет постепенно снижать их собственный навык диагностики.
Как выразился один из специалистов на прошедшем недавно конгрессе "Оргздрав-2025": "Если система зависла, перезагружать ее вместе с жизнью пациента?" .
Высокий процент ошибок на стыке теории и практики. ИИ отлично справляется с рутинными задачами вроде анализа КТ или рентген-снимков, но точность этой диагностики всё еще "плавает". А в медицине, также как например и в авиации - "инструкции и правила - пишутся кровью" (цена ошибки - человеческая жизнь).
Чтобы снизить процент ложных срабатываний, генеративные модели должны обучаться на строго валидированных данных под контролем сотен практикующих врачей, а не просто на "сырых" массивах непонятных данных из интернета. Т.е, технологии нужно время и нужна вовлеченная экспертная среда
Пациенты "эксперты" как негативный триггер для медиков. Доступность ИИ-платформ привела к тому, что пациенты приходят на прием с готовыми диагнозами от нейросетей. Это порождает этические конфликты и вызывает у консервативной медицинской среды (а медики - это очень консервативная среда) естественное сопротивление инновациям.
Проблема онбординга. По статистике, только около половины врачей сегодня регулярно и активно пользуются современными IT-инструментами в работе. По разным причинам (и не только экономическим) барьер входа всё еще высок.
Совет для стартапов: Успех ИТ-продукта в медицине, по нашему мнению, сегодня зависит не от количества навороченных фишек в ИИ-решениях, а в основном от того, смогли ли вы доказать врачу безопасность системы и органично встроить ее в его ежедневную рутину. Так, чтобы эти решения реально разгружали врача и помогали ему в практике. Также стартапам важно создавать решения, которые защищают и врача (от выгорания и ошибок), и пациента. Ведь, как мы написали выше - цена ошибок в сфере медицины невероятно высока.
ПС: картинка сделана с использованием ИИ
Share
