În domeniul imagisticii medicale, precizia și eficiența sunt esențiale pentru diagnosticarea și tratamentul pacienților. BiomedParse, un model AI dezvoltat de Microsoft Research în colaborare cu Universitatea din Washington și Providence, reprezintă un pas important în această direcție. Acest model integrează recunoașterea, detectarea și segmentarea obiectelor într-un singur cadru, permițând profesioniștilor din domeniul medical să efectueze analize complexe cu mai puțini pași manuali.
Reducerea decalajului dintre recunoaștere și segmentare
La mijlocul anilor 2000, cercetătorii au propus o abordare unificată a analizei imaginilor care combină recunoașterea, detectarea și segmentarea. Cu toate acestea, constrângerile tehnologice au lăsat-o în mare parte teoretică. BiomedParse face acest concept practic, permițând utilizatorilor să introducă o solicitare simplă în limbaj natural pentru a contura și eticheta obiecte direct pe imagini.
Integrarea cu cadre multimodale avansate
BiomedParse poate fi integrat în cadre multimodale avansate, cum ar fi LLaVA-Med (Large Language and Vision Assistant for Biomedicine) de la Microsoft, un model AI multimodal conceput pentru a ajuta la sarcinile vizuale și lingvistice biomedicale. Aceasta facilitează analiza conversațională a imaginilor, permițând o interacțiune mai naturală și eficientă cu datele medicale.
Utilizarea GPT-4 pentru crearea de date
Una dintre principalele provocări în dezvoltarea instrumentelor cuprinzătoare de analiză a imaginilor este lipsa unor seturi de date extinse care să acopere diverse sarcini în mod coerent. Pentru a rezolva acest lucru, Microsoft a folosit GPT-4 pentru a sintetiza date din 45 de seturi de date de segmentare existente. Acest lucru a dus la peste șase milioane de seturi de imagini adnotate, măști și descrieri text, acoperind 64 de tipuri de obiecte primare și 82 de subcategorii din nouă metode de imagistică1.
Performanța BiomedParse
BiomedParse a fost testat pe peste 102.000 de combinații de imagine-mască-etichetă, depășind în mod constant modelele existente precum MedSAM și SAM, chiar și atunci când sunt asociate cu detectoare avansate de obiecte precum Grounding DINO. Modelul a arătat un avantaj de 75-85 de puncte în scorul zarurilor, o măsură critică pentru măsurarea preciziei segmentării1.
Implicații pentru medicina de precizie
BiomedParse și GigaPath susțin medicina de precizie, în care tratamentul este adaptat în funcție de profilul genetic al unui individ. GigaPath a pus bazele cu capacitatea sa de a interpreta lamele de patologie pentru subtiparea cancerului, în timp ce BiomedParse extinde acest lucru prin integrarea diferitelor modalități de imagine1.
Sursa și imaginea: Microsoft
