Штучны інтэлект навучыўся маляваць карціны паводле тэкставага апісання

Сістэма працуе дзякуючы алгарытму, створанаму Microsoft.

Распрацоўшчыкі з кампаніі Microsoft стварылі новае спараджальнае спаборніцкае нейрасеціва, якое ўмее выконваць малюнкі на аснове іх кароткага тэкставага апісання. Сістэма працуе дзякуючы алгарытму, які ўлічвае важныя дэталі апісання, і падрабязна апісаная ў прэпрынце на arXiv, паведамляе nplus1.ru.

Вельмі часта ў аснове стварэння алгарытмаў ляжаць спараджальныя спаборніцкія нейрасеткі (таксама іх называюць генератыўнай-спаборніцкімі, GAN - generative adversarial networks) - разнавіднасць штучных нейронных сетак, якія складаюцца з генератара і дыскрымінатара. Задача першага - ствараць новыя аб'екты, падобныя на аб'екты з навучальнай выбаркі, доступу да якой у яго няма, а задача другога - вызначыць, ці належыць згенераваны аб'ект да класа аб'ектаў з даступнай яму навучальнай выбаркі, і даць адпаведны сігнал генератару. На аснове такога алгарытму ствараюцца праграмы, якія ўмеюць маляваць арыгінальныя творы мастацтва, ствараць трохмерныя мадэлі мясцовасці і нават ператвараць эскізы ў фотарэалістычныя партрэты.

Распрацоўшчыкі з даследчага аддзялення Microsoft пад кіраўніцтвам Сяадуна Хэ (Xiaodong He) для стварэння малюнкаў з тэкставым апісаннем распрацавалі новую разнавіднасць GAN-нейрасеціва: старанны GAN (attentional GAN, AttGAN). У адрозненне ад ужо існых алгарытмаў, якія генеруюць выявы з цэлага апісання, ператвараючы яго ў адзін вектар-прапанову, новы алгарытм звяртае ўвагу на дэталі: гэта значыць, ацэньвае кожнае слова ў апісанні і робіць малюнак на іх аснове.

У выніку нейрасеціва вучыцца ствараць досыць рэалістычныя малюнкі на аснове апісанняў. Пры навучанні на базе звестак COCO, якая змяшчае тэкст і апісанне, праца новай нейрасеткі перасягае ўжо існыя алгарытмы ў дакладнасці на 170,25 адсотка, а пры выкарыстанні базы звестак CUB (яна змяшчае выявы птушак) - на 14,14 адсотка.

Распрацоўнікі, такім чынам, здолелі паказаць эфектыўнасць новага алгарытму стварэння малюнкаў на аснове апісання і асобна - эфектыўнасць дадання ў нейрасетку «ўважлівага» складніка.