Юрій Лук'янчук: як штучний інтелект "бачить" музику
Юрій Лук'янчук — старший викладач із Луцького технічного університету, який змінює стереотипи навчання та допомагає студентам реалізувати їхні ідеї за допомогою сучасних технологій. Ми познайомилися з ним на Хататоні, де Юрій поєднав українську музику, штучний інтелект та власне, технологію NFТ.
кандидат технічних наук, старший викладач кафедри “Комп'ютерні науки” Луцького національного технічного університету
Робота зі штучним інтелектом (ШІ)
Давно слідкував за розвитком ШІ. А працювати із цією технологією почав разом зі своїми студентами, коли побачив безмежні можливості, які вона розкриває. Наразі розробка та дослідження ШІ проводяться по декількох напрямах, а саме: музика, зображення та, частково, промисловість (3D-друк). Кожен із них представлений у власних наукових публікаціях та дипломних роботах студентів.
Згідно із дослідженнями, мозок людини працює швидше, ніж будь-який алгоритм ШІ, проте цей алгоритм обробляє нескінченні потоки інформації й робить це постійно та без вихідних чи лікарняних. Застосування його призведе до безперебійного виробництва продукції, і згодом він замінить більшість сучасних професій, а людині (оператору) залишиться лише роль наглядача за правильністю роботи.
Раніше ми вже писали, як сучасні музиканти використовують штучний інтелект у своїй творчості.
ШІ, який "бачить" музику
Ідея розробки алгоритму для цього ШІ виникла в студента Сергія Бабія під час вибору теми дипломної роботи. Після аналізу схожих технологій, ми виділили основні властивості його роботи, а як писати сам код, підказали представники місцевих ІТ-компаній під час чергової зустрічі (ми залучаємо до навчального процесу практикуючих ІТ-шників, які діляться зі студентами власним досвідом). Людина, коли читає текст, уявляє прочитане, базуючись на власному досвіді. Було цікаво побачити, як уявляє прочитаний текст ШІ.
Якщо не заглиблюватись у деталі, то процес перетворення тексту в зображення доволі простий. Якщо дати текст пісні (краще англійською), то ШІ вибирає найбільш вживані слова (зазвичай приспів), потім робить пошук по зображеннях у мережі, групує, сортує, фільтрує й узагальнює отриманий результат. На його основі формується, власне, зображення, яке є унікальним і водночас частково подібним до підібраних картинок.
Алгоритм постійно розвивається, має власну пам’ять та критерії відбору зображень. Після кожної генерації він вдосконалюється, як у пошуку, так і в отриманому зображені. Навіть, якщо задавати одні й ті ж вхідні параметри, результат роботи буде щоразу іншим.
Такі варіанти ШІ пропонує для пісні Саші Буля "Дорога"
Загалом, втручання людини досить мінімальне. Потрібно лише прийняти або відхилити результат та внести зміни у вхідні дані. Саме зображення формується на основі інформації в мережі. Це можуть бути фотографії, картини, кадри з фільмів та навіть різні шрифти тексту. Якщо згенероване зображення потребує доопрацювання, то використовуємо додаткове програмне забезпечення, у кожному випадку інше.
Моя особиста рекомендація — Topaz Labs, а особливо їхній Gigapixel AI. Це програмне забезпечення, що в основі своєї роботи використовує ШІ. До того ж безкоштовне)))
Заглиблення у NFT-технології
Коли я зареєструвався до участі в Хататоні 3.0, то основна мета була вивчити нову технологію, розібратись, як працює сфера NFT, та отримані знання використовувати в навчальному процесі, оскільки викладач зобов’язаний знати нові технології та навчати цього студентів, особливо в ІТ-сфері.
Від редакції: Ми готуємо окремий матеріал про те, що таке NFT і як його застосовують музиканти, поки ж коротко варто розуміти, що це особливий тип криптовалюти, який є незамінним, на відміну від більшості криптовалют. NFT може бути представлений як зображення, музика, коротке відео, 3D об’єкт тощо.
Я вибрав українські пісні, оскільки наразі відбувається популяризація української культури через різні музичні платформи та концерти, де відомі виконавці розповідають про події в Україні та показують незламність нашого духу. Яскравим прикладом є перемога Kalush Orchestra на Євробаченні 2022.
Вибір пісень був складним, проте за основу брались: народні пісні, оскільки вони символізують українську історію, сучасні пісні, бо вони описують сьогодення, та колискові пісні, оскільки вони символізують майбутнє України, бо від матері в дитини формуються національні цінності та любов до Батьківщини.
Кілька зображень-пісень з NFT-колекції Юрія "Soul of Ukraine"
Розробка цього алгоритму ШІ вже допомогла студенту Сергію Бабію отримати диплом про вищу освіту))) Проте робота над ним ще не завершена.
Є домовленості про спільні заходи із фахівцями в просуванні NFT. Також маємо маркетинговий план для розповсюдження зображень через соціальні мережі. Плануємо розробити аналогічні колекції (ред. більше NFT-колекцій із цим ШІ тут) та постійно брати участь у різноманітних виставкових залах, як в Україні, так і за кордоном, якщо запросять)))
Також опис роботи цього алгоритму представлено на різноманітних грантових програмах та для венчурних фондів. Можливо, хтось зацікавиться та погодиться на співпрацю.
Наше бачення потенціалу — це розробка подібних NFT та їхнє використання в метавсесвіті. Проте це вже наступні наші дослідження)))
Розвиток інновацій
У ЛНТУ багато кафедр із власними досягненнями. Саме наша кафедра "Комп'ютерні науки" спеціалізується на вивченні та розвитку інновацій. Ми постійно оновлюємо лабораторне обладнання й на практиці досліджуємо, як сучасні технології (3D-друк, робототехніка, програмування, віртуальна та доповнена реальність), так і технології майбутнього (голограма, система керування силою думки, система керування жестами) та інші.
Загалом, ми прислухаємось до студентів та допомагаємо їм у розвитку власних StartUp проєктів. Наприклад, згаданий вище Сергій також став автором інтерактивного рюкзака, що відтворює зображення, текст і навіть відео.
У нашому Інстаграмі в сторіз ви знайдете зображення, які Юрій зробив за допомогою штучного інтелекту та на основі пісень, про які ми пишемо.
