Українські розробники створили нейромережу, яка чистить інформацію про «прильоти»
Українські розробники Дмитро Вакуленко, Conversational Frontend Engineer, та Олександр Голуб, AI Trainer в Master of Code Global створили чат-бот в Telegram UA Anti Spam Bot, який самостійно шукає інформацію про «прильоти» і сам себе вдосконалює. Про роботу нейромережі розробники розповіли в колонці для AIN.ua.
Девелопери розповідають, що спочатку чат-бот базувався на простому алгоритмі порівняння коментарів користувачів з «підозрілою» комбінацією стоп-слова (горить, палає, приліт, танк, БТР тощо) та локації (Київ, Черкаси, заправка, парк, завод тощо). І автоматично видаляв такі коментарі.
Але потім виявилося, що не всі дані підходять для тренування нейромережі.
«Ми почали збирати ці коментарі з чатів у Telegram. Коли відбувалися повітряні тривоги, ми моніторили, що пишуть люди. Наприклад, що там пролетіло, де там був вибух, що сталось. І ми такі приклади виписували собі», – пояснюють розробники.
В подальшому Дмитро Вакуленко та Олександр Голуб оптимізували систему:
- Почали відсіювати коментарі більше 30 слів, а також прибрали коментарі, де одне-два слова. Або редагували їх, додаючи ключові слова (наприклад, літак, ракета, гвинтокрил, танк, солдат, зброя тощо).
- Використали сервіс Stemming для ідентифікації слів різного роду та відмінків та Lemmatization для часу дієслів.
- Почали розвивати нейромережу задля врахування слів-синонімів
Система не повністю автоматична – девелоперу потрібно брати новий датасет і навчати його. Чат-бот має антишахрай-систему та може автоматично видаляти коментарі шахраїв з лінками на фейкові ресурси, що мімікрують під офіційні енергетичні сервіси (ДТЕК, Yasno та інші).
Наразі бот видаляє шкідливі коментарі у 2600 Telegram-каналах і групах, охоплюючи понад 420 000 користувачів.
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: