Штучний Інтелект змінює уяву про пошук даних
Пошук, яким ми його знаємо — ключові слова, автозаповнення, навігація — зазнає швидких змін.
Це пов’язано з прискоренням генеративного штучного інтелекту (AI), машинного навчання (ML ) та великі мовні моделі (LLM), які дозволяють різні типи пошуку або доповнюють традиційний пошук.
Проте навчання, розгортання та обслуговування LLM дорогі, а існуючі моделі, такі як ChatGPT, мають доступ лише до загальнодоступних даних, тому зберігаються вони недосяжно для деяких підприємств під час пошуку (та захисту) даних компанії.
Пошукова система Elastic Stack прагне змінити це за допомогою нової системи Elasticsearch Relevance Engine, вже доступної сьогодні.
Інструмент дозволяє компаніям використовувати переваги структурованих і неструктурованих даних для створення користувальницьких генеративних додатків штучного інтелекту без розкриття цих даних або необхідності інвестувати в LLM.
«Мовні програми LLM, такі як GPT-3 або Bard, — це дуже великі, дуже дорогі мовні моделі, які інтенсивно навчаються з великою кількістю обчислень, — сказав Мет Райлі, Elastic’s GM для корпоративного пошуку. Крім того, інформація, на якій вони навчаються, зазвичай надходить з Інтернету, «тому вони зазвичай не мають доступу до приватної інформації».
Механізми Insight, що підтримують рішення, дії
За словами аналітичної компанії Gartner, механізми Insight, такі як Elastic, поєднують пошук із композитним штучним інтелектом, щоб забезпечити контекстно-збагачений аналіз. Вони збирають дані з різноманітних джерел і типів — так звані «широкі дані», включаючи сховища, веб-сайти та бази даних — у центральний індекс із можливістю запиту.
«Це дає змогу механізмам аналізу служити посередником між інформацією та підтримкой рішень і дій або даних для підтримки автоматизації», — заявив Gartner.
Це дозволяє здійснювати пошук усередині підприємств або на веб-сайтах, але це також виходить за рамки відповідей на запитання, надання контекстуальних рекомендацій і отримання інформації, на основі якої потім можна вжити заходів.
Глобальний ринок корпоративного пошуку, на якому конкурує Elastic — із такими компаніями, як Micro Focus, Squirro, IBM, Microsoft, Sinequa, Coveo та інші ніші та нові гравці — очікується за однією оцінкою до 2030 року досягне 8,8 мільярдів доларів США.
«Зростання можна пояснити зростаючою потребою в ефективному нагляді за великими обсягами даних серед організацій, щоб зміцнити їхні операційні можливості», згідно з Grand View Research .
Підприємства також шукають інструменти, які дозволяють заощаджувати час на пошук даних і покращують заходи безпеки.
Elastic безпечно використовує дані компанії
Elasticsearch Relevance Engine робить пошукові можливості на основі ШІ на крок далі.
Інструмент дозволяє підприємствам безпечно використовувати генеративний штучний інтелект для приватних бізнес-даних, надаючи користувачам можливість задавати запитання, не відкриваючи дані компанії в загальнодоступному Інтернеті.
Він працює на основі уніфікованих API для векторного пошуку та моделей трансформаторів, які допомагають отримувати значення та контекст. Функція ранжирування пошуку BM25f допомагає оцінити релевантність документа певному запиту, а гібридний пошук поєднує кілька алгоритмів пошуку для підвищення точності та релевантності. Підприємства можуть принести свою власну модель трансформатора та/або інтегрувати моделі трансформаторів сторонніх виробників.
«Підприємства в захваті від потенціалу генеративного штучного інтелекту у своїх програмах і робочих процесах, але всі вони також захоплені швидкістю інновацій у цій галузі», — сказав Джеймс Говернор, співзасновник аналітичної компанії RedMonk.
Він зазначив, що Elasticsearch Relevance Engine «розроблено, щоб полегшити впровадження трансформаторів, саморобних і сторонніх моделей LLM, спираючись на оригінальні основні переваги Elastic у пошуку».
Реагування на попит клієнтів
Наприклад, візьмемо пошукову систему електронної комерції для великого магазину товарів для дому. Співробітник може запитати платформу: «Як побудувати систему поливу для двору площею 1 акр у Детройті?» Elastic може надати інструкції, необхідні інструменти та список обладнання на основі конкретного каталогу компанії або того, що є на складі в певному місці, сказав Райлі.
Elasticsearch Relevance Engine вже використовується кількома клієнтами Elastic, зокрема Relativity, яка експериментує з цим інструментом у поєднанні з Azure OpenAI для покращення релевантності результатів для продукту e-Discovery, сказав Райлі.
«Забезпечення нашим клієнтам і партнерам найкращих у галузі можливостей пошуку є життєво важливим для нашої місії, щоб допомогти їм упорядковувати дані, відкривати правду та діяти відповідно до неї», — сказав Кріс Браун, директор із продуктів Relativity. «Ми зараз експериментуємо з механізмом релевантності Elasticsearch і радіємо його потенціалу надавати нашим клієнтам потужні результати пошуку, доповнені ШІ».
ШІ швидко розширюється, підприємства повинні реагувати
Райлі зазначив, що коли такі технології, як штучний інтелект, розвиваються так швидко, вони швидко змінюють очікування клієнтів і програмне забезпечення, з яким вони прагнуть взаємодіяти. Популяризація ChatGPT і його здатність надавати дуже описові, детальні відповіді викликали «величезне хвилювання — не лише серед технічної спільноти, але й у ширшій спільноті споживачів», — сказав він.
У той же час, «обсяг даних, які створюють підприємства, стрімко зростає і буде продовжувати зростати», – сказав він. Отже, компанії зобов’язані інвестувати в розумнішу технологію пошуку, засновану на природній людській мові, а не лише на ключових словах.
За словами Райлі, компанія Elastic почала інвестувати у векторний пошук і моделі трансформаторів близько двох років тому. Це рішення було прийнято на основі відгуків спільноти з відкритим кодом.
«Ми прислухаємося до спільноти та реагуємо на тенденції, які виникають якомога раніше», — сказав він.
Традиційний пошук не зникає
Незважаючи на ці нові можливості, Райлі сказав, що пошук у тому вигляді, як ми його знаємо — пошук за ключовими словами, навігаційний пошук, автозаповнення — не скоро зникне.
«Я не думаю, що ШІ повністю усуне те, що ми давно вважали пошуком», — сказав він. «Я не очікую, що всі раптом почнуть розмовляти зі своїм комп’ютером, щоб він читав відповіді».
Натомість магістратури пропонують можливість розширити існуючі можливості, щоб знайти гарний баланс між ними та використовувати кожну з них, коли це доречно.
І все-таки, за його словами, технологія розвивається швидко, тому «важко точно знати, де ми будемо через рік з точки зору цих можливостей».
На закінчення
Популярність Elastic Stack зростає завдяки кільком факторам, зокрема:
- Еластичність і масштабованість: Elastic Stack можна легко масштабувати в залежності від потреб вашого бізнесу. Він підтримує зберігання та обробку величезних обсягів даних, що робить його ідеальним для сучасних цифрових компаній, які генерують велику кількість даних.
- Універсальність: Elastic Stack можна використовувати для різних цілей, зокрема для моніторингу, аналізу та безпеки. Це робить його цінним інструментом для будь-якого бізнесу, який хоче отримати цінні уявлення про свої дані.
- Легкість використання: Elastic Stack є простим у використанні, навіть для користувачів без досвіду роботи з Big Data. Він має зручний інтерфейс користувача та широкий спектр навчальних матеріалів.
З урахуванням цих факторів, очікується, що популярність Elastic Stack буде продовжувати зростати в майбутньому.
А ви знайомі з цим програмним рішенням? Зазначимо, що ознайомитись, насправді, досить легко. Представник Elastic, компанія Ідеалсофт, надає безкоштовні консультації, а при необхідності організовує он-лайн зустріч з розробником.
