Google розробив новий пошуковий алгоритм SMITH, який здатний краще розуміти довгі запити і документи, ніж BERT. Інформація про нього була опублікована Google в науковій статті.
Нова модель SMITH розроблена для семантичного зіставлення довгих текстів. Якщо BERT навчений розуміти слова в контексті пропозицій, то SMITH намагається зрозуміти документи цілком. Тобто модель орієнтована на розуміння фрагментів в контексті всього документа.
На відміну від BERT, який навчається на наборах даних для передбачення випадковим чином прихованих слів з контексту в реченнях – - SMITH навчається передбачати наступний блок речень.
Таке навчання допоможе новому пошуковому алгоритму краще розуміти об'ємні документи.
Чи використовується SMITH в повній мірі в роботі Google поки не відомо. Офіційних заяв на цей рахунок компанія не давала.
Ознайомитися з описом алгоритму SMITH можна тут.