RU2632138C2

RU2632138C2 - Способ (варианты) и сервер ранжирования поисковых результатов на основе параметра полезности

Info

Publication number: RU2632138C2
Application number: RU2015139059A
Authority: RU
Inventors: Вадим Андреевич Никулин
Original assignee: Общество С Ограниченной Ответственностью "Яндекс"
Priority date: 2015-09-14
Filing date: 2015-09-14
Publication date: 2017-10-02
Also published as: US20170075897A1; RU2015139059A; US10275406B2

Abstract

Изобретение относится к области поисковых систем в целом и конкретно к системе и устройству ранжирования поисковых результатов и создания страницы результатов поиска (SERP) для поискового запроса. Техническим результатом является расширение арсенала технических средств создания страницы результатов поиска. В способе создания страницы результатов поиска в ответ на получение поискового запроса создается ранжированное множество результатов поиска, включающее в себя результат общего поиска и результат вертикального поиска. Причем множество результатов поиска ранжировано на основе параметра полезности. Параметр полезности указывает на оптимальную позицию результата вертикального поиска в ранжированном множестве поисковых результатов на основе его полезности по отношению к запросу. Параметр полезности предварительно определяется на основе обучающей выборки пользовательских данных о прошлых взаимодействиях с результатом вертикального поиска, когда его исходный ранг был модифицирован таким образом, что результат вертикального поиска оказался ранжирован случайным образом и расположен на предыдущей SERP на случайной позиции. 3 н. и 31 з.п. ф-лы, 4 ил.

Description

Область техники

[01] Настоящее техническое решение относится к области поисковых систем в целом и конкретно к системе и устройству ранжирования поисковых результатов и создания страницы результатов поиска (SERP) для поискового запроса.

Уровень техники

[02] Различные глобальные или локальные сети связи (Интернет, Всемирная Паутина, локальные сети и подобные им) предлагают пользователю большой объем информации. Информация включает в себя контекстуальные разделы, такие как, среди прочего, новости и текущие события, карты, информация о компаниях, финансовая информация и ресурсы, информация о трафике, игры и информация развлекательного характера. Пользователи используют множество клиентских устройств (настольный компьютер, портативный компьютер, ноутбук, смартфон, планшеты и подобные им) для получения доступа к богатому информационному контенту (например, изображениям, аудио- и видеофайлам, анимированным изображениям и прочему мультимедийному контенту подобных сетей).

[03] В общем случае, пользователь может получить доступ к ресурсу сети передачи данных двумя основными способами. Данный пользователь может получить доступ к конкретному ресурсу напрямую, введя адрес ресурса (обычно URL или единый указатель ресурса, например, www.webpage.com), или же выбрав ссылку в электронном сообщении или на другом веб-ресурсе. В другом случае пользователь может выполнить поиск с помощью поисковой системы для нахождения желаемого ресурса. Последнее особенно подходит для тех случаев, когда пользователю известна интересующая его тематика, но неизвестен конкретный адрес интересующего ресурса.

[04] Когда пользователь выполняет поиск с помощью поисковой системы, для него/нее важны два аспекта. Он(а) хочет найти наиболее релевантные результаты, и он(а) хочет найти их достаточно быстро. Результаты поиска в общем случае представлены пользователю на веб-странице, например, на странице результатов поиска (SERP). SERP может включать в себя любое число различных типов результатов, собранных из множества источников, например, общие, текстовые результаты общего интернет-поиска, или конкретные типы результатов поиска (например, изображения), полученные вертикальным поиском. Поисковые системы используют множество способов определения того, какие результаты поиска наиболее релевантны в ответ на поисковый запрос, и как отобразить эти результаты пользователю. Несмотря на существование моделей ранжирования для определения выбора и размещения результатов поиска на SERP, способы и системы ранжирования результатов поиска можно улучшить, чтобы обеспечить более удовлетворительный опыт поиска пользователю.

[05] В патентной заявке США No. 2011/0258149, опубл. 20 октября 2011 года, раскрыт способ и описан носитель компьютерной информации с выполняемыми компьютером инструкциями, расположенными на этом носителе, для создания модели машинного обучения для ранжирования результатов поиска с использованием данных на основе щелчков мышью. Данные берутся из запросов пользователя, и могут включать в себя результаты поиска, созданные обычными поисковыми системами и вертикальными поисковыми системами. Обучающая выборка создается из результатов поиска, а оценки на основе щелчков мышью связаны с результатами поиска в обучающей выборке. Идентифицируемые характеристики на основе оценок, использующих щелчки мышью, определены из результатов поиска в обучающей выборке. На основе определения идентифицируемых характеристик в обучающей выборке создается набор правил для ранжирования последующих результатов поиска.

[06] В международной патентной заявке No. WO 2015/028898, опубл. 5 марта 2015 года, раскрыты способы и системы для проведения поиска и представления результатов. Способ включает в себя получение поискового запроса от электронного устройства, связанного с пользователем; составление в ответ на поисковый запрос набора результатов поискового запроса, причем набор результатов поискового запроса содержит результат вертикального поиска; определение степени достоверности того, что результат вертикального поиска является наиболее релевантным по отношению к поисковому запросу; в ответ на степень достоверности, находящуюся выше заранее установленного порога, инициацию отображения электронным устройством исключительно результатов вертикального поиска.

[07] В международной патентной заявке No. WO 2015/056112, опубл. 23 апреля 2015 года, раскрыты способы и системы для определения поисковой выдачи на поисковый запрос, связанный с пользователем. Способ включает в себя определение наиболее релевантного поисковому запросу документа; определение параметра вероятности того, что наиболее релевантный документ будет удовлетворять поисковому запросу; в ответ на вероятность, находящуюся выше порогового значения, отображение только наиболее релевантного документа; и ответ на вероятность, находящуюся ниже порогового значения, отображение обычной страницы результатов поиска (SERP), включающей в себя наиболее релевантный документ и другие документы.

Раскрытие технологии

[08] Технический результат предлагаемого технического решения заключается в реализации средств создания страницы результатов поиска.

[09] Первым объектом неограничивающих вариантов осуществления настоящего технического решения является способ создания страницы результатов поиска (SERP). Способ может выполняться на сервере. Способ включает в себя: получение поискового запроса от электронного устройства, связанного с пользователем; в ответ на получение поискового запроса создание набора результатов поиска, причем набор результатов поиска включает в себя ранжированное множество результатов поиска, которое, в свою очередь, включает в себя по меньшей мере один результат общего поиска и по меньшей мере один результат вертикального поиска, причем ранжированное множество результатов поиска было ранжировано на основе, по меньшей мере частично, параметра полезности; и создание SERP, отображающей ранжированное множество результатов поиска.

[10] Параметр полезности указывает на оптимальное положение по меньшей мере одного результата вертикального поиска в наборе поисковых результатов на основе определенной полезности по меньшей мере одного результата вертикального поиска по отношению к поисковому запросу, причем параметр полезности был предварительно определен на основе обучающей выборки пользовательских данных о прошлых пользовательских взаимодействиях по меньшей мере с одним результатом вертикального поиска.

[11] Параметр полезности был предварительно определен следующим образом:

[12] i) в ответ на получение поискового запроса от тестового электронного устройства, связанного с первым пользователем первой тестовой группы пользователей (test user group, TUG), осуществление предыдущего поиска и создание предыдущей SERP, причем предыдущая SERP включает в себя по меньшей мере один результат общего поиска и по меньшей мере один результат вертикального поиска, ранжированные смешанным образом, где исходный ранг по меньшей мере одного результата вертикального поиска в смешанном ранжировании был модифицирован для ранжирования по меньшей мере одного результата вертикального поиска случайным образом, и, таким образом, по меньшей мере один результат вертикального поиска размещается на предыдущей SERP на первой случайной позиции;

[13] ii) после отображения предыдущей SERP на тестовом электронном устройстве первому пользователю первой TUG проведение анализа поведения первого пользователя первой TUG по отношению по меньшей мере к одному результату вертикального поиска на предыдущей SERP, причем по меньшей мере один результат вертикального поиска был размещен на первой случайной позиции на предыдущей SERP; и

[14] iii) на основе, по меньшей мере частично, поведения первого пользователя первой TUG по отношению по меньшей мере к одному результату вертикального поиска на первой случайной позиции на предыдущей SERP, определение полезности по меньшей мере одного результата вертикального поиска, относящегося к поисковому запросу, и создание параметра полезности.

[15] В некоторых неограничивающих вариантах осуществления настоящего технического решения поведение первого пользователя первой TUG по отношению по меньшей мере к одному результату вертикального поиска на первой случайной позиции на предыдущей SERP включает в себя один или несколько пунктов из перечисленного: отношение количества щелчков мышью к количеству показов; время, проведенное за просмотром после перехода по щелчку; и другие данные на основе щелчков мышью.

[16] В некоторых неограничивающих вариантах осуществления настоящего технического решения первая случайная позиция представляет собой более низкий ранг, чем исходный ранг по меньшей мере одного результата вертикального поиска. В альтернативных неограничивающих вариантах осуществления настоящего технического решения первая случайная позиция представляет собой более высокий ранг, чем исходный ранг по меньшей мере одного результата вертикального поиска. В некоторых неограничивающих вариантах осуществления настоящего технического решения, переход по щелчку или время, проведенное за просмотром после перехода по щелчку первым пользователем первой TUG по отношению по меньшей мере к одному результату вертикального поиска с более низким положением, определяет полезность по меньшей мере одного результата вертикального поиска. В альтернативных неограничивающих вариантах осуществления настоящего технического решения, отсутствие перехода по щелчку или времени, проведенного после перехода по щелчку первым пользователем первой TUG по отношению по меньшей мере к одному результату вертикального поиска с более высоким положением, определяет отсутствие полезности по меньшей мере одного результата вертикального поиска.

[17] Другим объектом настоящего технического решения является способ, в котором ранжированное множество результатов поиска было ранжировано на основе, по меньшей мере частично, параметра полезности и второго параметра полезности, причем второй параметр полезности указывает на оптимальную позицию по меньшей мере одного результата общего поиска в наборе результатов общего поиска на основе определенной второй полезности по меньшей мере одного результата общего поиска, относящегося к поисковому запросу.

[18] В некоторых неограничивающих вариантах осуществления настоящего технического решения второй параметр полезности и вторая определенная полезность были предварительно определены на основе второй обучающей выборки пользовательских данных о предыдущих взаимодействиях пользователя по меньшей мере с одним результатом общего поиска, следующим образом:

[19] i) в ответ на получение поискового запроса от второго тестового электронного устройства, связанного со вторым пользователем второй тестовой группы пользователей (test user group, TUG), осуществление второго предыдущего поиска и создание второй предыдущей SERP, причем вторая предыдущая SERP включает в себя по меньшей мере один результат общего поиска и по меньшей мере один результат вертикального поиска, ранжированные вторым смешанным образом, где исходный ранг по меньшей мере одного результата общего поиска из второго смешанного ранжирования был модифицирован для ранжирования по меньшей мере одного результата общего поиска случайным образом, и, таким образом, по меньшей мере один результат общего поиска размещается на второй предыдущей SERP на второй случайной позиции;

[20] ii) после отображения второй предыдущей SERP на втором тестовом электронном устройстве второму пользователю второй TUG, проведение анализа поведения второго пользователя второй TUG по отношению по меньшей мере к одному результату общего поиска на второй предыдущей SERP, причем по меньшей мере один результат общего поиска был размещен на второй случайной позиции на второй предыдущей SERP; и

[21] iii) на основе, по меньшей мере частично, поведения второго пользователя второй TUG по отношению по меньшей мере к одному результату общего поиска на второй случайной позиции на второй предыдущей SERP, определение второй полезности по меньшей мере одного результата общего поиска, относящегося к поисковому запросу, и создание второго параметра полезности.

[22] В некоторых неограничивающих вариантах осуществления настоящего технического решения поведение второго пользователя второй TUG по отношению по меньшей мере к одному результату общего поиска на второй случайной позиции на второй предыдущей SERP включает в себя один или несколько пунктов из перечисленного: отношение количества щелчков мышью к количеству показов; время, проведенное за просмотром после перехода по щелчку; и другие данные на основе щелчков мышью.

[23] В некоторых неограничивающих вариантах осуществления настоящего технического решения вторая случайная позиция представляет собой более низкий ранг, чем исходный ранг по меньшей мере одного результата общего поиска. В альтернативных неограничивающих вариантах осуществления настоящего технического решения вторая случайная позиция представляет собой более высокий ранг, чем исходный ранг по меньшей мере одного результата общего поиска. В некоторых неограничивающих вариантах осуществления настоящего технического решения, переход по щелчку или время, проведенное за просмотром после перехода по щелчку вторым пользователем второй TUG по отношению по меньшей мере к одному результату общего поиска с более низким рангом, определяет полезность по меньшей мере одного результата общего поиска. В альтернативных неограничивающих вариантах осуществления настоящего технического решения, отсутствие перехода по щелчку или времени, проведенного после перехода по щелчку вторым пользователем второй TUG по отношению по меньшей мере к одному результату общего поиска с более высоким рангом, определяет отсутствие полезности по меньшей мере одного результата общего поиска.

[24] В некоторых неограничивающих вариантах осуществления настоящего технического решения первая TUG и вторая TUG являются одной и той же TUG; первый пользователь и второй пользователь являются одним и тем же пользователем; первое тестовое электронное устройство и второе тестовое электронное устройство являются одним и тем же электронным устройством; первый предыдущий поиск и второй предыдущий поиск являются одним и тем же поиском, и/или первая предыдущая SERP и вторая предыдущая SERP являются одной и той же SERP.

[25] В некоторых неограничивающих вариантах осуществления настоящего технического решения параметр полезности был создан с использованием алгоритма машинного обучения. В некоторых вариантах осуществления настоящего технического решения оценка параметра полезности включает в себя доступ к записи журнала (логу), причем запись журнала включает в себя обучающую выборку пользовательских данных. В некоторых вариантах осуществления настоящего технического решения по меньшей мере один результат вертикального поиска был ранжирован случайным образом с помощью создания случайного числа как его весового коэффициента намерения. В дополнительных вариантах осуществления настоящего технического решения параметр полезности определяет весовой коэффициент намерения по меньшей мере одного результата вертикального поиска на основе его определенной полезности, таким образом определяя ранг по меньшей мере одного результата вертикального поиска в ранжированном множестве поисковых результатов.

[26] Другим объектом неограничивающих вариантов осуществления настоящего технического решения является система создания страницы результатов поиска (SERP), причем система включает в себя сервер. Сервер содержит в себе интерфейс передачи данных для обмена данными с электронным устройством, связанным с пользователем через сеть передачи данных; память; и процессор, функционально соединенный с интерфейсом передачи данных и памятью. Процессор выполнен с возможностью сохранять объекты, в связи с пользователем, в памяти. Процессор выполнен с возможностью осуществлять: получение поискового запроса от электронного устройства, связанного с пользователем; в ответ на получение поискового запроса создание набора результатов поиска, причем набор результатов поиска включает в себя ранжированное множество результатов поиска, которое, в свою очередь, включает в себя по меньшей мере один результат общего поиска и по меньшей мере один результат вертикального поиска, причем ранжированное множество результатов поиска было ранжировано на основе, по меньшей мере частично, параметра полезности; и создание SERP, отображающей ранжированное множество результатов поиска. Параметр полезности устанавливается и предварительно определяется так, как это было описано выше, причем процессор, соответственно, выполнен с возможностью предварительно определять параметр полезности.

[27] В некоторых неограничивающих вариантах осуществления настоящего технического решения процессор выполнен с дополнительной возможностью ранжировать множество результатов поиска на основе, по меньшей мере частично, параметра частоты и второго параметра частоты, причем второй параметр частоты устанавливается и предварительно определяется так, как это было описано выше, а процессор, соответственно, выполнен с возможностью предварительно определять параметр полезности.

[28] Другим объектом неограничивающих вариантов осуществления настоящего технического решения является способ создания параметра полезности для ранжирования результатов поиска. Способ выполняется на сервере. Способ включает в себя: а) получение поискового запроса от тестового электронного устройства, связанного с первым пользователем первой тестовой группы (test user group, TUG); б) в ответ на получение поискового запроса осуществление поиска и создание тестовой страницы результатов поиска (SERP), причем тестовая SERP включает в себя по меньшей мере один результат общего поиска и по меньшей мере один результат вертикального поиска, ранжированные смешанным образом, где исходный ранг по меньшей мере одного результата вертикального поиска из смешанного ранжирования модифицируется для ранжирования по меньшей мере одного результата вертикального поиска случайным образом, и, таким образом, по меньшей мере один результат вертикального поиска размещается на тестовой SERP на первой случайной позиции; в) отображение тестовой SERP на тестовом электронном устройстве первому пользователю первой TUG; г) проведение анализа поведения первого пользователя первой TUG по отношению по меньшей мере к одному результату вертикального поиска на тестовой SERP, причем по меньшей мере один результат вертикального поиска был размещен на первой случайной позиции на тестовой SERP; д) на основе, по меньшей мере частично, поведения первого пользователя первой TUG по отношению по меньшей мере к одному результату вертикального поиска на первой случайной позиции на тестовой SERP, определение полезности по меньшей мере одного результата вертикального поиска, относящегося к поисковому запросу и создание параметра полезности, который указывает на оптимальное положение по меньшей мере одного результата вертикального поиска на тестовой SERP на основе определенной полезности по меньшей мере одного результата вертикального поиска, относящегося к поисковому запросу; и е) сохранение параметра полезности для использования в ранжировании будущих результатов поиска для поисковых запросов.

[29] В некоторых неограничивающих вариантах осуществления настоящего технического решения поведение первого пользователя первой TUG по отношению по меньшей мере к одному результату вертикального поиска на первой случайной позиции на тестовой SERP включает в себя один или несколько пунктов из перечисленного: отношение количества щелчков мышью к количеству показов; время, проведенное за просмотром после перехода по щелчку; и другие данные на основе щелчков мышью. Первая случайная позиция может представлять собой более низкий ранг или более высокий ранг, чем исходный ранг по меньшей мере одного результата вертикального поиска.

[30] В некоторых неограничивающих вариантах осуществления настоящего технического решения дополнительно включает в себя создание второго параметра полезности для ранжирования поисковых результатов, причем второй параметр полезности указывает оптимальное положение по меньшей мере одного результата общего поиска на тестовой SERP на основе второй определенной полезности по меньшей мере одного результата общего поиска, относящегося к поисковому запросу. Второй параметр полезности создается посредством выполнения следующих пунктов: а) в ответ на получение поискового запроса от второго тестового электронного устройства, связанного со вторым пользователем второй тестовой группы (test user group, TUG) осуществление второго поиска и создание второй тестовой страницы результатов поиска (SERP), причем вторая тестовая SERP включает в себя по меньшей мере один результат общего поиска и по меньшей мере один результат вертикального поиска, ранжированные вторым смешанным образом, где исходный ранг по меньшей мере одного результата общего поиска из второго смешанного ранжирования модифицируется для ранжирования по меньшей мере одного результата общего поиска случайным образом, и, таким образом, по меньшей мере один результат общего поиска размещается на второй SERP на второй случайной позиции; б) отображение второй тестовой SERP на втором тестовом электронном устройстве второму пользователю второй TUG; в) проведение анализа поведения второго пользователя второй TUG по отношению по меньшей мере к одному результату общего поиска на второй тестовой SERP, причем по меньшей мере один результат общего поиска был размещен на второй случайной позиции на второй тестовой SERP; и г) на основе, по меньшей мере частично, поведения второго пользователя второй TUG по отношению по меньшей мере к одному результату общего поиска на второй случайной позиции на тестовой SERP, определение полезности по меньшей мере одного результата общего поиска, относящегося к поисковому запросу и создание второго параметра полезности; и е) сохранение второго параметра полезности для использования в ранжировании будущих поисковых результатов для поисковых запросов.

[31] В некоторых неограничивающих вариантах осуществления настоящего технического решения поведение второго пользователя второй TUG по отношению по меньшей мере к одному результату общего поиска на второй случайной позиции на второй тестовой SERP включает в себя один или несколько пунктов из перечисленного: отношение количества щелчков мышью к количеству показов; время, проведенное за просмотром после перехода по щелчку; и другие данные на основе щелчков мышью. Вторая случайная позиция может представлять собой более низкий ранг или более высокий ранг, чем исходный ранг по меньшей мере одного результата общего поиска.

[32] В некоторых неограничивающих вариантах осуществления настоящего технического решения первая TUG и вторая TUG являются одной и той же TUG; первый пользователь и второй пользователь являются одним и тем же пользователем; первое тестовое электронное устройство и второе тестовое электронное устройство являются одним и тем же электронным устройством; первый поиск и предыдущий поиск являются одним и тем же поиском, и/или тестовая SERP и вторая тестовая SERP являются одной и той же SERP.

[33] В некоторых неограничивающих вариантах осуществления настоящего технического решения параметр полезности создается с использованием алгоритма машинного обучения. В некоторых неограничивающих вариантах осуществления настоящего технического решения по меньшей мере один результат вертикального поиска ранжируется случайным образом с помощью создания случайного числа как его весового коэффициента намерения. Параметр полезности может, например, определять весовой коэффициент намерения по меньшей мере одного результата вертикального поиска на основе его определенной полезности, таким образом определяя ранг по меньшей мере одного результата вертикального поиска в ранжированном множестве результатов поиска.

[34] Другим объектом неограничивающих вариантов осуществления настоящего технического решения является система создания параметра полезности, причем система включает в себя сервер. Сервер содержит в себе интерфейс передачи данных для обмена данными с электронным устройством, связанным с пользователем через сеть передачи данных; память; и процессор, функционально соединенный с интерфейсом передачи данных и памятью. Процессор выполнен с возможностью сохранять объекты, в связи с пользователем, в памяти. Процессор дополнительно выполнен с возможностью создавать и сохранять один или несколько параметров полезности в соответствии со способами и системами, описанными здесь.

[35] В контексте настоящего описания «сервер» подразумевает под собой компьютерную программу, работающую на соответствующем оборудовании, которая способна получать запросы (например, от клиентских устройств) по сети и выполнять эти запросы или инициировать выполнение этих запросов. Оборудование может представлять собой один физический компьютер или одну физическую компьютерную систему, но ни то, ни другое не является обязательным для настоящего технического решения. В контексте настоящего технического решения использование выражения «сервер» не означает, что каждая задача (например, полученные команды или запросы) или какая-либо конкретная задача будет получена, выполнена или инициирована к выполнению одним и тем же сервером (то есть одним и тем же программным обеспечением и/или аппаратным обеспечением); это означает, что любое количество элементов программного обеспечения или аппаратных устройств может быть вовлечено в прием/передачу, выполнение или инициирование выполнения любого запроса или последствия любого запроса, связанного с клиентским устройством, и все это программное и аппаратное обеспечение может быть одним сервером или несколькими серверами, оба варианта включены в выражение «по меньшей мере один сервер».

[36] В контексте настоящего описания, «электронное устройство», связанное с пользователем (также называемое «клиентское устройство») подразумевает под собой аппаратное устройство, способное работать с программным обеспечением, подходящим к решению соответствующей задачи. Таким образом, примерами клиентских устройств (среди прочего) могут служить персональные компьютеры (настольные компьютеры, ноутбуки, нетбуки и т.п.) смартфоны, планшеты, а также сетевое оборудование, такое как маршрутизаторы, коммутаторы и шлюзы. Следует иметь в виду, что устройство, ведущее себя как клиентское устройство в настоящем контексте, может вести себя как сервер по отношению к другим клиентским устройствам. Использование выражения «клиентское устройство» не исключает возможности использования множества клиентских устройств для получения/отправки, выполнения или инициирования выполнения любой задачи или запроса, или же последствий любой задачи или запроса, или же этапов любого вышеописанного способа.

[37] В контексте настоящего описания «база данных» подразумевает под собой любой структурированный набор данных, не зависящий от конкретной структуры, программного обеспечения по управлению базой данных, аппаратного обеспечения компьютера, на котором данные хранятся, используются или иным образом оказываются доступны для использования. База данных может находиться на том же оборудовании, выполняющем процесс, который сохраняет или использует информацию, хранящуюся в базе данных, или же она может находиться на отдельном оборудовании, например, выделенном сервере или множестве серверов.

[38] В контексте настоящего описания «информация» включает в себя информацию любого рода или типа, которая может храниться в базе данных. Таким образом, информация включает в себя, среди прочего, аудиовизуальные произведения (изображения, видео, звукозаписи, презентации и т.д.), данные (данные о местоположении, цифровые данные и т.д.), текст (мнения, комментарии, вопросы, сообщения и т.д.), документы, таблицы и т.д.

[39] В контексте настоящего описания «компонент» подразумевает под собой программное обеспечение (соответствующее конкретному аппаратному контексту), которое является необходимым и достаточным для выполнения конкретной(ых) указанной(ых) функции(й).

[40] В контексте настоящего описания «используемый компьютером носитель компьютерной информации» подразумевает под собой носитель абсолютно любого типа и характера, включая ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.), USB флеш-накопители, твердотельные накопители, накопители на магнитной ленте и т.д.

[41] В контексте настоящего описания выражение «поисковый результат», «результат поиска» или «элемент поискового результата» подразумевает под собой элемент на странице результатов поиска (т.е. SERP), который отображается в ответ на поисковый запрос пользователя. Исключительно в качестве примера элемент на странице результатов поиска может быть, например, сетевым результатом, мгновенным ответом, связанным поисковым результатом, рекламой, элементом таблицы и так далее. В одном варианте осуществления настоящего технического решения, например, элемент результата поиска может быть, например, сетевым результатом, мгновенным ответом, связанным поисковым результатом, рекламой, элементом таблицы и так далее. Дополнительно или альтернативно элемент результата поиска может включать в себя набор элементов, отображенных как соседняя другой группа на странице результатов поиска. Например, элемент результата поиска может быть группой изображений, которая расположена по соседству с другой такой группой таким образом, что группа выглядит как один элемент поискового результата. Кроме того, короткая последовательность результатов сетевого (общего) или аналогичного вертикального поиска может быть представлена на SERP как сгруппированный вместе «блок». Такой блок может быть сгруппирован на SERP вертикально (например, новости) или горизонтально (например, изображения).

[42] В контексте настоящего описания термин «запрос» подразумевает под собой любой тип запроса, включающий один или несколько поисковых терминов, которые были введены в поисковую систему (или в множество поисковых систем) для идентификации элементов результатов поиска и/или их компонента(ов) на основе поискового термина(ов), содержащегося(ихся) в запросе. Элементы поисковых результатов или их компоненты, которые идентифицированы запросами в структуре данных являются представлением результатов, созданных в ответ на запросы. Например, элементы поисковых запросов могут быть сетевыми результатами, мгновенными ответами и так далее.

[43] В контексте настоящего описания выражение «общий домен» подразумевает под собой общий контент, например, проиндексированный интернет-контент или веб-контент. Например, общий доменный поиск не ограничивается поиском конкретной категории результатов, а способен предоставить все результаты, которые наилучшим образом подходят к запросу. Такой общий (независимый от категории) поиск с помощью поисковой системы может возвращать поисковые результаты, которые включают в себя неспецифичный для категорий цифровой контент, а также специфичный для категорий цифровой контент, например, изображение, видео, новости, товары, блоги, книги, места, дискуссии, рецепты, патенты, акции, расписания и так далее, а также другой цифровой контент, который тесно связан и адресован конкретному типу цифрового контента. Например, общий доменный поиск может быть WWW-поиском. Поиск, произведенный в общем домене создает «результат общего поиска» или «элемент результата общего поиска». Такие результаты общего поиска также упоминаются здесь как «сетевые результаты». Обычно сетевой результат включает в себя ссылку на веб-сайт и фрагмент информации (сниппет), который дает краткое описание содержимого веб-сайта. Пользователь может выбрать ссылку на веб-сайт, содержащуюся в сетевом результате для перехода на веб-страницу, относящуюся к поисковому запросу пользователя. Термины «результат общего поиска» и «элемент результата общего поиска» используются здесь взаимозаменяемо, как и «поисковый результат» и «элемент поискового результата».

[44] В контексте настоящего описания выражение «вертикальный домен» подразумевает под собой информационный домен, включающий в себя специализированный контент, например, контент одного типа (например, типа медиа, жанра контента, актуальности и т.д.) Вертикальный домен, таки образом, включает в себя конкретную подгруппу данных, например, конкретную подгруппу сетевых данных. Например, вертикальный домен может включать в себя конкретную информацию, такую как новости, изображения, видео, локальный бизнес, товары, прогнозы погоды и так далее. Поиск, осуществленный в вертикальном домене, создает «вертикальный поисковый результат» или «элемент вертикального поискового результата». Такие результаты вертикального поиска также упоминаются здесь как «вертикали» и «вертикальные результаты». Термины «результат вертикального поиска» и «элемент результата вертикального поиска» используются здесь взаимозаменяемо.

[45] В контексте настоящего описания выражение «множество поисковых результатов» подразумевает под собой набор из более чем одного поискового результата, причем результаты общего (например, сетевого) поиска и результаты вертикального поиска собраны вместе в наборе поисковых результатов или на странице результатов поиска. Например, результаты вертикального поиска могут быть интегрированы с результатами общего (например, сетевого) поиска на странице результатов поиска, или наоборот, т.е. результаты общего поиска могут быть интегрированы с результатами вертикального поиска на странице результатов поиска. «Смешанное ранжирование» поисковых результатов подразумевает под собой такое множество поисковых результатов, в котором результаты общего поиска и результаты вертикального поиска были сгруппированы и ранжированы относительно друг друга.

[46] В контексте настоящего описания выражение «параметр полезности» подразумевает под собой инструмент ранжирования, который основан на определенной полезности элемента поискового результата (например, результата вертикального поиска, результата общего поиска и так далее) и используется для ранжирования сгруппированных поисковых результатов. В общем случае параметр полезности указывает на оптимальное положение конкретного результата поиска в наборе поисковых результатов или на SERP, чтобы довести до максимума пользу SERP для пользователя. Специалистам в данной области техники будет понятно, что «полезность», как определено здесь, в общем случае определяет релевантность, важность, интерес и/или применимость конкретного поискового результата для пользователя по отношению к поисковому запросу.

[47] Параметр полезности определяется на основе обучающей выборки пользовательских данных о пользовательском поведении по отношению к конкретному элементу поискового результата, когда конкретный поисковый результат ранжируется и располагается случайно в наборе поисковых результатов и на SERP. Например, набор поисковых результатов создается и ранжируется в соответствии с известными или общепринятыми способами ранжирования (начальный ранг, который присваивается конкретному поисковому результату с использованием таких известных или общепринятых способов обозначается здесь как «исходный ранг»). Исходный ранг конкретного поискового результата затем модифицируется таким образом, что поисковый результат ранжируется случайно и помещается на SERP в случайном положении. На основе, по меньшей мере частично, пользовательского поведения по отношению к поисковому результату, расположенному на случайной позиции, определяется полезность поискового результата, и, соответственно, создается параметр полезности.

[48] В некоторых неограничивающих вариантах осуществления настоящего технического решения параметр полезности определяется на основе сравнения пользовательского поведения по отношению к поисковому результату в случайном положении с пользовательским поведением по отношению к поисковому результату в положении, определенным исходным рангом. В альтернативных неограничивающих вариантах осуществления настоящего технического решения параметр полезности определяется на основе сравнения пользовательского поведения по отношению к поисковому результату при размещении его во множестве случайных положений.

[49] В некоторых неограничивающих вариантах осуществления настоящего технического решения параметр полезности определяется на основе размещения поискового результата на одной или нескольких случайных позициях на SERP. Случайные позиции могут представлять собой более высокое или более низкое ранжирование по сравнению с исходным рангом. Следует отметить, что в некоторых случаях, из-за случайной природы модификаций ранжирования, случайное расположение может быть таким же, что и расположение по исходному рангу. Кроме того, следует отметить, что параметр полезности может быть определен для одного или нескольких поисковых результатов в наборе поисковых результатов. Соответственно, один или несколько параметров полезности могут использоваться в ранжировании множества поисковых результатов.

[50] Поведение одного или нескольких пользователей может быть оценено в определении параметра полезности конкретного поискового результата. В контексте настоящего описания выражение «тестовая группа пользователей» ("test user group (TUG)") подразумевает под собой группу пользователей, чье поведение оценивается для определения параметра полезности одного или нескольких поисковых результатов. В некоторых вариантах осуществления настоящего технического решения конкретная TUG используется для определения параметра полезности конкретного результата поиска. В альтернативных вариантах осуществления настоящего технического решения конкретная TUG используется для определения параметра полезности для множества результатов поиска, включая, без ограничений, множество результатов вертикального поиска, множество результатов общего поиска, и множество результатов поиска, которые включаются в себя смесь результатов как вертикального, так и общего поиска.

[51] В контексте настоящего описания термин «пользовательское поведение» в общем случае подразумевает под собой вовлечение или взаимодействие пользователя (например, выбор, щелчки мышью, пропуск и т.д.) с результатом поиска. Так, характеристикой пользовательского поведения может быть, например, число раз, когда результат поиска выбирался или на него осуществлялся щелчок (например, в течение конкретного временного периода); отношение количества щелчков мышью к количеству показов; число раз, когда результат поиска выбирался в конкретном положении или размере на SERP (например, за конкретный промежуток времени); время, проведенное за просмотром содержимого после перехода по щелчку; и так далее. Таким образом пользовательское поведение может быть проанализировано для определения того, где результат поиска или его компонент должен быть оптимально размещен на странице результатов поиска (SERP) на основе его полезности для пользователя. Результаты поиска, наиболее релевантные или полезные для конкретного запроса в общем случае предоставляются с более высоким рангом, т.е. ранг является более веским или ранг другим способом указывает на более высокий приоритет или предпочтение.

[52] В контексте настоящего описания слова «первый», «второй», «третий» и т.д. используются в виде прилагательных исключительно для того, чтобы отличать существительные, к которым они относятся, друг от друга, а не для целей описания какой-либо конкретной связи между этими существительными. Так, например, следует иметь в виду, что использование терминов «первый сервер» и «третий сервер» не подразумевает какого-либо порядка, отнесения к определенному типу, хронологии, иерархии или ранжирования (например) серверов/между серверами, равно как и их использование (само по себе) не предполагает, что некий «второй сервер» обязательно должен существовать в той или иной ситуации. В дальнейшем, как указано здесь в других контекстах, упоминание «первого» элемента и «второго» элемента не исключает возможности того, что это один и тот же фактический реальный элемент. Так, например, в некоторых случаях, «первый» сервер и «второй» сервер могут являться одним и тем же программным и/или аппаратным обеспечением, а в других случаях они могут являться разным программным и/или аппаратным обеспечением.

[53] Каждый вариант осуществления настоящего технического решения преследует по меньшей мере одну из вышеупомянутых целей и/или объектов. Следует иметь в виду, что некоторые объекты настоящего технического решения, полученные в результате попыток достичь вышеупомянутой цели, могут удовлетворять и другим целям, отдельно не указанным здесь.

[54] Дополнительные и/или альтернативные характеристики, аспекты и преимущества вариантов осуществления настоящего технического решения станут очевидными из последующего описания, прилагаемых чертежей и прилагаемой формулы изобретения.

Краткое описание чертежей

[55] Для лучшего понимания настоящего технического решения, а также других его аспектов и характерных черт сделана ссылка на следующее описание, которое должно использоваться в сочетании с прилагаемыми чертежами, где:

[56] на Фиг. 1 представлена принципиальная схема системы, реализованной в соответствии с вариантами осуществления настоящего технического решения, не ограничивающими его объем;

[57] на Фиг. 2 представлена принципиальная схема варианта осуществления системы, показанной на Фиг. 1, причем система реализована в соответствии с вариантами осуществления настоящего технического решения, не ограничивающими его объем;

[58] на Фиг. 3 представлена блок-схема способа, выполняемого в рамках системы, изображенной на Фиг. 1, и выполненного в соответствии с вариантами осуществления настоящего технического решения, не ограничивающими его объем;

[59] на Фиг. 4 представлена блок-схема способа, выполняемого в рамках системы, изображенной на Фиг. 1, и выполненного в соответствии с вариантами осуществления настоящего технического решения, не ограничивающими его объем.

Осуществление технологии

[60] На Фиг. 1 представлена принципиальная схема системы 100, выполненной в соответствии с вариантами осуществления настоящего технического решения, не ограничивающими его объем. Важно иметь в виду, что нижеследующее описание системы 100 представляет собой описание показательных вариантов осуществления настоящего технического решения. Таким образом, все последующее описание представлено только как описание показательного примера настоящего технического решения. Это описание не предназначено для определения объема или установления границ настоящего технического решения. Некоторые полезные примеры модификаций системы 100 также могут быть охвачены нижеследующим описанием. Целью этого является также исключительно помощь в понимании, а не определение объема и границ настоящего технического решения. Эти модификации не представляют собой исчерпывающий список, и специалистам в данной области техники будет понятно, что возможны и другие модификации. Кроме того, это не должно интерпретироваться так, что там, где не были изложены примеры модификаций, никакие модификации невозможны, и/или что то, что описано, является единственным вариантом осуществления этого элемента настоящего технического решения. Как будет понятно специалисту в данной области техники, это, скорее всего, не так. Кроме того, следует иметь в виду, что система 100 представляет собой в некоторых конкретных проявлениях достаточно простой вариант осуществления настоящего технического решения, и в подобных случаях представлен здесь с целью облегчения понимания. Как будет понятно специалисту в данной области техники, многие варианты осуществления настоящего технического решения будут обладать гораздо большей сложностью.

[61] В общем случае система 100 выполнена с возможностью получать поисковые запросы и проводить общие и вертикальные поиски в ответ на эти запросы, а также обрабатывать поисковые результаты в соответствии с вариантами осуществления настоящего технического решения, не ограничивающими его объем. Поэтому любой вариант системы, выполненный с возможностью обрабатывать поисковые результаты, может быть адаптирован специалистом к выполнению вариантов осуществления настоящего технического решения после того, как специалистом было прочитано настоящее описание.

[62] Система 100 включает в себя электронное устройство 102. Электронное устройство 102 обычно связано с пользователем (не показан) и, таким образом, иногда может упоминаться как «клиентское устройство». Следует отметить, что тот факт, что электронное устройство 102 связано с пользователем, не подразумевает какого-либо конкретного режима работы, равно как и необходимости входа в систему, регистрации, или чего-либо подобного.

[63] Варианты электронного устройства 102 конкретно не ограничены, но в качестве примера электронного устройства 102 могут использоваться персональные компьютеры (настольные компьютеры, ноутбуки, нетбуки и т.п.), устройства беспроводной связи (смартфоны, мобильные телефоны, планшеты и т.п.), а также сетевое оборудование (маршрутизаторы, коммутаторы или шлюзы). Электронное устройство 102 включает в себя аппаратное и/или прикладное программное, и/или системное программное обеспечение (или их комбинацию), как известно в данной области техники, для использования поискового приложения 104. В общем случае, целью поискового приложения 104 является предоставление возможности пользователю (не показан) выполнять поиск, например, сетевой поиск и вертикальный поиски с помощью вышеупомянутой поисковой системы.

[64] Реализация поискового приложения 104 никак конкретно не ограничена. Одним из примеров выполнения поискового приложения 104 является доступ пользователем на веб-сайт, соответствующий поисковой системе, для получения доступа к поисковому приложению 104. Например, поисковое приложение может быть вызвано путем ввода URL www.yandex.ru, связанного с поисковой системой Yandex™. Важно иметь в виду, что поисковое приложение 104 может быть вызвано с помощью любой другой коммерчески доступной или собственной поисковой системы.

[65] В других вариантах осуществления настоящего технического решения, не ограничивающих его объем, поисковое приложение 104 может представлять собой браузерное приложение на портативном устройстве (например, беспроводном устройстве связи). Для тех случаев (но не только), когда электронное устройство 102 является портативным устройством, таким как, например, Samsung™ Galaxy™ SMI, электронное устройство может использовать приложение Яндекс-браузер. Важно иметь в виду, что любое другое коммерчески доступное или собственное браузерное приложение может быть использовано для реализации вариантов осуществления настоящего технического решения, не ограничивающих его объем.

[66] В общем случае поисковое приложение 104 включает в себя интерфейс 106 поискового запроса и интерфейс 108 результатов поиска (также упоминаемая здесь как страница результатов поиска SERP 108). Основной задачей интерфейса 106 поисковых запросов является предоставление возможности пользователю (не показан) вводить свой запрос или «поисковый вопрос». Основной задачей интерфейса 108 результатов поиска является предоставление результатов поиска, отвечающих пользовательскому поисковому запросу, который был введен в интерфейс 106 поисковых запросов. То, как именно обрабатывается поисковый запрос и как происходит предоставление результатов, будет подробно описано ниже.

[67] К сети передачи данных также присоединен сервер 116. Сервер 116 может представлять собой обычный компьютерный сервер. В примере варианта осуществления настоящего технического решения сервер 116 может представлять собой сервер Dell™ PowerEdge™, на котором используется операционная система Microsoft™ Windows Server™. Излишне говорить, что сервер 116 может представлять собой любое другое подходящее аппаратное и/или прикладное программное, и/или системное программное обеспечение. В представленном варианте осуществления настоящего технического решения, не ограничивающем его объем, сервер 116 является одиночным сервером. В других вариантах осуществления настоящего технического решения, не ограничивающих его объем, функциональность сервера 116 может быть разделена, и может выполняться с помощью нескольких серверов.

[68] Электронное устройство 102 выполнено с возможностью обмениваться данными с сервером 116 через линию 112 передачи данных. В общем случае линия 112 передачи данных предоставляет электронному устройству 102 возможность выполнять доступ к серверу 116 через сеть передачи данных (не показана). В некоторых вариантах осуществления настоящего технического решения, не ограничивающих его объем, сеть передачи данных (не показана) может представлять собой Интернет. В других вариантах осуществления настоящего технического решения сеть передачи данных (не показана) может быть реализована иначе - в виде глобальной сети передачи данных, локальной сети передачи данных, частной сети передачи данных и т.п.

[69] Реализация линии 112 передачи данных не ограничена, и будет зависеть от того, какое электронное устройство 102 используется. В качестве примера, но не ограничения, в данных вариантах осуществления настоящего технического решения в случаях, когда электронное устройство 102 представляет собой беспроводное устройство связи (например, смартфон), линия 112 передачи данных представляет собой беспроводную сеть передачи данных (например, среди прочего, линия передачи данных 3G, линия передачи данных 4G, беспроводной интернет Wireless Fidelity или коротко WiFi®, Bluetooth® и т.п.). В тех примерах, где электронное устройство 102 представляет собой портативный компьютер, линия передачи данных может быть как беспроводной (беспроводной интернет Wireless Fidelity или коротко WiFi®, Bluetooth® и т.п) так и проводной (соединение на основе сети Ethernet).

[70] Сервер 116 соединен функционально (или иным образом имеет доступ) с поисковым кластером 118. В соответствии с этими вариантами осуществления настоящего технического решения, поисковый кластер 118 выполняет поиск в ответ на поисковый запрос пользователя, введенный с помощью интерфейса 106 поисковых запросов, и выводит результаты поиска для представления их пользователю с помощью интерфейса 108 результатов поиска. В рамках этих вариантов осуществления настоящего технического решения, не ограничивающих его объем, поисковый кластер 118 включает в себя или имеет доступ к базе данных 122. Как известно специалистам в данной области техники, база данных 122 хранит информацию, связанную со множеством ресурсов, потенциально доступных через сеть передачи данных (например, эти ресурсы доступны по интернету). Процесс заполнения и ведения базы данных 122 общеизвестен как «сбор данных» («кроулинг» от англ. "crawling"). Важно иметь в виду, что для упрощения нижеследующего описания конфигурация поискового кластера 118 была сильно упрощена. Считается, что специалисты в данной области техники смогут понять подробности реализации поискового кластера 118 и его компонентов.

[71] Сервер 116 также функционально соединен (или иным образом имеет доступ) с модулем 124 вертикального поиска. В представленном варианте осуществления настоящего технического решения, не ограничивающем его объем, модуль 124 вертикального поиска является одиночным модулем вертикального поиска. В альтернативных воплощениях настоящего технического решения, не ограничивающих его объем, сервер 116 функционально соединен (или каким-либо иным образом имеет доступ) со множеством модулей вертикального поиска (не показаны). Например, исключительно с целью упростить иллюстрацию, модуль 124 вертикального поиска реализован как модуль вертикального поиска для поиска изображений. Дополнительные модули вертикального поиска для поиска дополнительных вертикальных доменов, например, карт и другой географической информации, информации, относящейся к погоде, фильмам и так далее. Важно иметь в виду, что ряд дополнительных или других сервисов может быть реализован как часть множества модулей вертикального поиска (не показаны), и что этот ряд модулей в рамках множества модулей вертикального поиска не ограничен.

[72] В некоторых вариантах осуществления настоящего технического решения, не ограничивающих его объем, модуль 124 вертикального поиска включает в себя или имеет доступ к одной или нескольким базам данных 134. В альтернативных вариантах осуществления настоящего технического решения, не ограничивающих его объем, в которых присутствует множество модулей вертикального поиска (не показаны), следует иметь в виду, что один из множества модулей вертикального поиска (не показан) включает в себя или имеет доступ к одной или нескольким базам данных (не показаны). Эти одна или несколько баз данных содержат данные, связанные с конкретными сервисами, реализованными с помощью одного из множества модулей вертикального поиска (не показаны).

[73] Например, при условии, что модуль 124 вертикального поиска имеет доступ к базе данных 134, а также имея в виду, что модуль 124 вертикального поиска реализует вертикаль изображений, база данных 134 содержит изображения и связанную с ними информацию.

[74] Дополнительно или опционально, как известно специалистам в данной области техники, одна или несколько баз данных 134 могут представлять собой одну или несколько отдельных баз данных (не изображены). Эти отдельные базы данных могут являться частями той же самой физической базы данных или могут быть реализованы как самостоятельные физические единицы. Например, одна база данных в пределах, допустим, базы данных 134 может содержать наиболее популярные/часто запрашиваемые изображения, доступные в сервисе изображений, в то время как другие базы данных в составе базы данных 134 могут содержать все доступные изображения. Излишне упоминать, что вышеприведенный пример является только иллюстрацией, и возможны другие дополнительные возможности для реализации вариантов осуществления настоящего технического решения.

[75] Модуль 124 вертикального поиска выполнен с возможностью выполнять вертикальный поиск в рамках базы данных 134. Однако следует отметить, что поисковые возможности модуля 124 вертикального поиска не ограничены поиском в соответствующей базе данных 134 и модуль 124 вертикального поиска может проводить другие поиски по мере необходимости.

[76] Таким образом, для целей описания, термин «вертикальный» (например, в словосочетании «вертикальный поиск») используется для обозначения поиска, выполняемого в подмножестве большого набора данных, причем подмножество группируется в соответствии с признаками данных. Например, с учетом того, что модуль 124 вертикального поиска представляет собой сервис изображений, модуль 124 вертикального поиска проводит поиск по подмножеству (т.е. изображениям) набора данных (т.е. всех данных, потенциально доступных для поиска), причем подмножество данных хранится в базе данных 134.

[77] В этих вариантах осуществления настоящего технического решения сервер 116 выполнен с возможностью выполнять доступ, отдельно и независимо к поисковому кластеру 118 (например, чтобы осуществлять обычный веб-поиск) и модулю 124 вертикального поиска (например, чтобы выполнять вертикальный поиск изображений). В альтернативных вариантах осуществления настоящего технического решения, не ограничивающих его объем, модуль 124 вертикального поиска может быть реализован как часть поискового кластера 118. В этих вариантах осуществления настоящего технического решения поисковый кластер 118 может быть ответственен за координацию и выполнение обычного сетевого поиска и вертикального поиска. В некоторых вариантах осуществления настоящего технического решения поисковый кластер 118 может выполнять многослойный метапоиск с помощью обычного сетевого поиска и вертикальных поисков.

[78] В рамках варианта осуществления настоящего технического решения, изображенного на Фиг. 1, сервер 116 выполнен с возможностью: (i) проводить поиски (с помощью доступа к поисковому кластеру 118 и/или модулю 124 вертикального поиска); (ii) проводить анализ результатов поиска и ранжирование результатов поиска; (iii) группировать результаты и компилировать страницы результатов поиска (SERP) для вывода на электронное устройство 102. В некоторых вариантах осуществления настоящего технического решения сервер 116 может сохранять информацию и данные (например, в базе данных, такой как база данных 122), например, пользовательские данные, параметры полезности и т.д.

[79] В соответствии с неограничивающими вариантами осуществления настоящего технического решения сервер 116 дополнительно выполнен с возможностью осуществлять ранжирование результатов поиска. Ранжирование означает в общем случае идентификацию порядка, положения или размещения результатов поиска и/или их компонентов, по отношению друг к другу. Результаты поиска, наиболее релевантные конкретному поисковому запросу в общем случае предоставляются с более высоким рангом. Более высокий ранг означает более веский ранг, или ранг, другим способом указывающий на более высокий приоритет или предпочтение. Ранжирования могут быть основаны на любых данных, например, на отношении количества щелчков мышью к количеству показов в записях журнала (логах) запросов, истории пользователя(ей), намерении запроса, атрибутов результатов (например, типа или категории результата поиска) и комбинации перечисленного. Ранжирования используются для определения того, где результаты поиска или их компоненты должны быть расположены на странице результатов поиска (SERP). Специалистам в данной области техники будет понятно, что ранжирования могут быть персонализированными или специфичными для пользователя, а могут и не быть, т.е. они могут основываться на персональной информации пользователя, например, характеристиках поисковой истории пользователя, а могут не основываться на ней.

[80] Специалистам в данной области техники будет понятно, что существуют различные способы ранжирования и/или персонализации результатов поиска. В качестве примера, не ограничивающего объем настоящего технического решения, некоторые способы ранжирования результатов в соответствии с их релевантностью основаны на всех или некоторых из следующих критериев: (i) популярность данного поискового запроса или ответа на него; (ii) число результатов, возвращенных для поискового запроса; (iii) содержит ли поисковый запрос какие-либо ключевые термины (например, «изображения», «видео», «погода» и т.п.), (iv) насколько часто конкретный поисковый запрос содержит ключевые термины при вводе его другими пользователями; (v) насколько часто другие пользователи при выполнении аналогичного поиска выбирали конкретный ресурс или конкретные результаты вертикального поиска, когда результаты были представлены на стандартной странице результатов поиска (SERP). Следует понимать, что любые такие техники ранжирования и/или персонализации могут быть использованы в дополнение или в комбинации с ранжированием, основанным на параметре полезности.

[81] В соответствии с вариантами осуществления настоящего технического решения сервер 116 выполнен с возможностью осуществлять ранжирование поисковых результатов на основе, по меньшей мере частично, параметра полезности. Поэтому сервер 116 содержит модуль 142 ранжирования (или имеет доступ к нему). Работа модуля 142 ранжирования в контексте ранжирования поисковых результатов на основе, по меньшей мере частично, параметра полезности в соответствии с неограничивающими вариантами осуществления настоящего технического решения теперь будет описана с учетом Фиг. 2.

[82] Для полного понимания вариантов осуществления настоящего технического решения пример системы 100 с модулем 142 ранжирования описан более подробно на Фиг. 2, которая изображает вариант осуществления 200 системы 100 на Фиг. 1.

[83] На Фиг. 2 представлены первое электронное устройство 207, связанное с первым тестовым пользователем 202 («Пользователь 1») и второе электронное устройство 209, связанное со вторым тестовым пользователем 204 («Пользователь 2»). Каждое электронное устройство 207, 209 включает в себя поисковое приложение 104. В случае первого электронного устройства 207 поисковое приложение 104 включает в себя первый интерфейс 203 поисковых запросов и первый тестовый интерфейс поисковых результатов или тестовую SERP 206. В случае второго тестового электронного устройства 209 поисковое приложение 104 включает в себя второй интерфейс 205 поисковых запросов и второй тестовый интерфейс поисковых результатов или тестовую SERP 208. В соответствии с неограничивающими вариантами осуществления настоящего технического решения также предоставляется, отображение первого результата 230 общего поиска, второго результата 240 общего поиска, третьего результата 250 общего поиска, четвертого результата 260 общего поиска, первого результата 210 вертикального поиска, второго результата 220 вертикального поиска в тестовом интерфейсе поисковых результатов или на тестовой SERP 206, 208, в ответ на ввод первым тестовым пользователем 202 и вторым тестовым пользователем 204 того же самого запроса (не изображен) в интерфейс 203, 205 поисковых запросов.

[84] Следует отметить, что отображение (например, размещение, группировка) результатов 230, 240, 250, 260 общего поиска и результатов 210, 220 вертикального поиска в тестовом интерфейсе 206, 208 поисковых результатов в варианте осуществления настоящего технического решения, изображенном на Фиг. 2, предоставлено исключительно с иллюстративной целью, и никак конкретно не должно быть ограничено. Возможно множество альтернативных вариантов осуществления настоящего технического решения. Как один неограничивающией пример, результаты 210, 220 вертикального поиска могут быть размещены в отдельной области сверху, сбоку или снизу на странице результатов поиска или на тестовой SERP 206, 208. В другом неограничивающем примере результаты 210, 220 вертикального поиска могут быть отображены в единственной отдельной области. В альтернативных вариантах осуществления настоящего технического решения результаты 210, 220 вертикального поиска могут быть разделены по различным отдельным областям и, в известном смысле, смешаны с остальной информацией, отображенной на тестовой SERP 206, 208. Аналогично, в изображенном иллюстративном варианте осуществления настоящего технического решения показаны четыре результата 230, 240, 250, 260 общего поиска и два результата 210, 220 вертикального поиска, однако следует понимать, что число результатов поиска не ограничено.

[85] В варианте осуществления настоящего технического решения, изображенном на Фиг. 2, на первой тестовой SERP 206 первый результат 210 вертикального поиска ранжирован, и, соответственно, отображен, на первой позиции, а второй результат 220 вертикального поиска ранжирован, и, соответственно, отображен, на пятой позиции. Напротив, на второй тестовой SERP 208 первый результат 210 вертикального поиска остается ранжированным, и соответственно, отображенным, на первой позиции, а второй результат 220 вертикального поиска ранжирован, и соответственно, отображен, на второй позиции, таким образом, оказываясь ранжированным выше, чем на первой тестовой SERP 206. Это различие в ранжировании второго результата 220 вертикального поиска обусловлено случайным ранжированием второго результата 220 вертикального поиска на каждой из тестовых SERP 206, 208.

[86] В варианте осуществления настоящего технического решения, изображенном на Фиг. 2, первое электронное устройство 207 и второе электронное устройство 209 функционально соединены с сервером 116 (или иным образом имеют к нему доступ) по сети 112 передачи данных. Сервер 116 включает в себя модуль 142 ранжирования (или имеет к нему доступ), а также включает в себя поисковой кластер 118 (или имеет к нему доступ), связанный с базой данных 122, модуль 124 вертикального поиска, связанный с базой данных 134 и второй модуль 126 вертикального поиска, связанный с базой данных 136.

[87] Следует отметить, что модуль 142 ранжирования также функционально соединен с поисковым кластером 118 (или иным образом имеет к нему доступ), связанным с базой данных 122, модулем 124 вертикального поиска, связанным с базой данных 134 и вторым модулем 126 вертикального поиска, связанным с базой данных 136. В некоторых неограничивающих вариантах осуществления настоящего технического решения модуль 142 ранжирования обменивается данными с поисковым кластером 118, модулями 124, 126 вертикального поиска и связанными с ними базами данных 122, 134, 136 через сервер 116, как изображено для примера в варианте осуществления настоящего технического решения, показанном на Фиг. 1. В альтернативных неограничивающих вариантах осуществления настоящего технического решения сервер 116 включает в себя модуль 142 ранжирования, причем сервер 116 и модуль 142 функционально соединены с поисковым кластером 118, модулями 124, 126 вертикального поиска и связанными с ними базами данных 122, 134, 136. В дополнительных неограничивающих вариантах осуществления настоящего технического решения сервер 116 функционально соединен с модулем 142 ранжирования, а модуль 142 ранжирования функционально соединен напрямую с поисковым кластером 118, модулями 124, 126 вертикального поиска и связанными с ними базами данных 122, 134, 136 (или имеет к ним прямой доступ иным образом). Как будет понятно специалистам в данной области техники возможны другие варианты осуществления настоящего технического решения. Следует понимать, что варианты осуществления обмена данными между сервером 116, модулем 142 ранжирования, поисковым кластером 118, модулями 124, 126 вертикального поиска и связанными с ними базами данных 122, 134, 136 никак конкретно не ограничены.

[88] В некоторых неограничивающих вариантах осуществления настоящего технического решения модуль 142 ранжирования дополнительно включает в себя (или функционально соединен с ней) систему журнальных записей (например, базу данных или другой модуль хранения данных) (не изображена) для хранения данных и информации, относящейся к ранжированию поисковых результатов, например, параметров общего ранжирования, пользовательских данных, параметров полезности и так далее.

[89] Теперь рассмотрим, как сервер 116 создает страницу 108 результатов поиска (SERP) в соответствии с настоящим техническим решением. Сервер 116 выполнен с возможностью, при вводе пользователем (не изображен) поискового запроса (не изображен) в интерфейс 106 поисковых запросов, запросить указание на поисковый запрос по линии 112 передачи данных и передать поисковый запрос одному или нескольким из: поисковому кластеру 118 и модулям 124, 126 вертикального поиска. Модуль 142 ранжирования выполнен с возможностью осуществлять ранжирование поисковых результатов. В одном примере неограничивающего варианта осуществления настоящего технического решения модуль 142 ранжирования может совершать доступ ко множеству модулей (124, 126 и другим, не изображенным) вертикального поиска. Модуль 142 ранжирования выполнен с возможностью ранжировать поисковые результаты на основе, по меньшей мере частично, параметра полезности (описан ниже). Сервер 116 выполнен с возможностью инициировать отображение ранжированных поисковых результатов на SERP 108, например, на электронном устройстве 102.

[90] В некоторых неограничивающих вариантах осуществления настоящего технического решения результаты 230, 240, 250, 260 общего поиска могут быть ранжированы сначала с использованием известных способов ранжирования, перед ранжированием на основе параметра полезности. Таким образом, в некоторых вариантах осуществления настоящего технического решения, результаты 230, 240,250, 260 общего поиска ранжируются на основе параметра ранжирования общих доменов, например, уже известного в данной области техники, перед тем, как проводить ранжирование на основе параметра полезности.

[91] Аналогично, в некоторых неограничивающих вариантах осуществления настоящего технического решения результаты 210, 220 вертикального поиска могут быть ранжированы сначала с использованием известных способов ранжирования вертикалей, перед ранжированием на основе параметра полезности. Таким образом, в некоторых вариантах осуществления настоящего технического решения, элементы 210, 220 результата вертикального поиска ранжируются на основе параметра ранжирования вертикальных доменов, например, уже известного в данной области техники, перед тем, как проводить ранжирование на основе параметра полезности.

[92] Специалистам в данной области техники будет понятно, что результаты 230, 240, 250, 260 общего поиска, полученные с помощью поисковой системы, обычно ранжируются с использованием известных способов ранжирования, например, одного или нескольких общих алгоритмов ранжирования, многие из которых известны в данной области техники, перед тем, как поисковые результаты извлекаются или отображаются. Аналогично, результаты 210, 220 вертикального поиска, полученные с помощью поисковой системы, обычно ранжируются с использованием известных способов ранжирования, например, одного или нескольких вертикальных алгоритмов ранжирования, многие из которых известны в данной области техники, перед тем, как поисковые результаты извлекаются или отображаются. Таким образом, следует понимать, что в некоторых вариантах осуществления настоящего технического решения первый результат 230 общего поиска и второй результат 240 общего поиска были ранжированы относительно друг друга с использованием известных способов ранжирования; и первый результат 210 вертикального поиска и второй результат 220 вертикального поиска были ранжированы относительно друг друга с использованием известных способов ранжирования перед ранжированием на основе параметра полезности. Например, на Фиг. 2 первый результат 230 общего поиска ранжирован выше, чем второй результат 240 общего поиска, который ранжирован выше, чем третий результат 250 общего поиска и который, в свою очередь, ранжирован выше, чем четвертый результат 260 общего поиска. В некоторых вариантах осуществления настоящего технического решения эти ранги могут быть результатом ранжирования результатов общего поиска с использованием алгоритма общего ранжирования перед группировкой результатов общего и вертикального поиска, и ранжирования их относительно друг друга, перед ранжированием на основе параметра полезности.

[93] Такие предварительные ранжирования могут быть персонализированы, а могут и не быть, т.е. они могут основываться, а могут и не основываться на специфичных для пользователя атрибутах ранжирования. В некоторых вариантах осуществления настоящего технического решения такие предварительные ранжирования результатов общего поиска и/или результатов вертикального поиска основываются на известных способах общего ранжирования и не являются специфичными для пользователя. В других вариантах осуществления настоящего технического решения такие предварительные ранжирования результатов общего поиска и/или результатов вертикального поиска являются специфичными для пользователя, т.е. основаны на специфичных для пользователя общих или вертикальных атрибутах ранжирования. Специфичные для пользователя атрибуты ранжирования основаны на пользовательской персональной информации, например, характеристиках пользовательской истории поиска, и предоставляют персонализированное ранжирование.

[94] Теперь будет описано предварительное определение параметра полезности модулем 142 ранжирования в соответствии с неограничивающими вариантами осуществления настоящего технического решения. Когда поисковый запрос (не изображен) получен с первого электронного устройства 207, связанного с первым тестовым пользователем 202 из первой тестовой группы пользователей (TUG) (не изображен), осуществляется поиск и создается первая тестовая SERP 206, как описано выше. Первая тестовая SERP 206 включает в себя смешанное ранжирование по меньшей мере одного результата 230, 240, 250, 260 общего поиска и по меньшей мере одного результата 210, 220 вертикального поиска. На первой тестовой SERP 206 результаты 230, 240, 250, 260 общего поиска ранжированы соответственно на второй, третьей, четвертой и шестой позициях, а результаты 210, 220 вертикального поиска ранжированы соответственно на первой и пятой позициях. Следует отметить, что ранг второго результата 220 вертикального поиска был изменен с его исходного ранга (не показан) из-за случайного ранжирования. Затем оценивается поведение первого тестового пользователя 202 по отношению ко второму результату 220 вертикального поиска при ранжировании его на пятой позиции.

[95] Когда тот же самый запрос получен со второго электронного устройства 209, связанного со вторым тестовым пользователем 204 из первой TUG, снова проводится поиск и создается вторая тестовая SERP 208. Вторая тестовая SERP 208 также включает в себя смешанное ранжирование результатов 230, 240, 250, 260 общего поиска и результатов 210, 220 вертикального поиска. На второй тестовой SERP 208 ранг второго результата 220 вертикального поиска снова был изменен с его исходного ранга (не показан) из-за случайного ранжирования. В варианте осуществления настоящего технического решения, изображенном на Фиг. 2, ранг второго результата 220 вертикального поиска был изменен с пятой позиции на вторую на второй тестовой SERP 208. Ранги остальных, более низко ранжированных результатов поиска на первой тестовой SERP 206 (результатов 230, 240, 250, 260 общего поиска в варианте осуществления настоящего технического решения, показанном на Фиг. 2) соответственно корректируются. Затем оценивается поведение второго тестового пользователя 204 по отношению ко второму результату 220 вертикального поиска при ранжировании его на второй позиции, и опционально сравнивается с поведением первого тестового пользователя 202 по отношению ко второму результату 220 вертикального поиска при ранжировании на пятой позиции на первой тестовой SERP 206.

[96] На основе, по меньшей мере частично, поведения первого тестового пользователя 202 и/или второго тестового пользователя 204 по отношению ко второму результату 220 вертикального поиска при ранжировании его на второй позиции, модуль 142 ранжирования выполнен с возможностью определять полезность второго результата 220 вертикального поиска по отношению к поисковому запросу и создавать параметр полезности.

[97] Например, первый тестовый пользователь 202 может щелкнуть мышкой на второй результат 220 вертикального поиска, ранжированный на пятой позиции на первой тестовой SERP 206, указывая на высокую полезность второго результата 220 вертикального поиска по отношению к поисковому запросу. Дополнительно или альтернативно второй тестовый пользователь 204 может щелкнуть мышкой на второй результат 220 вертикального поиска на второй тестовой SERP 208, где он ранжирован на второй позиции, снова указывая на высокую полезность. В будущих поисках второй результат 220 вертикального поиска может, следовательно, быть ранжирован вторым (или даже выше), на основе, по меньшей мере частично, параметра полезности. Альтернативно, второй тестовый пользователь 204 может не щелкнуть мышкой на второй результат 220 вертикального поиска, даже если он ранжирован на второй позиции. Это может указывать на низкую полезность второго результата 220 вертикального поиска по отношению к поисковому запросу.

[98] Специалистам в данной области техники будет понятно, что возможно множество подобных вариантов осуществления настоящего технического решения. Например, ранг первого результата 210 вертикального поиска, ранжированного на первой позиции на первой тестовой SERP 206 может быть случайным образом модифицирован таким образом, что он будет отображен на третьей SERP (не изображена) на пятой позиции. Третий тестовый пользователь (не изображен) может щелкнуть мышкой на первый результат 210 вертикального поиска, ранжированный на пятой позиции на первой тестовой SERP 206, указывая на высокую полезность первого результата 210 вертикального поиска по отношению к поисковому запросу.

[99] Специалистам в данной области техники будет понятно, что возможно множество подобных вариантов, которые могут быть использованы для определения полезности и оценки параметра полезности.

[100] В некоторых вариантах осуществления настоящего технического решения модуль 142 ранжирования выполнен с возможностью ранжировать результаты 230, 240, 250, 260 общего поиска на основе параметра общего ранжирования доменов перед группировкой их с результатами 210, 220 вертикального поиска и последующего ранжирования в соответствии с параметром полезности. В контексте настоящего описания выражение «параметр общего ранжирования доменов» подразумевает под собой инструмент ранжирования, который используется для ранжирования элементов результатов общего поиска. Известно множество таких инструментов ранжирования, и следует понимать, что любой такой инструмент может быть использован в способах и системах, предложенных здесь. В одном варианте осуществления настоящего технического решения параметр ранжирования общих доменов основывается на или включает в себя по меньшей мере один специфичный для пользователя общий атрибут ранжирования. Как упоминается здесь, выражение «специфичный для пользователя общий атрибут ранжирования» подразумевает под собой любую характеристику или сочетание характеристик пользовательской поисковой истории относительно результатов общего поиска, например, отношения количества щелчков мышью к количеству показов в записях журнала относительно запроса, история переходов, поисковая история и тому подобное, которая может быть проанализирована для определения того, где результаты общего поиска или их компоненты должны быть расположены на странице общих результатов поиска в соответствии с пользовательскими потребностями или предпочтениями.

[101] Аналогично, в некоторых вариантах осуществления настоящего технического решения модуль ранжирования выполнен с возможностью ранжировать результаты 210, 220 вертикального поиска на основе параметра ранжирования вертикальных доменов перед группировкой их с результатами 230, 240, 250, 260 общего поиска и последующего ранжирования в соответствии с параметром полезности. В контексте настоящего описания выражение «параметр ранжирования вертикальных доменов» подразумевает под собой инструмент ранжирования, который используется для ранжирования результатов вертикального поиска. Известно множество таких инструментов ранжирования, и следует понимать, что любой такой инструмент может быть использован в способах и системах, предложенных здесь. В одном варианте осуществления настоящего технического решения параметр ранжирования вертикальных доменов основывается на по меньшей мере одном специфичном для пользователя вертикальном атрибуте ранжирования (или включает в себя его). Как упоминается здесь, выражение «специфичный для пользователя вертикальный атрибут ранжирования» подразумевает под собой любую характеристику или сочетание характеристик пользовательской поисковой истории относительно результатов вертикального поиска, например, отношения количества щелчков мышью к количеству показов в записях журнала относительно запроса, история переходов, поисковая история и тому подобное, которая может быть проанализирована для определения того, где результаты вертикального поиска или их компоненты должны быть расположены на странице вертикальных результатов поиска в соответствии с пользовательскими потребностями или предпочтениями.

[102] В соответствии с неограничивающими вариантам осуществления настоящего технического решения модуль 142 ранжирования также выполнен с возможностью ранжировать поисковые результаты на основе, по меньшей мере частично, параметра полезности, причем параметр полезности указывает на оптимальное расположение по меньшей мере одного результата 210, 220 вертикального поиска в наборе поисковых результатов на основе определенной полезности по меньшей мере одного результата 210, 220 вертикального поиска по отношению к поисковому запросу, причем модуль 142 ранжирования также выполнен с возможностью предварительно определять параметр полезности на основе обучающей выборки пользовательских данных о прошлых пользовательских взаимодействиях по меньшей мере с одним результатом 210, 220 вертикального поиска.

[103] Хотя примеры, описанные выше, относятся к созданию параметра полезности для результатов 210, 220 вертикального поиска, следует понимать, что настоящее техническое решение не ограничивается ранжированием результатов вертикального поиска. В некоторых неограничивающих вариантах осуществления настоящего технического решения параметр полезности может, дополнительно или альтернативно, указывать оптимальное положение по меньшей мере одного результата общего поиска в наборе поисковых результатов; параметр полезности предварительно определяется на основе обучающей выборки пользовательских данных о прошлых пользовательских взаимодействиях по меньшей мере с одним результатом общего поиска. В одном неограничивающем варианте осуществления настоящего технического решения ранг четвертого результата 260 общего поиска, ранжированного на шестой позиции на первой тестовой SERP 206 может быть случайным образом модифицирован так, что он будет отображен на четвертой SERP (не изображена) на первой позиции. Если четвертый пользователь (не изображен), несмотря на это, все равно не щелкнет мышью на четвертый результат 260 общего поиска, даже несмотря на то, что он размещается сверху на четвертой SERP на первой позиции, это указывает на низкую полезность четвертого результата 260 общего поиска по отношению к поисковому запросу. Следует понимать, что возможно множество таких вариантов, и они могут использоваться для определения полезности результата общего поиска по отношению к поисковому запросу и для создания параметра полезности.

[104] Число и тип параметров полезности, созданных модулем 142 ранжирования, и используемых в ранжировании множества поисковых результатов никак конкретно не ограничены. Например, параметр полезности для одного или более результатов вертикального поиска может быть использован в ранжировании поисковых результатов. Дополнительно или альтернативно, параметр полезности для одного или более результатов общего поиска может быть использован в ранжировании поисковых результатов. Кроме того, когда создается или используется более одного параметра полезности, множество параметров полезности может быть предварительно определено на основе той же обучающей выборки пользовательских данных, или альтернативно может быть предварительно определено на основе различных обучающих выборок пользовательских данных из той же самой или из разных тестовых пользовательских групп.

[105] Кроме того, хотя в примерах, описанных выше, упоминаются пользователи, щелкающие на элементы поисковых результатов, следует понимать, что для определения полезности и оценки параметра полезности могут быть оценены другие аспекты пользовательского поведения. «Пользовательское поведение» может включать в себя, например, отношение количества щелчков мышью к количеству показов; время, проведенное за просмотром после перехода по щелчку; отношение количества щелчков мышью к количеству показов для результата поиска, ранжированных выше или ниже, чем конкретный результат поиска; и другие данные, основанные на щелчках мышью, множество примеров которых известны в данной области техники.

[106] С учетом описанной со ссылкой на Фиг. 1 архитектуры, и приведенного со ссылками на Фиг. 2 примера, может быть реализован способ создания страницы результатов поиска (SERP) в соответствии с настоящим техническим решением. Способ создания SERP может выполняться сервером 116. Для этого сервер включает в себя носитель компьютерной информации, хранящий компьютерные инструкции, при выполнении которых сервер 116 выполняет нижеописанные этапы способа.

[107] На Фиг. 3 представлена принципиальная схема способа 300, выполненного в соответствии с вариантами осуществления настоящего технического решения, не ограничивающими его объем.

[108] Этап 302 - получение поискового запроса от электронного устройства, связанного с пользователем

[109] Способ 300 начинается с этапа 302, в котором сервер 116 получает поисковый запрос от электронного устройства 102, связанного с пользователем (не изображен). Этап 302 выполняется в ответ на ввод пользователем поискового запроса в электронное устройство 102 с помощью интерфейса 106 поисковых запросов поискового приложения 104. Сервер 116 получает поисковый запрос с помощью линии 112 передачи данных.

[110] В некоторых неограничивающих вариантах осуществления настоящего технического решения поисковый запрос передается серверу 116 как стандартный URL (единый указатель информационного ресурса) (т.е. ссылка), закодированная в формате HTML. В других воплощениях настоящего технического решения, поисковый запрос передается в виде MYSQL-скрипта. Последнее особенно удобно в случаях (но не ограничено ими), когда в некоторых воплощениях настоящего технического решения, не ограничивающих его объем, сервер 116 представляет собой SQL сервер.

[111] Затем способ переходит к выполнению этапа 304.

[112] Этап 304 - в ответ на получение поискового запроса создание набора поисковых результатов, причем набор поисковых результатов включает в себя ранжированное множество поисковых результатов, которое, в свою очередь, включает в себя по меньшей мере один результат общего поиска и по меньшей мере один результат вертикального поиска, причем ранжированное множество поисковых результатов было ранжировано на основе, по меньшей мере частично, параметра полезности;

[113] где параметр полезности указывает на оптимальное положение по меньшей мере одного результата вертикального поиска в наборе поисковых результатов на основе определенной полезности по меньшей мере одного результата вертикального поиска по отношению к поисковому запросу, причем параметр полезности был предварительно определен на основе обучающей выборки пользовательских данных о прошлых пользовательских взаимодействиях по меньшей мере с одним из результатов вертикального поиска

[114] На этапе 304 сервер 116 инициирует создание поисковым кластером 118 и модулем 124 вертикального поиска набора поисковых результатов, причем набор поисковых результатов включает в себя ранжированное множество поисковых результатов, которое, в свою очередь, включает в себя по меньшей мере один результат 230, 240, 250, 260 общего поиска и по меньшей мере один результат 210, 220 вертикального поиска. Как часть выполнения этапа 304, сервер инициирует ранжирование модулем 142 ранжирования множества поисковых результатов на основе, по меньшей мере частично, параметра полезности для создания ранжированного множества поисковых результатов.

[115] Параметр полезности указывает на оптимальное положение по меньшей мере одного результата 210, 220 вертикального поиска в наборе поисковых результатов на основе определенной полезности по меньшей мере одного результата 210, 220 вертикального поиска по отношению к поисковому запросу, причем параметр полезности был предварительно определен модулем 142 ранжирования на основе обучающей выборки пользовательских данных о прошлых пользовательских взаимодействиях по меньшей мере с одним результатом 210, 220 вертикального поиска, как описано выше с учетом Фиг. 2 и как будет описано ниже с учетом Фиг. 4.

[116] Коротко говоря, параметр полезности был предварительно определен на основе обучающей выборки пользовательских данных о прошлых взаимодействиях пользователя по меньшей мере с одним результатом 210, 220 вертикального поиска, где исходный ранг по меньшей мере одного результата 210, 220 вертикального поиска был модифицирован случайным образом. «Обучающая выборка» обозначает набор пользовательских данных, связанных с прошлыми связанными поисковыми запросами тестовых пользователей 202, 204 из тестовой пользовательской группы (TUG). Связанные пользовательские данные в обучающей выборке оцениваются для определения полезности результатов 210, 220, 230, 240, 250, 260 поиска, относящихся к поисковому запросу. Обучающая выборка данных может быть оценена человеком, также упоминаемым как "эксперт". Эксперт может быть одним человеком или несколькими людьми. Или же обучающая выборка данных может быть оценена с использованием модели машинного обучения.

[117] В некоторых неограничивающих вариантах осуществления настоящего технического решения параметры полезности определяются в отношении единственной обучающей выборки пользовательских данных для поискового запроса. В альтернативных неограничивающих вариантах осуществления настоящего технического решения параметры полезности определяются в отношении множества обучающих выборок пользовательских данных для того же самого поискового запроса. Параметры полезности могут быть определены, в некоторых вариантах осуществления настоящего технического решения, с учетом статистической выборки поведения предыдущих пользователей.

[118] В некоторых неограничивающих вариантах осуществления настоящего технического решения параметр полезности создается с использованием алгоритма машинного обучения. Обученная модель ранжирует поисковые результаты на основе, по меньшей мере частично, параметра полезности, причем полезность определяется оценкой поведения тестового пользователя по отношению к результату 210, 220, 230, 240, 250, 260 поиска, когда результат поиска размещается на случайной позиции на тестовой SERP 206, 208. Способы предварительного определения параметра полезности на этапе 304 поясняются далее с учетом Фиг. 4.

[119] После ранжирования множества результатов поиска на основе, по меньшей мере частично, параметра полезности, способ 300 переходит к выполнению этапа 306.

[120] Этап 306 - создание SERP, отображающей ранжированное множество результатов поиска

[121] На этапе 306 сервер 116 создает SERP 108, отображающую ранжированное множество результатов поиска. Сервер 116 инициирует отображение SERP 108 на электронном устройстве 102 пользователю. Способ отображения ранжированного множества результатов поиска (форматирование, представление, шрифт, цвет, размер и т.д.) никак не ограничен. Известно множество таких вариаций, и отображение будет различным в зависимости от таких факторов, как конкретное использованное электронное устройство, конкретный поисковый запрос и так далее.

[122] Для простоты понимания будет приводиться в пример Фиг. 4, на которой способ предварительного определения параметра полезности изображен более подробно, как уже упоминалось на этапе 304 способа 300.

[123] На Фиг. 4 представлена блок-схема способа 400, реализованного в соответствии с вариантами осуществления настоящего технического решения, не ограничивающими его объем.

[124] Этап 402 - в ответ на получение поискового запроса от тестового электронного устройства, связанного с первым пользователем первой тестовой группы пользователей (test user group, TUG), осуществление предыдущего поиска и создание предыдущей SERP, причем предыдущая SERP включает в себя по меньшей мере один результат общего поиска и по меньшей мере один результат вертикального поиска, ранжированные смешанным образом, где исходный ранг по меньшей мере одного результата вертикального поиска из смешанного ранжирования был модифицирован для ранжирования по меньшей мере одного результата вертикального поиска случайным образом, и, таким образом, по меньшей мере один результат вертикального поиска размещается на предыдущей SERP на первой случайной позиции

[125] Способ 400 предварительного определения параметра полезности начинается на этапе 402. На этапе 402, в ответ на получение поискового запроса от электронного устройства (207), связанного с первым пользователем (первым тестовым пользователем 202) первой тестовой группы (TUG) (не изображена) сервер 116 инициирует создание поисковым кластером 118 и модулем 124, 126 вертикального поиска набора поисковых результатов, причем набор поисковых результатов включает в себя ранжированное множество поисковых результатов, которое, в свою очередь, включает в себя по меньшей мере один результат 230, 240, 250, 260 общего поиска и по меньшей мере один результат 210, 220 вертикального поиска. Сервер 116 создает первую тестовую SERP 206, включающую в себя по меньшей мере один результат 230, 240, 250, 260 общего поиска и по меньшей мере один результат 210, 220 вертикального поиска, ранжированные смешанным образом; первая тестовая SERP 206 отображается первому тестовому пользователю 202 на электронном устройстве 207. На первой тестовой SERP 206 ранг по меньшей мере одного результата 220 вертикального поиска был модифицирован случайным образом, и результат 220 вертикального поиска оказался ранжирован на пятой позиции на первой тестовой SERP 206 (с учетом варианта осуществления настоящего технического решения, изображенного на Фиг. 2).

[126] Способ 400 теперь переходит к выполнению этапа 404.

[127] Этап 404 - после отображения предыдущей SERP на тестовом электронном устройстве первому пользователю первой TUG проведение анализа поведения первого пользователя первой TUG по отношению по меньшей мере к одному результату вертикального поиска на предыдущей SERP, причем по меньшей мере один результат вертикального поиска был размещен на первой случайной позиции на предыдущей SERP

[128] На этапе 404, после отображения первой тестовой SERP на электронном устройстве 207 первому пользователю 202 первой TUG, происходит оценка поведения первого пользователя 202 из первой TUG по отношению по меньшей мере одного результата вертикального поиска (результат 220 вертикального поиска в этом примере) на первой тестовой SERP 206. Как было описано выше, результат 220 вертикального поиска был размещен на случайной позиции (на пятой позиции, в варианте осуществления настоящего технического решения, показанной на Фиг. 2) на первой тестовой SERP 206.

[129] Способ 400 теперь переходит к выполнению этапа 406.

[130] Этап 406 - на основе, по меньшей мере частично, поведения первого пользователя первой TUG по отношению по меньшей мере к одному результату вертикального поиска на первой случайной позиции на предыдущей SERP, определение полезности по меньшей мере одного результата вертикального поиска, относящегося к поисковому запросу и создание параметра полезности

[131] На этапе 406 - на основе, по меньшей мере частично, поведения первого пользователя (202) первой TUG по отношению по меньшей мере к одному результату (второму результату 220 вертикального поиска в этом примере) вертикального поиска, размещенному случайным образом (на пятой позиции) первой тестовой SERP 206, определяется полезность второго результата 220 вертикального поиска, относящегося к поисковому запросу, а также создается параметр полезности.

[132] После создания параметр полезности сохраняется для будущего использования в ранжировании результатов поиска для поисковых запросов. Следует иметь в виду, что сохранение параметра полезности никак конкретно не ограничено. Например, параметр полезности может быть сохранен в системе записей журнала (не изображена), которая функционально соединена с модулем 142 ранжирования (или включена в него). Система журнальных записей может являться, например, базой данных или другим модулем (не изображен) хранения данных и информации, связанной с ранжированием поисковых результатов, включая параметр полезности и тому подобное.

[133] Как упоминалось выше, в некоторых неограничивающих вариантах осуществления настоящего технического решения параметр полезности создается с использованием алгоритма машинного обучения. В одном неограничивающем варианте осуществления настоящего технического решения используется обученная функция полезности.

[134] Например, обученная функция полезности может быть создана следующим образом: Сначала создается тестовая группа пользователей (test user group, TUG). В ответ на получение пользовательского запроса со второго электронного устройства 209, связанного со вторым тестовым пользователем 204, пользователем TUG, проводится поиск и создается вторая тестовая SERP 208. Результаты 210, 220, 230, 240, 250, 260 общего и вертикального поисков ранжируются с использованием известных или обычных способов ранжирования. В некоторых вариантах осуществления настоящего технического решения для ранжирования элементов 210, 220 результата вертикального поиска определяются вертикальные факторы ранжирования, включающие в себя весовые коэффициенты намерения. Таким образом, с учетом примера, изображенного на Фиг. 2, второму результату 220 вертикального поиска присваивается весовой коэффициент намерения для определения исходного ранга. Для случайной модификации ранга второго результата 220 вертикального поиска на второй тестовой SERP 208, как весовой коэффициент намерения для второго результата 220 вертикального поиска создается случайное число. Таким образом, результаты 210, 220, 230, 240, 250, 260 общего и вертикального поиска ранжируются с использованием известных или обычных способов ранжирования, где случайной число используется как весовой коэффициент намерения для второго результата 220 вертикального поиска, причем второй результат 220 вертикального поиска размещается соответственно на случайной позиции (например, на второй позиции на второй тестовой SERP 208 в примере, показанном на Фиг. 2).

[135] Далее происходит получение обратной связи о поведении второго тестового пользователя 204 из TUG по отношению ко второму результату 220 вертикального поиска, расположенному на случайной позиции на второй тестовой SERP 208. Например, второй тестовый пользователь 204 из TUG может щелкнуть мышкой на первый результат 210 вертикального поиска на второй тестовой SERP 208, который ранжирован на одну позицию выше, чем второй результат 220 вертикального поиска. Следует отметить, что это может означать, что второй тестовый пользователь 204 не увидел второй результат 220 вертикального поиска, или же это может означать, что пользователя 204 из TUG. Может потребоваться дальнейший анализ для определения полезности второго результата 220 вертикального поиска. Альтернативно, второй тестовый пользователь 204 из TUG может щелкнуть на первый результат 230 общего поиска, который ранжирован на одну позицию ниже, чем второй результат 220 вертикального поиска на второй тестовой SERP 208. Это может указывать на то, что второй тестовый пользователь 204 из TUG увидел второй результат 220 вертикального поиска, но не щелкнул на него, что указывает на то, что второй результат 220 вертикального поиска был не релевантен. В другом альтернативном варианте второй тестовый пользователь 204 из TUG может щелкнуть мышкой на второй результат 220 вертикального поиска на второй тестовой SERP 208 и перейти по ссылке с него на веб-ресурсы, что указывает на релевантность второго результата 220 вертикального поиска. Такие пользовательские данные могут быть использованы для оценки обученной функции полезности.

[136] В некоторых случаях пользовательские данные сохраняются в журнальных записях (логах) (не изображены), и функция полезности создается с помощью оценки этих записей. Функция полезности может сама по себе быть сохранена в журнальных записях, в случае чего параметр полезности создается с помощью оценки функции полезности из этих записей. Реализация журнальных записей никак конкретно не ограничена. Например, журнальные записи могут быть связаны с модулем 142 ранжирования или базами данных 122, 134.

[137] Если продолжать описывать этот пример, то обученная функция полезности используется для определения весовых коэффициентов намерения для второго результата 220 вертикального поиска, которые оптимизируют его ранжирование на основе его определенной полезности. Модуль 142 ранжирования затем осуществляет смешанное ранжирования результатов 210, 220, 230, 240, 250, 260 общего и вертикального поиска с использованием определенных весовых коэффициентов намерения и, соответственно, ранжирует второй результат вертикального поиска. Таким образом, множество поисковых результатов ранжировано с учетом весовых коэффициентов намерения, определенных для второго результата 220 вертикального поиска с использованием обученной функции полезности.

[138] В альтернативных вариантах осуществления настоящего технического решения результаты общего поиска сначала ранжируются на основе параметра общего ранжирования доменов, перед группировкой с результатами вертикального поиска и последующим ранжированием на основе параметра полезности. В контексте настоящего описания выражение «параметр ранжирования общих доменов» подразумевает под собой инструмент ранжирования, который используется для ранжирования элементов результатов общего поиска. Известно множество таких инструментов ранжирования, и следует понимать, что любой такой инструмент может быть использован в способах и системах, предложенных здесь. В одном варианте осуществления настоящего технического решения параметр ранжирования общих доменов основывается на или включает в себя по меньшей мере один специфичный для пользователя общий атрибут ранжирования.

[139] Аналогично, в других дополнительных вариантах осуществления настоящего технического решения результаты вертикального поиска сначала ранжируются на основе параметра ранжирования вертикальных доменов, перед группировкой с результатами общего поиска и последующим ранжированием на основе параметра полезности. В контексте настоящего описания выражение «параметр ранжирования вертикальных доменов» подразумевает под собой инструмент ранжирования, который используется для ранжирования результатов вертикального поиска. Известно множество таких инструментов ранжирования, и следует понимать, что любой такой инструмент может быть использован в способах и системах, предложенных здесь.

[140] Следует понимать, что способ, в котором используется параметр полезности во время ранжирования множества поисковых результатов, никак конкретно не ограничивается. Таким образом, как было подчеркнуто выше, параметр полезности может быть использован для определения весовых коэффициентов намерения для конкретного результата поиска; также он может быть использован во время смешанного ранжирования результатов общего и вертикального поиска; также он может быть использован после того, как результаты общего поиска были первоначально ранжированы на основе параметров ранжирования общих доменов; также он может быть использован после того, как результаты вертикального поиска были первоначально ранжированы на основе параметров ранжирования вертикальных доменов и так далее. Этап, на котором параметр полезности используется в способе ранжирования, или способ, в котором параметр полезности входит в алгоритм ранжирования, никак конкретно не ограничен.

[141] Некоторые технические эффекты воплощений настоящего технического решения, не ограничивающих его объем, могут включать в себя предоставление улучшенной, более полезной страницы результатов поиска (SERP) пользователю в ответ на введение пользователем поискового запроса. Такое предоставление улучшенной SERP может позволить пользователю более полно ознакомиться с предметом его интереса, более эффективно находить информацию, которую он(а) искал(а) и так далее. Способность пользователя более эффективно находить информацию приводит к меньшему трафику. Также притом что электронное устройство 102 выполнено как беспроводное устройство передачи данных, способность пользователя более эффективно находить информацию приведет к сбережению заряда аккумулятора электронного устройства 102. Важно иметь в виду, что варианты осуществления настоящего технического решения могут быть реализованы с проявлением и других технических результатов.

[142] Модификации и улучшения вышеописанных вариантов осуществления настоящего технического решения будут ясны специалистам в данной области техники. Предшествующее описание представлено только в качестве примера и не несет никаких ограничений. Таким образом, объем настоящего технического решения ограничен только объемом прилагаемой формулы изобретения.

[143] Таким образом, с одной точки зрения, варианты осуществления настоящего технического решения можно изложить следующим образом, структурированно, пронумерованными пунктами.

[144] ПУНКТ 1. Способ создания страницы результатов поиска (SERP) (108), способ выполняется на сервере (116) и включает в себя:

[145] а) получение поискового запроса от электронного устройства (102), связанного с пользователем;

[146] б) в ответ на получение поискового запроса создание набора результатов поиска, причем набор результатов поиска включает в себя ранжированное множество результатов поиска, которое, в свою очередь, включает в себя по меньшей мере один результат (230, 240, 250, 260) общего поиска и по меньшей мере один результат (210, 220) вертикального поиска, причем ранжированное множество поисковых результатов было ранжировано на основе, по меньшей мере частично, параметра полезности; и

[147] в) создание SERP (108), отображающей ранжированное множество результатов поиска;

[148] где параметр полезности указывает на оптимальное положение по меньшей мере одного результата (210, 220) вертикального поиска в наборе поисковых результатов на основе определенной полезности по меньшей мере одного результата (210, 220) вертикального поиска по отношению к поисковому запросу, причем параметр полезности был предварительно определен на основе обучающей выборки пользовательских данных о прошлых пользовательских взаимодействиях по меньшей мере с одним результатом (210, 220) вертикального поиска, посредством:

[149] i) в ответ на получение поискового запроса от тестового электронного устройства (207, 209), связанного с первым пользователем (202, 204) первой тестовой группы пользователей (test user group, TUG), осуществление предыдущего поиска и создание предыдущей SERP (206, 208), причем предыдущая SERP (206, 208) включает в себя по меньшей мере один результат (230, 240, 250, 260) общего поиска и по меньшей мере один результат (210, 220) вертикального поиска, ранжированные смешанным образом, где исходный ранг по меньшей мере одного результата (210, 220) вертикального поиска из смешанного ранжирования был модифицирован для ранжирования по меньшей мере одного результата (210, 220) вертикального поиска случайным образом, и, таким образом, по меньшей мере один результат (210, 220) вертикального поиска размещается на предыдущей SERP (206, 208) на первой случайной позиции;

[150] ii) после отображения предыдущей SERP (206, 208) на тестовом электронном устройстве (207, 209) первому пользователю (202, 204) первой TUG, проведение анализа поведения первого пользователя (202, 204) первой TUG по отношению по меньшей мере к одному результату (210, 220) вертикального поиска на предыдущей SERP (206, 208), причем по меньшей мере один результат (210, 220) вертикального поиска был размещен на первой случайной позиции на предыдущей SERP (206, 208); и

[151] iii) на основе, по меньшей мере частично, поведения первого пользователя (202, 204) первой TUG по отношению по меньшей мере к одному результату (210, 220) вертикального поиска на первой случайной позиции на предыдущей SERP (206, 208), определение полезности по меньшей мере одного результата (210, 220) вертикального поиска, относящегося к поисковому запросу и создание параметра полезности.

[152] ПУНКТ 2. Способ по п. 1, в котором поведение первого пользователя (202, 204) первой TUG по отношению по по меньшей мере к одному результату (210, 220) вертикального поиска на первой случайной позиции на предыдущей SERP (206, 208) включает в себя один или несколько пунктов из перечисленного: отношение количества щелчков мышью к количеству показов; время, проведенное за просмотром после перехода по щелчку; и другие данные на основе щелчков мышью.

[153] ПУНКТ 3. Способ по п. 2, в котором первая случайная позиция представляет собой более низкий ранг, чем исходный ранг по меньшей мере одного результата (210, 220) вертикального поиска.

[154] ПУНКТ 4. Способ по п. 2, в котором первая случайная позиция представляет собой более высокий ранг, чем исходный ранг по меньшей мере одного результата (210, 220) вертикального поиска.

[155] ПУНКТ 5. Способ по п. 3, в котором переход по щелчку или время, проведенное за просмотром после перехода по щелчку первым пользователем (202, 204) первой TUG по отношению по меньшей мере к одному результату (210, 220) вертикального поиска с более низким рангом определяет полезность по меньшей мере одного результата (210, 220) вертикального поиска.

[156] ПУНКТ 6. Способ по п. 4, в котором отсутствие перехода по щелчку или время, проведенное за просмотром после перехода по щелчку первым пользователем (202, 204) первой TUG по отношению по меньшей мере к одному результату (210, 220) вертикального поиска с более высоким рангом определяет отсутствие полезности по меньшей мере одного результата (210, 220) вертикального поиска.

[157] ПУНКТ 7. Способ по любому из пп. 1-6, в котором ранжированное множество результатов поиска было ранжировано на основе, по меньшей мере частично, параметра полезности и второго параметра полезности, причем второй параметр полезности указывает на оптимальную позицию по меньшей мере одного результата (230, 240, 250, 260) общего поиска в наборе результатов поиска на основе второй определенной полезности по меньшей мере одного результата (230, 240, 250, 260) общего поиска по отношению к поисковому запросу, и второй параметр полезности и вторая определенная полезность были предварительно определены на основе второй обучающей выборки пользовательских данных о предыдущих взаимодействиях пользователя по меньшей мере с одним результатом (230, 240, 250, 260) общего поиска посредством:

[158] i) в ответ на получение поискового запроса от второго тестового электронного устройства, связанного со вторым пользователем (202, 204) второй тестовой группы пользователей (test user group, TUG), осуществление второго предыдущего поиска и создание второй предыдущей SERP, причем вторая предыдущая SERP включает в себя по меньшей мере один результат (230, 240, 250, 260) общего поиска и по меньшей мере один результат (210, 220) вертикального поиска, ранжированные вторым смешанным образом, где исходный ранг по меньшей мере одного результата (230, 240, 250, 260) общего поиска из второго смешанного ранжирования был модифицирован для ранжирования по меньшей мере одного результата (230, 240, 250, 260) общего поиска случайным образом, и, таким образом, по меньшей мере один результат (230, 240, 250, 260) общего поиска размещается на второй предыдущей SERP на второй случайной позиции;

[159] ii) после отображения второй предыдущей SERP на втором тестовом электронном устройстве второму пользователю (202, 204) второй TUG, проведение анализа поведения второго пользователя (202, 204) второй TUG по отношению по меньшей мере к одному результату (230, 240, 250, 260) общего поиска на второй предыдущей SERP, причем по меньшей мере один результат (230, 240, 250, 260) общего поиска был размещен на второй случайной позиции на второй предыдущей SERP; и

[160] iii) на основе, по меньшей мере частично, поведения второго пользователя (202, 204) второй TUG по отношению по меньшей мере к одному результату (230, 240, 250, 260) общего поиска на второй случайной позиции на второй предыдущей SERP, определение второй полезности по меньшей мере одного результата (230, 240, 250, 260) общего поиска, относящегося к поисковому запросу, и создание второго параметра полезности.

[161] ПУНКТ 8. Способ по п. 7, в котором поведение второго пользователя (202, 204) второй TUG по отношению по меньшей мере к одному результату (230, 240, 250, 260) общего поиска на второй случайной позиции на второй предыдущей SERP включает в себя один или несколько пунктов из перечисленного: отношение количества щелчков мышью к количеству показов; время, проведенное за просмотром после перехода по щелчку; и другие данные на основе щелчков мышью.

[162] ПУНКТ 9. Способ по п. 8, в котором вторая случайная позиция представляет собой более низкий ранг, чем исходный ранг по меньшей мере одного результата (230, 240, 250, 260) общего поиска.

[163] ПУНКТ 10. Способ по п. 8, в котором вторая случайная позиция представляет собой более высокий ранг, чем исходный ранг по меньшей мере одного результата (230, 240, 250, 260) общего поиска.

[164] ПУНКТ 11. Способ по п. 9, в котором переход по щелчку или время, проведенное за просмотром после перехода по щелчку вторым пользователем (202, 204) второй TUG по отношению по меньшей мере к одному результату (230, 240, 250, 260) общего поиска с более низким рангом определяет полезность по меньшей мере одного результата (230, 240, 250, 260) общего поиска.

[165] ПУНКТ 12. Способ по п. 10, в котором отсутствие перехода по щелчку или время, проведенное за просмотром после перехода по щелчку вторым пользователем (202, 204) второй TUG по отношению по меньшей мере к одному результату (230, 240, 250, 260) общего поиска с более высоким рангом определяет отсутствие полезности по меньшей мере одного результата (230, 240, 250, 260) общего поиска.

[166] ПУНКТ 13. Способ по любому из пп. 7-12, в котором первая TUG и вторая TUG являются одной и той же TUG.

[167] ПУНКТ 14. Способ по п. 13, в котором первый пользователь (202,204) и второй пользователь (202, 204) являются одним и тем же пользователем.

[168] ПУНКТ 15. Способ по п. 14, в котором первое тестовое электронное устройство (207, 209) и второе тестовое электронное устройство (207, 209) являются одним и тем же электронным устройством.

[169] ПУНКТ 16. Способ по любому из пп. 7-15, в котором первый предыдущий поиск и второй предыдущий поиск являются одним и тем же предыдущим поиском, и первая предыдущая SERP (206, 208) и вторая предыдущая SERP (206, 208) являются одной и той же предыдущей SERP.

[170] ПУНКТ 17. Способ по любому из пп. 1-16, в котором параметр полезности был создан с использованием алгоритма машинного обучения, и опционально в котором оценка параметра полезности включает в себя оценку записи журнала (лога), причем запись журнала включает в себя обучающий набор пользовательских данных.

[171] ПУНКТ 18. Способ по любому из пп. 1-17, в котором по меньшей мере один результат (210, 220) вертикального поиска был ранжирован случайным образом с помощью создания случайного числа как его весового коэффициента намерения.

[172] ПУНКТ 19. Способ по любому из пп. 1-18, в котором параметр полезности определяет весовой коэффициент намерения по меньшей мере одного результата (210, 220) вертикального поиска на основе его определенной полезности, таким образом определяя ранг по меньшей мере одного результата (210, 220) вертикального поиска в ранжированном множестве поисковых результатов.

[173] ПУНКТ 20. Сервер (116) для создания страницы результатов поиска (SERP), включающий в себя:

[174] интерфейс передачи данных для связи с электронным устройством (102), связанным с пользователем через сеть передачи данных;

[175] память;

[176] процессор, функционально соединенный с интерфейсом передачи данных и памятью, причем процессор выполнен с возможностью сохранять объекты, в связи с пользователем, в памяти; процессор также выполнен с возможностью осуществлять:

[177] получение поискового запроса от электронного устройства (102), связанного с пользователем;

[178] в ответ на получение поискового запроса создание набора результатов поиска, причем набор результатов поиска включает в себя ранжированное множество результатов поиска, которое, в свою очередь, включает в себя по меньшей мере один результат (230, 240, 250, 260) общего поиска и по меньшей мере один результат (210, 220) вертикального поиска, причем ранжированное множество поисковых результатов было ранжировано на основе, по меньшей мере частично, параметра полезности; и

[179] создание SERP (108), отображающей ранжированное множество результатов поиска;

[180] где параметр полезности указывает на оптимальное положение по меньшей мере одного результата (210, 220) вертикального поиска в наборе поисковых результатов на основе определенной полезности по меньшей мере одного результата (210, 220) вертикального поиска по отношению к поисковому запросу, причем параметр полезности был предварительно определен на основе обучающей выборки пользовательских данных о прошлых пользовательских взаимодействиях по меньшей мере с одним результатом (210, 220) вертикального поиска, посредством:

[181] i) в ответ на получение поискового запроса от тестового электронного устройства (207, 209), связанного с первым пользователем (202, 204) первой тестовой группы пользователей (test user group, TUG), осуществление предыдущего поиска и создание предыдущей SERP (206, 208), причем предыдущая SERP (206, 208) включает в себя по меньшей мере один результат (230, 240, 250, 260) общего поиска и по меньшей мере один результат (210, 220) вертикального поиска, ранжированные смешанным образом, где исходный ранг по меньшей мере одного результата (210, 220) вертикального поиска из смешанного ранжирования был модифицирован для ранжирования по меньшей мере одного результата (210, 220) вертикального поиска случайным образом, и, таким образом, по меньшей мере один результат (210, 220) вертикального поиска размещается на предыдущей SERP (206, 208) на первой случайной позиции;

[182] ii) после отображения предыдущей SERP (206, 208) на тестовом электронном устройстве (207, 209) первому пользователю (202, 204) первой TUG, проведение анализа поведения первого пользователя (202, 204) первой TUG по отношению по меньшей мере к одному результату (210, 220) вертикального поиска на предыдущей SERP (206, 208), причем по меньшей мере один результат (210, 220) вертикального поиска был размещен на первой случайной позиции на предыдущей SERP (206, 208); и

[183] iii) на основе, по меньшей мере частично, поведения первого пользователя (202, 204) первой TUG по отношению по меньшей мере к одному результату (210, 220) вертикального поиска на первой случайной позиции на предыдущей SERP (206, 208), определение полезности по меньшей мере одного результата (210, 220) вертикального поиска, относящегося к поисковому запросу и создание параметра полезности.

[184] ПУНКТ 21. Сервер по п. 20, в котором процессор выполнен с возможностью проведения анализа поведения первого пользователя (202, 204) первой TUG по отношению по меньшей мере к одному результату (210, 220) вертикального поиска на первой случайной позиции на предыдущей SERP (206, 208) включающему в себя анализ одного или нескольких пунктов из перечисленного: отношение количества щелчков мышью к количеству показов; время, проведенное за просмотром после перехода по щелчку; и другие данные на основе щелчков мышью.

[185] ПУНКТ 22. Сервер по п. 21, в котором процессор выполнен с возможностью использования первой случайной позиции с более низким рангом, чем исходный ранг по меньшей мере одного результата (210, 220) вертикального поиска.

[186] ПУНКТ 23. Сервер по п. 21, в котором процессор выполнен с возможностью использования первой случайной позиции с более высоким рангом, чем исходный ранг по меньшей мере одного результата (210, 220) вертикального поиска.

[187] ПУНКТ 24. Сервер по п. 22, в котором процессор выполнен с возможностью определения полезности по меньшей мере одного результата вертикального поиска на основе перехода по щелчку или времени проведенного за просмотром после перехода по щелчку первым пользователем (202, 204) первой TUG по отношению по меньшей мере к одному результату (210, 220) вертикального поиска с более низким рангом определяет полезность по меньшей мере одного результата (210, 220) вертикального поиска.

[188] ПУНКТ 25. Сервер по п. 23, в котором процессор выполнен с возможностью определения отсутствия полезности по меньшей мере одного результата вертикального поиска на основе отсутствия перехода по щелчку или времени, проведенного за просмотром после перехода по щелчку первым пользователем (202, 204) первой TUG по отношению по меньшей мере к одному результату (210, 220) вертикального поиска с более высоким рангом определяет отсутствие полезности по меньшей мере одного результата (210, 220) вертикального поиска.

[189] ПУНКТ 26. Сервер по любому из пп. 20-25, в котором процессор выполнен с дополнительной возможностью ранжировать множество результатов поиска на основе, по меньшей мере частично, параметра полезности и второго параметра полезности, причем второй параметр полезности указывает на оптимальную позицию по меньшей мере одного результата (230, 240, 250, 260) общего поиска в наборе результатов поиска на основе второй определенной полезности по меньшей мере одного результата (230, 240, 250, 260) общего поиска по отношению к поисковому запросу, и второй параметр полезности и вторая определенная полезность были предварительно определены на основе второй обучающей выборки пользовательских данных о предыдущих взаимодействиях пользователя по меньшей мере с одним результатом (230, 240, 250, 260) общего поиска посредством:

[190] i) в ответ на получение поискового запроса от второго тестового электронного устройства, связанного со вторым пользователем (202, 204) второй тестовой группы пользователей (test user group, TUG), осуществление второго предыдущего поиска и создание второй предыдущей SERP, причем вторая предыдущая SERP включает в себя по меньшей мере один результат (230, 240, 250, 260) общего поиска и по меньшей мере один результат (210, 220) вертикального поиска, ранжированные вторым смешанным образом, где исходный ранг по меньшей мере одного результата (230, 240, 250, 260) общего поиска из второго смешанного ранжирования был модифицирован для ранжирования по меньшей мере одного результата (230, 240, 250, 260) общего поиска случайным образом, и, таким образом, по меньшей мере один результат (230, 240, 250, 260) общего поиска размещается на второй предыдущей SERP на второй случайной позиции;

[191] ii) после отображения второй предыдущей SERP на втором тестовом электронном устройстве второму пользователю (202, 204) второй TUG, проведение анализа поведения второго пользователя (202, 204) второй TUG по отношению по меньшей мере к одному результату (230, 240, 250, 260) общего поиска на второй предыдущей SERP, причем по меньшей мере один результат (230, 240, 250, 260) общего поиска был размещен на второй случайной позиции на второй предыдущей SERP; и

[192] iii) на основе, по меньшей мере частично, поведения второго пользователя (202, 204) второй TUG по отношению по меньшей мере к одному результату (230, 240, 250, 260) общего поиска на второй случайной позиции на второй предыдущей SERP, определение второй полезности по меньшей мере одного результата (230, 240, 250, 260) общего поиска, относящегося к поисковому запросу, и создание второго параметра полезности.

[193] ПУНКТ 27. Сервер по п. 26, в котором процессор выполнен с возможностью проведения анализа поведения второго пользователя (202, 204) второй TUG по отношению по меньшей мере к одному результату (230, 240, 250, 260) общего поиска на второй случайной позиции на второй предыдущей SERP включает в себя один или несколько пунктов из перечисленного: отношение количества щелчков мышью к количеству показов; время, проведенное за просмотром после перехода по щелчку; и другие данные на основе щелчков мышью.

[194] ПУНКТ 28. Сервер по п. 27, в котором процессор выполнен с возможностью использования второй случайной позиции с более низким рангом, чем исходный ранг по меньшей мере одного результата (230, 240, 250, 260) общего поиска.

[195] ПУНКТ 29. Сервер по п. 27, в котором процессор выполнен с возможностью использования второй случайной позиции с более высоким рангом, чем исходный ранг по меньшей мере одного результата (230, 240, 250, 260) общего поиска.

[196] ПУНКТ 30. Сервер по п. 28, в котором процессор выполнен с возможностью определения полезности по меньшей мере одного результата (230, 240, 250, 260) общего поиска на основе перехода по щелчку или времени, проведенного за просмотром после перехода по щелчку вторым пользователем (202, 204) второй TUG по отношению по меньшей мере к одному результату (230, 240, 250, 260) общего поиска с более низким рангом.

[197] ПУНКТ 31. Сервер по п. 29, в котором процессор выполнен с возможностью определения отсутствия полезности по меньшей мере одного результата (230, 240, 250, 260) общего поиска на основе отсутствия перехода по щелчку или времени, проведенного за просмотром после перехода по щелчку вторым пользователем (202, 204) второй TUG по отношению по меньшей мере к одному результату (230, 240, 250, 260) общего поиска с более высоким рангом.

[198] ПУНКТ 32. Сервер по любому из пп. 26 - 31, в котором процессор выполнен с возможностью использования в качестве первой тестовой группы пользователей и второй тестовой группы пользователей одной и той же тестовой группы пользователей.

[199] ПУНКТ 33. Сервер по любому из пп. 26 - 32, в котором процессор выполнен с возможностью использования в качестве первого предыдущего поиска и второго предыдущего поиска одного и того же предыдущего поиска, и первой предыдущей SERP(206, 208) и второй предыдущей SERP (206, 208) одной и той же предыдущей SERP (206, 208).

[200] ПУНКТ 34. Способ создания параметра полезности для ранжирования поисковых результатов, способ выполняется на сервере (116) и включает в себя:

[201] а) получение поискового запроса от тестового электронного устройства (207, 209), связанного с первым пользователем (202, 204) первой тестовой группы пользователей (test user group TUG);

[202] б) в ответ на получение поискового запроса осуществление предыдущего поиска и создание тестовой SERP (206,208), причем тестовая SERP (206,208) включает в себя по меньшей мере один результат (230, 240, 250, 260) общего поиска и по меньшей мере один результат (210, 220) вертикального поиска, ранжированные смешанным образом, где исходный ранг по меньшей мере одного результата (210, 220) вертикального поиска в смешанном ранжировании был модифицирован для ранжирования по меньшей мере одного результата (210, 220) вертикального поиска случайным образом, и, таким образом, по меньшей мере один результат (210, 220) вертикального поиска размещается на тестовой SERP (206, 208) на первой случайной позиции;

[203] в) отображение тестовой SERP (206, 208) на тестовом электронном устройстве (207, 209) первому пользователю (202, 204) первой TUG;

[204] г) проведение анализа поведения первого пользователя (202, 204) первой TUG по отношению по меньшей мере к одному результату (210, 220) вертикального поиска на тестовой SERP (206, 208), причем по меньшей мере один результат (210, 220) вертикального поиска был размещен на первой случайной позиции на тестовой SERP (206, 208);

[205] д) на основе, по меньшей мере частично, поведения первого пользователя (202, 204) первой TUG по отношению по меньшей мере к одному результату (210, 220) вертикального поиска на первой случайной позиции на тестовой SERP (206, 208), определение полезности по меньшей мере одного результата (210, 220) вертикального поиска, относящегося к поисковому запросу и создание параметра полезности, который указывает на оптимальное положение по меньшей мере одного результата (210, 220) вертикального поиска на тестовой SERP (206, 208) на основе определенной полезности по меньшей мере одного результата (210, 220) вертикального поиска, относящегося к поисковому запросу; и

[206] е) сохранение параметра полезности для использования в ранжировании будущих результатов поиска для поисковых запросов.

[207] ПУНКТ 35. Способ по п. 34, в котором поведение первого пользователя (202, 204) первой TUG по отношению по по меньшей мере к одному результату (210, 220) вертикального поиска на первой случайной позиции на тестовой SERP (206, 208) включает в себя один или несколько пунктов из перечисленного: отношение количества щелчков мышью к количеству показов; время, проведенное за просмотром после перехода по щелчку; и другие данные на основе щелчков мышью.

[208] ПУНКТ 36. Способ по п. 34 или 35, в котором первая случайная позиция представляет собой более низкий ранг, чем исходный ранг по меньшей мере одного результата (210, 220) вертикального поиска.

[209] ПУНКТ 37. Способ по п. 34 или 35, в котором первая случайная позиция представляет собой более высокий ранг, чем исходный ранг по меньшей мере одного результата (210, 220) вертикального поиска.

[210] ПУНКТ 38. Способ по п. 36, в котором переход по щелчку или время, проведенное за просмотром после перехода по щелчку первым пользователем (202, 204) первой TUG по отношению по меньшей мере к одному результату (210, 220) вертикального поиска с более низким рангом определяет полезность по меньшей мере одного результата (210, 220) вертикального поиска.

[211] ПУНКТ 39. Способ по п. 37, в котором отсутствие перехода по щелчку или время, проведенное за просмотром после перехода по щелчку первым пользователем (202, 204) первой TUG по отношению по меньшей мере к одному результату (210, 220) вертикального поиска с более высоким рангом определяет отсутствие полезности по меньшей мере одного результата (210, 220) вертикального поиска.

[212] ПУНКТ 40. Способ по любому из пп. 34 - 39, в котором способ дополнительно включает в себя создание второго параметра полезности для ранжирования поисковых результатов, причем второй параметр полезности указывает оптимальное положение по меньшей мере одного результата (230, 240, 250, 260) общего поиска на тестовой SERP (206, 208) на основе второй определенной полезности по меньшей мере одного результата (230, 240, 250, 260) общего поиска, относящегося к поисковому запросу, в котором второй параметр полезности создается посредством:

[213] i) в ответ на получение поискового запроса от второго тестового электронного устройства (207, 209), связанного со вторым пользователем (202, 204) второй тестовой группы пользователей (test user group, TUG), осуществление второго предыдущего поиска и создание второй предыдущей SERP (206, 208), причем вторая предыдущая SERP включает в себя по меньшей мере один результат (230, 240, 250, 260) общего поиска и по меньшей мере один результат (210, 220) вертикального поиска, ранжированные вторым смешанным образом, где исходный ранг по меньшей мере одного результата (230, 240, 250, 260) общего поиска из второго смешанного ранжирования был модифицирован для ранжирования по меньшей мере одного результата (230, 240, 250, 260) общего поиска случайным образом, и, таким образом, по меньшей мере один результат (230, 240, 250, 260) общего поиска размещается на второй предыдущей SERP (206, 208) на второй случайной позиции;

[214] ii) отображение второй тестовой SERP (206, 208) на втором тестовом электронном устройстве (207, 209) второму пользователю (202, 204) второй TUG;

[215] iii) проведение анализа поведения второго пользователя (202, 204) второй TUG по отношению по меньшей мере к одному результату (230, 240, 250, 260) общего поиска на второй тестовой SERP (206, 208), причем по меньшей мере один результат (230, 240, 250, 260) общего поиска был размещен на второй случайной позиции на второй тестовой SERP (206, 208);

[216] iv) на основе, по меньшей мере частично, поведения второго пользователя (202, 204) второй TUG по отношению по меньшей мере к одному результату (230, 240, 250, 260) общего поиска на второй случайной позиции на второй тестовой SERP (206, 208), определение второй полезности по меньшей мере одного результата (230, 240, 250, 260) общего поиска, относящегося к поисковому запросу, и создание второго параметра полезности; и

[217] v) сохранение второго параметра полезности для использования в ранжировании будущих результатов поиска для поисковых запросов.

[218] ПУНКТ 41. Способ по п. 40, в котором поведение второго пользователя (202, 204) второй TUG по отношению по по меньшей мере к одному результату (230, 240,250, 260) общего поиска на второй случайной позиции на второй SERP (206, 208) включает в себя один или несколько пунктов из перечисленного: отношение количества щелчков мышью к количеству показов; время, проведенное за просмотром после перехода по щелчку; и другие данные на основе щелчков мышью.

[219] ПУНКТ 42. Способ по п. 40 или 41, в котором вторая случайная позиция представляет собой более низкий ранг, чем исходный ранг по меньшей мере одного результата (230, 240, 250, 260) общего поиска.

[220] ПУНКТ 43. Способ по п. 40 или 41, в котором вторая случайная позиция представляет собой более высокий ранг, чем исходный ранг по меньшей мере одного результата (230, 240, 250, 260) общего поиска.

[221] ПУНКТ 44. Способ по п. 42, в котором переход по щелчку или время, проведенное за просмотром после перехода по щелчку вторым пользователем (202, 204) второй TUG по отношению по меньшей мере к одному результату (230, 240, 250, 260) общего поиска с более низким рангом определяет полезность по меньшей мере одного результата (230, 240, 250, 260) общего поиска.

[222] ПУНКТ 45. Способ по п. 43, в котором отсутствие перехода по щелчку или время, проведенное за просмотром после перехода по щелчку вторым пользователем (202, 204) второй TUG по отношению по меньшей мере к одному результату (230, 240, 250, 260) общего поиска с более высоким рангом определяет отсутствие полезности по меньшей мере одного результата (230, 240, 250, 260) общего поиска.

[223] ПУНКТ 46. Способ по любому из пп. 40-45, в котором первая TUG и вторая TUG являются одной и той же TUG.

[224] ПУНКТ 47. Способ по п. 46, в котором первый пользователь (202,204) и второй пользователь (202, 204) являются одним и тем же пользователем.

[225] ПУНКТ 48. Способ по п. 47, в котором первое тестовое электронное устройство (207, 209) и второе тестовое электронное устройство (207, 209) являются одним и тем же электронным устройством.

[226] ПУНКТ 49. Способ по любому из пп. 40-48, в котором первый поиск и второй поиск являются одним и тем же предыдущим поиском, и первая тестовая SERP (206, 208) и вторая тестовая SERP (206, 208) являются одной и той же предыдущей SERP.

[227] ПУНКТ 50. Способ по любому из пп. 34-49, в котором параметр полезности создается с использованием алгоритма машинного обучения.

[228] ПУНКТ 51. Способ по любому из пп. 34-50, в котором по меньшей мере один результат (210, 220) вертикального поиска ранжируется случайным образом с помощью создания случайного числа как его весового коэффициента намерения.

[229] ПУНКТ 52. Способ по любому из пп. 34-51, в котором параметр полезности определяет весовой коэффициент намерения по меньшей мере одного результата (210, 220) вертикального поиска на основе его определенной полезности, таким образом определяя ранг по меньшей мере одного результата (210, 220) вертикального поиска в ранжированном множестве поисковых результатов.

Claims

1. Способ создания страницы результатов поиска (SERP), способ выполняется на сервере и включает в себя:

получение поискового запроса от электронного устройства, связанного с пользователем;

в ответ на получение поискового запроса создание набора поисковых результатов, причем набор поисковых результатов включает в себя ранжированное множество поисковых результатов, которое, в свою очередь, включает в себя по меньшей мере один результат общего поиска и по меньшей мере один результат вертикального поиска, причем ранжированное множество поисковых результатов было ранжировано на основе, по меньшей мере частично, параметра полезности;

создание страницы результатов поиска (SERP), отображающей ранжированное множество результатов поиска;

где параметр полезности указывает на оптимальное положение по меньшей мере одного результата вертикального поиска в наборе поисковых результатов на основе определенной полезности по меньшей мере одного результата вертикального поиска по отношению к поисковому запросу, причем параметр полезности был предварительно определен на основе обучающей выборки пользовательских данных о прошлых пользовательских взаимодействиях по меньшей мере с одним из результатов вертикального поиска, посредством:

в ответ на получение поискового запроса от тестового электронного устройства, связанного с первым пользователем первой тестовой группы пользователей, осуществление предыдущего поиска и создание предыдущей SERP, причем предыдущая SERP включает в себя по меньшей мере один результат общего поиска и по меньшей мере один результат вертикального поиска, ранжированные смешанным образом, где исходный ранг по меньшей мере одного результата вертикального поиска в смешанном ранжировании был модифицирован для ранжирования по меньшей мере одного результата вертикального поиска случайным образом, и, таким образом, по меньшей мере один результат вертикального поиска размещается на предыдущей SERP на первой случайной позиции;

после отображения предыдущей SERP на тестовом электронном устройстве первому пользователю первой тестовой группы пользователей проведение анализа поведения первого пользователя первой тестовой группы пользователей по отношению по меньшей мере к одному результату вертикального поиска на предыдущей SERP, причем по меньшей мере один результат вертикального поиска был размещен на первой случайной позиции на предыдущей SERP; и

на основе, по меньшей мере частично, поведения первого пользователя первой тестовой группы пользователей по отношению по меньшей мере к одному результату вертикального поиска на первой случайной позиции на предыдущей SERP, определение полезности по меньшей мере одного результата вертикального поиска, относящегося к поисковому запросу, и создание параметра полезности.

2. Способ по п. 1, в котором поведение первого пользователя первой тестовой группы пользователей по отношению по меньшей мере к одному результату вертикального поиска на первой случайной позиции на предыдущей SERP включает в себя один или несколько пунктов из перечисленного: отношение количества щелчков мышью к количеству показов; время, проведенное за просмотром после перехода по щелчку; и данные на основе щелчков мышью.

3. Способ по п. 2, в котором первая случайная позиция представляет собой более низкий ранг, чем исходный ранг по меньшей мере одного результата вертикального поиска.

4. Способ по п. 2, в котором первая случайная позиция представляет собой более высокий ранг, чем исходный ранг по меньшей мере одного результата вертикального поиска.

5. Способ по п. 3, в котором переход по щелчку или время, проведенное за просмотром после перехода по щелчку первым пользователем первой тестовой группы пользователей по отношению по меньшей мере к одному результату вертикального поиска с более низким рангом, определяет полезность по меньшей мере одного результата вертикального поиска.

6. Способ по п. 4, в котором отсутствие перехода по щелчку или время, проведенное за просмотром после перехода по щелчку первым пользователем первой тестовой группы пользователей по отношению по меньшей мере к одному результату вертикального поиска с более высоким рангом, определяет отсутствие полезности по меньшей мере одного результата вертикального поиска.

7. Способ по п. 1, в котором ранжированное множество результатов поиска ранжировано на основе, по меньшей мере частично, параметра полезности и второго параметра полезности, причем второй параметр полезности указывает на оптимальную позицию по меньшей мере одного результата общего поиска в наборе результатов поиска на основе второй определенной полезности по меньшей мере одного результата общего поиска по отношению к поисковому запросу, и второй параметр полезности и вторая определенная полезность были предварительно определены на основе второй обучающей выборки пользовательских данных о предыдущих взаимодействиях пользователя по меньшей мере с одним результатом общего поиска посредством:

в ответ на получение поискового запроса от второго тестового электронного устройства, связанного со вторым пользователем второй тестовой группы пользователей, осуществление второго предыдущего поиска и создание второй предыдущей SERP, причем вторая предыдущая SERP включает в себя по меньшей мере один результат общего поиска и по меньшей мере один результат вертикального поиска, ранжированные вторым смешанным образом, где исходный ранг по меньшей мере одного результата общего поиска из второго смешанного ранжирования был модифицирован для ранжирования по меньшей мере одного результата общего поиска случайным образом, и, таким образом, по меньшей мере один результат общего поиска размещается на второй предыдущей SERP на второй случайной позиции;

после отображения второй предыдущей SERP на втором тестовом электронном устройстве второму пользователю второй тестовой группы пользователей, проведение анализа поведения второго пользователя второй тестовой группы пользователей по отношению по меньшей мере к одному результату общего поиска на второй предыдущей SERP, причем по меньшей мере один результат общего поиска был размещен на второй случайной позиции на второй предыдущей SERP; и

на основе, по меньшей мере частично, поведения второго пользователя второй тестовой группы пользователей по отношению по меньшей мере к одному результату общего поиска на второй случайной позиции на второй предыдущей SERP, определение второй полезности по меньшей мере одного результата общего поиска, относящегося к поисковому запросу, и создание второго параметра полезности.

8. Способ по п. 7, в котором поведение второго пользователя второй тестовой группы пользователей по отношению по меньшей мере к одному результату общего поиска на второй случайной позиции на второй предыдущей SERP включает в себя один или несколько пунктов из перечисленного: отношение количества щелчков мышью к количеству показов; время, проведенное за просмотром после перехода по щелчку; и данные на основе щелчков мышью.

9. Способ по п. 8, в котором вторая случайная позиция представляет собой более низкий ранг, чем исходный ранг по меньшей мере одного результата общего поиска.

10. Способ по п. 8, в котором вторая случайная позиция представляет собой более высокий ранг, чем исходный ранг по меньшей мере одного результата общего поиска.

11. Способ по п. 9, в котором переход по щелчку или время, проведенное за просмотром после перехода по щелчку вторым пользователем второй тестовой группы пользователей по отношению по меньшей мере к одному результату общего поиска с более низким рангом, определяет полезность по меньшей мере одного результата общего поиска.

12. Способ по п. 10, в котором отсутствие перехода по щелчку или время, проведенное за просмотром после перехода по щелчку вторым пользователем второй тестовой группы пользователей по отношению по меньшей мере к одному результату общего поиска с более высоким рангом, определяет отсутствие полезности по меньшей мере одного результата общего поиска.

13. Способ по п. 7, в котором первая тестовая группа пользователей и вторая тестовая группа пользователей являются одной и той же тестовой группой пользователей.

14. Способ по п. 13, в котором первый пользователь и второй пользователь являются одним и тем же пользователем.

15. Способ по п. 14, в котором первое тестовое электронное устройство и второе тестовое электронное устройство являются одним и тем же электронным устройством.

16. Способ по п. 7, в котором первый предыдущий поиск и второй предыдущий поиск являются одним и тем же предыдущим поиском и первая предыдущая SERP и вторая предыдущая SERP являются одной и той же предыдущей SERP.

17. Способ по п. 1, в котором параметр полезности создают с использованием алгоритма машинного обучения.

18. Способ по п. 1, в котором по меньшей мере один результат вертикального поиска ранжирован случайным образом с помощью создания случайного числа как его весового коэффициента намерения.

19. Способ по п. 1, в котором параметр полезности определяет весовой коэффициент намерения по меньшей мере одного результата вертикального поиска на основе его определенной полезности, таким образом определяя ранг по меньшей мере одного результата вертикального поиска в ранжированном множестве поисковых результатов.

20. Сервер для создания страницы результатов поиска (SERP), включающий в себя:

интерфейс передачи данных для связи с электронным устройством, связанным с пользователем через сеть передачи данных;

память;

процессор, функционально соединенный с интерфейсом передачи данных и памятью, причем процессор выполнен с возможностью сохранять объекты, в связи с пользователем, в памяти; процессор также выполнен с возможностью осуществлять:

создание SERP, отображающей ранжированное множество результатов поиска;

после отображения предыдущей SERP на тестовом электронном устройстве первому пользователю первой тестовой группы пользователей, проведение анализа поведения первого пользователя первой тестовой группы пользователей по отношению по меньшей мере к одному результату вертикального поиска на предыдущей SERP, причем по меньшей мере один результат вертикального поиска был размещен на первой случайной позиции на предыдущей SERP; и

21. Сервер по п. 20, в котором процессор выполнен с возможностью проведения анализа поведения первого пользователя первой тестовой группы пользователей по отношению по меньшей мере к одному результату вертикального поиска на первой случайной позиции на предыдущей SERP, включающему в себя анализ одного или нескольких пунктов из перечисленного: отношение количества щелчков мышью к количеству показов; время, проведенное за просмотром после перехода по щелчку; и данные на основе щелчков мышью.

22. Сервер по п. 21, в котором процессор выполнен с возможностью использования первой случайной позиции с более низким рангом, чем исходный ранг по меньшей мере одного результата вертикального поиска.

23. Сервер по п. 21, в котором процессор выполнен с возможностью использования первой случайной позиции с более высоким рангом, чем исходный ранг по меньшей мере одного результата вертикального поиска.

24. Сервер по п. 22, в котором процессор выполнен с возможностью определения полезности по меньшей мере одного результата вертикального поиска на основе перехода по щелчку или времени, проведенного за просмотром после перехода по щелчку первым пользователем первой тестовой группы пользователей по отношению по меньшей мере к одному результату вертикального поиска с более низким рангом.

25. Сервер по п. 23, в котором процессор выполнен с возможностью определения отсутствия полезности по меньшей мере одного результата вертикального поиска на основе отсутствия перехода по щелчку или времени, проведенного за просмотром после перехода по щелчку первым пользователем первой тестовой группы пользователей по отношению по меньшей мере к одному результату вертикального поиска с более высоким рангом.

26. Сервер по п. 20, в котором процессор выполнен с дополнительной возможностью ранжирования множества результатов поиска на основе, по меньшей мере частично, параметра полезности и второго параметра полезности, причем второй параметр полезности указывает на оптимальную позицию по меньшей мере одного результата общего поиска в наборе результатов поиска на основе второй определенной полезности по меньшей мере одного результата общего поиска по отношению к поисковому запросу и второй параметр полезности и вторая определенная полезность предварительно определены на основе второй обучающей выборки пользовательских данных о предыдущих взаимодействиях пользователя по меньшей мере с одним результатом общего поиска посредством:

27. Сервер по п. 26, в котором процессор выполнен с возможностью проведения анализа поведения второго пользователя второй тестовой группы пользователей по отношению по меньшей мере к одному результату общего поиска на второй случайной позиции на второй предыдущей SERP, включающему в себя анализ одного или нескольких пунктов из перечисленного: отношение количества щелчков мышью к количеству показов; время, проведенное за просмотром после перехода по щелчку; и данные на основе щелчков мышью.

28. Сервер по п. 27, в котором процессор выполнен с возможностью использования второй случайной позиции с более низким рангом, чем исходный ранг по меньшей мере одного результата общего поиска.

29. Сервер по п. 27, в котором процессор выполнен с возможностью использования второй случайной позиции с более высоким рангом, чем исходный ранг по меньшей мере одного результата общего поиска.

30. Сервер по п. 28, в котором процессор выполнен с возможностью определения полезности по меньшей мере одного результата общего поиска на основе перехода по щелчку или времени, проведенного за просмотром после перехода по щелчку вторым пользователем второй тестовой группы пользователей по отношению по меньшей мере к одному результату общего поиска с более низким рангом.

31. Сервер по п. 29, в котором процессор выполнен с возможностью определения отсутствия полезности по меньшей мере одного результата общего поиска на основе отсутствия перехода по щелчку или времени, проведенного за просмотром после перехода по щелчку вторым пользователем второй тестовой группы пользователей по отношению по меньшей мере к одному результату общего поиска с более высоким рангом.

32. Сервер по п. 26, в котором процессор выполнен с возможностью использования в качестве первой тестовой группы пользователей и второй тестовой группы пользователей одной и той же тестовой группы пользователей.

33. Сервер по п. 26, в котором процессор выполнен с возможностью использования в качестве первого предыдущего поиска и второго предыдущего поиска одного и того же предыдущего поиска и первой предыдущей SERP и второй предыдущей SERP одной и той же предыдущей SERP.

34. Способ создания параметра полезности для ранжирования поисковых результатов, способ выполняется на сервере и включает в себя:

получение поискового запроса от тестового электронного устройства, связанного с первым пользователем первой тестовой группы пользователей;

в ответ на получение поискового запроса осуществление поиска и создание тестовой страницы результатов поиска (SERP), причем тестовая SERP включает в себя по меньшей мере один результат общего поиска и по меньшей мере один результат вертикального поиска, ранжированные смешанным образом, где исходный ранг по меньшей мере одного результата вертикального поиска в смешанном ранжировании был модифицирован для ранжирования по меньшей мере одного результата вертикального поиска случайным образом, и, таким образом, по меньшей мере один результат вертикального поиска размещается на тестовой SERP на первой случайной позиции;

отображение тестовой SERP на тестовом электронном устройстве первому пользователю первой тестовой группы пользователей;

проведение анализа поведения первого пользователя первой тестовой группы пользователей по отношению по меньшей мере к одному результату вертикального поиска на тестовой SERP, причем по меньшей мере один результат вертикального поиска был размещен на первой случайной позиции на тестовой SERP;

на основе, по меньшей мере частично, поведения первого пользователя первой тестовой группы пользователей по отношению по меньшей мере к одному результату вертикального поиска на первой случайной позиции на тестовой SERP, определение полезности по меньшей мере одного результата вертикального поиска, относящегося к поисковому запросу и создание параметра полезности, который указывает на оптимальное положение по меньшей мере одного результата вертикального поиска на тестовой SERP на основе определенной полезности по меньшей мере одного результата вертикального поиска, относящегося к поисковому запросу; и

сохранение параметра полезности для использования в ранжировании будущих результатов поиска для поисковых запросов.