Сначала выясните причину шума, затем меняйте фильтр.
Не начинайте с удаления половины слов
Когда менеджеру приходит много неподходящих сообщений, хочется резко сузить поиск. Но шум может возникать по разным причинам: в источнике преобладают продавцы, слово слишком широкое или запрос относится к услуге, которую компания не оказывает. Одно общее исключение редко исправляет все три ситуации.
Разберите небольшую выборку
Условный пример: из просмотренных сообщений часть предлагает чужие услуги, часть ищет сотрудников, остальные спрашивают о другой географии. Пометьте причины отдельно. Для предложений уточняют роль автора, для географии — условия отбора, для неподходящего сообщества — состав источников. Числа этой учебной выборки не являются прогнозом качества системы.
Что фиксировать рядом с ошибкой
Достаточно короткой причины и примера смысла; полный профиль автора для исправления фильтра обычно не нужен.
- Источник сообщения
- Сработавшая формулировка
- Почему запрос не подходит
- Что должно измениться
- Подходящий пример, который нельзя потерять
Как проверить правку
После изменения сравните результат на прежних подходящих и неподходящих примерах. Если шум снизился вместе с полезными запросами, уточнение было слишком грубым. Решение оценивают по качеству отбора, а не только по уменьшению числа уведомлений.
Начните с причин отклонения
Разделите ошибки по типу: другая услуга, предложение исполнителя, устаревший запрос, повтор или недостаток контекста. Количество уведомлений не показывает полезность без этой классификации.
Исправляйте правило, связанное с частой причиной, и проверяйте, не исчезли ли подходящие примеры. Одновременное изменение всех фильтров затруднит объяснение результата. Не оценивать автора сообщения по предположительным личным признакам.