Как побеждать сетевые эффекты

Как побеждать сетевые эффекты и грамотно считать эффект? Как только я пришел в Авито и стал трогать различные исследования и АБ - встретился вновь с сетевыми эффектами. Изменения на селлерах - меняют байерский флоу. Ситуация Допустим мы хотим внедрить фичу по типу: субсидирование доставки селлеров или подключение доставки товаров там, где она доступна, но не подключена. Что поменяется в байерском флоу? • перераспределение трафика между объявлениями. Самовывоз -> доставка • увеличение доли дешевых товаров в доставке • изменение кол-ва отмен, возвратов и сроков получения доставки. Это все из общего - будет интересно, что вы напишите из других изменений в байерском флоу каждого кейса. Вопрос Как честно считать эффект? Этот вопрос очень важно задавать, потому что в разных компаниях и разных командах подкрашивают эффект или где-то призакрывают глаза 😺 . Это не наш случай - мы честные и грамотные дата дривен аналитики 📈 . Возьмем примитивную метрику - оплаченные товары или paid_items. Отличный путь. 1. Делим селлеров на 2 группы. Тесту подрубаем фичу, контролю нет. 2. Внутри тестовых селлеров покупателей делим на две группы: одним показываем фичу, другим нет. 3. Полный эффект = paid_items у селлеров с подключённой и показанной доставкой - paid_items у контрольных селлеров. 4. Эффект показа покупателю = paid_items у селлеров с подключённой и показанной доставкой - paid_items селлеров с подключённой и НЕ показанной доставкой Либо делаем 2 последовательных теста, но на это уйдет больше времени( Норм путь, если отличный не применим. 1. Делаем региональный АБ, либо категорийный - в зависимости от вашей специфики. 2. Тестовая категория или регион - получает изменения, а схожая нет. 3. Считаем эффект = (paid_items_test После - paid_items_test ДО) - (paid_items_cntrl После - paid_items_cntrl ДО) Го на пальцах посчитаем: тест: было 100к - стало 130к, + 30% аплифта и 30к абсолюта Контроль: был 80к - стал 88к, + 10% аплифта и 8к абсолюта т.е. если бы мы тест не запускали, то ожидали бы +10% в тест, т.е. 110к. А у нас аж 130к 📈 . 130 - 110 = 20к эффекта. Естественно, есть особенности, пока меня не задушили: • такой расчет корректен, если тест и контроль росли ~ одинаковыми темпами и у них отсутствуют сезонные паттерны. • в тесте не было других изменений, запуск в тесте - не влияет на контроль. • Категории и регионы - могут иметь разную сезонность. • в регионах может отличаться логистика, сроки и доступность пунктов выдачи + перетоки в соседние регионы • в категориях различаются цены, частота покупок и пригодность к доставке в целом. Давайте поразгоняем, напишите что думаете по поводу всего написанного Прожмите вайбового кота 😺 если не правильно считаете эффекты и всем все супер • прогрессивного жаба 📈 , если все честно считаете • умного жаба 📃 , если ждете больше хардовых постов с работы • ну и лайк ❤️ , если понравился пост