Клиент — каталог приложений: 5 доменов, 3 языка, 30,000+ карточек. Типичная проблема: мы оптимизируем страницы, а клиент спрашивает — это дало результат, или трафик вырос сам? Claude Code помог превратить SEO в измеримый эксперимент с контрольной группой и статистической проверкой.
Зачем сплит-тест в SEO
Стандартный подход: оптимизировали страницы, трафик вырос, отчитались. Но трафик мог вырасти из-за сезона или обновления алгоритма поисковика. Без контрольной группы нельзя отделить наш вклад от фона.
Я описал задачу: нужна методология с тестовой и контрольной группами, замеры до и после, статистическая проверка. Claude Code спроектировал 9-волновой конвейер и реализовал всю инфраструктуру.
Пилот на 14 страницах
Первый тест — ручной. 14 карточек приложений оптимизированы (микроразметка, раздел вопросов-ответов, внутренние ссылки), 52 неоптимизированные — контрольная группа. Замер через 28 дней.
Результат: тестовая группа потеряла -0.1% кликов. Контрольная — потеряла -35.8%. Разница: +35.7 процентных пунктов в пользу оптимизации. На падающем рынке наши страницы удержали трафик.
13 из 14 страниц выросли: — Приложение A: +3,640% кликов (с 5 до 187) — Приложение B: +517% кликов (с 36 до 222) — Приложение C: +104% кликов (с 262 до 535)
Одна страница провалилась: -84%, позиция упала с 9.6 до 15.4 — скорее всего, конкурент выпустил обновление. Без сплит-теста мы бы этого не заметили и думали бы, что все хорошо.
Claude Code провел статистическую проверку. Результат: p=0.0037 — разница значима, не случайность. Тренды до оптимизации были параллельны — значит, дизайн эксперимента корректен.
Масштабирование на 50 страниц
Пилот подтвердил эффект — нужно масштабировать. Вручную 50 страниц = месяц. Claude Code построил автоматический конвейер из 9 волн:
- Инвентаризация: отобрал 20,410 кандидатов из каталога
- Данные из Search Console: собрал метрики за 90 дней по каждой странице
- Группировка: 50 тестовых + 149 контрольных, проверка сопоставимости (4 из 5 тестов пройдены)
4-6. Аудит контента, ключевые слова, перелинковка (параллельно)
- Генерация: 247 вопросов-ответов, 50 файлов микроразметки, 200 внутренних ссылок, инструкции по установке, описания обновлений
- Фиксация групп: зафиксировал состав тестовой и контрольной групп ДО внедрения, чтобы исключить подгонку результата
Все 9 волн — 3 календарных дня. Каждая волна — файл с результатами, 72 проверки по контрольному списку.
Что пошло не так
Баланс по позициям между группами не прошел проверку. Тестовые страницы систематически отличались от контрольных. Claude Code предложил метод разности разностей вместо простого сравнения — он работает даже при неидеальном соответствии групп, если тренды до оптимизации были параллельны. А они были — это подтвердил пилот.
Экономика
- 50 страниц оптимизированы за 3 дня (ручная работа = 4-6 недель)
- 247 вопросов-ответов + 50 файлов разметки + 200 ссылок = ~500 контент-блоков сгенерированы автоматически
- Прогноз: если масштабирование повторит пилот (+35.7 п.п.), это +6,000 дополнительных кликов в год с 50 страниц
- При 30,000+ страниц в каталоге формула масштабируется: следующие 200 страниц = тот же конвейер
Моя роль
Я: задал методологию, определил страницы для теста, проверил качество. Claude Code: написал скрипты для сбора данных, реализовал 9 волн, провел статистику, сгенерировал контент, собрал всю документацию.
SEO без измерения — это вера. Сплит-тест с контрольной группой — это доказательство. Claude Code дал инфраструктуру, чтобы превратить одно в другое за 3 дня вместо месяцев.