Screaming Frog: от парсинга до AI функций
Это фундаментальный практический курс, который учит не интерфейсу Screaming Frog, а инженерному мышлению в SEO. Вы научитесь собирать данные любой сложности, встраивать AI-слой прямо в парсер и превращать гигабайты технических данных в работу, которую делает команда.
4 модуля
40+ уроков
Доступ к курсу через клуб «SEO Мясо»
Этот курс не продаётся отдельно. Он — фундаментальная часть нашей образовательной экосистемы. Оформляя подписку, вы получаете этот курс + 50 других материалов по SEO-автоматизации.
- Все 50+ курсов платформы
- Обновления и новые уроки
- Закрытое комьюнити
- AI-инструменты
Актуальная программа курса по Screaming Frog SEO Spider
После курса: настраиваете парсинг под любую задачу, извлекаете любые данные через Custom Extraction и JavaScript, подключаете LLM и эмбеддинги прямо в процесс краула.
Установка, базовая конфигурация, ключевые концепции Crawl vs Store. Фундамент, без которого остальные модули работать не будут.
- 1. Файл установки 23.1 для windows
- 2. Как работает парсинг в фроге наглядно
- 3. Работа Crawl и Store - это СУПЕР важно понимать
- 4. Настройка User Agent
- 5. Настройка robots.txt в SC
- 6. Настройка поиска дублей страниц
- 7.1. Настройка Crawl -> Extraction Page
- 7.2 Остальные настройки в Crawl -> Extraction
- 8. Crawl Analysis
- Углубление в настройки: 9.1 Настройка Crawl -> Advanced
- Углубление в настройки: 9.2 Настройка Crawl -> Preferences
- Углубление в настройки: 9.3 Настройка Crawl -> CDNs
- Углубление в настройки: 9.4 Настройка Crawl -> URL rewriting
JS-рендеринг, Custom Search, Custom Extraction, Custom JavaScript. Превращаем Screaming Frog в полноценный кастомный скрейпер.
- 11. Рендеринг страниц: JS + немного про HTML Store
- 12.1. Custom: инструменты для парсинга и проверки факта наличия чего-то на страницах
- 12.2. Custom Search — поиск паттернов на масштабе (типы, зоны)
- 12.3. Custom Extraction — парсинг данных со страниц
- 12.3.1 Custom Extraction — мастер класс по создания парсера контента
- 12.4 Custom JavaScript — вызываем функции во время парсинга страниц
Как обрабатывать проекты на 100k+ страниц без падений: память, лимиты, фильтрация, подача URL списком.
- Когда смотреть это модуль?
- 10.1 Память и скорость
- 10.2 Подробный разбор настроек Limits
- 10.3 Ускорение сканирования через ограничение сбора ресурсов
- 10.4 Мощная фильтрация с помощью Include / Exclude
- 10.5 Подача URL в формате List для больших сайтов
- 10.6 Финал по большим сайтам
Подключаем GSC, Ahrefs, PageSpeed. Встраиваем LLM прямо в краул для генерации мета-тегов, аудита контента, парсинга конкурентов. Работаем с эмбеддингами для маппинга редиректов.
- 13. API интеграции сервисов на примере: GSC, Ahrefs, Page Speed
- 14.1 Подключение LLM: знакомство с возможностями
- 14.1.1 LLM практика: генерация тегов title и description
- 14.1.2 LLM практика: генерация ALT атрибутов
- 14.1.3 LLM практика: AI парсинг сайтов конкурентов
- 14.1.4 LLM практика: описание товаров через характеристики LLM+Custom Extraction
- 14.1.5 LLM практика: генерация отзывов для товаров
- 14.1.6 LLM практика: анализ контента страниц
- 14.1.7 LLM практика: аудит HTML кода
- 14.1.8 LLM практика: генерация изображений
- 14.1.9 LLM практика: аудит контента через подключение внешних API
- 14.1.10 LLM практика: мастер класс по подключение XMLRiver для сбора FAQ с SERP и генерация блока FAQ на сайт
- 15. Эмбеддинги: обзор и применение возможностей
Скриншоты из актуальной программы по SF Seo Spider
Стройте эффективные процессы — превращайте гигабайты сырых данных в понятный workflow для команды (Findings → Impact → Fix → Owner → Priority)
Отзывы участников курсов
Автор этого курса - Максим Котенков
- 10+ лет в SEO
- Участник жюри кейс-чемпионата ТОПвизора
- B2B SEO
- Эксперт AI автоматизации
- AI SEO
- Основатель агентства ResultUP
- Основатель школы «SEO Мясо» (500+ студентов)
Часто задаваемые вопросы о курсе
Большая часть базовых настроек работает в бесплатной версии (лимит — 500 URL). Но для практики из модулей 02–04 (большие сайты, Custom Extraction, LLM-интеграции, эмбеддинги) платная лицензия нужна — это около £239 в год напрямую у разработчика. В курсе показываем актуальные способы оплаты лицензии из РФ. Это инвестиция, которая окупается за первый-второй платный аудит. Но у нас для вас есть сюрприз.
Да, материалы собраны на актуальной версии (в программе видно — 23.1). При выходе мажорных обновлений Screaming Frog мы переснимаем затронутые уроки и добавляем разборы новых функций. Подписчики получают обновления автоматически, без доплаты.
Да. Интерфейс Screaming Frog одинаков на всех ОС, все настройки и сценарии работают идентично. Установочный файл из первого урока — для Windows, но скачать актуальную версию для Mac или Linux вы можете напрямую с сайта Screaming Frog за минуту.
Бесплатные гайды почти всегда — это пересказ официального туториала «куда нажимать». Здесь системный заход: 40+ уроков, выстроенных от базы до сложных AI-интеграций, без пропусков. Плюс то, что в открытых источниках почти не освещено: парсинг сайтов на 100к+ URL без падений, маппинг редиректов через эмбеддинги, подключение LLM прямо во время краула.
Эмбеддинги — это числовое представление содержимого страницы, по которому можно сравнивать страницы между собой по смыслу, а не по совпадению слов. В курсе разбираем главный практический сценарий: при миграции сайта или склейке доменов вы автоматически находите 1-в-1 соответствия между старыми и новыми URL — даже если адреса полностью изменились. То, что вручную делается неделями, выполняется за час.
40+ уроков, средняя длительность — 10–20 минут. Если идти подряд и сразу применять — две недели плотной работы. Большинство участников проходят выборочно: новички — модули 01–02, опытные специалисты сразу прыгают в модули 03–04 за нужной практикой. Структура курса это позволяет — каждый модуль самодостаточен.
Да, личное использование в коммерческих проектах не ограничено: настройки, сценарии, скрипты, шаблоны Custom Extraction — всё ваше. Что нельзя — пересдавать или перепродавать сами уроки. Для обучения команды есть отдельный корпоративный тариф.
Через первые 4–5 уроков модуля 01 — настраивать Screaming Frog под конкретный проект, а не работать «как из коробки»: корректный User Agent, правильная обработка robots.txt, поиск дублей, базовая конфигурация Extraction. К концу первой недели большинство участников уже проводят полноценные технические аудиты на боевых проектах, а не на учебных примерах. Дальше — глубина: большие сайты, Custom Extraction, AI-интеграции, эмбеддинги.
Да, и многие так и делают. Модули 01–02 — это фундамент, к ним стоит вернуться, если упираетесь в непонятные настройки или сайт не парсится. Модули 03–04 (Custom Extraction, LLM, эмбеддинги) — самодостаточные блоки: если опытный специалист хочет сразу освоить, например, маппинг редиректов через эмбеддинги — может прыгать туда и смотреть только нужные уроки.
Прямого разбора альтернатив в курсе нет — фокус на Screaming Frog. Но принципы, которые разбираем (логика краулинга, работа с большими сайтами, Custom Extraction, LLM-обогащение данных), применимы к любому десктоп-парсеру. У Screaming Frog при этом есть уникальные функции — особенно по AI-интеграциям и работе с эмбеддингами — которых в других парсерах либо нет, либо они слабее реализованы.
