Screaming Frog SEO Spider — программа создана специально для оптимизаторов и служит хорошим инструментом анализа сайтов. Принцип работы у неё как у простого паука, которого запускаем в программной оболочке, он ходит по сайту и собирает информацию, а потом мы можем анализировать получившие данные.

Для работы программы требуется JAVA апплет, который далеко не все используют в системе. В связи с этим JAVA встроена в портативную сборку и размер значительно увеличился. Прошу не кричать по этому поводу и не высказывать претензий. Кому не надо, качайте дистр с сайта и ставьте в систему, при этом имейте в виду, что вы вынуждены будете инсталлировать также и JAVA апплет, как бы вам этого не хотелось бы. Программа написана на JAVA и без нее работать не будет.

Любой сайт, даже раскрученный и успешный, необходимо проверять на наличие дублей страниц, наличие битых ссылок, и прочих ошибок мешающих продвижению. Если сайт не большой, это можно сделать вручную. А как быть, если на сайте более сотни страниц? Сегодня я хочу рассказать об очень полезной программе для SEO – аудита сайта. Это программа для тех, кто занимается продвижением сайта. Программа называется Screaming Frog SEO Spider, что в вольном переводе означает "Кричащая сео лягушка".
Программа создана в Великобритании. Полная версия программы платная. Плата берется в размере 99 фунтов, за год пользования программой. Lite версия, позволяет сканировать до 500 страниц сайта, и является бесплатной. Для большинства сайтов бесплатной версии вполне достаточно.

Screaming Frog SEO Spider позволяет провести аудит сайта с точки зрения SEO, анализирует: заголовки, описания, изображения, css, ссылки, извлекает ключевики и пр. SEO Spider станет незаменимым помощником для анализа средних и больших сайтов, страницы которых проверять вручную – чрезвычайно трудоемкий процесс.

Screaming Frog SEO Spider позволяет найти все, что вы хотите в исходном коде web-сайта, будь то определенный текст или код, и т.д.
Паук обходит заданные сайты аналогично роботу Google, подчиняется директивам файла robots.txt и представляется как user-agent ‘Screaming Frog SEO Spider’. Данные анализа «Кричащих лягушек», которые могут быть использованы в качестве основы для SEO рекомендаций, можно отфильтровать нужным вам образом.

Что может данная программа?
После запуска программа для аудита Screaming Frog SEO Spider имитирует поисковый паук Google,подчиняется директивам robot.txt. и выдает все данные по заданному сайту. Она выдает описания, мета теги, ключевые слова, изображения, ссылки внешние и внутренние. Все результаты проверки, удобно расположены в соответствующих таблицах. Она так же показывает битые ссылки и страницы редиректа. С помощью Screaming Frog SEO Spider, есть возможность создавать карту сайта. Программа позволяет экспортировать полученные данные в Excel. Причем экспортировать можно специально отсортированную информацию, которую не выводит в программной оболочке:
Программа так же умеет создавать xml карты сайта, проверять robots.txt, может анализировать сайт с учетом текущего роботса или игнорируя его, можно настроить вид робота, которым проводить индекс сайта и т.п.. Да и вообще в работе программа довольно удобная.

Какую информацию Spider SEO вносит в отчет?
• Ошибки — Клиент и сервер (Нет ответов, 4XX и 5XX)
• Redirect — (3XX, постоянных или временных)
• Content – Тип контента.
• Title – Заголовок страницы.

Page Titles (Тайтлы страниц) – крайне полезная вкладка с Тайтлами страниц и информацией о них. Здесь можно найти:
Страницы, где нет тайтлов.
Страницы с одинаковыми тайтлами.
Тайтлы, длиннее 70 символов. До недавнего времени общепринятая длина тайтла (для Гугла) составляла 60-70 символов. Но, похоже, что теперь заголовок измеряется не в символах, а в пикселях.
Страницы, где тайтлы совпадают с H1 заголовками.
• Meta Description – Тег Meta Description количество не более 156 символов.
Meta Description (мета-описание) – информация о мета теге Description, а также его длина, список страниц с повторяющимися или отсутствующими мета описаниями.
• Хэш-значение контрольная сумма для поиска страниц с дублями.
• Meta Keywords – ключевые слова.
• H1 – содержимое тега H1 на странице, размер не более 70 символов.
• H2 – содержимое тега H2 на странице, размер не более 70 символов.
• Теги — , , , . Теги гипертекстовой разметки: Index, nosnippet, noodp, noydir и т.д.
• Inlinks – Количество входящих ссылок на страницу.
• Outlinks — Все страницы, где есть внешние ссылки.
• XML Sitemap Generator — Вы можете создать XML sitemap.
• Meta Refresh (в том числе целевой страницы и время задержки)
• Атрибут Canonical
• Вес страницы
• Уровень глубины страницы
• Внутренние ссылки
• Внешние ссылки, и пр.
Работа с программой не вызывает затруднений. Вводим URL сайта в окне "Enter url to spider" и нажимаем кнопку "Start". Далее ждем окончания работы программы, и анализируем полученные данные.
В первой вкладке "Internal" расположена основная информация сайта. Здесь находятся все найденные страницы. Если выделить строку с адресом, то в нижней таблице можно просмотреть всю информацию по данной странице.

[banner_header] {banner_header} [/banner_header]

Internal
Address — Адреса (URL) страниц сайта;
Content — Тип контента (Text/Html, image/jpeg, text/css и так далее), а также кодировка на данной странице (например, utf8);
Status Code — код ответа веб-сервера (например, 200, 301, 404 и т.д);
Status — Статус ответа веб-сервера (например, для для кода ответа 200 — статус будет ОК, а для кода ответа 301 — статус будет Moved Permanently);
Title 1 — Тайтл — заголовок данной страницы;
Title 1 Length — Длинна тайтла (заголовка) в символах;
Meta Description 1 — Описание страницы (тег Meta Description);
Meta Description Length — Длинна содержимого Meta Description в символах;
Meta Keyword 1 — cодержимое тега Meta Keyword;
Meta Keywords Length — Длинна cодержимого Meta Keywords в символах;
h1 – 1 — Содержимое первого тега

на странице (на самом деле, по факту, тегов

может быть больше — поэтому софт при наличии второго h1 выведет столбец h1-2 самостоятельно);
h1 – Len-1 — Длинна содержимого тега

в символах;
h2 – 1 — Содержимое самого первого тега

на странице;
h2 – Len-1 — Длинна содержимого тега

в символах;
Meta Data 1 — Мета данные robots (то есть если для страницы прописан, например, , то софт выведет в столбце Meta Data 1 значение noindex, follow);
Meta Refresh 1 (не нашел, что это такое — если знаете напишите в комментах);
Canonical — Предпочитаемый URL — содержимое .
Size — Размер страницы в байтах. Если хотите в Килобайтах (КБ) разделите на 1024;
Level — Уровень вложенности страницы или число кликов, которое надо сделать, начиная от главной страницы сайта, чтобы попасть на данную страницу;
Inlinks — Количество входящих внутренних ссылок на страницу;
Outlinks — Количество исходящих внутренних ссылок с данной страницы;
External Outlinks — Количество внешних исходящих ссылок (абсолютно всех, в том числе и с nofollow);
Hash — Значение ХЭШ — функции страницы. Это замечательная проверка на дубликаты контента. Если 2 значения ХЭШ — функций разных страниц равны, то и контент на этих двух страницах будет одинаковый.
Screaming Frog SEO Spider собирает в первую очередь значения Title 1, Meta Description 1, Meta Keyword 1, h1 – 1, h2 – 1 и так далее (то есть содержимое самых первых данных тегов в HTML коде данной страницы — они обозначены индексом 1), но если вдруг на странице присутствуют Title 2, Meta Description 2, Meta Keyword 2, h1 – 2, h2 – 2 и так далее, то в отчете будут автоматически созданы и столбцы под эти значения.

Вторая вкладка "External" дает возможность просмотреть все ссылки, которые идут с вашего сайта на другие сайты. Выделяем интересующую нас ссылку, и в нижней таблице просматриваем по ней подробную информацию.

Содержатся следующие данные о внешних ссылках на сайте:
Address — Адреса (URL) внешней ссылки на сайте;
Content — Тип ссылки (Text/Html, image/gif, application/x — javascript и так далее), а также кодировка на данной странице (например, utf8);
Status Code — код ответа веб-сервера (например, 200, 301, 404 и т.д);
Status — Статус ответа веб-сервера (например, для для кода ответа веб-сервера 200 — статус будет ОК, а для кода ответа 302 — статус будет Found);
Level — Уровень вложенности страницы или число кликов, которое надо сделать, начиная от главной страницы сайта, чтобы попасть на данную страницу;
Inlinks — Количество найденных внешних ссылок в масштабе всего сайта.

Содержит данные о редиректах (перенаправлениях):
показывает HTTP заголовки страниц. показывает ошибки: 5XX, 4XX, 3XX, 200.
Address — Адреса (URL) всех страниц сайта, а также всех исходящих ссылок;
Content — Тип контента (Text/Html, image/png, image/gif и так далее), а также кодировка на данной странице (например, utf-8);
Status Code — код ответа веб-сервера (например, 200, 301, 302 и т.д);
Status — Статус ответа веб-сервера (например, для для кода ответа веб-сервера 200 — статус будет ОК, 301 — Moved Permanently, а для кода ответа 302 — статус будет Found);

Redirect URI — данный столбец содержит url-цель редиректа. Тип редиректа (301, 302 и так далее) смотрим в столбце Status Code.

тут собраны проблемные адреса сайта:
С символами, не находящимися в ASCII.
С нижними подчеркиваниями (это, конечно, не считается нарушением правил ПС, но все-таки использование дефисов «-» в адресах предпочтительнее, так как они разделяют слова, а нижние подчеркивания – нет)
С заглавными буквами (адреса типа site.ru/primer и site.ru/Primer считаются дублями)
Дублированные страницы
Динамические адреса – они не дружественные и создают дублированный контент.
Адреса страниц длиной более 115 символов – чем короче адрес, тем лучше и понятнее

Находится внизу страницы. Выбираем url в главном окне, нажимаем in links и получаем следующие данные:
Type — Тип ссылки (HREF, JS, CSS, IMG);
From — Ссылающийся url на исследуемую страницу;
To — Ссылка выбранная в главном окне;
Anchor Text — Текст ссылки (анкор ссылки);
Alt Text — содержимое тега картинки;
Follow — атрибут ссылки (если Follow — true, то есть это означает, что ссылка не содержит атрибут rel=»nofollow») и (если Follow — false, то есть это означает, что ссылка содержит атрибут rel=»nofollow»).
Вкладка out links (исходящие ссылки).
Находится внизу страницы. Выбираем url в главном окне, нажимаем out links и получаем данные аналогичные in links с той лишь разницей, что From — уже ссылка выбранная в главном окне, а To — Ссылающийся url на исследуемую страницу.
Вкладка "Meta Description" дает подробную информацию мета описания страницы, длина описания, и страницы с дублями Meta Description. Очень важный показатель для продвижения. Поисковые системы до сих пор индексируют Meta Description, а Google добавляет его при выдаче сниппета.
Вкладка "Images" показывает, сколько картинок расположено на сайте, вес этих картинок и альтернативный текст, который видят посетители, когда сайт медленно загружается.
Если данные необходимо сохранить нажимаем кнопку Advanced Export и выбираем что необходимо сохранить. Есть возможность отфильтровать только необходимую информацию.

Из плюсов отмечу следующие особенности:
очень быстрая загрузка данных с сайта;
данные представлены в удобном виде, разбиты по соответствующим вкладкам;
возможность настройки ручных фильтров по необходимым данным

Информация о программе:
Дата выпуска: 2013
Платформа: Windows XP,Vista,7,8
Интерфейс: Английский Multilanguage
Разрядность: 32bit+64bit
Лекарство: Не требуется
Размер: 76 Mb
Формат файла: Rar
Aрхив: не запаролен
Информация для восстановления: 3%

Скачать: Screaming Frog SEO Spider 2.11 Portable

Скачать с LetItBit.net
Скачать с UniBytes.com
Скачать с TurboBit.net

Screaming Frog SEO Spider 2.11 Portable

на странице (на самом деле, по факту, тегов

может быть больше — поэтому софт при наличии второго h1 выведет столбец h1-2 самостоятельно);h1 – Len-1 — Длинна содержимого тега

в символах;h2 – 1 — Содержимое самого первого тега

на странице;h2 – Len-1 — Длинна содержимого тега

может быть больше — поэтому софт при наличии второго h1 выведет столбец h1-2 самостоятельно);
h1 – Len-1 — Длинна содержимого тега

в символах;
h2 – 1 — Содержимое самого первого тега

на странице;
h2 – Len-1 — Длинна содержимого тега