Программы для анализа

Программы для SEO-аудита сайта: джентльменский набор

Любой специалист, который профессионально работает в той или иной отрасли, постоянно находится в поиске инструментов, способных облегчить ему жизнь. Особенно если ваша специализация – клиентское SEO, и вам регулярно приходится иметь дело с множеством сайтов.

В списке наиболее распространенных задач, которые необходимо решать оптимизатору в своей практике, почетное место занимает аудит сайта. Это один из первых шагов на пути к успешной оптимизации, который является обязательной ее составляющей.

Очень хорошо, что весь процесс анализа не нужно делать вручную – представьте себе, сколько времени это заняло бы для ресурса у которого несколько десятков тысяч страниц.

Существуют специальные программы для SEO-анализа сайта, которые отлично справляются с данной задачкой. И мы собрали подборку тех из них, которые достойны того, чтобы занять почетное место в вашем арсенале.

Screaming Frog SEO Spider

Потрясающая настольная программа для детального анализа сайта по всем параметрам. Она полностью сканирует все страницы ресурса, выдавая массу полезной информации, которая представляет ценность с точки зрения поисковой оптимизации. Неудивительно, что если перед вами стоит задача провести SEO-аудит сайта

Screaming Frog дает возможность получить информацию по нескольким десяткам параметров, включая такие важные данные как:

• метаописания Title и Description;
• использование H1 и других тегов на страницах;
• дубли контента, метатегов и их отсутствие;
• содержимое атрибута ALT для изображений;
• наличие rel=»canonical»;
• входящие и исходящие ссылки;
• объем текстового контента на странице;
• битые ссылки (404), редиректы и код ответа сервера;
• интеграция с Google Analytics и Search Console;
• генерация sitemap и много всего другого.

Работает программа очень быстро, с каким бы аналогом не сравнивать. Однако есть у «кричащей лягушки» одна особенность – данные в процессе анализа хранятся в оперативной памяти, что может приводить к остановке сканирования «на полпути», при анализе больших сайтов на слабых компьютерах.

Бесплатная версия позволяет анализировать до 500 URL-адресов, а лицензия стоит 149 фунтов стерлингов в год, что на данный момент составляет $192. Немало, но, для профессионала все инвестиции вернутся уже с одного-двух аудитов на заказ.

NetPeak Spider

Наверняка, многие из вас уже использовали эту программу в работе или хотя бы слышали о ней. Просто еще год назад она была бесплатной, и активно использовалась многими для быстрой проверки сайтов. Теперь же за лицензию придется заплатить, но и возможностей стало несравнимо больше.

С помощью NetPeak Spider легко провести комплексный внутренний аудит сайта по десяткам всевозможных параметров. Можно получить такую ценную информацию по сайту как:

• оценка сайта и отдельных URL по более чем 50 параметрам;
• анализ метатегов Title/Description и H1-H6;
• обнаружение дублированного контента;
• анализ внешних ссылок и внутренних связей;
• получение кода ответа сервера (200, 301/302, 4xx, 5xx);
• обнаружение страниц с ошибками и отсутствующих canonical;
• расчет внутреннего ссылочного веса;
• объем текста на странице;
• интеграция для получения данных с Ahrefs, Moz, Serpstat,SEMrush и т.д.

В списке поддерживаемых языков интерфейса есть и русский, что существенно упрощает работу с ней, ведь первое что стоит сделать при запуске, это выставить те параметры, которые вам необходимы. Нет смысла тратить время на проверки ненужных вам вещей.

Разработчики уделили внимание и приятным мелочам, например, обозначение ошибок разными цветами и несколько цветовых схем интерфейса.

Работает NetPeak Spider по модели подписки: $14/месяц при ежемесячной оплате, и $9.80 при оплате одним платежом сразу на год вперед.

Website Auditor

Эта программа в обзорах упоминается не так часто как предыдущие две, но, безусловно, стоит внимания специалистов, так как имеет свои плюсы.

В частности, стоит отметить удобный интерфейс, в котором функционал распределен между вкладками, что позволяет легко и быстро в нем ориентироваться. Шаблон анализа задается в настройках, и его можно гибко изменять при необходимости.

С помощью Website Auditor можно провести внутренний анализ сайта по таким параметрам как:

• качество оптимизации ресурса в целом и отдельных его страниц;
• провести анализ технического состояния сайта на предмет ошибок;
• провести анализ контента и текстовых факторов;
• сравнить качество текстовой оптимизации с конкурентами из Топа;
• узнать количество внешних и внутренних ссылок для страницы;
• получить данные по соцсигналам и ряду других факторов;
• подключить аккаунт Google Analytics для расширенного анализа;
• проверить HTML и CSS код на валидность;
• получить рекомендации по исправлению найденных ошибок;
• сформировать наглядный и информативный отчет в PDF/HTML.

Это, конечно, далеко не весь перечень функций, ведь программа постоянно совершенствуется разработчиками, и добавляются новые возможности. Купить Website Auditor можно в редакции Professional ($62.38) или Enterprise ($149.88).

ComparseR

Программа позволяет быстро провести аудит технического состояния сайта и качества его оптимизации, определить ошибки и недоработки, а также обладает рядом возможностей, которых нет у других решений. Демо-версия позволяет просканировать до 150 страниц, и оценить функционал на практике.

Несмотря на то, что это самый молодой инструмент из перечисленных в этой статье, Comparser явно заслуживает внимания, и над его развитием постоянно работают. Доступны такие возможности как:

• сканирование сайта и отображение важных SEO-атрибутов для каждого URL (заголовки, мета-теги, объем текста, размер страницы и т.д.);
• определение технических ошибок, дублей контента, редиректов и т.д.;
• возможность использования регулярных выражений, что повышает гибкость сканирования и парсинга;
• наглядное отображение структуры сайта для анализа;
• параллельная проверка индексации страниц в поиске Яндекса/Google;
• инструмент пакетного удаления URL из индекса Яндекса;
• возможность безпроблемного парсинга сайтов с сотнями тысяч страниц.

Многие вещи Comparser делает быстрее и лучше других подобных программ. Например, в контексте задачи глубокого изучения индексации сайта, на нее явно стоит обратить внимание.

Стоимость лицензии: 2000 р., оплата разовая.

Xenu Link Sleuth

Единственная полностью бесплатная программа в нашем списке, которая в последний раз обновлялась даже неизвестно когда, но, тем не менее, хорошо справляется с задачами, для решения которых разрабатывалась.

С ее помощью можно просканировать все страницы сайта, в том числе URL картинок, адреса CSS-файлов и прочего. По итогам анализа Xenu выдаст вам отчет со списком страниц и прочих файлов, их кодом ответа, Title и исходящими ссылками на другие ресурсы.

Можно сохранить отчет в Escel («File» — «Export to TAB Separated File») и далее сортировать данные как угодно. Для быстрого и не слишком глубокого анализа – самое то.

Xenu Links — старый и надежный краулер, нетребовательный к железу компьютера, интуитивно понятный в использовании и полностью работоспособный.

Проведение детального SEO-аудита страниц сайта позволяет не только обнаружить возможные ошибки или недоработки на проекте, но и найти возможности для улучшения качества его оптимизации.

С помощью специализированных инструментов, перечисленных в этой статье, сделать это можно быстро и эффективно, и, надеемся, они пригодятся вам в работе.

А с какими из этих программ работаете вы? Может быть, стоит добавить еще что-то к этому списку? Поделитесь своим мнением в комментариях!

Ornament — мобильное приложение для хранения и обработки результатов анализов

У всех людей в какой-то момент появляется необходимость следить за своим здоровьем: сдавать анализы, которые необходимо показывать врачу, чтобы он сделал определенные выводы о том, какие проблемы могут появиться в скором времени и что с этим вообще делать.

Да, людям, у которых со здоровьем в настоящий момент все в порядке, необходимо хотя бы раз в год делать полный анализ крови, потому что показатели биомаркеров много чего могут рассказать опытному специалисту.

Даже простым обывателям без медицинского образования, скорее всего, известно, что если у вас в крови продолжительное время наблюдается превышение уровня мочевой кислоты, то это в конце концов может привести к подагре — крайне неприятному заболеванию, сопровождающемуся очень сильными болями в суставах. А ведь если вовремя сдавать анализы, то превышение уровня можно вовремя распознать и принять соответствующие меры: изменить режим питания, принимать таблетки, корректирующие уровень мочевой кислоты.

Также известно, что при низком уровне витамина D в крови (а это наблюдается у очень большого количества народа, особенно в странах, где редко светит солнце) усугубляются хронические заболевания, появляется подверженность инфекциям, понижается уровень серотонина в мозгу (как следствие — плохое настроение, депрессия), возникает постоянная усталость, начинают выпадать волосы.

Низкий уровень витамина B12 (это часто случается у людей, которые едят мало красного мяса) — повышенный риск сердечно-сосудистых заболеваний, слабость, головокружения, проблемы с ногами.

Люди, которые ответственно относятся к своему здоровью, знают, что регулярная сдача анализов — практически необходимое условие того, чтобы предупредить появление многих заболеваний и дожить до пенсии, возраст получения которой, как известно, был заметно увеличен.

А теперь переходим к главному вопросу: сдавать-то мы анализы сдаем, а вот как дальше это все хранить? Причем желательно не просто хранить, а иметь эти данные в удобном виде, чтобы можно было анализировать динамику результатов.

Я этим вопросом задался давно. Сначала, когда результаты выдавали в бумажном виде, их сканировал и хранил в определенной папочке. Потом, когда появились облачные сервисы, стал хранить сканы в Evernote, тем более что и результаты стали присылать в электронном виде в формате PDF, так что можно было уже ничего не сканировать.

Но пользоваться этим в таком формате все равно очень непросто: если требовалось проверить, какой уровень того или иного биомаркера был столько-то лет назад, приходилось в программе шерстить эти бумажки, на что уходило немало времени, потому что они у меня просто лежали всем скопом и даже не были систематизированы по датам (дату приходилось смотреть в результатах анализа).

Начал искать, какие программы помогают более систематизированно подходить к хранению результатов анализов. Перебрал несколько штук. Те, в которых результаты предлагалось вводить вручную, сразу отмел: это же с ума сойти — вручную все вбивать! Причем при ручном вводе такого количества самых разномастных данных неминуемо будут ошибки, которые могут сильно исказить картину (попробуй где-нибудь нолик пропустить или случайно добавить — сразу получится полный дурдом).

Там ведь результаты как выводятся? Ну вот как-то так. И такого может быть несколько страниц. Нет, вводить вручную — ни за что!

Были программы, которые предлагали автоматическое распознавание результатов, но там, во-первых, не поддерживался русский язык, а, во-вторых, даже в тех, где поддерживался, точность результатов была крайне низкой — еще хуже, чем при ручном вводе.

Некоторое время назад мне посоветовали бесплатное приложение Ornament (есть под iOS и под Android) — это новая российская разработка, которая поддерживает русский язык. Разумеется, я сразу ее скачал и стал тестировать.

Интерфейс у программы очень простой: снизу идут закладки «Анализы», «Монитор», «Настройки». В «Анализах» крупный плюсик — для добавления данных.

Можно сфотографировать бумажные результаты, загрузить фото, отправить в виде письма, импортировать PDF.

Импорт PDF делается следующим образом: нужно в файловом менеджере выделить от одного до десяти файлов PDF (у каждого может быть до десяти страниц), после чего нажать «Поделиться» и выбрать в списке приложение «Орнамент».

Загрузил с десяток PDF и одно изображение JPG. Система задумалась. Если ткнуть на загружаемый документ, то там появляется надпись о том, что кроме автоматического распознавания каждая оцифровка дополнительно проверяется и корректируется человеком, поэтому загрузка может занимать до двух дней. Человеком. Серьезно. Это ж какой штат они должны держать? Впрочем, эти вопросы зададим потом, сначала посмотрим, как оно работает.

На самом деле распознавание у них обычно происходит значительно быстрее двух дней. У меня самое быстрое распознавание было сделано за полчаса, самое медленное — часа за три.

Ну вот дождался — появились результаты. Программа сама отслеживает и фиксирует дату анализов.

Захожу в общий анализ крови, сверяю с документом. Слушайте, все точно, цифра в цифру! И результаты выводятся в удобном виде: значения, выходящие за референсные, подсвечиваются.

По каждому параметру можно посмотреть график с историей изменений.

Также в разделе «Монитор» показываются мини-графики всех биомаркеров.

В мониторинге можно разбивать результаты на типы исследования (биохимия крови, гормональные исследования и так далее), также можно отдельно выводить отклонения — это тоже очень и очень удобно.

Я туда для начала занес только российские результаты — из «Инвитро» и еще каких-то клиник.

Ну и решил проверить, справится ли система с испанскими результатами анализов, которые выглядят как-то так.

Вообще, у них официально заявлена поддержка только русского и английского языков. Однако результаты на украинском и белорусском языках также заносятся в 99% случаев.

Ну, посмотрим, как они справятся на испанском: все-таки биомаркеры здесь пишутся в основном на латыни, по идее, должны распознать, учитывая обработку людьми.

А и правда, распознали практически все!

Что самое интересное и удивительное, программа правильно обрабатывает маркеры в разных системах измерений и строит совершенно корректный график! Вот, смотрите: старые значения — в мкмол/л, новые — в мг/дл! И тут еще можно и самому конвертировать одни единицы измерения в другие.

Программа умеет поддерживать несколько профилей — например, членов семьи.

Есть возможность вручную корректировать референсные диапазоны.

Раздел техподдержки. Здесь можно задавать вопросы, также сюда приходят письма о результатах распознавания.

Если какое-то значение система не сумела распознать, об этом пишется. Ну и для такого случая есть возможность ручного ввода, если этот параметр для вас важен.

Ну, вот вроде и все. Честно говоря, я поражен. Совершенно не ожидал, что могут существовать приложения такого уровня. Здесь же можно также собирать и хранить результаты анализов, например, ребенка. Также родители в возрасте свои обследования, как правило, куда-то засовывают и не помнят куда — это все можно практически автоматически занести, хранить и отслеживать в одном приложении.

Также очень важный момент: люди редко делают обследования в одном и том же месте. Как правило, это делается в разных клиниках и разных лабораториях, так что нигде не будет полной картины обследований. А с данным приложением будет именно полная картина, да еще и в очень удобном для изучения виде.

Теперь ответим на вопрос, почему это приложение бесплатное. Вот что пишут разработчики приложения на своем сайте.

Ну то есть понятно: пока приложение бесплатное, а когда они наберут соответствующую базу пользователей, то введут монетизацию — скорее всего, в виде оплаты за какие-то уникальные функции и специальные возможности.

Разумеется, многих пользователей волнует вопрос сохранности персональных данных. Я поинтересовался, как там все устроено. Данные между приложением и сервером передаются по зашифрованному каналу и хранятся деперсонализованно. (Я так понимаю, что при этом указываются только пол и возраст.)

Ну и в следующих версиях разработчики обещают добавить для пользователей возможность указывать, какие именно данные вообще не должны храниться на сервере.

Отличное приложение, понравилось чрезвычайно. А что оно еще и испанские анализы сумело должным образом распознать и занести — это просто совершенно замечательно!

Инструменты в помощь аналитику данных

«Коробочные» решения, библиотеки для глубинного обучения и сервисы для создания интерактивных графиков

Подборка полезных библиотек и сервисов для тех, кто хочет работать аналитиком — или освоить анализ данных для себя.

Python для анализа данных

Знание языка программирования Python — одно из самых распространённых требований для вакансий аналитика. А чтобы упростить написание кода на нём, можно воспользоваться библиотеками: шаблонами решений для стандартных задач.

Jupyter

Jupyter Notebook — бесплатная интерактивная оболочка для Python. Она позволяет объединить код, текст и диаграммы — и делиться результатом с другими пользователями.

Библиотеки

Pandas

Pandas пригодится для анализа неполных и неупорядоченных данных (в таком виде они чаще всего и встречаются в жизни). В этой библиотеке есть готовые методы для их фильтрации, группировки и объединения.

TensorFlow

TensorFlow — библиотека для глубинного обучения, разработанная в Google. Она нужна, чтобы тренировать нейронные сети для автоматического нахождения и классификации образов.

Она пригодится для:

• Распознавания речи и изображений
• Работы с текстом
• Анализа временных рядов
• Распознавания объектов на видео

NumPy и SciPy

NumPy упрощает работу с векторами и матрицами: от расчета определителей матриц до решения линейных уравнений. SciPy расширяет возможности первой библиотеки и позволяет работать с вероятностными распределениями и интегральным исчислением.

Matplotlib

Matplotlib пригодится для создания графиков: от круговых диаграмм до контурных схем.

«Коробочные» решения

Готовые решения для анализа данных пригодятся тем, кто пока не умеет программировать — но уже хочет получить инсайты о продукте. Основной недостаток: платное использование.

Mixpanel

С помощью сервиса можно увидеть, как клиенты взаимодействуют с вашим приложением или сайтом и найти закономерности в их поведении. Также сервис позволяет проводить A/B-тестирования — эксперименты, в ходе которых тестируется, как изменения в продукте влияют на пользовательский опыт.

Amplitude

Amplitude помогает отследить, как меняются и от чего зависят продуктовые метрики (например, конверсия в платящих пользователей). Так, в сервисе можно задать долгосрочную цель вашего сервиса и проанализировать, что поможет её достижению.

Tableau

Tableau — это корпоративная система бизнес-аналитики. С её помощью можно подготовить (упорядочить и промаркировать) данные для анализа, найти в них закономерности и визуализировать выводы.

Другое

Если вам не хватает стандартных инструментов, то вы можете воспользоваться сервисами для отдельных задач: например, для создания интерактивных графиков или работы с маркетинговыми данными.

Plotly

Plotly нужен для создания сложной визуализации: например, интерактивных или 3D-графиков.

Improvado.io

Improvado — сервис для маркетинговой аналитики. С его помощью можно агрегировать данные с разных платформ в один инструмент: например, Tableau, Excel или Looker.