как установить whatweb windows
Как определить технологии веб-сайтов с помощью WhatWeb
WhatWeb идентифицирует веб-сайты.
Его цель – ответить на вопрос: «Что это за сайт?».
WhatWeb распознает веб-технологии, включая системы управления контентом (CMS), платформы для ведения блогов, пакеты статистики / аналитики, библиотеки JavaScript, веб-серверы и встроенные устройства.
WhatWeb имеет более 1700 плагинов, каждый из которых распознает что-то сове.
WhatWeb также определяет номера версий, адреса электронной почты, идентификаторы учетных записей, модули веб-инфраструктуры, ошибки SQL и т. д.
WhatWeb может быть скрытным и быстрым, или тщательным, но медленным.
WhatWeb поддерживает уровень работы, чтобы контролировать компромисс между скоростью и надежностью.
Когда вы посещаете веб-сайт в своем браузере, транзакция включает в себя множество подсказок о том, какие веб-технологии используют этот веб-сайт.
Иногда в одном посещении веб-страницы содержится достаточно информации для идентификации веб-сайта, но когда этого не происходит, WhatWeb может допросить веб-сайт с пристрастием.
Уровень работы по умолчанию, называемый «‘stealthy», является самым быстрым и требует только одного HTTP-запроса веб-сайта.
Это подходит для сканирования общедоступных веб-сайтов.
Более агрессивные режимы были разработаны для использования в тестах на проникновение.
Большинство плагинов WhatWeb являются исчерпывающими и распознают ряд реплик от тонкого до очевидного.
Например, большинство веб-сайтов WordPress можно идентифицировать с помощью тега meta HTML, например. », но меньшинство сайтов WordPress удаляет этот идентификационный тег, но это не мешает WhatWeb.
Плагин WordPress WhatWeb имеет более 15 тестов, которые включают проверку favicon, установочных файлов по умолчанию, страниц входа и проверку «/ wp-content /» в относительных ссылках.
Как установить и использовать Ruby в Windows
Для чего устанавливать Ruby
Ruby — это скриптовый язык, то есть для запуска программ не требуется предварительная компиляция. В этом смысле Ruby является аналогом PHP, Python, PERL и других.
Ruby достаточно популярный язык и на нём написано много интересных программ; если говорить применительно к InfoSec, то в качестве примеров можно привести знаменитые WPScan, WhatWeb, Wayback Machine Downloader и другие.
Установив Ruby на Windows вы сможете запускать программы, написанные на этом языке, а также изучать это язык программирования и писать свои собственные скрипты.
Кстати, Ruby, наравне как и PHP, Python и PERL, может быть модулем веб-сервера и скрипты, написанные на этом языке, можно использовать в качестве программной основы веб-сайта или сервиса.
Как установить Ruby на Windows
Там вы увидите много вариантов установщика, которые различаются не только версиями, но и составом скаченных файлов. Исполнимые файлы являются самодостаточными установщиками для Windows, которые включают язык Ruby, окружение выполнения, важную документацию и прочее. Если вы не знаете, какую версию установить, чтобы начать знакомство с Ruby, то рекомендуется установщик Ruby+Devkit 2.6.X (x64). Он предоставляет самое большое число совместимых gem (пакеты Ruby) и устанавливает MSYS2-Devkit вместе с Ruby, благодаря чему gem с C-расширениями могут быть скомпилированы сразу после завершения установки.
Запустите скаченный файл. В этом окне мы можем выбрать настройки:
Папку установки можно оставить без изменения.
Add Ruby executables to your PATH – означает добавить каталог с исполнимыми файлами Ruby в системную переменную. Это рекомендуется сделать, чтобы не указывать при каждом запуске скрипта Ruby полный путь до интерпретатора скриптов.
Use UTF-8 as default external encoding – означает использовать кодировку UTF-8 в качестве внешней кодировки по умолчанию.
Я выбрал все три галочки и в качестве папку установки ввёл C:\Ruby26:
Как видно на следующей странице, сам пакет Ruby занимает немного места, но много места занимается предлагаемая к установке набор инструментов разработчика MSYS2. Я настоятельно рекомендую установить MSYS2, поскольку кроме упомянутой выше возможности компилировать пакеты для Ruby, MSYS2 обеспечивает консольное окружение с функциями Linux (примерно как это делает Cygwin, но с дополнительными возможностями).
Оставьте галочку на последнем окне для настройки инструментов разработчика MSYS2 и нажмите Finish.
Далее нам предлагается:
Просто нажимаем ENTER для выполнения всех трёх действий:
Всё завершено, для выхода нажмите ENTER:
Кстати, если вы внимательно смотрели за происходящем на экране, то могли заметить pacman. В этом консольном окружении действительно есть менеджер пакетов pacman. К другим функциями MSYS2 вернёмся чуть позже.
Подробнее о Pacman смотрите в статьях:
Как обновить Ruby на Windows
Для обновления до последнего патча (то есть минорной версии, к примеру с 2.5.1 до 2.5.4), достаточно запустить новую версию установщика. Установленные gem (пакеты из репозитория Ruby), не перезаписываются и будут работать с новой версией без переустановки. Для обновления установки достаточно использовать RubyInstaller без Devkit. Обновить Devkit можно отдельно запустив в командной строке Windows следующую команду:
При выходе новой мажорной версии её нельзя обновить установкой в ту же директорию, что и предыдущая. К примеру, если предыдущая версия установки RubyInstaller-2.5.x, а новая версия RubyInstaller-2.6.x, то её нужно установить либо в новую директорию, либо удалить старую версию и вместо неё установить новую, поскольку gem (программы) с C расширениями не совместимы между ruby-2.5 и 2.6.
Как установить и использовать gem в Windows
RubyGems — это менеджер пакетов для Ruby. С помощью него можно установить различные программы и их зависимости, установку можно делать как из исходного кода на локальной системе, так и с удалённых источников приложений.
Показанная выше установка Ruby также устанавливает и gem, чтобы в этом убедиться выполните команду:
Вы должны увидеть справку по использованию gem.
Чтобы вывести все доступные команды gem, выполните:
Чтобы установить пакет запустите команду вида:
Больше примеров по установке пакетов будет далее.
Чтобы показать справку о команде установки:
К примеру, для установки программы ‘rake’ из локальной директории или удалённого сервера:
Установка пакета ‘rake’ только с удалённого сервера:
Установка ‘rake’, но только версии 0.3.1, даже если имеются неудовлетворённые зависимости, установку сделать в пользовательскую директорию:
Вывести список gem (пакетов), чьё имя начинается на ‘D’:
Вывести список локальный и удалённых gem, чьё имя содержит ‘log’:
Предыдущая команда используется для поиска пакетов по имени.
Вывести список только удалённых (не локальных) gem, чьё имя содержит ‘log’:
Просмотреть информацию о RubyGems:
Обновить все программы gem в системе:
Обновить локальную версию RubyGems:
Как установить bundler
bundler — это менеджер зависимостей Ruby. Данный менеджер пригодится при установке других программ, написанных на Ruby.
Для установки bundler в Windows выполните:
Для обновления bundle выполните команду:
Если вы устанавливаете программу из исходного кода и там присутствует файл Gemfile, то перейдите в папку с этой программой и выполните в ней команду:
Эта команда установит все перечисленные в файле Gemfile зависимости.
Чтобы увидеть, где установленные с помощью bundle пакеты gem, используйте команду:
Как установить программу Ruby в Windows. Как запустить программу Ruby в Windows
Далее рассмотрим несколько примеров установки и использования программ на Ruby в Windows.
Восстановление сайтов из Интернет Архива в Windows
Начнём с программы Wayback Machine Downloader, которая полностью восстанавливает сайты из веб архива.
Для установки Wayback Machine Downloader достаточно выполнить:
Как установить whatweb windows
How work with Whatweb
Что такое Whatweb?
А собранную инфу можно разделить на такие группы:
— На группу про веб-сервере (используется ли Apache, nginx или что-то ещё, их версии, используется ли PHP и какой версии, какие заголовки отправляются, используется ли OpenSSL и какой версии и т.д.)
— На группу про платформу сайтика (какая используется система управления контентом и какой версии, какие используются библиотеки JavaScript, какие фреймворки и каких версий задействованы в работе веб-сайта и т.п.)
— Последняя группа сопутствующая информация о веб-сайте (IP сайта, страна расположения веб-сервера, почтовые адреса, популярные инструменты аналитики и статистики и прочее)
Собранная инфа может применятся для различной аналитики, а также при тестировании на проникновении и при расследовании на основе открытых источников (для сопоставления принадлежности сайтов одному лицу, установлении личности владельца).
На текущий момент WhatWeb имеет больше 1700 плагинов для идентификации разнообразных встроенных устройств
Особенности
— Как я уже сказал выше 1700 плагинов
— Возможность управлять между скоростью/незаметностью и достоверностью
— Тонкая настройка производительности. Управление количеством одновременно сканируемых веб-сайтов
— Доступны разные форматы логов: краткий, вербальный, XML, JSON, MagicTree, RubyObject, MongoDB, ElasticSearch, SQL
— Возможность поддержки прокси, включая TOR
— Возможность настраивания HTTP заголовки
— Базовая HTTP аутентификация
— Возможность обработки редиректа
— Возможность задавать IP диапазоны в стиле Nmap
Страница программы: https://github.com/urbanadventurer/WhatWeb
Скажем спасибо бравому автору: Andrew Horton (urbanadventurer) и Brendan Coles (bcoles)
Как установить WhatWeb
В дистрибутивах Kali Linux и BlackArch программа WhatWeb уже стоит из коробки.
Для установки на других дистрибутивах Linux, выполните в командной строке следующие команды:
1 sudo apt update
2 sudo apt install whatweb ruby-json ruby-rchardet
Как запустить и не подать виду
Самый быстрый способ это запустить так, но мы же понимаем, что не всегда сайт не защищен от сканеров что возможно нам нужна авторизация ну и так далее.
1 whatweb [опции]
в качестве цели можно прописать не только урл но и IP либо имя хоста
Остальные опции этой утилиты:
МОДИФИКАЦИИ ЦЕЛЕЙ:
Опции —url-prefix и —url-suffix довольно понятны. С помощью первой удобно сканировать одинаковый субдомен на ряде сайтов. А с помощью второй можно сканировать одинаковую папку или страницу, также на ряду сайтов.
—url-pattern вставляет цели в URL. Она требует, чтобы также была установлена опция —input-file. Её можно использовать двумя способами. Главное правило: она вставляет строки из файла —input-file в то место, где указано %insert%.
К примеру, имеется файл targets.txt с содержимым:
Если запустить команду следующим образом:
То будут просканированы цели test.com/blog/, test.com/admin/, test.com/news/
В файл targets.txt можно записать URL адреса:
Если запустить команду следующим образом:
То будут просканированы цели blog.test.biz и blog.test.ru.
Паттерн может быть более сложным, например: blog.%insert%/admin и пр.
АГРЕССИЯ:
Тут надо помнить, что уровень агрессии контролирует баланс между скоростью/незаметностью получения данных.
HTTP ОПЦИИ:
Если, вы запустили проверку на сайт, а вам в ответ в консоле отдало такое, то смотрите пункт 7:
Как я уже писал ранее, в примерах я использую этот инструмент как сканер для определения CMS веб сайта, если конечно вам захочется поюзать его в качестве сканера уязвимостей, то вам придется тогда юзать плагины, которых больше 1700 штук.
Теперь для тех данных, что мы получили можно проверят, есть ли уязвимости в данных технологиях через фреймворк Metasploit
И помните все показанное выше, сделано в целях обучения.
Можно применять только на своих проектах, после разрешения.
И второй скрин не влез на одну страницу
— `same-domain’ или `always’.
АУТЕНТИФИКАЦИЯ:
Если для доступа к содержимому сайта требуется выполнить вход – ввести логин и пароль, то больше информации можно получить если выполнять сканирование от залогированного пользователя. WhatWeb поддерживает аутентификацию двух видов:
ПРОКСИ:
ПЛАГИНЫ:
По умолчанию это all (все).
Пример: +/tmp/moo.rb,+/tmp/foo.rb title,md5,+./plugins-disabled/plugins-disabled,-md5
Пример: «:text=>’powered by abc’:version=>/powered[ ]?by ab4/:ghdb=>’intitle:abc \»powered by abc\»‘»
«:md5=>’8666257030b94d3bdb46e05945f60b42′<:text=>‘powered by abc’>»
ВЫВОД ИНФЫ:
ЛОГИ:
Имеется много опций для сохранения результатов сканирования в разных форматах:
—log-verbose=ФАЙЛ Вербальный вывод лога.
—log-errors=ФАЙЛ Журнал ошибок.
—log-xml=ФАЙЛ Лог в XML.
—log-json=ФАЙЛ Лог в JSON.
—log-sql=ФАЙЛ Журнал выражений SQL INSERT.
—log-sql-create=ФАЙЛ Создать таблицы базы данных SQL.
—log-json-verbose=ФАЙЛ Вербальный лог в JSON.
—log-magictree=ФАЙЛ Лог в MagicTree XML.
—log-object=ФАЙЛ Лог в Ruby object inspection.
—log-mongo-database Имя базы данных MongoDB.
—log-mongo-collection Имя коллекции MongoDB. По умолчанию: whatweb.
—log-mongo-host Имя хоста или IP адрес MongoDB. По умолчанию: 0.0.0.0.
—log-mongo-username Имя пользователя MongoDB. По умолчанию: nil.
—log-mongo-password Пароль MongoDB. По умолчанию: nil.
—log-elastic-index Имя индекса для хранения результатов. По умолчанию: whatweb
—log-elastic-host Хост:порт elastic http интерфейса. По умолчанию: 127.0.0.1:9200
Можно одновременно сохранять в разные форматы, если указать несколько опций журналирования. Продвинутым пользователям, которые хотят SQL вывод, следует прочитать исходный код, чтобы увидеть неподдерживаемые возможности.
ПРОИЗВОДИТЕЛЬНОСТЬ И СТАБИЛЬНОСТЬ:
—open-timeout Время в секундах. По умолчанию: 15.
—read-timeout Время в секундах. По умолчанию: 30.
—wait=СЕКУНДЫ Ждать СЕКУНД между подключениями. Полезно, когда используется единичный поток.
СПРАВКА И ПРОЧЕЕ:
—debug Выводить ошибки в плагинах.
Запускаем whatweb
И получим в ответ такие данные для анализа в дальнейшем
HackWare.ru
Этичный хакинг и тестирование на проникновение, информационная безопасность
Идентификация технологий, на которых работает веб-сайт (базовое и продвинутое использование WhatWeb)
Что такое WhatWeb
WhatWeb – это кроссплатформенная программа, она написана на Ruby и работает на популярных платформах, таких как Windows, Mac OSX и Linux. WhatWeb используется для определения на каких программах, каких версий работает веб-сайт. Собираемую информацию условно можно разделить на три группы:
Используемая информация может использоваться для различной аналитики, а также при тестировании на проникновении и при расследовании на основе открытых источников (для сопоставления принадлежности сайтов одному лицу, установлении личности владельца).
В настоящее время WhatWeb также имеет плагины для идентификации разнообразных встроенных устройств.
Как установить WhatWeb
В этой инструкции будет рассмотрена работа с WhatWeb в ОС Linux.
В таких дистрибутивах как Kali Linux и BlackArch программа WhatWeb уже предустановлена.
Для установки в Ubuntu иили Linux Mint выполните в командной строке следующие команды:
Инструкция по использованию WhatWeb
WhatWeb – это утилита программной строки, поэтому все действия нужно выполнять в консоли. Для использования базовых функций программы, достаточно указать адрес сайта:
Вместо адреса сайта может быть IP.
Будет выведена примерно следующая информация:
Проанализируем результат работы WhatWeb. Во-первых, видно, что собранная информация разделена на две группы. Первая:
Итак, видно, что на странице с HTTP сайта нет, он использует протокол HTTPS и на него настроена переадресация.
По умолчанию WhatWeb использует почти все свои плагины. Но если плагин не применим для данного сайта (например, плагин для распознавания phpBB, хотя сайт работает на WordPress), либо если плагин не дал никакой информации (плагин поиска адресов электронной почты на странице, где нет ни одного адреса email), то эти плагины ничего не выводят.
Также часто вы увидите в выводе строки:
Как узнать CMS (систему управления контентом) и платформу сайта
По умолчанию WhatWeb пытается определить КМС сайта. Но если веб-мастер предпринял шаги чтобы скрыть эти данные, то для более интенсивного сканирования имеется опция -a, которая определяет уровень «агрессии» сканирования:
Уровень агрессии контролирует баланс между скоростью/незаметностью и достоверностью.
Как мы видим, по умолчанию установлен уровень 1. Дополнительные результаты вам может дать использование т.н. «агрессивного» уровня. Применяется так:
Хорошей практикой является использование Агрессивного режима с названием определённого плагина, более подробные сведения по которому вы хотите получить. Благодаря этому, с одной стороны, вы получите нужные вам сведения. А с другой – будет сделано намного меньше запросов, и вы будете менее заметны.
«Тяжёлый» режим является очень медленным. По умолчанию работа WhatWeb является логически оптимизированной – не делаются запросы от заведомо неприменимых плагинов. В Тяжёлом же режиме делается большое количество запросов.
Обход систем обнаружения вторжений (IDS)
Если мы попробуем просканировать сайт tools.kali.org:
Получены данные о сервере, но строка [403 Forbidden] говорит о том, что доступ для сканера на сайт закрыт. Поэтому мы недополучили информацию о движке сайта и прочем, что можно найти на HTML-страницах.
Скорее всего, нас «вычислили» по User Agent – пользовательскому агенту – это строка, которая отправляется в заголовке и характеризует программу, которая обращается к веб-сайту. По умолчанию отправляется WhatWeb/0.4.9, но с помощью опции -U можно вписать вызывающую больше доверия строку. Например:
И сразу другой результат:
Мы видим, что используются:
Смена User Agent – это очень простой приём, который почти всегда работает.
Если проблемы со сканированием остались, то используйте эти опции:
Можно установить один поток и интервал между запросами в несколько секунд, чтоб меньше попадать в поле зрения IDS.
Плагины WhatWeb
С помощью опции -I выводится список всех плагинов с подробной информацией. Также после -I можно указать ключевое слово для поиска:
Аналогично для поиска плагинов работает опция —search-plugins, после котоорой нужно указать строку для поиска.
С помощью опции -p можно выбрать плагины, которые вы хотите использовать при сканировании. Каждый элемент может быть директорией, файлом или именем плагина и может опционально иметь модификатор +/—.
Если модификатора нет, то используется только указанный плагин:
Если модификатор есть, то используется весь набор по умолчанию и плюс (или минус) указанный плагин, например:
В Kali Linux плагины размещены в папке /usr/share/whatweb/plugins.
Отключённые по умолчанию плагины WhatWeb
В папке /usr/share/whatweb/plugins-disabled/ имеется ряд плагинов, которые по умолчанию не используются – в первую очередь из-за возможного обильного вывода полученной информации. В своих сканированиях вы можете включить один или несколько из перечисленных плагинов, используя опцию -p.
Инструменты Kali Linux
Список инструментов для тестирования на проникновение и их описание
WhatWeb
Описание WhatWeb
WhatWeb идентифицирует веб-сайты. Цель этой программы ответить на вопрос «Чем является этот веб-сайт?». WhatWeb распознает веб-технологии, в том числе систему управления контентом (CMS), платформы для ведения блогов, пакеты статистики/аналитики, библиоотеки JavaScript, веб-сервера и встроенные устройства. WhatWeb имеет более 1700 плагинов, каждый из которых для распознавания чего-то одного. WhatWeb также идентифицирует номера версий, email адреса, ID аккаунтов, модули веб-платформ, SQL ошибки и прочее.
WhatWeb может быть незаметным и быстрым тщательным и медленным. Чтобы контролировать компромисс между скоростью и достоверностью, WhatWeb поддерживает уровни агрессивности. Когда вы посещаете веб-сайт в вашем браузере, передаваемые данные включают много подсказок о технологиях, которые лежат в основе работы веб-сайта. Иногда единичный визит веб-страницы содержит достаточно информации для идентификации веб-сайта, но когда этого недостаточно, WhatWeb может продолжить опрос веб-сайта. Уровень агрессивности по умолчанию называется «незаметный», он является самым быстрым и требует только один HTTP запрос к веб-сайту. Это подходит для сканирования публичных веб-сайтов. Более агрессивные режимы были созданы для использования в тестах на проникновение.
Большинство плагинов WhatWeb являются основательными и учитывают в своей работе широкий диапазон данных. К примеру большинство веб-сайтов на WordPress можно идентифицировать по HTML мета тегу вроде такого ‘ ‘, но небольшое количество веб-сайтов на WordPress удаляет этот идентификационный тэг, что не мешает WhatWeb. Плагин WordPress в WhatWeb имеет более 15 тестов, которые включают проверку иконки сайта, стандартные файлы установки, страницы входа и проверку «/wp-content/» внутри относительных ссылок.
Автор: Andrew Horton (urbanadventurer) и Brendan Coles (bcoles)