🕸️Scrapy y ReconSpider

El rastreo web es vasto e intrincado, pero no es necesario que usted se embarque en este viaje solo. Hay una gran cantidad de herramientas de rastreo web disponibles para ayudarlo, cada una con sus propias fortalezas y especialidades. Estas herramientas automatizan el proceso de rastreo, haciéndolo más rápido y eficiente, permitiéndole concentrarse en analizar los datos extraídos.

Rastreadores web populares

1. Burp Suite Spider: Burp Suite, una plataforma de prueba de aplicaciones web ampliamente utilizada, incluye un potente rastreador activo llamado Spider. Spider se destaca en el mapeo de aplicaciones web, la identificación de contenido oculto y el descubrimiento de vulnerabilidades potenciales.

2. OWASP ZAP (Zed Attack Proxy): ZAP es un escáner de seguridad de aplicaciones web gratuito y de código abierto. Se puede utilizar en modo automatizado y manual e incluye un componente de araña para rastrear aplicaciones web e identificar posibles vulnerabilidades.

3. Scrapy (Python Framework): Scrapy es un marco de Python versátil y escalable para crear rastreadores web personalizados. Proporciona funciones completas para extraer datos estructurados de sitios web, manejar escenarios de rastreo complejos y automatizar el procesamiento de datos. Su flexibilidad lo hace ideal para tareas de reconocimiento personalizadas.

4. Apache Nutch (Scalable Crawler): Nutch es un rastreador web de código abierto altamente extensible y escalable escrito en Java. Está diseñado para manejar rastreos masivos en toda la web o centrarse en dominios específicos. Si bien requiere más experiencia técnica para instalarlo y configurarlo, su potencia y flexibilidad lo convierten en un activo valioso para proyectos de reconocimiento a gran escala.

Adherirse a prácticas de rastreo éticas y responsables es crucial sin importar la herramienta que elija. Obtenga siempre permiso antes de rastrear un sitio web, especialmente si planea realizar análisis extensos o intrusivos. Tenga en cuenta los recursos del servidor del sitio web y evite sobrecargarlos con solicitudes excesivas.

Scrapy

Aprovecharemos Scrapy y una araña personalizada diseñada para el reconocimiento en inlanefreight.com. Si está interesado en obtener más información sobre técnicas de rastreo/spidering, consulte el módulo " Uso de servidores proxy web ", ya que también forma parte de CBBH.

Instalando Scrapy

Antes de comenzar, asegúrese de tener Scrapy instalado en su sistema. Si no lo hace, puede instalarlo fácilmente usando pip, el instalador del paquete Python:

afsh4ck@kali$ pip3 install scrapy

Este comando descargará e instalará Scrapy junto con sus dependencias, preparando su entorno para construir nuestra araña.

ReconSpider

Primero, ejecute este comando en su terminal para descargar el scrapy spider personalizado ReconSpidery extráigalo al directorio de trabajo actual.

afsh4ck@kali$ wget https://academy.hackthebox.com/storage/modules/279/ReconSpider.zip
afsh4ck@kali$ unzip ReconSpider.zip 

Con los archivos extraídos, puede ejecutar ReconSpider.py usando el siguiente comando:

afsh4ck@kali$ python3 ReconSpider.py http://inlanefreight.com

Reemplace inlanefreight.com con el dominio que desea analizar. La araña rastreará el objetivo y recopilará información valiosa.

resultados.json

Después de ejecutar ReconSpider.py, los datos se guardarán en un archivo JSON results.json. Este archivo se puede explorar usando cualquier editor de texto. A continuación se muestra la estructura del archivo JSON producido:

{
    "emails": [
        "[e-mail]",
        "[e-mail]",
        ...
    ],
    "links": [
        "https://www.themeansar.com",
        "https://www.inlanefreight.com/index.php/offices/",
        ...
    ],
    "external_files": [
        "https://www.inlanefreight.com/wp-content/uploads/2020/09/goals.pdf",
        ...
    ],
    "js_files": [
        "https://www.inlanefreight.com/wp-includes/js/jquery/jquery-migrate.min.js?ver=3.3.2",
        ...
    ],
    "form_fields": [],
    "images": [
        "https://www.inlanefreight.com/wp-content/uploads/2021/03/AboutUs_01-1024x810.png",
        ...
    ],
    "videos": [],
    "audio": [],
    "comments": [
        "<!-- #masthead -->",
        ...
    ]
}

Cada clave en el archivo JSON representa un tipo diferente de datos extraídos del sitio web de destino:

Clave JSON	Descripción
emails	Enumera las direcciones de correo electrónico encontradas en el dominio.
links	Enumera las URL de los enlaces encontrados dentro del dominio.
external_files	Enumera las URL de archivos externos, como archivos PDF.
js_files	Enumera las URL de los archivos JavaScript utilizados por el sitio web.
form_fields	Enumera los campos de formulario que se encuentran en el dominio (vacíos en este ejemplo).
images	Enumera las URL de las imágenes encontradas en el dominio.
videos	Enumera las URL de los vídeos encontrados en el dominio (vacíos en este ejemplo).
audio	Enumera las URL de los archivos de audio encontrados en el dominio (vacíos en este ejemplo).
comments	Enumera los comentarios HTML que se encuentran en el código fuente.

Al explorar esta estructura JSON, puede obtener información valiosa sobre la arquitectura, el contenido y los posibles puntos de interés de la aplicación web para una mayor investigación.