Веб-краулер

Обходит страницы сайта, сохраняет текст в формате Markdown и извлекает структурированные списки, такие как цены или контакты. Соблюдает правила robots.txt и снижает скорость, чтобы не перегружать сайты.

Подходит для

• Публичный каталог в виде таблицы
• Сайт с документацией для чтения офлайн
• Отслеживание прайс-листов во времени

Что понадобится

Ничего дополнительного.