Поиск и сравнение поставщиков food-направления по открытым источникам в реальном времени: сервис опрашивает поисковые движки, обходит сайты поставщиков, извлекает структурированные карточки (контакты, мин. объём, цены, сертификаты, условия доставки) и помогает решить, с кем связаться.
Менеджер по закупкам ищет поставщика вручную: поисковик → 20 вкладок → блокнот. Supplier Radar делает это одним запросом: живой конвейер (SERP → обход сайтов → извлечение → дедуп → скоринг) отдаёт карточки с телефоном, минимальным заказом и ссылкой на источник, сортирует по прозрачному рейтингу и позволяет сравнить кандидатов бок о бок.
┌──────────────────────────────────────────────────────────────┐
Браузер / │ FastAPI (app/main.py) │
Chrome-виджет ──────►│ POST /api/search → job_id │
▲ │ GET /api/jobs/{id}/events (SSE) │
│ │ POST /api/jobs/{id}/suppliers/csv → XLSX (openpyxl) │
│ │ GET /api/compare, /api/suppliers/{key}, /api/health │
│ └───────────────┬──────────────────────────────────────────────┘
│ SSE: stage/progress/card/ │ orchestrator.py (asyncio, дедлайн 120 c)
│ card_update/done ▼
│ ┌───────────────────────────────────────────────────────────────┐
│ │ 1. ENGINES — поиск кандидатов │
│ │ DDG (осн.) → Bing (резерв) → Yandex* → 2GIS* (API) │
│ │ SERP-кэш 48 ч · circuit breaker · pacing 1.5-4 c │
│ └───────────────────────────┬───────────────────────────────────┘
│ ▼
│ ┌───────────────────────────────────────────────────────────────┐
│ │ 2. RANKING — фильтр мусора, B2B-каталоги в приоритете, │
│ │ geo-фильтр РФ (.ru/.su/.рф + вайтлист каталогов) │
│ └───────────────────────────┬───────────────────────────────────┘
│ ▼
│ ┌───────────────────────────────────────────────────────────────┐
│ │ 3. FETCH — robots.txt (кэш), pacing на домен, conc=1, │
│ │ кэш страниц 7 д (SQLite) → адаптеры B2B не качают повторно│
│ └───────────────────────────┬───────────────────────────────────┘
│ ▼
│ ┌───────────────────────────────────────────────────────────────┐
│ │ 4. EXTRACT-КАСКАД (уровни по возрастанию стоимости) │
│ │ 1) адаптеры каталогов (pulscen, supl.biz, tiu…) │
│ │ 2) JSON-LD / OpenGraph │
│ │ 3) эвристики: ИНН по чексумме, телефоны E.164, мин. заказ, │
│ │ город — ТОЛЬКО через вайтлист городов РФ │
│ │ (дефлексия: «Москве»→«Москва», «Тюмени»→«Тюмень»; │
│ │ без явного указания город остаётся пустым) │
│ │ 4) LLM* — только при полноте < 0.5: {value, evidence}, │
│ │ evidence обязан быть цитатой со страницы; город тоже │
│ │ через вайтлист · бюджеты ≤15 выз./$0.10 джобу/$5 день │
│ └───────────────────────────┬───────────────────────────────────┘
│ ▼
│ ┌───────────────────────────────────────────────────────────────┐
│ │ 5. MERGE — identity resolution: ИНН → телефон → домен │
│ │ (moskva.tradedir.ru = tradedir.ru) · конфликты в stats │
│ └───────────────────────────┬───────────────────────────────────┘
│ ▼
│ ┌───────────────────────────────────────────────────────────────┐
│ │ 6. SCORE — полнота 40 / проверяемость 30 / контакты 15 / │
│ │ релевантность 15 · разбор по компонентам + вердикт в UI │
│ └───────────────────────────┬───────────────────────────────────┘
│ ▼
│ SQLite (store.py): jobs · suppliers · job_suppliers ·
│ page_cache · serp_cache → cache-replay ≤ 6 ч (повтор 2 c)
└───────────────────────────────────┘
* — выключены по умолчанию, включаются env-флагами (см. «Движки и комплаенс»).
# 1. зависимости (один раз)
py -X utf8 -m pip install -r requirements.txt
# 2. окружение (LLM-ключ опционален — каскад работает без него)
copy .env.example .env
# 3. запуск
py -X utf8 -m uvicorn app.main:app --port 8000
# → http://127.0.0.1:8000Или одной командой с прогревом демо-запросов: start_demo.bat (поднять сервер,
прогреть 2 запроса «мука/Москва», «кофе/Москва»; start_demo.bat full — все 5).
cp .env.example .env # отредактировать при необходимости
docker-compose up # → http://localhost:8000make run # uvicorn --reload :8000
make test # юнит-тесты без сети
make warm # прогрев кэша демо-запросами
make docker # docker-compose up --build
Invoke-RestMethod http://127.0.0.1:8000/api/health
# status: ok + состояния движков
# первый поиск ~30-60 c (живой обход), повторный ~2 c (cache-replay)
Invoke-RestMethod -Method Post http://127.0.0.1:8000/api/search `
-ContentType "application/json; charset=utf-8" `
-Body ([System.Text.Encoding]::UTF8.GetBytes('{"category":"мука","city":"Москва"}'))Все env-переменные и дефолты — в .env.example.
- Поиск. Главная страница → категория (автодополнение по таксономии food-сырья или свой вариант) + город → «Найти поставщиков». Доступна галка «Только поставщики РФ» (вкл. по умолчанию).
- Конвейер в реальном времени. Слева таймлайн стадий: поиск → обход сайтов → извлечение (→ LLM) → скоринг. Карточки появляются по мере готовности (SSE), наверху — счётчик найденных.
- Карточка поставщика. Название, скор 0-100 с разбором по компонентам, город, телефон/Email/сайт, мин. заказ, цена, доставка, ИНН, сертификаты. «Источник ↗» ведёт на первоисточник. Кнопки: заметка (localStorage, попадает в экспорт), выбор для сравнения. Пустое поле = данных нет на сайте; пустой город = явного указания нет («лучше пусто, чем догадка»).
- Сравнение. Отметьте 2-4 карточки → «Сравнить»: бок о бок по всем полям.
- Экспорт. «Экспорт в Excel» →
suppliers.xlsx: все карточки джобы + ваши заметки; готовая таблица (закреплённая шапка, автофильтр, ширины колонок). - Chrome-виджет. Тот же API в компактном popup (см. ниже).
Тайминги: первый запрос до 60 c (обход сайтов), повторный — секунды (cache-replay до 6 ч). Джоба живёт максимум 120 c — что успели, то показали.
Почему живой парсинг, а не датасет. Прототип обязан доказать конвейер end-to-end: один и тот же код собирает карточки на любой новый запрос, не только на заготовленные. Стабильность демо при этом обеспечивает кэш: первый поиск ~30 с, повторный — 2 с (cache-replay выдаёт карточки из БД до 6 ч).
Почему DDG основной. HTML без JS, лоялен к ботам, выдача по РФ достаточная.
Bing — резерв (bot-wall уже встречается). Yandex: SmartCaptcha для datacenter-IP —
движок реализован, но выключен по умолчанию: агрессивные ретраи против капчи —
риск бана и нарушение духа ToS. 2GIS: сайт рендерит только JS; драйвер готов под
официальный Catalog API (SR_TWOGIS_API_KEY) — продакшен-путь через API, а не скрапинг.
Каскад извлечения: LLM — последний, а не первый. Адаптеры + JSON-LD + эвристики закрывают большинство страниц бесплатно и детерминированно. LLM подключается только при полноте < 0.5, с жёсткими бюджетами (≤15 вызовов/джобу, ≤$0.10/джобу, дневной кап) и контрактом: каждое поле обязано приложить evidence-цитату, валидатор сверяет её substring-совпадением с текстом — галлюцинации отсекаются на входе.
Валидация детерминированная. ИНН — по чексумме, телефоны — нормализация E.164, URL — канонизация с вырезанием utm. LLM ничего не «проверяет», только предлагает.
Дедуп по цепочке доверия. ИНН → телефон → нормализованный домен (city-субдомены каталогов склеиваются: moskva.tradedir.ru = tradedir.ru). Конфликты полей не прячутся — пишутся в stats джобы.
Скоринг прозрачный. Пользователь видит не только число, но и разбор по компонентам (tooltip) + вердикт («Отличная кандидатура — можно связываться»). Чёрных ящиков нет: менеджер должен понимать, почему этот поставщик выше.
Гео: только РФ по умолчанию. Закупки — внутри РФ, поэтому geo-фильтр включён из коробки:
домены .ru/.su/.рф + вайтлист российских B2B-каталогов на иностранных зонах (supl.biz,
foodbay.com). Иностранные поставщики — опция (галка «Только поставщики РФ» / ru_only
в API); DDG запрашивается с региональным приоритетом kl=ru-ru.
Дедлайн и partial — это фича. Джоба живёт максимум 120 с; что успели — показали. SSE-конвейер с таймлайном стадий: пользователь видит процесс, а не спиннер.
- 28 юнит-тестов без сети: валидаторы (ИНН/телефоны/URL/regex), merge/дедуп, имена, гео, кассетный e2e (DDG SERP → candidates → ranking)
- Прогон:
py -X utf8 -m pytest tests -q, илиmake test - Golden-принцип: кассеты в
tests/fixtures/pages— воспроизводимая проверка парсинга
Тот же API, что и веб-версия, — в компактном popup (Manifest V3, без фоновых скриптов):
chrome://extensions → включить «Режим разработчика» → «Загрузить распакованное»
→ выбрать папку extension/ → ПКМ по иконке → Настройки → указать адрес сервера
Виджет: поиск → поллинг джобы → карточки со скорингом, ссылкой на сайт и первоисточник.
Две цветовые схемы — Жизньмарт (тёмно-зелёная, светлая) и Goulash (чёрно-циановая
dark-tech): переключаются кнопкой в шапке виджета или в настройках, выбор сохраняется.
Данные не собираются; адрес сервера хранится в chrome.storage.sync.
- JS-only сайты не парсятся (2GIS-сайт, SPA) — закрыто адаптерами каталогов
- Yandex выключен из-за капчи для datacenter-IP
- Заметки — localStorage (нет auth в прототипе)
- LLM-уровень выключен без
LLM_API_KEY— карточки строятся на эвристиках - Город не указывается, если на сайте нет явного упоминания (вайтлист городов РФ)
- robots.txt соблюдается (кэшируется), pacing 1.2–3 с на домен, concurrency=1
- Публичные страницы организаций; в карточке всегда ссылка «Источник ↗»
- Никаких ретрай-штормов против капчи — движок сразу деактивируется (breaker)
- Путь в продакшен — официальные API (2GIS Catalog) вместо скрапинга
app/
main.py FastAPI: /api/search, /api/jobs/{id}/events (SSE), /api/compare, /api/health
orchestrator.py жизненный цикл джобы, стадии, cache-replay, дедлайн
engines/ ddg, yandex, bing, twogis + base (breaker) + ranking
fetch/http.py robots, pacing, кэш страниц
extract/ cascade.py, adapters/b2b.py, structured.py (JSON-LD), llm.py
validate.py ИНН/телефоны/URL/цены — детерминированные
merge.py identity resolution
score.py прозрачный скоринг
names.py очистка SEO-заголовков
store.py SQLite
schema.py SupplierCard (Pydantic)
static/js, templates/ UI: SSE-конвейер, карточки, сравнение, заметки, XLSX-экспорт
tests/ кассеты + юнит-тесты (без сети)
prompts/ extract_supplier.v1.md — версионированный промпт
scripts/ warm_cache, start_demo, debug-инструменты
extension/ Chrome-виджет (Manifest V3)
.env.example шаблон окружения (все env-переменные и дефолты)