Skip to content

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

Supplier Radar

Поиск и сравнение поставщиков food-направления по открытым источникам в реальном времени: сервис опрашивает поисковые движки, обходит сайты поставщиков, извлекает структурированные карточки (контакты, мин. объём, цены, сертификаты, условия доставки) и помогает решить, с кем связаться.

Проблема → решение

Менеджер по закупкам ищет поставщика вручную: поисковик → 20 вкладок → блокнот. Supplier Radar делает это одним запросом: живой конвейер (SERP → обход сайтов → извлечение → дедуп → скоринг) отдаёт карточки с телефоном, минимальным заказом и ссылкой на источник, сортирует по прозрачному рейтингу и позволяет сравнить кандидатов бок о бок.

Как это работает

                        ┌──────────────────────────────────────────────────────────────┐
   Браузер /            │  FastAPI (app/main.py)                                       │
   Chrome-виджет ──────►│  POST /api/search → job_id                                   │
        ▲               │  GET  /api/jobs/{id}/events (SSE)                            │
        │               │  POST /api/jobs/{id}/suppliers/csv → XLSX (openpyxl)        │
        │               │  GET  /api/compare, /api/suppliers/{key}, /api/health       │
        │               └───────────────┬──────────────────────────────────────────────┘
        │ SSE: stage/progress/card/      │ orchestrator.py (asyncio, дедлайн 120 c)
        │ card_update/done               ▼
        │       ┌───────────────────────────────────────────────────────────────┐
        │       │ 1. ENGINES — поиск кандидатов                                 │
        │       │    DDG (осн.) → Bing (резерв) → Yandex* → 2GIS* (API)         │
        │       │    SERP-кэш 48 ч · circuit breaker · pacing 1.5-4 c           │
        │       └───────────────────────────┬───────────────────────────────────┘
        │                                   ▼
        │       ┌───────────────────────────────────────────────────────────────┐
        │       │ 2. RANKING — фильтр мусора, B2B-каталоги в приоритете,        │
        │       │    geo-фильтр РФ (.ru/.su/.рф + вайтлист каталогов)          │
        │       └───────────────────────────┬───────────────────────────────────┘
        │                                   ▼
        │       ┌───────────────────────────────────────────────────────────────┐
        │       │ 3. FETCH — robots.txt (кэш), pacing на домен, conc=1,        │
        │       │    кэш страниц 7 д (SQLite) → адаптеры B2B не качают повторно│
        │       └───────────────────────────┬───────────────────────────────────┘
        │                                   ▼
        │       ┌───────────────────────────────────────────────────────────────┐
        │       │ 4. EXTRACT-КАСКАД (уровни по возрастанию стоимости)           │
        │       │    1) адаптеры каталогов (pulscen, supl.biz, tiu…)            │
        │       │    2) JSON-LD / OpenGraph                                    │
        │       │    3) эвристики: ИНН по чексумме, телефоны E.164, мин. заказ, │
        │       │       город — ТОЛЬКО через вайтлист городов РФ               │
        │       │       (дефлексия: «Москве»→«Москва», «Тюмени»→«Тюмень»;       │
        │       │        без явного указания город остаётся пустым)             │
        │       │    4) LLM* — только при полноте < 0.5: {value, evidence},     │
        │       │       evidence обязан быть цитатой со страницы; город тоже    │
        │       │       через вайтлист · бюджеты ≤15 выз./$0.10 джобу/$5 день   │
        │       └───────────────────────────┬───────────────────────────────────┘
        │                                   ▼
        │       ┌───────────────────────────────────────────────────────────────┐
        │       │ 5. MERGE — identity resolution: ИНН → телефон → домен        │
        │       │    (moskva.tradedir.ru = tradedir.ru) · конфликты в stats     │
        │       └───────────────────────────┬───────────────────────────────────┘
        │                                   ▼
        │       ┌───────────────────────────────────────────────────────────────┐
        │       │ 6. SCORE — полнота 40 / проверяемость 30 / контакты 15 /      │
        │       │    релевантность 15 · разбор по компонентам + вердикт в UI    │
        │       └───────────────────────────┬───────────────────────────────────┘
        │                                   ▼
        │            SQLite (store.py): jobs · suppliers · job_suppliers ·
        │            page_cache · serp_cache → cache-replay ≤ 6 ч (повтор 2 c)
        └───────────────────────────────────┘

* — выключены по умолчанию, включаются env-флагами (см. «Движки и комплаенс»).

Запуск

Вариант 1 — Windows, быстрый старт (рекомендуемый для демо)

# 1. зависимости (один раз)
py -X utf8 -m pip install -r requirements.txt

# 2. окружение (LLM-ключ опционален — каскад работает без него)
copy .env.example .env

# 3. запуск
py -X utf8 -m uvicorn app.main:app --port 8000
# → http://127.0.0.1:8000

Или одной командой с прогревом демо-запросов: start_demo.bat (поднять сервер, прогреть 2 запроса «мука/Москва», «кофе/Москва»; start_demo.bat full — все 5).

Вариант 2 — Docker

cp .env.example .env        # отредактировать при необходимости
docker-compose up           # → http://localhost:8000

Вариант 3 — Make (Windows)

make run    # uvicorn --reload :8000
make test   # юнит-тесты без сети
make warm   # прогрев кэша демо-запросами
make docker # docker-compose up --build

Проверка, что всё живо

Invoke-RestMethod http://127.0.0.1:8000/api/health
# status: ok + состояния движков

# первый поиск ~30-60 c (живой обход), повторный ~2 c (cache-replay)
Invoke-RestMethod -Method Post http://127.0.0.1:8000/api/search `
  -ContentType "application/json; charset=utf-8" `
  -Body ([System.Text.Encoding]::UTF8.GetBytes('{"category":"мука","city":"Москва"}'))

Все env-переменные и дефолты — в .env.example.

Инструкция пользователя

  1. Поиск. Главная страница → категория (автодополнение по таксономии food-сырья или свой вариант) + город → «Найти поставщиков». Доступна галка «Только поставщики РФ» (вкл. по умолчанию).
  2. Конвейер в реальном времени. Слева таймлайн стадий: поиск → обход сайтов → извлечение (→ LLM) → скоринг. Карточки появляются по мере готовности (SSE), наверху — счётчик найденных.
  3. Карточка поставщика. Название, скор 0-100 с разбором по компонентам, город, телефон/Email/сайт, мин. заказ, цена, доставка, ИНН, сертификаты. «Источник ↗» ведёт на первоисточник. Кнопки: заметка (localStorage, попадает в экспорт), выбор для сравнения. Пустое поле = данных нет на сайте; пустой город = явного указания нет («лучше пусто, чем догадка»).
  4. Сравнение. Отметьте 2-4 карточки → «Сравнить»: бок о бок по всем полям.
  5. Экспорт. «Экспорт в Excel» → suppliers.xlsx: все карточки джобы + ваши заметки; готовая таблица (закреплённая шапка, автофильтр, ширины колонок).
  6. Chrome-виджет. Тот же API в компактном popup (см. ниже).

Тайминги: первый запрос до 60 c (обход сайтов), повторный — секунды (cache-replay до 6 ч). Джоба живёт максимум 120 c — что успели, то показали.

Decision log

Почему живой парсинг, а не датасет. Прототип обязан доказать конвейер end-to-end: один и тот же код собирает карточки на любой новый запрос, не только на заготовленные. Стабильность демо при этом обеспечивает кэш: первый поиск ~30 с, повторный — 2 с (cache-replay выдаёт карточки из БД до 6 ч).

Почему DDG основной. HTML без JS, лоялен к ботам, выдача по РФ достаточная. Bing — резерв (bot-wall уже встречается). Yandex: SmartCaptcha для datacenter-IP — движок реализован, но выключен по умолчанию: агрессивные ретраи против капчи — риск бана и нарушение духа ToS. 2GIS: сайт рендерит только JS; драйвер готов под официальный Catalog API (SR_TWOGIS_API_KEY) — продакшен-путь через API, а не скрапинг.

Каскад извлечения: LLM — последний, а не первый. Адаптеры + JSON-LD + эвристики закрывают большинство страниц бесплатно и детерминированно. LLM подключается только при полноте < 0.5, с жёсткими бюджетами (≤15 вызовов/джобу, ≤$0.10/джобу, дневной кап) и контрактом: каждое поле обязано приложить evidence-цитату, валидатор сверяет её substring-совпадением с текстом — галлюцинации отсекаются на входе.

Валидация детерминированная. ИНН — по чексумме, телефоны — нормализация E.164, URL — канонизация с вырезанием utm. LLM ничего не «проверяет», только предлагает.

Дедуп по цепочке доверия. ИНН → телефон → нормализованный домен (city-субдомены каталогов склеиваются: moskva.tradedir.ru = tradedir.ru). Конфликты полей не прячутся — пишутся в stats джобы.

Скоринг прозрачный. Пользователь видит не только число, но и разбор по компонентам (tooltip) + вердикт («Отличная кандидатура — можно связываться»). Чёрных ящиков нет: менеджер должен понимать, почему этот поставщик выше.

Гео: только РФ по умолчанию. Закупки — внутри РФ, поэтому geo-фильтр включён из коробки: домены .ru/.su/.рф + вайтлист российских B2B-каталогов на иностранных зонах (supl.biz, foodbay.com). Иностранные поставщики — опция (галка «Только поставщики РФ» / ru_only в API); DDG запрашивается с региональным приоритетом kl=ru-ru.

Дедлайн и partial — это фича. Джоба живёт максимум 120 с; что успели — показали. SSE-конвейер с таймлайном стадий: пользователь видит процесс, а не спиннер.

Метрики качества

  • 28 юнит-тестов без сети: валидаторы (ИНН/телефоны/URL/regex), merge/дедуп, имена, гео, кассетный e2e (DDG SERP → candidates → ranking)
  • Прогон: py -X utf8 -m pytest tests -q, или make test
  • Golden-принцип: кассеты в tests/fixtures/pages — воспроизводимая проверка парсинга

Chrome-виджет

Тот же API, что и веб-версия, — в компактном popup (Manifest V3, без фоновых скриптов):

chrome://extensions → включить «Режим разработчика» → «Загрузить распакованное»
→ выбрать папку extension/ → ПКМ по иконке → Настройки → указать адрес сервера

Виджет: поиск → поллинг джобы → карточки со скорингом, ссылкой на сайт и первоисточник. Две цветовые схемы — Жизньмарт (тёмно-зелёная, светлая) и Goulash (чёрно-циановая dark-tech): переключаются кнопкой в шапке виджета или в настройках, выбор сохраняется. Данные не собираются; адрес сервера хранится в chrome.storage.sync.

Ограничения (честно)

  • JS-only сайты не парсятся (2GIS-сайт, SPA) — закрыто адаптерами каталогов
  • Yandex выключен из-за капчи для datacenter-IP
  • Заметки — localStorage (нет auth в прототипе)
  • LLM-уровень выключен без LLM_API_KEY — карточки строятся на эвристиках
  • Город не указывается, если на сайте нет явного упоминания (вайтлист городов РФ)

Комплаенс

  • robots.txt соблюдается (кэшируется), pacing 1.2–3 с на домен, concurrency=1
  • Публичные страницы организаций; в карточке всегда ссылка «Источник ↗»
  • Никаких ретрай-штормов против капчи — движок сразу деактивируется (breaker)
  • Путь в продакшен — официальные API (2GIS Catalog) вместо скрапинга

Структура

app/
  main.py           FastAPI: /api/search, /api/jobs/{id}/events (SSE), /api/compare, /api/health
  orchestrator.py   жизненный цикл джобы, стадии, cache-replay, дедлайн
  engines/          ddg, yandex, bing, twogis + base (breaker) + ranking
  fetch/http.py     robots, pacing, кэш страниц
  extract/          cascade.py, adapters/b2b.py, structured.py (JSON-LD), llm.py
  validate.py       ИНН/телефоны/URL/цены — детерминированные
  merge.py          identity resolution
  score.py          прозрачный скоринг
  names.py          очистка SEO-заголовков
  store.py          SQLite
  schema.py         SupplierCard (Pydantic)
static/js, templates/   UI: SSE-конвейер, карточки, сравнение, заметки, XLSX-экспорт
tests/              кассеты + юнит-тесты (без сети)
prompts/            extract_supplier.v1.md — версионированный промпт
scripts/            warm_cache, start_demo, debug-инструменты
extension/          Chrome-виджет (Manifest V3)
.env.example        шаблон окружения (все env-переменные и дефолты)

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages