Назад к кейсам
2022-2024Commercial data tooling

Resilient data collection workflows

Collection и debugging workflows для external web systems, где behavior меняется, а failures должны быть diagnosable.

Focus
Diagnostics
Stack
HTTP + browser runtime
Output
Reusable logic
Debuggable collection

Changing targets требуют diagnostics, а не только parsers.

Цель - сделать failures достаточно explainable, чтобы их чинить.

1Request и browser behavior проверяются вместе
2Failure cases превращаются в reusable checks
3Parsers проектируются вокруг real target behavior
Роль

Python Data / Backend Developer

Стек
PythonWeb scrapingReverse engineeringPlaywrightClickHouse
Задача

External targets часто менялись, а failures было сложно воспроизвести по одному error message.

Решение

Работал с request tracing, browser automation, parsers, diagnostics и reusable collection logic.

Результат

Failures стало проще classify, reproduce и fix без старта с нуля каждый раз.

Что я сделал
  • Анализировал HTTP и JavaScript behavior для changing external systems.
  • Строил и подстраивал collection logic вокруг real target behavior.
  • Улучшал diagnostics, чтобы failures было проще reproduce.
Что это показывает
  • Parser полезен только если failure path visible.
  • Data collection work требует терпения к edge cases.
Другие кейсы

Ещё проекты

2025-2026

Каталог моделей nnzen

Solo

Живой LLM-каталог: собирает данные о моделях, нормализует их и помогает быстрее сравнивать варианты.

PythonFastAPILLM APIsRAGVector DB / pgvector
2025

MCP core for an LLM assistant

Solo

Backend core для LLM assistant с plugin execution, hot reload, tool chains и explicit context handoff.

PythonFastAPIMCPTool callingLLM APIs