Тестовое задание

Почему Next.js + TypeScript, а не Python?

В ТЗ не было жёсткого требования по языку для ETL-скрипта, но вся платформа Polza Agency построена на Next.js + TypeScript + PostgreSQL. Выбор TypeScript для скрипта загрузки данных и всего приложения — это осознанное архитектурное решение:

• Единый стек — скрипты загрузки, сайт и API пишутся на одном языке. Не нужно переключать контекст между Python и TypeScript.
• Типизация — TypeScript даёт статическую проверку типов на всём протяжении: от парсинга JSON до UI-компонентов.
• Server Components — данные фетчатся напрямую в серверном компоненте, без отдельного API-слоя. Меньше кода, быстрее работа.
• Docker Compose — и БД, и приложение поднимаются одной командой. Не нужно ставить Python, Node.js или настраивать окружение вручную.
• Единый CI/CD — один набор зависимостей для всего проекта: npm install, npm run build, npm start.

Прочие важные моменты

• Безопасность — .env в .gitignore, секреты не попадают в репозиторий. Промпт-инъекции и SQL-инъекции проверены (не найдены).
• Воспроизводимость — docker-compose.yml поднимает PostgreSQL, скрипт load_data.ts загружает данные. README с командой запуска.
• Дедупликация — компании сопоставляются по названию, дубликаты исключаются на этапе загрузки.
• ETL-обработка аномалий — автоматическое выявление и исправление битой кодировки, нормализация городов, приведение типов.

1. Топ-5 категорий по числу компаний

SELECT category, COUNT(*) AS count
FROM companies
GROUP BY category
ORDER BY count DESC
LIMIT 5;

2. Средний рейтинг по городам (компании с 10+ отзывами)

SELECT city, AVG(rating) AS avg_rating
FROM companies
WHERE reviews_count >= 10
GROUP BY city
ORDER BY avg_rating DESC;

3. Доля компаний с сайтом по категориям

SELECT
  category,
  COUNT(*) AS total,
  COUNT(site) FILTER (WHERE site IS NOT NULL) AS with_site,
  ROUND(
    100.0 * COUNT(site) FILTER (WHERE site IS NOT NULL) / COUNT(*),
    1
  ) AS pct_with_site
FROM companies
GROUP BY category
ORDER BY pct_with_site DESC;