Краткое описание: Продвинутый ETL-пайплайн на n8n, который мониторит англоязычный новостной сайт, очищает контент от мусора и выполняет его высококачественный литературный перевод на русский язык с помощью локальной нейросети (LLM) перед сохранением в базу данных.
Проблема: Необходимость получать новости из зарубежного источника в Таиланде. Обычный машинный перевод (вроде Google Translate) часто выдает «корявый» текст, требующий ручной редактуры. Нужен был автоматический перевод высокого качества, сохраняющий новостной стиль.
Решение: Я реализовал сценарий, который не только парсит сайт, но и интегрирован с локально запущенной большой языковой моделью (через API-совместимый интерфейс, например, LM Studio или Ollama). Модель получает четкую инструкцию (промпт) вести себя как профессиональный переводчик.
Как это работает (Архитектура):
- Сбор и Дедупликация: Сценарий по расписанию собирает ссылки на новые статьи и проверяет их по базе PostgreSQL, отсекая дубликаты.
- Глубокая очистка (Transform): Из HTML-кода статьи «хирургически» удаляются рекламные блоки, скрипты и лишние элементы, остается только чистый английский текст.
- AI-Перевод по промпту (Ключевой этап):
- Очищенный английский текст отправляется HTTP-запросом к локальному API нейросети (узел
HTTP Request2). - Промпт-инжиниринг: В запросе передается системный промпт: «Ты профессиональный переводчик новостей. Твоя задача — перевести предоставленный текст новости с английского на русский язык. Перевод должен быть точным, литературным, сохранять информационный стиль и фактологию оригинала…».
- Нейросеть возвращает качественный русский текст, готовый к публикации без правки.
- Очищенный английский текст отправляется HTTP-запросом к локальному API нейросети (узел
- Сохранение (Load): Готовый русский перевод, оригинальные метаданные и изображение сохраняются в PostgreSQL.
Результат:
- Полная автоматизация процесса «от источника до базы».
- Высокое качество контента: Благодаря специально настроенному промпту, перевод получается литературным и соответствует новостному стилю, в отличие от стандартных онлайн-переводчиков.
- Экономия на API внешних сервисов за счет использования локальной модели.
Стек технологий: n8n (оркестрация ETL), Local LLM API (AI-перевод по промпту), PostgreSQL, HTML/CSS Selectors (парсинг).
