Настройка семантического поиска на базе Weaviate
Скрипты и боты
Бюджет: 200000 руб.
Настройка семантического поиска и реализации RAG на базе Weaviate
Кратко о проекте:
Система self-hosted, все данные и вычисления — на серверах заказчика, без внешних API.
Существуют отдельные пайплайны загрузки документов и хранения метаданных.
Что нужно сделать:
Обработка документов:
— Извлекать текст из документов, разбивать его на смысловые фрагменты (чанки).
— Генерировать эмбеддинги для каждого чанка с помощью локальных моделей.
— Сохранять векторные представления в Weaviate, а метаинформацию о чанках (ID документа, абзац, привязка к странице wiki и т.п.) — в БД.
Реализация поиска:
— При запросе выполнять поиск релевантных чанков в Weaviate.
— Возвращать для генерации ответа не только текст, но и ссылку/ID на исходный документ или конкретный абзац.
Сборка ответа (RAG):
— Использовать LangChain (или альтернативу) для построения финального ответа на основе найденных чанков.
— Ответ должен включать краткое цитирование первоисточника с точной ссылкой на источник.
Оптимизация:
— Подобрать оптимальную модель эмбеддингов (локальную) и параметры поиска.
Стек и окружение:
- Python
- Weaviate
- LangChain или аналог для RAG
- sentence-transformers или другая локальная модель эмбеддингов
Что ждем на выходе:
- Документация по установке и настройке ML-модуля
- Примеры запросов к модулю и формат ответов
- Конфигуратор для выбора или дообучения локальных моделей эмбеддингов