Kail
Организатор
Организатор
- Регистрация
- 09.04.2020
- Сообщения
- 463 956
- Реакции
- 45 774
- Монеты
- 1 191
- Оплачено
- 0
- Баллы
- 0
- #SkladchinaVip
- #1
[stepik] Spring AI: LLM-приложения на Java
Чему вы научитесь
Начинаем с простого клиента для общения с моделью, затем учимся управлять запросами и преобразовывать ответы в объекты Java. Дальше подключаем вызов инструментов, и модель начинает вызывать ваши методы Java самостоятельно. Добавляем память диалогов, чтобы модель помнила контекст между запросами.
Вторая половина курса посвящена продвинутым темам. Система поиска с дополнением ответов: загрузка документов, разбивка на фрагменты, построение векторных представлений, векторное хранилище, поиск и генерация ответов на основе ваших данных. Открытый протокол взаимодействия с моделями (Model Context Protocol) от Anthropic стандартизирует связь языковых моделей с внешними системами
Для кого этот курс
Java-разработчики, которые хотят добавить возможности искусственного интеллекта в свои приложения и работать с языковыми моделями на привычном стеке. Backend-инженеры на экосистеме Spring, желающие освоить Spring AI и строить интеллектуальные сервисы без перехода на другие языки. Тимлиды и архитекторы, выбирающие подход к внедрению языковых моделей в продукт.
Программа курса
1. Старт: окружение и первое приложение
- HTTP-клиент к LLM.
- Spring AI vs LangChain4j vs SDK.
- Готовим стенд.
- API-ключи OpenAI и Anthropic.
- Ollama локально.
- Знакомство с финальным проектом курса.
2. ChatClient: первый разговор с моделью
- ChatClient: builder, fluent API.
- ChatRequest, ChatResponse и метаданные.
- Подключаем OpenAI.
- Подключаем Anthropic Claude.
- Локальный режим.
- Один YAML, три провайдера.
- Streaming через SSE.
- ChatOptions: temperature, top-p, max-tokens.
- Практика: REST API с переключателем моделей.
3. Промпты и структурированный вывод
- PromptTemplate: переменные и ST-синтаксис.
- SystemMessage, UserMessage, AssistantMessage.
- Где хранить промпты.
- Structured Output: BeanOutputConverter.
- Коллекции и вложенные объекты.
- JSON Schema и валидация ответа.
- Multi-modal: картинки и PDF.
- Ошибки промптов и как их чинить.
- Практика: парсер вакансий.
4. Tool Calling: LLM как часть бизнес-логики
- Что такое tool calling.
- @tool: декларативное описание инструментов.
- Регистрация: @Bean, builder, программно.
- @ToolParam и JSON-схема параметров.
- ToolContext: пробрасываем контекст.
- Цепочки tool-вызовов.
- Безопасность tool calling.
- Ошибки инструментов.
- Параллельный tool calling.
- Практика: AI-помощник e-commerce.
5. Память диалогов: история, которая не теряется
- ChatMemory: интерфейс и реализации.
- InMemoryChatMemory для прототипов.
- JdbcChatMemoryRepository: история в PostgreSQL.
- Альтернативы: Redis и MongoDB.
- Стратегии обрезки истории.
- Multi-tenant память.
- Подсчет токенов и контроль контекста.
- Практика: Telegram-бот с персональной историей.
6. RAG: модель отвечает по твоим документам
- Зачем RAG: галлюцинации и ограничения LLM.
- EmbeddingModel: эмбеддинги в Spring AI.
- Локальные vs облачные эмбеддинги.
- VectorStore API: единый интерфейс.
- PgVector: установка, индексы, расстояния.
- Qdrant как альтернатива.
- SimpleVectorStore и Chroma для прототипов.
- DocumentReader: PDF, DOCX, Markdown.
- DocumentTransformer: chunking и overlap.
- Метаданные: фильтрация по тегам и датам.
- QuestionAnswerAdvisor: базовый RAG.
- Продвинутый RAG: rewriting, expansion, reranking.
- RetrievalAugmentationAdvisor и кастомные стратегии.
- Гибридный поиск: vector + BM25.
- Оценка качества RAG.
- Практика: AI-ассистент по документации.
7. MCP: Model Context Protocol на Java
- Что такое MCP и зачем он нужен.
- Архитектура MCP: клиент, сервер, транспорты.
- Свой MCP-сервер на Spring Boot.
- @McpTool, @McpResource, @McpPrompt.
- JSON Schema и валидация tool definitions.
- MCP Client: подключаемся к чужим серверам.
- Готовые MCP-серверы: filesystem, Brave, GitHub.
- OAuth2-авторизация для MCP.
- Развертывание: standalone, Kubernetes, sidecar.
- Практика: MCP-сервер для корпоративной БД.
8. Production: безопасность, надежность
- Spring AI метрики.
- Distributed tracing: Zipkin, Tempo, Jaeger.
- Логирование промптов.
- Подсчет токенов и стоимости.
- Retry, circuit breaker, fallback.
- Семантический кеш на эмбеддингах.
- Rate limiting: защита бюджета.
- Prompt injection и jailbreaks.
- PII-фильтрация перед отправкой в облако.
- Evals в CI/CD: ловим деградацию.
- Практика: защита для RAG-проекта.
9. Финальный проект: AI-ассистент поддержки
- Постановка задачи.
- Архитектура.
- Реализация ядра приложения.
- Тестирование.
- Dockerfile с правильными слоями.
- Docker Compose.
- Деплой на VPS.
- Мониторинг в Grafana.
- Ссылка на картинку
-
Чему вы научитесь
- Подключать модели OpenAI, Anthropic, Ollama и другие языковые модели через единый интерфейс Spring AI
- Проектировать запросы к модели с помощью шаблонов и получать структурированные ответы в виде объектов Java
- Давать модели доступ к бизнес-логике через вызов инструментов и аннотацию @tool
- Строить системы поиска с дополнением ответов: загрузка документов, разбивка на фрагменты, построение векторных представлений, векторное хранилище и поиск
- Подключать внешние серверы по открытому протоколу взаимодействия с моделями от Anthropic
- Сохранять историю диалогов в памяти модели с разными стратегиями ограничения её объёма
- Настраивать наблюдаемость и сбор метрик через Micrometer, Prometheus и Grafana
- Реализовывать ограничение частоты запросов, фильтрацию персональных данных и защитные ограничения для боевой среды
- Собрать полноценного ассистента с поиском по документам, инструментами, памятью и мониторингом
Начинаем с простого клиента для общения с моделью, затем учимся управлять запросами и преобразовывать ответы в объекты Java. Дальше подключаем вызов инструментов, и модель начинает вызывать ваши методы Java самостоятельно. Добавляем память диалогов, чтобы модель помнила контекст между запросами.
Вторая половина курса посвящена продвинутым темам. Система поиска с дополнением ответов: загрузка документов, разбивка на фрагменты, построение векторных представлений, векторное хранилище, поиск и генерация ответов на основе ваших данных. Открытый протокол взаимодействия с моделями (Model Context Protocol) от Anthropic стандартизирует связь языковых моделей с внешними системами
Для кого этот курс
Java-разработчики, которые хотят добавить возможности искусственного интеллекта в свои приложения и работать с языковыми моделями на привычном стеке. Backend-инженеры на экосистеме Spring, желающие освоить Spring AI и строить интеллектуальные сервисы без перехода на другие языки. Тимлиды и архитекторы, выбирающие подход к внедрению языковых моделей в продукт.
Программа курса
1. Старт: окружение и первое приложение
- HTTP-клиент к LLM.
- Spring AI vs LangChain4j vs SDK.
- Готовим стенд.
- API-ключи OpenAI и Anthropic.
- Ollama локально.
- Знакомство с финальным проектом курса.
2. ChatClient: первый разговор с моделью
- ChatClient: builder, fluent API.
- ChatRequest, ChatResponse и метаданные.
- Подключаем OpenAI.
- Подключаем Anthropic Claude.
- Локальный режим.
- Один YAML, три провайдера.
- Streaming через SSE.
- ChatOptions: temperature, top-p, max-tokens.
- Практика: REST API с переключателем моделей.
3. Промпты и структурированный вывод
- PromptTemplate: переменные и ST-синтаксис.
- SystemMessage, UserMessage, AssistantMessage.
- Где хранить промпты.
- Structured Output: BeanOutputConverter.
- Коллекции и вложенные объекты.
- JSON Schema и валидация ответа.
- Multi-modal: картинки и PDF.
- Ошибки промптов и как их чинить.
- Практика: парсер вакансий.
4. Tool Calling: LLM как часть бизнес-логики
- Что такое tool calling.
- @tool: декларативное описание инструментов.
- Регистрация: @Bean, builder, программно.
- @ToolParam и JSON-схема параметров.
- ToolContext: пробрасываем контекст.
- Цепочки tool-вызовов.
- Безопасность tool calling.
- Ошибки инструментов.
- Параллельный tool calling.
- Практика: AI-помощник e-commerce.
5. Память диалогов: история, которая не теряется
- ChatMemory: интерфейс и реализации.
- InMemoryChatMemory для прототипов.
- JdbcChatMemoryRepository: история в PostgreSQL.
- Альтернативы: Redis и MongoDB.
- Стратегии обрезки истории.
- Multi-tenant память.
- Подсчет токенов и контроль контекста.
- Практика: Telegram-бот с персональной историей.
6. RAG: модель отвечает по твоим документам
- Зачем RAG: галлюцинации и ограничения LLM.
- EmbeddingModel: эмбеддинги в Spring AI.
- Локальные vs облачные эмбеддинги.
- VectorStore API: единый интерфейс.
- PgVector: установка, индексы, расстояния.
- Qdrant как альтернатива.
- SimpleVectorStore и Chroma для прототипов.
- DocumentReader: PDF, DOCX, Markdown.
- DocumentTransformer: chunking и overlap.
- Метаданные: фильтрация по тегам и датам.
- QuestionAnswerAdvisor: базовый RAG.
- Продвинутый RAG: rewriting, expansion, reranking.
- RetrievalAugmentationAdvisor и кастомные стратегии.
- Гибридный поиск: vector + BM25.
- Оценка качества RAG.
- Практика: AI-ассистент по документации.
7. MCP: Model Context Protocol на Java
- Что такое MCP и зачем он нужен.
- Архитектура MCP: клиент, сервер, транспорты.
- Свой MCP-сервер на Spring Boot.
- @McpTool, @McpResource, @McpPrompt.
- JSON Schema и валидация tool definitions.
- MCP Client: подключаемся к чужим серверам.
- Готовые MCP-серверы: filesystem, Brave, GitHub.
- OAuth2-авторизация для MCP.
- Развертывание: standalone, Kubernetes, sidecar.
- Практика: MCP-сервер для корпоративной БД.
8. Production: безопасность, надежность
- Spring AI метрики.
- Distributed tracing: Zipkin, Tempo, Jaeger.
- Логирование промптов.
- Подсчет токенов и стоимости.
- Retry, circuit breaker, fallback.
- Семантический кеш на эмбеддингах.
- Rate limiting: защита бюджета.
- Prompt injection и jailbreaks.
- PII-фильтрация перед отправкой в облако.
- Evals в CI/CD: ловим деградацию.
- Практика: защита для RAG-проекта.
9. Финальный проект: AI-ассистент поддержки
- Постановка задачи.
- Архитектура.
- Реализация ядра приложения.
- Тестирование.
- Dockerfile с правильными слоями.
- Docker Compose.
- Деплой на VPS.
- Мониторинг в Grafana.
Показать больше
Зарегистрируйтесь
, чтобы посмотреть контент.
Скачать