Скачать Оценка AI-агентов [Андрей Киселёв]

  • Гость, подпишитесь сейчас

    📥 Наш адрес сайта меняется, чтобы быть в курсе актуального адреса, подпишитесь на телеграм канал «Перейти»

Описание складчины

Искусственный интеллект уже меняет привычные подходы к работе и обучению. Если вас заинтересовал Оценка AI-агентов [Андрей Киселёв], складчина позволит купить курс и освоить востребованные инструменты.

Информация
Цена: 90 РУБ
Организатор: Kail Kail
Скачать
Kail
Kail
Организатор
Организатор
Регистрация
09.04.2020
Сообщения
463 322
Реакции
45 741
Монеты
1 191
Оплачено
0
Баллы
0
  • #SkladchinaVip
  • #1
Оценка AI-агентов [Андрей Киселёв]
Ссылка на картинку
Высокий pass rate сам по себе не показывает, какие ошибки AI-системы стоит исправлять в первую очередь. На курсе Андрея Киселёва вы научитесь читать трейсы и группировать ошибки, а также строить синтетические датасеты для оценки качества ещё до появления пользовательского трафика.

Другое название — «Оценка AI агентов».

Для кого:

  1. AI / ML и Backend-инженерам
    Научитесь проектировать автоматические пайплайны оценки, тестировать сложных multi-step-агентов, мерить качество Retrieval (RAG) и встраивать эвалы в CI/CD — чтобы регрессии ловились до релиза, а не на проде
  2. Product-менеджерам AI-продуктов
    Получите инструменты для data-driven-управления качеством: связывать бизнес-метрики с метриками модели, строить таксономию ошибок и ставить инженерам прозрачные, измеримые ТЗ
  3. Tech Lead'ам и руководителям
    Поймёте, как выстроить процессы оценки внутри команды, выбрать стек (готовые платформы vs. in-house) и снизить затраты на ручную разметку — превратив эвалы в инструмент принятия решений
Барьеры при масштабировании AI-продуктов:

AI-системы ломаются не из-за моделей, а из-за отсутствия понимания качества. Вы не знаете что считать хорошим результатом, принимаете решения на глаз, отсутствует система оценки.

Результаты после курса:

Курс не только про эвалы, но и про навыки разработки AI в продакшне.

  • Сейчас: данных нет, а оценивать систему нужно уже сейчас.
    После курса: строите синтетические датасеты с первого дня прототипа — и не ждёте живого трафика, чтобы начать измерять
  • Сейчас: pass rate «вроде нормальный», но непонятно, что именно чинить.
    После курса: читаете трейсы, кластеризуете ошибки и точно знаете, какой класс проблем устранить первым
  • Сейчас: каждый новый формат — снова с нуля думаешь, как его оценивать.
    После курса: один инструментарий — на текст, изображения и мульти-тёрн чат. Переносите на любую AI-систему без потерь
  • Сейчас: стейкхолдеры не доверяют метрикам, продакты не понимают эвалы.
    После курса: встраиваете оценку качества в процесс команды — так, чтобы на неё опирались при принятии продуктовых решений
За 5 недель соберите eval-процесс на реальных прод-кейсах.

Часто задаваемые вопросы
1. Нужно ли уметь программировать для прохождения курса?

Да, базовое знание Python и понимание принципов работы с API LLM (например, OpenAI) необходимы для выполнения практических заданий и интеграции фреймворков.

2. Сколько времени занимает курс?

Около 4–6 часов в неделю на протяжении 5 недель — это совместимо с full-time работой.

3. Подходит ли курс, если мы используем open-source модели (LLaMA, Mistral) или другие API (Anthropic)?

Да. Все принципы применимы к open-source-моделям (LLaMA, Mistral) и к другим API, включая Anthropic.

4. Будут ли записи занятий?

Да, все занятия записываются — можно смотреть асинхронно в удобном часовом поясе.

Программа:

Пять сессий — пять симуляций реальных кейсов

5 сессий · 7.5 ч разговора

  1. Сессия 1. Интро и философия эвалов на простом кейсе
    Кейс — QnA-поиск по справке. Весь путь от продуктовой постановки до первого работающего эвала в ситуации, когда живых пользовательских данных ещё нет
  2. Сессия 2. Error analysis и почему eval-driven development — фантазия
    Почему нельзя один раз придумать идеальный эвал и «разрабатывать под него». Чтение трейсов, кластеризация ошибок, few-shot mining и автоподбор промптов через GEPA и DSPy
  3. Сессия 3. Мультимодальность: тот же инструментарий на генерации изображений
    Кейс — генерация кастомных картинок для печати на банковских картах. Рубрики безопасности, декомпозиция недопустимого контента и VLM-as-a-judge для визуального результата
  4. Сессия 4. Оценка чат-продуктов end-to-end
    Кейс — text2sql-ассистент с доступом к транзакционной базе пользователя. Multi-turn-оценка, симуляция пользователя через LLM, синтетические персоны и метрики сверх pass rate
  5. Сессия 5. Подведение итогов и рецепты для продакшна
    Финальная сессия — как на практике внедрить эвалы в команду. Технические рецепты плюс продуктовая и организационная сторона: стейкхолдеры, legal, антипаттерны
Что входит в курс:

  • 5 записей сессий с разбором
  • 5 реальных кейсов: от QnA до мультимодальности
  • 4 проекта в портфолио
  • Записи и материалы
Автор Андрей Киселёв

  • Head of Product, который строил, ломал и чинил AI продукты
  • Строил AI-продукты в продакшне: от первых RAG в маленьких командах до платформ с миллионами вызовов агентов в день
  • Работал в Revolut и Yandex, где отвечал за внедрение AI-фич
  • Истории и подходы из курса — то, что встречается в реальной разработке продуктов, с цифрами, ошибками и рабочими плэйбуками
Показать больше
 
Зарегистрируйтесь , чтобы посмотреть контент.
ai-агенты llmops mlops андрей киселев бизнес кулинария тестирование
Похожие складчины
Kail
Ответы
0
Просмотры
68
Kail
Kail
Kail
  • Закрепленная информация: Оплата на коме
  • Kail
0
Закрепленная информация
Оплата на коме
Ответы
0
Просмотры
156
Kail
Kail
Kail
Ответы
0
Просмотры
339
Kail
Kail
Kail
Скачать https://s10.skladchiki.pro/support-tickets/opisanie-v-skladchine-otlichaetsja-ot-vydannogo-avtorom-materiala.54535/ 24.04.2026 Жалоб не поступало. Автор изменил программу в процессе обучения [AI.Цех] Изучи мир AI-агентов. Тариф База [Никита Велс]
  • Kail
0
Закрепленная информация
https://s10.skladchiki.pro/support-tickets/opisanie-v-skladchine-otlichaetsja-ot-vydannogo-avtorom-materiala.54535/ 24.04.2026 Жалоб не поступало. Автор изменил программу в процессе обучения
Ответы
0
Просмотры
430
Kail
Kail
Показать больше складчин

Войдите или зарегистрируйтесь

Вы должны быть авторизованны для просмотра материала

Создать аккаунт

Создать учетную запись займет не больше минуты!

Войти

Уже зарегистрированы? Просто войдите.