MLечный путь 2024. Ежегодный митап MLOps и ML-инженеров от Selectel

MLечный путь 2024. Ежегодный митап MLOps и ML-инженеров от Selectel
Санкт-Петербург, ул. Цветочная, 19БесплатноОфлайн с онлайн трансляцией
DevOps, ML
https://selectel-events.timepad.ru/event/2832027/

Обсуждаем инфраструктуру для ML, разбираем сложности, тренды и инструменты построения production ML-систем. Особое внимание уделим актуальному тренду — LLM. Поговорим про оптимизацию моделей, безопасность LLM и сокращение расходов на их инференс.

Формат участия

  • офлайн — СПБ, Цветочная, 19
  • онлайн-трансляция

 Основные темы 

  • Тенденции развития генеративного ИИ
  • Оптимизация LLM и инфраструктурные векторы атак на них
  • Текущие перспективы Feast в качестве Feature store
  • Деплой ML-сервисов и сокращение затрат их работу

Кому будет интересно на митапе: 

  • MLOps и DevOps в ML-проектах
  • DevOps-инженерам и Data scientists
  • Менеджерам ML-проектов 
  • Техническим руководителям и CTO

Программа 

17:30 – 18:00 

Регистрация участников и экскурсия по дата-центру

18:00 – 18:10 

Приветственное слово от ведущего 

18:10 – 18:35

Юрий Классен, Руководитель группы MLOps, СберМаркет

Актуальный опыт внедрения feature store в командах МегаМаркет. Feast уже можно внедрять или ждём версию 1.0?

Одним из важных компонентов ML-платформы является хранилище фичей. Поделимся опытом использования одного из самых популярных, расскажем про его подводные камни, дадим рекомендации и обозначим ожидания от будущих релизов.

СберМаркет — онлайн-площадка с миллионами товаров и покупателей. Внутренние команды уже давно используют ML для решения большого количества задач. Для этого они построили собственную платформу и активно развивают ее с применением актуальных технологий и облачных ресурсов.

18:35 – 19:00 

Антон Алексеев, DevOps-инженер, Selectel

Ефим Головин, MLOps-инженер, Selectel

Непреодолимая легкость повышения утилизации GPU: Allocation и Profiling обычного человека.

Расскажем, как сократить расходы на самый дорогой ресурс в ML-системах. Поговорим о выборе конфигураций серверов, запуске на одной GPU нескольких небольших ML-задач и объединении карт для выполнения одной большой задачи.

Selectel — крупнейший независимый провайдер IT-инфраструктуры в России. Широкий выбор профессиональных GPU-карт, 15-летний опыт работы с серверным оборудованием, 1 место в рейтинге провайдеров GPU Cloud 2023.  

19:00 – 19:35

Сергей Мезенцев, Individual contributor, Dstack 

Как задеплоить свой ML-проект в разных облаках, если ты Data scientist и у тебя лапки в DevOps. 

Расскажем про open source инструмент, позволяющий без знаний инфраструктурных инструментов и особенностей провайдеров деплоить в них свои ML-сервисы.

Dstack — платформа с открытым исходным кодом, которая помогает ML-командам получать инфраструктуру для разработки, обучения и инференса ML-моделей во множестве облачных провайдеров.

19:35 – 20:00

Перерыв на кофе и неформальное общение со спикерами 

20:00 – 20:25

Василий Крикунов, Руководитель проектов в области ИИ, Axenix

Тренды GenAI их влияние на подходы к консалтингу B2B-компаний.

Расскажем про тренды в области Generative AI: как они влияют на стратегию развития компании Axenix и почему привели к разработке собственной платформы для LLM-ботов.

Axenix (ex. Accenture) — консалтинговая компания с 30-летним опытом в полномасштабных end‑to‑end проектах: создании бизнес- и ИТ‑стратегий с полноценным внедрением, разработке технологических решений и ПО, аутсорсинге. 

20:25 – 20:50 

Алексей Гончаров, CEO и founder, MIL Team

Быстрый и экономичный инференс LLM в прикладных задачах.

LLM-модели требуют большого количества вычислительных ресурсов и для обучения, и для inference. Разберем опыт уменьшения размеров LLM под одну GPU без потери качества.

MIL Team – российская команда разработки и поставки решений в области AI. Помогает компаниям проводить исследования и разрабатывать уникальные технологии в различных направлениях: NLP, CV, Sensors, DL Models Compression, RL, etc.

20:50 – 21:15 

Евгений Кокуйкин, Руководитель AI продуктов, Raft 

Инфраструктурные векторы атак на LLM: что говорит OWASP и чего в нем нет. 

Обсуждаем архитектуру LLM приложений, разберем угрозы связанные с инфраструктурными элементами приложений. Поговорим про безопасность LLM, supply chain, техники защиты и роль CISO при внедрении генеративного ИИ

Raft AI Labs — подразделение компании Raft, которое специализируется на разработке и интеграции решений с использованием новейших AI-технологий.

 

21:15 – 22:00 

Общение и ответы на вопросы

А ещё: Стенды с GPU-картами, розыгрыш мерча, знакомства, пицца и пиво после окончания докладов.

 

Регистрируйтесь!