Нейронные сети на Python

1. Введение в нейронные сети

• • Теоретическая часть: в рамках занятия рассказывается о задачах, которые решаются методами машинного обучения. Даются основные понятия о постановке таких задач, метриках качества, цикле разработки решения. Подробно рассказывается, в каких случаях классические методы уступают в качестве работы нейронным сетям.
  • Практическая часть: погружение в фреймворк PyTorch языка Python. Рассматривается пример модели для классификации изображений.

2. Работа с табличными данными* (входит в расширенную версию курса — 32 ак.ч.)

• • Теоретическая часть: в рамках занятия рассматриваются методы обработки и анализа табличных данных с использование библиотек pandas и matplotlib. Дается описание архитектуры полносвязной нейронной сети и разбираются математические основы ее работы.
  • Практическая часть: рассматриваются примеры решения задачи классификации на табличных данных. Разбирается код создания модели с нуля на PyTorch, подготовка данных и обучение модели.

3. Обработка изображений и решение задач компьютерного зрения

• • Теоретическая часть: на занятии вы знакомитесь с основными задачами компьютерного зрения (CV – computer vision), а именно: классификацией изображений, детектированием объектов на них, сегментацией различных участков изображений и определением ключевых точек. Даются основные понятия сверточных нейронных сетей и современных архитектур для решения указанных задач.
  • Практическая часть: примеры использования алгоритма Yola для детекции объектов на изображении. Разметка изображений с использованием инструмента Label Studio.

4. Задачи обработки текстовых данных

• • Теоретическая часть: на занятии рассказывается о задачах в области обработки естественного языка (NLP – natural language processing), среди которых выделяются классификация текстов, поиск ключевых сущностей, расстановка знаков препинания и капитализация, векторизация и поиск семантически близких текстов, а также суммаризация. Описываются классические частотные подходы к обработке текстов, а также нейросетевые на основе рекуррентных нейронных сетей и трансформеров.
  • Практическая часть: решение задачи поиска ключевых сущностей на основе регулярных выражения, фреймворка Natasha и предобученной сети BERT.

5. Большие языковые модели* (входит в расширенную версию курса — 32 ак.ч.)

• • Теоретическая часть: рассмотрим передовые решения для задач суммаризации и построения чат-ботов на основе больших языковых моделей (LLM – large language model). Дается обзор проприетарных и открытых решений. Описываются нюансы эксплуатации и обучения LLM.
  • Практическая часть: создание чат-бота на основе открытой модели. Тестирование модели суммаризации текста.

6. Основы работы с аудиоданными

• • Теоретическая часть: в этом уроке рассказывается о том, с чего начинается обработка аудио данных, какие задачи стоят перед инженерами и как они их решают. Упор делается на современные подходы для перевода речи в текст (ASR – automatic speech recognition), диаризации спикеров и классификации голоса по полу и эмоциям.
  • Практическая часть: построение пайплайна речевой аналитики с дополнительной частью по суммаризации полученных транскриптов речи

7. Подготовка моделей перед использованием в продуктиве

• • Теоретическая часть: в рамках урока делается обзор основных фреймворков для работы с нейронными сетями на языке Python, а также других языках. Дается описание основных форматов, в которые нейронные сети могут быть сконвертированы для дальнейшей эксплуатации. Отдельно уделяется вопрос унификации формата и конвертации в onnx, а также оптимизации под разные вычислительные платформы.
  • Практическая часть: конвертация PyTorch моделей в форматы onnx и trt. Пример использования фреймворка Tensorflow.

8. Встраивание моделей машинного обучения в программные решения

• • Теоретическая часть: на уроке подводятся итоги курса, систематизируется пройденный материал. Дополнительно рассказывается о современных подходах работы с моделями машинного обучения – MLOps. Раскрываются плюсы и минусы использования моделей в монолитных и микросервисных архитектурах.
  • Практическая часть: создание микросервисов для инференса моделей машинного обучения в рамках REST API сервиса и отдельного инфереснс сервиса для запуска моделей на примере Triton Inference Server и Tensorflow Serving.