Провайдер нового поколения: Сбер дает доступ к своему облачному суперкомпьютеру и искусственному интеллекту
Облака из тренда превратились в норму жизни, но это не значит, что новым облачным провайдерам больше нечем удивить публику. О том, как Сбер делится своими наработками с другими компаниями и даже государством, нам рассказал Фёдор Прохоров, заместитель генерального директора по информационным технологиям компании SberCloud.
CNews: SberCloud — одна из новых компаний в цифровой экосистеме Сбера. Расскажите подробнее, для чего она была создана и чем вы занимаетесь?
Фёдор Прохоров: Мы молодая компания, созданная в 2019 г. Дело в том, что в Сбере накопилась достаточная экспертиза в области информационных и облачных технологий. Стало понятно, что она может быть востребована не только внутренними заказчиками, но и внешними. Так было принято решение создать компанию, которая будет облачным провайдером не только для банка и его дочерних компаний, но и для других организаций, будь то бизнес, государство или научные институты.
CNews: На российском рынке немало облачных провайдеров. В наш новый рейтинг только крупнейших поставщиков IaaS-2020 вошло 16 компаний, предоставляющих подобные услуги. На ваш взгляд, рынок насыщен слабо? Зачем нужен еще один провайдер?
Фёдор Прохоров: мы предоставляем не только традиционный сервис в виде IaaS, PaaS, но и решения, которые до нас в России получить было негде. Расскажу по порядку. У нас есть несколько продуктовых линеек. Первая, достаточно традиционная, — это то, что мы называем SberCloud Enterprise. Это как раз технология инфраструктуры как сервиса (IaaS), позволяющая любым компаниям легко войти на рынок облачных технологий.
Вторая большая часть — облачная платформа SberCloud Advanced, платформа как сервис (PaaS). В нее входит более 50 различных сервисов более высокого уровня, которые позволяют, как из деталей «Лего», собирать, строить приложения. И всё это настолько просто, что при желании можно буквально в течение часа составить из вот этих кубиков трехзвенную архитектуру приложения, у которой будет фронт-энд передача данных и бэк-энд, и все это будет работать, автоматически масштабироваться и служить хорошей основой для разработки любых коммерческих продуктов и решений.
И третья большая часть — это суперкомпьютер «Кристофари», а также облачные сервисы для работы с ним. «Кристофари» — самый мощный и современный в России суперкомпьютер, построенный на передовых технологиях решениях NVIDIA DGX, InfiniBand, NetApp ONTAP AI и доступный нашим клиентам через публичное облако.
Недавно мы запустили новую облачную платформу для работы с искусственным интеллектом — ML Space. Это набор инновационных взаимно интегрированных ML-продуктов для тех, кто занимается большими данными и машинным обучением, который с одной стороны позволяет дата-сайентистам сосредоточиться на своей основной профессии — построении и обучении моделей и автоматизировать рутинные задачи, такие как подготовка/очистка данных и пр. С другой стороны, ML Space демократизирует ресурсы суперкомпьютера и технологию машинного обучения, упрощает работу с ними. Не все могут позволить себе купить дорогостоящее «железо» для обучения нейросетей и не у всех в штате есть достаточно квалифицированные сотрудники для того, чтобы этими ресурсами правильно воспользоваться.
ML Space позволяет ускорить, оптимизировать и упростить процесс обучения моделей, препроцессинга данных и развертывания моделей на высокопроизводительной инфраструктуре (до 1000+ GPU) для последующего внедрения их в микросервисы, функции и приложения. Сегодня ML Space — это единственная в мире облачная платформа, позволяющая обучать ИИ-модель более чем на 1000 графических процессоров (GPU). С появлением «Кристофари» и ML Space самый широкий круг компаний и организаций может использовать ML-технологии для решения своих бизнес-задач.
Переход в облако не всегда проходит легко, так как компании могут иметь не самое новое оборудование и сложную архитектуру, которые не приспособленны к облакам
CNews: Получается, что ваше конкурентное преимущество в том, чтобы не отказываться от традиционных услуг, вместе с тем предоставляя новые сервисы?
Фёдор Прохоров: Да, действительно мы не отказываемся от IaaS-продуктов, потому что понимаем, что это некая первая ступень, но намного больший фокус сейчас у нас именно на PaaS-решениях и на том, что можно называть AI as a Service и ML as a Service. Последнее направление, кроме ресурсов и программных продуктов, включает в себя консалтинг, чтобы показать, как компании могут извлечь прибыль из всей мощности нашего суперкомпьютера «Кристофари». Мы изначально, при проектировании этого суперкомпьютера, предполагали и планировали, что вся его мощность должна быть доступна из публичного облака для того, чтобы предложить сервисы для работы с искусственным интеллектом как сервис для всех клиентов: неважно, входят они в группу «Сбер» или нет.
CNews: Легко бизнесу «переезжать» в облако? Есть ли какие-то сложности?
Фёдор Прохоров: Мы стараемся коммуницировать и начинать диалог с нашими потенциальными клиентами на самых ранних стадиях для того, чтобы понять их текущую архитектуру. В облаках оказываются не только стартапы. Иногда это компании с историей и уже накопленной базой, обремененная технологиями. В этом случае нам нужно вместе подумать о том, как все эти накопленные ИТ-системы и процессы ложатся на облачную инфраструктуру. Не всегда это происходит легко, потому что в имеющихся ИТ-ресурсах компании-заказчика может быть не самое новое оборудование, какие-то не очень новые архитектуры, которые не приспособленны к облакам. Бывает так, что есть специфические потребности в оборудовании.
Говоря о таких сложностях, приведу яркий пример. В принципе, он не относится напрямую к экосистеме, потому что у нас довольно похожий подход для всех клиентов, вне зависимости от того, являются они частью нашей экосистемы или нет. К нам приходили небольшие компании буквально с такими словами: «Вот у меня под столом есть сервер, на нем работает бухгалтерская программа из 90-х, заберите его в облако». И тут приходилось, конечно, объяснять, что так просто это не работает. Возможно, стоит пересмотреть архитектуру, проанализировать то, как заказчик использует продукты от тех или иных вендоров, потому что не все решения могут заработать.
Но, с другой стороны, мы не просто заявляем таким компаниям, что этого сделать нельзя, потому что у вас что-то не подходит или несовместимо с облачными технологиями. Мы рассказываем, как легко и эффективно ситуацию поменять. Иногда для этого достаточно просто перейти на более новые версии ПО или нужно поменять какие-то продукты, принять решение внедрить что-то более сложное, но, в любом случае, у нас есть специальные люди, которые помогут перенести бизнес в облако надежно и быстро.
Более того, мы недавно открыли новое бизнес-направление SberCloud Professional & Managed Services — экспертные услуги поддержки бизнеса на всех этапах облачной трансформации. Это комплекс инженерных и консультационных услуг по внедрению и адаптации облачных продуктов, включая технологический консалтинг, миграцию, а также установку и настройку ПО в облаке SberCloud. Новые сервисы решают проблему дефицита времени, трудовых ресурсов, облачных компетенций для реализации быстрой, безопасной и экономически эффективной миграции в наше облако.
CNews: Облака долго держались в новейших трендах, но сейчас они уже превратились в обыденность. Какие новые тенденции вы видите в 2021 г.?
Фёдор Прохоров: Я думаю, сложно назвать какой-то более очевидный тренд, чем различные формы онлайн-коллабораций и коллективной работы. Все понимают, какой огромный скачок осуществили компании, работающие в этой сфере. Люди по всему миру проводят огромное количество времени на онлайн-конференциях, распределенные команды становятся мейнстримом и я думаю, что это направление продолжит развиваться. Мы навряд ли полностью вернемся к тому офлайн-режиму, когда все работают в офисе.
Скорее, будет реализован какой-то гибридный режим, когда часть сотрудников работает в офисе, а часть — на удаленке, а может, и все сотрудники в будущем будут работать из дома. Для этого требуется дальнейшее развитие именно вот таких коллаборационных технологий. Сейчас уже достигнут достаточный уровень, обеспечивающий хорошее качество видео и голоса. Теперь основной упор делается на повышение качества ощущений пользователя, чтобы приблизить вот такое онлайн-взаимодействие к реальному общению, от которого отказываться не хочется.
CNews: Мы все скучаем по общению вживую, но, с другой стороны, инструменты удаленной работы дают возможность не ограничиваться географией. Бизнес может выбирать специалистов по всему миру.
Фёдор Прохоров: Я согласен. И это видно даже на примере таких, достаточно консервативных, компаний, как организации финансовой сферы. Свобода удаленной работы дала возможность привлекать таланты из других городов и стран. Организации привлекают больше квалифицированных специалистов, а люди, находящиеся вдали от каких-то центров или больших городов, точно так же находят интересную работу и профессионально растут. Это как раз та свобода, которая позволяет вместе с современными облачными технологиями и во многом благодаря им, получать информационные ресурсы вне зависимости от того, где находится та или иная компания или какие технологии она использует. Уверен, что сочетание удаленной работы, талантов и ресурсов позволяет строить и развивать бизнес отовсюду. Облака в этом всегда помогут.
Как и для чего мы построили ML Space
Речь пойдет о платформе для ML-разработки полного цикла. Работа над ней стартовала с запуска одной из наиболее производительных вычислительных систем в России — суперкомпьютера Christofari. Расскажем, как мы строили ML Space и что предлагает платформа.
Почему мы занялись этой темой
Системы AI постепенно внедряют компании из самых разных отраслей. С их помощью ритейлеры прогнозируют спрос и оптимизируют логистику, медицинские сервисы распознают снимки компьютерной томографии легких, а маркетологи минимизируют дизайнерскую рутину. Профильные проекты развивают и в IT — например, инженеры «Работа.ру» представили систему, которая помогает соискателям находить вакансии, а в SberAutoTech нейросети строят маршруты для беспилотников.
Работа над такими задачами AI и ML подразумевает анализ и обработку крупных сводов данных, которые нужно где-то хранить и оперировать ими. Для этого необходимы серьезные вычислительные мощности, которые сейчас в дефиците, поскольку ряд вендоров покидают российский рынок. При этом одной только технологической базы недостаточно, нужна команда с соответствующей экспертизой не только в области ML-разработки, но и опытные DevOps, а также администраторы для настройки инфраструктуры и инструментов.
Именно поэтому мы в SberCloud решили запустить платформу для коллаборации дата-сайентистов и сочувствующих — ML Space. Здесь создание окружения или деплой модели делается в несколько кликов. А началось все с постройки суперкомпьютера Christofari еще в 2019 году, вот как это было.
Сперва был суперкомпьютер
Высокопроизводительную вычислительную систему мы построили на узлах NVIDIA DGX-2. Каждый из них содержит шестнадцать карт Tesla V100, сами узлы объединены высокоскоростной коммутирующей сетью Infiniband. Также узел имеет 1,5 Тб оперативной памяти и поддерживает интерконнект между GPU на скорости 50 ГБ/c. В качестве источников данных выбрали высокоскоростные СХД, подключенные через выделенные сетевые порты.
После настройки железа мы занялись подготовкой инструментария для запуска распределенных задач. Первым делом подняли кластер Kubernetes, на котором пользователи могли развертывать бесплатные Jupyter-серверы или запускать распределенные задачи машинного обучения.
Для запуска распределенных задач пользователям было достаточно выбрать образ для обучения, выбрать исполняемый скрипт и определить объем вычислительных ресурсов. Первое время платформа поддерживала только скрипты Python, но позже мы расширили её возможности до запуска задач shell-скриптами. Тесты инфраструктуры провели наши коллеги из подразделения SberDevices, обучив языковые модели виртуальных ассистентов «Салют».
Тогда мы обнаружили, что у нашего решения есть ряд недостатков — например, не всем пользователям и клиентам нужно распределенное обучение на десятки видеокарт, а некоторым пользователям еще и нужны Jupyter-ноутбуки с прямым доступом к GPU. В итоге мы добавили возможность запускать контейнеры с Jupyter на ресурсах с GPU и интегрировали предварительно настроенные фреймворки TensorBoard и MLflow, а также добавили мониторинг GPU в привычной Grafana.
На этом этапе решение смогли опробовать «СберЗдоровье» и NLP-команда SberDevices. В результате получился сервис автоматизированного распознавания пневмонии на снимках КТ и ruGPT-3 — самое большое семейство русскоязычных моделей для генерации текста.
Потом был инференс
На предыдущем этапе клиенты успешно использовали нашу инфраструктуру для обучения собственных моделей. Но это — лишь малая часть задач дата-сайентиста. Чтобы вывести модель в продакшн, ему нужно настроить веб-сервер и резервирование, выделить ресурсы, провести нагрузочное тестирование. То есть выполнить большое количество ручной работы.
Чтобы исключить рутину, мы добавили на платформу модуль Inference. Он превращает любую ML-модель в веб-сервер с возможностью автоматического масштабирования при росте нагрузки. Его мы построили на базе Kubernetes с несколькими вариантами развертывания. Пользователь может включить автомасштабирование по нагрузке или поднимать дополнительные поды самостоятельно по мере необходимости (и отключать их за ненадобностью), чтобы сэкономить деньги, а может — держать поды в горячем режиме, чтобы система максимально быстро генерировала прогноз в ответ на запрос.
Демонстрация запущенных деплоев в консоли ML Space
Дальше мы поставили новую цель: трансформировать имеющиеся сервисы в платформу полного цикла для ML-специалистов и их совместной работы — так появилась ML Space.
К платформе ML-разработки
Для поддержки полного цикла разработки — от получения информации до развертывания и мониторинга финального бизнес-решения — нам пришлось модифицировать архитектуру, добавить возможность совместной работы, а также внедрить общие файловые хранилища и новую парадигму биллинга. После мы приступили к разработке сервисов, упрощающих взаимодействие с данными.
Перед обучением ML-модели необходимо получить данные, провести их очистку и дедупликацию, проанализировать выбросы и пропуски в данных. В итоге на непосредственное обучение ML-моделей команды тратят лишь треть своего времени. Чтобы работа с данными стала проще, мы внедрили еще одно нововведение: модуль Data Catalog. Он предлагает интерфейс файлового менеджера, развернутый поверх S3, а также сервис миграции данных с набором коннекторов для переноса данных между HDFS, MySQL, MSSQL и другими популярными источниками.
Также в Data Catalog есть Docker registry, который позволяет управлять пользовательскими docker-контейнерами. Наши дата-сайентисты разработали более тридцати базовых docker-образов с настроенными зависимостями под разные типы видеокарт, а также популярными библиотеками и инструментами. Помимо этого, пользователи могут собирать кастомные образы, в том числе наследуясь от базовых, если для проекта нужны какие-нибудь особо редкие библиотеки или плагины.
Для еще большей свободы добавили возможность подключаться к развернутым docker-образам по протоколу SSH. Благодаря этому продвинутые пользователи могут подключаться в контейнер напрямую. Это очень удобно: можно оперативно просматривать информацию о задачах обучения или, например, выполнять отладку кода.
Вторым большим новшеством стал модуль AutoML, который мы реализовали совместно со Sber AI. Он позволяет обучать модели машинного обучения без написания кода. В основе лежит наш open source фреймворк LightAutoML. Еще полтора года назад показывал результаты на уровне топовых дата-сайентистов, а на бенчмарке OpenML обходил решение H2O.
Сначала он мог работать только с табличными данными, после добавилась возможность работать с задачами компьютерного зрения (CV) и обработкой естественного языка (NLP).
Совсем недавно мы релизнули новую возможность: теперь работать можно еще и с временными рядами (это полезно, например, если надо спрогнозировать биржевой курс). А в рамках компьютерного зрения теперь получится не только решать задачи регрессии и классификации, но и выполнять детекцию и сегментирование объектов на изображении. Еще мы реализовали возможность получения пакетных предсказаний — batch prediction. Он позволяет загрузить csv-файлы без развертывания модели. Задачи AutoML можно запускать через веб-интерфейс без единой строки кода, а также автоматически развертывать обученную модель.
Что еще может ML Space
Очевидно, что с ростом пользовательской базы возросла нагрузка на суперкомпьютер. Поэтому второй суперкомпьютер не заставил себя долго ждать. Новой эрой в развитии платформы стал запуск Christofari Neo. Его производительность почти 12 петафлопс, так как в основе лежат мощнейшие 700+ GPU Tesla A100 80 GB. С ними можно работать на больших объемах данных и масштабных моделях машинного обучения. На этапе проектирования мы учитывали даже параметры нагрева оборудования и его влияние на производительность, определяя оптимальное расположение серверов в стойках. Чтобы пользователи могли начать работу с новым суперкомпьютером, мы загрузили в ML Space готовые образы с последними версиями CUDA и ML-фреймворков.
Выбор региона размещения в консоли ML Space
С созданием второго суперкомпьютера родилась и мультикластерность. Идея в том, что пользователи ML Space теперь могут выбирать любой из доступных кластеров Christofari и других регионов. Например, мультикластерную опцию использовала команда SberDevices при обучении своих языковых моделей ruGPT-3. Так для задач обучения моделей ruGPT-3 использовался Christofari первый с картами Tesla V100, для ruDALL-E и ruCLIP — Сhristofari Neo с Tesla A100, а легкие задачи, не требующие графических карт, запускались на CPU-инстансах, их тоже можно выбрать при создании нового Jupyter Server.
Решение оказалось удачным и полезным: за прошедший год платформой воспользовались 1,5 тыс. человек из более чем 250 команд, было загружено свыше 2,5 ПТ данных, запущенно свыше 30 000 задач обучения и 15 000 ноутбуков.
Еще из полезного — платформа получила аттестат соответствия требованиям приказа ФСТЭК №21. Теперь она обеспечивает первый уровень защищенности персональных данных в облаке (УЗ-1) — в том числе биометрических — что расширяет спектр задач для клиентов и делает её еще более универсальной.
Так, например, аттестат УЗ-1 открывает новые возможности и для IT-компаний: теперь они могут решать больше задач с самыми чувствительными данными, в том числе связанных с компьютерным зрением (CV), оптическим распознаванием символов (OCR) и автоматизированным переводом неструктурированных документов в структурированную информацию (IDP). В ритейле ML Space позволит буквально узнавать постоянных покупателей «по походке лицу», а в промышленности — провести идентификацию сотрудников, даже если на них надеты маска, очки или респиратор.
Но и это еще не все.
Для работы с моделями машинного обучения нужны большие объёмы данных и вычислительные мощности, и не у каждого бизнеса они есть, а также не каждый бизнес может себе позволить их хранить и обрабатывать. Чтобы помочь компаниям самых разных размеров начать работу с машинным обучением, мы запустили маркетплейс, где собраны предварительно обученные модели. Например, там есть решения для генерации картинок и текста, синтеза и распознавания речи на русском языке.
Однако, даже при использовании готовых решений и предобученных моделей, компании необходимы специалисты, которые будут заниматься вопросами дообучения и интеграции. Выходом из ситуации может стать привлечение экспертизы со стороны. Для тех, у кого нет своих дата-сайентистов, мы запустили консалтинг: наша команда дата-сайентистов погружается в задачу бизнеса, подбирает профильных специалистов и разрабатывает модель машинного обучения «под ключ». А если бюджет проекта строго фиксирован или хочется, например, схантить лучших спецов к себе в штат, мы можем организовать поиск решения в формате хакатона на площадке DS Works. Там группы энтузиастов предложат нестандартные подходы к задаче, а заказчик при этом получит лучшее решение, прошедшее «естественный отбор».
В целом, многие из подобных инструментов и возможностей поставляют западные площадки и вендоры, но далеко не всем они сейчас доступны. Некоторые ограничивают регистрацию или приостанавливают продажу своих сервисов, другие — продолжают обслуживать действующих пользователей, но тут возникают сложности с точки зрения оплаты. Многие повышают стоимость услуг и ресурсов.
Мы в SberCloud со своей стороны хотим, чтобы компании и предприниматели могли свободно экспериментировать, создавать новые инструменты и внедрять технологии машинного обучения в свои продукты и сервисы, поэтому предлагаем гранты для всех желающих протестировать ML Space. Пока опция доступна только для юрлиц, но мы постараемся, чтобы вскоре доступ появился и у независимых специалистов.
ML Space для бизнеса: сценарии использования облачных технологий
ML Space появилась в конце 2020 года, как единственная в своем роде облачная платформа полного цикла, которая представлена на рынке целой линейкой продуктов для бизнеса. Проще говоря это рабочее пространство для аналитиков данных и дата-сайентистов. Специалистам любой сферы стал доступен самый мощный российский суперкомпьютер “Кристофари” для машинного обучения. Какие сценарии использования есть у отечественного бизнеса и какие перспективы в связи с этим появляются у рынка рассказал Software Developer, программист, разработчик ML Space Сергей Красочкин.
Справка: ML Space был впервые представлен широкой общественности на ежегодной конференции AI Journey 2021 компанией SberCloud. Простыми словами ML Space — это облачный сервис для специалистов в области машинного обучения (machine learning). Платформа была анонсирована, как уникальный цифровой продукт, способный ускорить, оптимизировать и облегчить процесс разработки и применения моделей машинного обучения и нейросетей.
Сергей, вы признанный эксперт в сфере программирования, а на вашем счету разработка ряда инновационных решений. Расскажите, над какими проектами вы работали?
Я занимался созданием порталов и платформ для «Лукойл» и Mail.ru, запуском суперкомпьютеров Christofari и Christofari Neo, платформы для совместной ML-разработки с ускорением до более 1700 GPU Tesla v100 и A100, а также интеграцией проекта суперкомпьютера с технологиями Intel. В 2020 году занялся разработкой ML Space – единственной в своем роде облачной платформы полного цикла, созданной для аналитиков данных и дата-сайентистов.
Как появился “Кристофари” и какие перспективы его коммерческий запуск дает российским предпринимателям?
К моменту создания суперкомпьютера компания Сбер поняла, что потребление серверных мощностей для решения собственных задач стало настолько огромным, что целесообразнее было создать свой суперкомпьютер. Так и появился “Кристофари”. Его основная цель – обучение нейросетей, коммерческие и научно-исследовательские расчеты. Запас его мощности на порядок больше собственного потребления Сбера, поэтому появился запрос на коммерциализацию деятельности — тогда и родился облачный ML Space. Сначала это был очень специфический сервис, заточенный под высококвалифицированные кадры. Им могли пользоваться единицы. Постепенно мы работали над тем, чтобы сделать платформу более демократичной. Это существенно расширило список потенциальных клиентов. Как следствие, сегодня любой бизнес может использовать платформу для решения своих задач с помощью машинного обучения.
Расскажите подробнее, что такое “машинное обучение” и как его использует бизнес?
Если говорить простым языком, то “машинное обучение” – это прикладной инструмент с широким диапазоном возможностей для решения различных бизнес-задач. С таким объемом данных работают дата-сайентисты, которые создают специальные микросервисы. Эти сервисы с помощью машинного обучения обеспечивают работу нужной функции в приложениях. Иными словами с помощью ML создаются системы, которые развиваются, скажем так, самостоятельно, используя для этого результат анализа большого объема структурированных и неструктурированных данных. В несколько кликов можно проверять гипотезы, всего за несколько часов испытывать новые проекты, разрабатывать алгоритмы. Это на порядок сокращает время вывода на рынок нового продукта, соответственно снижает издержки, в первую очередь финансовые.
Примеры использования машинного обучения сегодня есть практически во всех сферах бизнеса. Если вы посмотрите на список 500 крупнейших мировых компаний и проверите их кадровый состав, то увидите, что каждая имеет в своем штате дата-сайентистов. На основе их результатов работы и создаются программные продукты, которыми вы пользуетесь каждый день.
Приведите пример результатов работы machine learning? Какие сферы бизнеса уже сейчас могут использовать ML Space?
В современной жизни примеров использования машинного обучения масса. Чат-боты, голосовые помощники, интеллектуальные мобильные приложения и магазины без кассиров. Звучит вполне современно, но один из самых известных примеров машинного обучения знает каждый взрослый современник 90-хх. Знаменитая победа компьютера в шахматном поединке над Гарри Каспаровым в 1996 году вошла в историю как первая машина победившая человека.
Если говорить о сферах бизнеса, то сейчас это, в первую очередь, — банки, страховые компании, телеком и все, кто имеет в распоряжении большой объем накопленных данных. Помимо этого, экосистемы крупного бизнеса и разного рода ML стартапы. В этом смысле ML-Space является грантодателем для малого бизнеса, предоставляя им возможность воспользоваться ранее не доступными технологиями, которые помогут получить больше прибыли за счет снижения затрат на сервис, складскую деятельность, обслуживание и прочее. Стоимость аренды мощностей ниже рынка, кроме этого абонентам доступна посекундная тарификация.
Как сегодня оценивается потенциал ML рынка?
Основным барьером на пути повсеместного использования возможностей искусственного интеллекта является неосведомленность предпринимательской сферы. Бизнес или не знает, что такие альтернативы существуют, или не понимает, как их правильно применить. Поэтому сейчас работа направлена в первую очередь на информирование и на созданием приемлемых финансовых предложений на ML рынке.
Платформа ML-Space способна существенно снизить порог входа в сферу машинного обучения. И бизнес моментально это ощутит, поэтому при сегодняшних темпах внедрения и развития мы ожидаем взрывной рост эксплуатации через 2-3 года. Применение платформы возможно практически в любой сфере бизнеса. Мы ожидаем, что следующими за бизнесом сегментами экономики, вошедшими на этот рынок станут наука, транспорт и государственный сектор.
Сергей, расскажите, а кем вы были в начале своей карьеры?
Я учился на программиста, но к работе по специальности я пришел не сразу. Долгие годы я работал в банковской сфере, а точнее в трейдинге. Позже я занялся программированием. Я довольно легко принимаю решение о смене места работы – однажды я уволился через три дня после трудоустройства. Для продвижения в профессии всегда очень важно четко понимать, к чему ты идешь и чем хочешь заниматься, а не растрачивать впустую время и силы – только тогда станешь специалистом высокого уровня.
Вы работали senior software engineer в VK, тогда еще Mail.ru Group. Чем вы занимались там?
В Mail.ru Group мы с командой делали портал. Это корпоративная сеть, которая решала повседневные трудовые и нерабочие вопросы сотрудников компании от заказа обеда на рабочее место или покупки билетов в театр до замены оборудования на рабочем месте. Моя часть функционала в дальнейшем касалась написания софта. Задача была довольно объемная. Мы собирали пожелания, строили архитектуру программы, писали, тестировали, а затем переписывали и снова тестировали. На выходе получился крутой продукт, которым пользовались все сотрудники Mail.ru. Потом мы писали подобную программу для крупнейшей нефтегазовой Лукойл. И тут речь идет не просто и копировании программы со сменой логотипов, а ее полном переписывании. Поскольку внутреннее исполнение очень сильно зависит от количества пользователей и уровня развития технологий в отдельно взятом моменте. Это как создавать сайт, который посмотрят хорошо если 10 человек в неделю, против сайта для тысяч пользователей в час. Снаружи все одинаковое, а внутри все смоделировано иначе.
А как вы считаете, какие знания нужны специалисту, чтобы стать таким востребованным и признанным в сфере специалистом, как вы?
На личном примере убедился, что необходимо обрести навык не только формировать успешную команду, но и мотивировать ее на положительный результат, работать в условиях ограниченного дедлайна, быстро осмыслять поставленные техзадачи, уметь предлагать заказчику дополнительные возможности в рамках уже поставленной задачи. Конечно, нужно всегда стремиться к изящной интегрированной архитектуре при разработке платформ и создавать интеллектуальную Web-упаковку.
ML Space
ML Space предназначена для создания и развёртывания моделей машинного обучения на высокопроизводительной инфраструктуре. В платформе предусмотрена возможность совместной командой работы на каждом этапе — от работы с данными до деплоя модели
— Эффективная производительность в двойной точности составляет почти 12 петафлопс (11.95 PFLOPs)
— Графические процессоры NVIDIA A100 с 80 Гб памяти
Благодаря двум суперкомпьютерам Christofari & Christofari Neo платформа ML Space получила суммарную мощность 1700+ GPU