otus devops практики и инструменты
Otus devops практики и инструменты
Quicker mitigation of software defects – The better communication and collaboration between operations and software development, you can identify and mitigate defects at any stage of the development cycle. The same culture can be applied to Application development
Better resource management – In the course of application and software development stage, developers and testers are constantly waiting for resources to arrive causing delays in delivery. Agi
В конце курса «DevOps практики и инструменты» студентов ждёт выполнение проекта. Это самостоятельная работа, необходимая для закрепления полученных знаний. Предлагаем вашему вниманию проект Александра Баркова, одного из лучших выпускников курса.
Мы в OTUS постоянно интересуемся мнением наших студентов о том, насколько им интересно учиться, что именно они узнают, чем запоминаются занятия, с какими проблемами сталкиваются. Специально для этого была внедрена опросная система, цель которой — улучшить качество образования и оперативно устранять возникающие проблемы. И конечно, мы всегда радуемся, когда студенты готовы дать фидбек не только в формате опроса, но и ответить на конкретные вопросы лично. Так мы связались с Иваном Борискиным, выпускником курса «DevOps практики и инструменты».
Проект CI/CD-системы курса «DevOps практики и инструменты»
В конце курса «DevOps практики и инструменты» студентов ждёт выполнение проекта. Это самостоятельная работа, необходимая для закрепления полученных знаний. Предлагаем вашему вниманию проект CI/CD-системы одного из лучших выпускников курса, Максима Деменева.
На основании данного приложения был выстроен процесс развёртывания инфраструктуры, процесс CI, процесс CD.
Инструменты и технологии
В проекте в той или иной мере использовались: — GCP, в частности, GKE как платформа; — Terraform для развёртывания кластера Kubernetes; — Kubernetes для создания условий функционирования микросервисов; — Helm для деплоя некоторых инфраструктурных приложений; — Docker-compose для тестирования работы приложения в локальном окружении; — Docker; — Travis-CI + некоторая обёртка bash как основная CI/CD система; — EFK-stack (Elasticsearch, fluentd, Kibana) для создания системы логирования; — Prometheus + Grafana для сбора и визуализации метрик; — MongoDB как БД для хранения данных приложения search_engine; — RabbitMQ как менеджер очередей для приложения search_engine.
Схема работы проекта
После развёртывания инфраструктуры в GKE вы можете приступить к работе (доработке) с приложением. По умолчанию при создании Kubernetes-кластера создаётся namespace prod, в котором находится основная ветка приложения (master); при создании любых других веток в репозитории git и отправке изменений в git будет создаваться отдельное окружение (namespace) с названием ветки git. После слияния изменений с веткой master все изменения приложений переносятся в окружение prod. Все dev-окружения необходимо удалять вручную.
Требования к запуску проекта:
— аккаунт в GCP; — Google Cloud SDK; — Kubectl; — terraform; — docker (опционально, аккаунт на docker hub); — (опционально) установленный и настроенный docker-compose.
Как запустить проект
Создание инфраструктуры
Запустить файл cluster.sh с параметром create или recreate:
Если запустить скрипт cluster.sh без параметров, будет показана справка.
ВАЖНО: 1) перед запуском скрипта убедитесь, что у вас заданы переменные SLACKAPIURL и SLACKCHANNEL. SLACKAPIURL — переменная с URL для API slack, SLACKCHANNEL — название канала в slack. Эти переменные нужны для алертинга от alertmanager. Если вы не хотите использовать алертинг, закомментируйте строки в файле cluster.sh либо задайте переменным любое мусорное значение; 2) перед запуском скрипта убедитесь, что вы находитесь в ветке master.
Результаты работы скрипта cluster.sh: — создание кластера kubernetes из 2-х нод; — удаление (полностью!)
/.kube/config; — создание нового
/.kube/config с контекстом нового кластера; — создание неймспейсов prod, logging, monitoring; — деплой в неймспейс prod выданного приложения вместе с MongoDB и RabbitMQ; — установка и настройка helm; — деплой Grafana и Prometheus в неймспейс monitoring. Оба приложения уже настроены в связке. В Grafana есть нужные дашборды, в Prometheus настроен service discovery; — деплой EFK-stack в неймспейс logging; — вывод всех актуальных данных кластера: IP для доступа к web-интерфейсу приложения, готовые команды для port-forward приложений на локальный компьютер.
Работа с приложением
Доступ к приложению можно получить по указанному в предыдущем пункте IP. Если у вас есть необходимость изменить/доработать приложение, просто создайте новую ветку (в имени ветки из спецсимволов допустимо использовать только «-«). Внесите изменения в приложение, запуште новую ветку в Git-репозиторий. Исходный код приложения находится в: — docker/search_engine_crawler; — docker/search_engine_ui.
Travis-ci проведёт необходимые тесты, если всё в порядке, создаст новый namespace (именно с именованием namespace в Kubernetes связано ограничение используемых символов в названиях веток), в который задеплоит новую версию приложения. Также Travis-CI выведет IP, по которому можно посмотреть приложение. В противном случае можете посмотреть IP-адрес в разделе Services в GKE. После слияния feature-ветки в master вам нужно будет самостоятельно удалить feature-namespace в kubernetes. Иными словами, при пуше изменений в ветку master меняется приложение в namespace prod.
При пуше изменений в любую другую ветку создаётся/меняется приложение в namespace с названием этой ветки.
Локальная работа с приложением
Для теста приложения на локальном компьютере используйте docker_compose/docker-compose.yml.
Технические подробности реализации проекта вы можете найти по ссылке на репозиторий Максима Деменева в GitHub.
Подробнее о курсе «DevOps: практики и инструменты»
Внутри современного IT-подразделения очень важно обеспечить взаимную интеграцию рабочих процессов между разработчиками, тестировщиками, специалистами по информационно-технологическому обслуживанию. Это ускорит выполнение поставленных задач, позволит оперативно обновлять программные продукты и услуги, повысит стабильность, надежность, безопасность и устойчивость production-среды. Лучший способ сделать цифровой бизнес более эффективным и привить вашей команде набор необходимых инженерных практик — пройти обучение на курсе «DevOps практики и инструменты».
Курс подготовлен официальным партнёром OTUS — компанией Экспресс 42, которая на протяжении уже более 5 лет помогает внедрять DevOps-практики в крупные российские и зарубежные организации.
Что входит в программу курса?
Программа составлена на основе опыта, накопленного компанией Экспресс 42. Цель — решить задачу взаимодействия инженеров между собой, что, в свою очередь, поможет им быстрее создавать и обновлять сервисы и приложения.
Программа включает в себя следующие модули: 1. DevOps: описание, история развития, локальное окружение инженера, знакомство с облачной инфраструктурой, основные сервисы GCP и пр. 2. Особенности управления инфраструктурой и конфигурацией (Packer, Ansible, Terraform). 3. Continuous Integration & Continuous Delivery с использованием Docker (gitlab). 4. Fast Feedback Loop (мониторинг и логирование), EFK (ElasticSearch Fluentd Kibana), Zipkin, Prometheus. 5. Контейнерная Оркестрация (Kubernetes). 6. Проектная работа.
В чём особенность курса?
Главная особенность заключается в специфике подачи материала. Речь идёт о постоянном переходе от абстрактного к конкретному: сначала даётся карта конкретных практик, после этого — отдельные подпрактики с моментальным погружением в инструмент. Так как карта практик для специалиста уже сформирована, риск попасть в колею прошлого опыта отсутствует.
Каковы итоги обучения?
В результате обучения на курсе вы подробно освоите инструменты и конкретные приёмы для реализации следующих практик: • инфраструктура как код; • непрерывная поставка ПО; • непрерывный сбор метрик (мониторинг и логирование).
Ознакомиться с программой более подробно вы сможете на странице курса. Если хотите задать вопрос, пишите комментарий!
DevOps-администратор: все о технологии DevOps и специалистах этой области
Прогресс никогда не стоит на месте. Сейчас на передовые линии выходят всевозможные информационные технологии. Они внедряются не только в качестве самостоятельных инструментов, но и в виде дополнений к деятельности компаний.
Организации в целях оптимизации расходов и поиска оптимальных выходов для привлечения клиентов ищут разнообразные аналитические и программные решения. В целях реализации поставленных задач нанимают специально обученных людей.
Некоторое время назад стала распространена вакансия, которая называется «DevOps-инженер». В данной статье будет рассказано о том, что это за сотрудник, чем он занимается, а также насколько перспективно выбранное направление. ДевОпс деятельность тоже будет раскрыта в полной мере.
DevOps – это
Впервые упомянутый термин появился в 2009 году. Это – методология взаимодействия разработчиков с работниками, занятыми информационно-техническим обслуживанием. ДевОпс описывает их интеграцию в целях обеспечения качества продукции.
Соответствующее направление объединяет в себе:
Так, разработчики придумывают и пишут приложение, тестировщикам приходится заниматься проверкой, а сисадмин будет устанавливать итоговый софт для дальнейшей работы на необходимые устройства. Раньше все это было отделено друг от друга. Позже появилась идея объединения перечисленных операций в ДевОпс. Так и возникли DevOps инженеры.
Что включает в себя ДевОпс
Если использовать Google и другие поисковые системы, можно увидеть, что DevOps состоит из нескольких частей. Он включает в себя четыре составляющие:
Google указывает на то, что неграмотное применение ДевОпсов приносит определенные проблемы всей компании. Принимаемые решения не позволяет бизнесу добиваться стремительного успеха. Также не исключены конфликты в команде между группами программистов и системных администраторов.
Важно: DevOps позволяет быстро и безопасно внедрять обновления и улучшения контента в целях увеличения конкурентных преимуществ софта. В результате получается извлечь из приложений максимальную прибыль.
Инженеры – кто это такие
Стоит обратить внимание на то, что с появлением упомянутого направления работы появились специалисты – DevOps инженеры. Соответствующая профессия не может называться однозначной. Описать ее несколькими словами проблематично.
На данный момент подобных кадров очень мало, но бизнесу они нужны. Поэтому при разработке программного обеспечения, а также его совершенствования соответствующие лица очень ценятся.
Согласно данным из Google, Девопс инженеры – это специалисты, которые способны проводить синхронизацию всех этапов создания утилит. От программирования кодификаций до тестирования и выпуска контента.
Такой работник разбирается в:
Подобный работник отлично решает нестандартные задачи и помогает всей команде находить «общий язык». Он отвечает за автоматизацию процессов.
В компании роль рассматриваемого сотрудника иногда распределяется между несколькими членами команды, каждый человек в которой имеет собственную, отличную от остальных специализацию.
Отличие от остальных IT-специалистов
Понимание относительно того, кто такие DevOps инженеры, на данный момент весьма расплывчато. Ни в Google, ни в других поисковых системах нет четкого определения соответствующего направления деятельности. Поэтому приходится разбираться, чем «девопсеры» отличаются от остальных IT-специалистов.
Их часто путают с системными администраторами (сфера DevOps тесно связана с этой областью), а также аналитиками больших данных. Далее рассмотрим ключевые различия между перечисленными кадрами.
Ключевые моменты
Стоит обратить внимание на то, что все упомянутые направления исторически появились в разное время:
Хотя кажется, что все перечисленные работники занимаются одним и тем же, у них огромная разница в прикладных сферах ответственности и объектах работы:
Также разница между рассматриваемыми областями, согласно данным из Google, заключается во взаимодействии с категориями участников IT-процессов:
Но и это еще не все. Цели и задачи у любой из упомянутой сферы деятельности будут сильно отличаться друг от друга. При помощи соответствующих знаний любой человек сможет определиться, в каком направлении ему работать в будущем.
Цели и задачи
Google – поисковая система, которая нередко помогает отыскать ответы на самые трудные вопросы. Это – простой способ поиска информации в Сети. И Google указывает, что цели и задачи у сисадминов, БигДата-специалистов и «девопсеров» колоссально различаются.
Системные администраторы в основном занимаются:
BigData-специалист отвечает за:
Принципы работы DevOps инженеров по данным Google – это:
Информация из Google, написанная выше, поможет разобраться в том, какой работник и чем конкретно занимается, а затем сделать осознанный выбор профессии.
Внимание: в условиях современного развития IT-технологий особым спросом пользуются БигДата-админы, а также DevOps инженеры.
Как начать карьеру «девопсера»
Google позволяет разобраться не только в том, чем занимается конкретный специалист, но и подсказывает более эффективный путь развития в выбранном направлении. Если заранее выяснить, какие навыки, знания и умения пригодятся «девопсеру» или другому кадру, получится в разы быстрее добиться успеха.
О спектре знаний
DevOps инженеры должны обязательно обладать следующими познаниями:
Также человек должен быть усидчивым, сообразительным и активным. Развитие коммуникативных навыков и стрессоустойчивость – верные друзья в построении карьеры. Навыки психологии тоже лишними не будут, но к обязательным их отнести нельзя. А вот понимание математики и информатики – да.
Инструменты
Google говорит о том, что DevOps инженер будет работать с определенным инструментарием. И в нем придется хорошенько разобраться. Иначе достигнуть успеха и быстрого продвижения по карьерной лестнице не получится ни при каких обстоятельствах.
Если верить Google, то DevOps инженеры должны уметь работать с:
Трудно поверить, но и это еще не все. В Google полно информации о том, в чем должны разбираться и уметь хорошие DevOps инженеры.
Дополнительные умения
Чтобы автоматизировать работу команды и получить максимальный результат, «девопсерам» придется хорошенько постараться. Для продвижения по карьерной лестнице нужно много работать и участвовать во всевозможных практиках.
А еще хорошо разбираться в:
Чем больше знает специалист, тем лучше. Спектр его умений пригодится и системным администраторам (не в сфере DevOps), и остальным членам команды.
О зарплате
Немаловажным моментом, которым интересуются люди перед началом любой работы – это вопрос заработка и карьерного роста. В ближайшее время соответствующая деятельность точно будет развиваться и цениться на рынке труда.
Вопрос заработка DevOps инженеров зависит от региона, в котором будет трудиться сотрудник. Новичкам готовы платить от 90 000 рублей в месяц, постепенно повышая подобный показатель.
Средний заработок рассматриваемой категории подчиненных в компании – 350-400 тысяч рублей. В некоторых фирмах готовы платить от 500 до 800 тысяч. Навыки таких работников высоко ценятся и будут цениться.
Об обучении
Также в Москве и других регионах страны встает вопрос относительно того, как именно можно стать DevOps инженером. Существуют различные варианты развития событий:
Каждый сам решает, каким образом ему поступить. Но понятно одно – «девопсеры» перспективны. И освоить подобную сферу деятельности будет проще сисадминам, IT-шникам и аналитикам.
Блог DevOps
Мы уже рассказывали про основные концепции Zabbix. Давайте посмотрим, что можно мониторить с его помощью.
DevSecOps может стать закономерным этапом по интеграции средств обеспечения безопасности в непосредственные процессы разработки, доставки и эксплуатации программного обеспечения. Давайте рассмотрим основные рекомендации, связанные с этим подходом.
Zabbix нередко называют швейцарским ножом системного администратора. Пусть этот инструмент и выглядит, как очередная система мониторинга, однако его возможности значительно шире, чем у многих других продуктов схожего назначения.
Хоть Kubernetes и предлагает широкие возможности для построения надежных кластеров, без правильно организованного мониторинга не обойтись. Мы уже рассказывали про такие связки инструментов, как Prometheus+InfluxDB+Grafana и Prometheus+ELK stack (ElasticSearch+Logstash+Kibana). Теперь поговорим про Datadog и NewRelic.
Для планирования приложений и управления ресурсами в Spark нередко применяют Yarn. Не секрет, что довольно долго Spark в Kubernetes значительно отставал по скорости и эффективности работы от Spark в Yarn. Однако сегодня производительность почти выровнялась, хоть Yarn и остается немного быстрее (приблизительно на 4–5 %).
События в Kubernetes показывают, что именно происходит в кластере при изменении состояния либо в случае ошибок, вызванных другими ресурсами системы. При этом события можно назвать типом ресурса, который автоматически создается через API-сервер всеми основными компонентами/расширениями в кластере.
Сегодня все и больше и больше специалистов по Data Science/Data Engineering применяют в своей каждодневной работе контейнеры. Такой подход дает возможность разделить рабочие среды, а также упрощает миграцию как из On-premise в облако, так и обратно. Пользуясь Kubernetes и контейнерами, вы, по сути, приближаетесь к Cloud Native. Что же, давайте посмотрим, какие конкретные плюсы можно получить, если запустить Spark внутри Kubernetes.
Quicker mitigation of software defects – The better communication and collaboration between operations and software development, you can identify and mitigate defects at any stage of the development cycle. The same culture can be applied to Application development
Better resource management – In the course of application and software development stage, developers and testers are constantly waiting for resources to arrive causing delays in delivery. Agi