ref: https://medium.com/sailpointtechblog/improving-on-call-engineering-at-sailpoint-35213090c35c
本篇是一個經驗分享文，Sailpoint 想要探討疫情後整個團隊是如何重建並且改善 On-Call 的整個運作模式。
因應 COVID 帶來的職缺變化，愈來愈多的遠端工作者加入到 SailPoint 的團隊中，整個 DevOps Team 的人數也因此整整翻了一倍。
過往的 on-call 流程基本上沒有什麼受到太多重視與關注，並且一直以來都運作的很好，但是隨者團隊人數與專案數量的提升，當前的運作方式只能用堪用來說
因此需要重新審思如何改善，加強整體效率。
SailPoint 之前的 On-Call 是使用 PageDuty 這套服務來處理的，因此團隊想要看看是否這中間還可以有改善的空間
不論是新的流程或是 PageDuty 有什麼功能是團隊還沒有妥善使用的。
Baby Steps with PagerDuty
PageDuty 有個名為 PagerDuty Virtual Summit 的年度盛會，作者團隊決定參加盛會來聽看看有什麼功能是目前沒有好好使用的。
除了 Digital Operations Tier 這個更加智慧甚至提供基於 machine learning 的相關控制功能外，作者團隊還學到了關於 Slack
的新整合功能，有鑒於整個團隊愈來愈趨向遠端協作， Slack 的使用也就變得愈加重要，因此團隊優先的將 Slack 整合該新功能。
Feature Rich Proof of Concept, A Short Story
1. 作者團隊於會後積極的聯繫 PageDuty 的團隊，想要針對各項新功能進行更多的探討與使用，這方面 PageDuty 也很積極的幫忙建立 PoC 環境與回答各種問題，讓團隊可以試用這些新功能
2. 第一個嘗試的功能是針對團隊的 RDS Alert 的智慧處理功能。過往當 DB 出現問題時 Cloud Watch 就會出現高達 60 多個相關 Alert，透過新的智慧功能這些 alerts 會被辨識為一個單一意外，就不會遇到 Alert 洗版的現象
3. 過往 RDS Alert 出現時，每次都要針對那些 Alert 一個一個的去 acknowledge，現在因為全部都統一辨識為單一 Alert，因此 acknowledge 也只需要執行一次，整個效率大幅度上升， on-call 的工程師可以花更多時間去專注解決問題。
4. 下一個嘗試的功能就是全新的儀表板，該儀表板顯示了 alerts 的趨勢變化與相關參數，這些資料讓該團隊每週的 on-call 會議有更多的資料去檢視過去一週的情況，藉此可以找到團隊中比較脆弱容易出事情的服務。
文章中還有兩個章節探討剩下的改善，對於 On-Call 有經驗也有興趣的人別錯過全文。
devops工程師是什麼 在 [心得] 初階DevOps/SRE 工程師是如何煉成的- 看板Soft_Job 的推薦與評價