How we monitor 1 million builds per month to let the car brake
In unserem Vortrag zeigen wir, wie Builds skalierbar überwacht und Abfragen zu Metainformationen, Laufzeiten, Fehlermuster und Infrastruktur, mit ansprechenden Dashboards möglich sind. Umgesetzt wurde dies auf Basis von Logs, mittels einer Eventstreaming-Architektur und dem ELK-Stack.Mit dieser etablierten Lösung analysieren wir bis zu 300M Logzeilen pro Tag und überwachen zehntausende Projekte über mehrere Master und 800 Build-Agents hinweg, um Continuous Delivery für 1000 Softwareentwickler zu unterstützen.
Die Infrastruktur unserer Beispiele stellen wir als Kubernetes Deployments zur Verfügung, damit die Zuhörer sie später bei den üblichen Cloud-Providern ausführen können.
Vorkenntnisse
Die Besucher sollten grundsätzliche Verständnisse des Jenkins-Umfelds mitbringen. Es ist von Vorteil, bereits Erfahrungen mit dem den ELK-Stack (Elasticsearch, Logstash, Kibana und auch Filebeats) zu haben, jedoch nicht erforderlich, um den Vortrag zu folgen.
Lernziele
* Verständnis der Problemstellung, ausgewählten Softwarekomponenten und Lösungsarchitektur
* Verständnis eines Anwendungsszenarios für Filebeats, Kafka, Elasticsearch und Kibana
* 100 % Nachprüfbarkeit: Vollständige Lösungsarchitektur wird als Kubernetes Deployment den Zuhörern zur Verfügung gestellt
Speaker
Fabian Fichter ist freiberuflicher Softwareentwickler mit Spezialisierung auf Microservices, Eventstreaming und Analytics. Dabei beschäftigt er sich intensiv mit neuen Technologien und Lösungsideen.
Marius Keppler arbeitet als Engineer Continuous Deployment Tools bei Continental Teves AG & Co. oHG. Er ist Softwareentwickler und Scrum Master in einem verteilten Team. Sein Fokus liegt im Bereich Microservices, Jenkins Pipelines und Datenbanken.
