<html><head><meta http-equiv="Content-Type" content="text/html charset=us-ascii"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><br class=""><div><blockquote type="cite" class=""><div class="">On Jan 10, 2015, at 3:59 PM, Dustin J. Mitchell <<a href="mailto:dustin@v.igoro.us" class="">dustin@v.igoro.us</a>> wrote:</div><br class="Apple-interchange-newline"><div class="">As someone partially responsible for the infrastructure Mozilla uses<br class="">to do its performance benchmarking, I can say that it's *really* hard.<br class="">Getting live operating systems to sit still and behave is a mess, and<br class="">then *keeping* them still over months and years (while attending to<br class="">necessary security upgrades, hardware migrations, and so on) is even<br class="">worse.<br class=""><br class="">One of the smarter things we've figured out how to do is to "phase in"<br class="">potentially disruptive changes so that we can either see that there's<br class="">no impact, or estimate a correction factor for comparing results<br class="">before and after the change.</div></blockquote><br class=""></div><div>In my unfortunately somewhat uninformed opinion, one thing that can really help is not to commit to long-term stability, but rather to just have a clearly documented log of operations performed on the monitoring cluster.  Twisted has far less intense performance-analysis requirements than Mozilla, I should hope, and a lot less data to deal with, so just the ability to see events on the X axis could be enough to tell contributors what's going on with performance deltas.</div><div><br class=""></div><div>I should point out that the <i class="">main</i> reason we need a performance testing rig is not continuous performance monitoring over time, but rather, clear performance tracking of individual changes, ideally <i class="">before</i> they land.  One of the things I'm unhappy about with speed center (and a big reason it's basically unmaintained) is that it's very hard to tell it to build a branch and to get a good picture of the aggregate effect of that branch on the benchmarks.</div><div><br class=""></div><div>-glyph</div><div><br class=""></div></body></html>