<html><head><meta http-equiv="Content-Type" content="text/html charset=us-ascii"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><br class=""><div><blockquote type="cite" class=""><div class="">On Jan 12, 2015, at 1:08 PM, <a href="mailto:exarkun@twistedmatrix.com" class="">exarkun@twistedmatrix.com</a> wrote:</div><br class="Apple-interchange-newline"><div class=""><div class=""><blockquote type="cite" style="font-family: Menlo-Regular; font-size: 12px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class="">E.g. I need latency histograms, but this seems unsupported (benchmark results can<br class="">only have avg/min/max/stddev). For me, this isn't "nice to have", but essential.<br class="">Throughput is one thing. Constistent low latency a completely different. The latter is<br class="">much much harder.<br class=""></blockquote><br style="font-family: Menlo-Regular; font-size: 12px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><span style="font-family: Menlo-Regular; font-size: 12px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">Codespeed is terrible.  But this is not one of the ways in which it is terrible.  Codespeed doesn't care if you label your measurement "latency".  I think you've just noticed that what the existing benchmarks measure is mostly (entirely?) throughput.  If you wanted to write a latency benchmark, I don't think anything's stopping you.</span><br style="font-family: Menlo-Regular; font-size: 12px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""></div><br class="Apple-interchange-newline"></div></blockquote></div><br class=""><div class="">I believe Tobias was not saying "codespeed can't have a measurement called 'latency'" but rather "codespeed can't do histograms of measurements, which we need for measurement of latency and you don't need for measurement of throughput".  Is that accurate?  I don't know if there's a histogram feature hidden in the UI somewhere.</div><div class=""><br class=""></div><div class="">It would be nice to at least try a little bit to contribute things (like a histogram feature) to codespeed before charging off in a completely different direction.</div><div class=""><br class=""></div><div class="">-glyph</div><div class=""><br class=""></div></body></html>