Kies je nieuwsbrief niet op opens

Bij De Zaak gaat elke week een nieuwsbrief naar zo’n 60.000 ondernemers. Om de onderwerpregel te testen draaide er een split-run: 20 procent krijgt variant A of B, en na een uur gaat de winnaar naar de andere 80 procent. De winnaar was de variant met de meeste opens.

Ik heb de 28 split-runs van half juli tot half september naast elkaar gelegd. Niet op opens, maar op kliks: hoeveel ontvangers klikten op iets.

• 12 keer niet: de rest kreeg de variant met minder kliks
• 16 keer wel

De Zaak, Weekly en Weekoverzicht, drie segmenten, 17 juli t/m 18 september 2026. Winnaar per test gekozen op opens; vergeleken op unieke kliks per ontvanger. 20 van de 28 tests waren te klein voor een harde uitslag.

12 van de 28 keer de verkeerde

In 12 van de 28 tests kreeg de grote groep de variant die minder kliks opleverde. Een voorbeeld: in week 33 klikte bij de zzp’ers 3,22 procent op variant A en 2,08 procent op variant B. B had meer opens, dus B ging naar 48.000 mensen.

Waarom opens weinig zeggen

Een open wordt geteld als een onzichtbaar plaatje in de mail laadt. Apple Mail laadt die plaatjes vaak vooraf, ook als niemand de mail leest. Wie een iPhone of Mac gebruikt, telt dan als open. Hoeveel dat er zijn, verschilt per lijst en per dag. Het verschil tussen twee varianten is daardoor vaak ruis.

Een klik is wel echt: iemand wilde verder lezen.

De meeste tests waren te klein

Er zit een tweede les in. 20 van de 28 tests gaven geen harde uitslag, ook niet op kliks. Een testgroep van 2.500 tot 6.000 mensen per variant is te weinig om een verschil van een paar tienden van een procent te zien. Dan kies je met een muntje.

Over alle tests samen viel wel iets op: een onderwerpregel met één onderwerp won 18 van de 28 keer van een regel met drie onderwerpen.

Wat we hebben afgesproken

• De winnaar kiezen we op unieke kliks per ontvanger, niet op opens.
• We testen één ding tegelijk, en dezelfde test in alle drie de lijsten. Dan tellen we ze bij elkaar op en wordt de groep groot genoeg.
• Een test loopt tot er een uitslag is, ook als dat drie weken duurt.

Voor je eigen nieuwsbrief

Heeft je mailprogramma een A/B-test, zoals Mailchimp, kijk dan op welk getal hij de winnaar kiest. Staat het op opens, zet het op kliks. Heb je minder dan een paar duizend lezers, test dan geen onderwerpregels, maar kijk welke artikelen geklikt worden. Daar leer je meer van.