Tutorial for Brownie Bee

1. Gå ind på hjemmesiden https://prod.brownie.projects.alexandra.dk/ (hvis det er lettere at huske så brug værktøjets hovedside http://browniebee.dk/), hvor du finder nedenstående skærm. Her kan du enten lave et nyt forsøg, indlæse et gemt eller hente et fra din browsers hukommelse (hvis du har lavet et forsøg tidligere).

   

2. Tryk på ”Create new experiment”, så du kommer ind på selve værktøjet, som gerne skulle ligne nedenstående. Det præcise layout af siden afhænger af størrelsen på din skærm (du kan endda køre Brownie Bee på din telefon)

   

3. Vi skal nu lave et eksperiment med en virtuel katapult som findes ved at gå ind på https://sigmazone.com/catapult/.

4. Tænk på et tilfældigt tal mellem 100 og 600, og noter det på et stykke papir.

5. Byg dit system ved at tilføje faktorer en ad gangen, med passende navne (se nedenfor). Gør dette for begge af elastikkens ”ankre”, koppen der holder bolden samt stiften der bestemmer affyringsvinklen. Vi kan også vælge at alle disse faktorer er diskrete (vi kan kun vælge hele tal), men i praksis gør dette dog ingen forskel for vores system. Hvis du laver tastefejl, kan du slette en faktor ved at klikke på den lille skraldespand til højre for faktorens grænser.

   

6. Dit mål er nu at skyde så tæt som muligt på det tal mellem 100 og 600 cm som du skrev ned i trin 4. Overvej hvordan du kan definere en score der bliver mindre (og evt. negativ) i takt med at du kommer tættere på dette mål, og uanset hvilken retning det er fra. Dette er vigtigt fordi Brownie Bee altid vil forsøge at gøre din score mindre.

7. Under ”Configuration” øges ”N initial points” til 5. Dette er antallet af punkter der indledningsvist bliver spredt ud over parameterrummet og som skal udføres før modellen begynder at vælge det mest produktive næste eksperiment. Punkterne vælges via en Latin Hypercube sampling og burde altid være de samme hvis du bygger dit system ens.

8. Herefter skal værdien ”Xi” ændres, så den passer til dit system.

   Definitionen af Xi er: Den ønskede forbedring, målt i forhold til det bedste resultat opnået indtil videre.

   Xi har samme enhed som din score (cm ville give mening for dette system). Det er en fordel at sætte Xi til en ambitiøs værdi i starten, fordi dette får algoritmen til at opføre sig udforskende, hvilket er det vi ønsker på dette stadie. Du skal altid tilpasse Xi til din specifikke optimeringsopgave, eller vil algoritmen i appen formentlig opføre sig uhensigtsmæssigt!

9. Når du har ændret Xi til en passende værdi (fx 100) trykker du på ”Run”, øverst til højre, hvorefter Brownie Bee giver dig det første forsøg der skal udføres. Du kan også sætte ”Number of suggested experiments” til 5 og trykke Run igen, for at få den fulde liste af forsøg som skal udføres, inden data bliver brugt til noget. Sæt antallet af foreslåede eksperimenter tilbage til 1 inden du går videre.

10. Åben hjælpefilen ” Brownie Bee øvelse - Hjælpeark.xlsx”, som løbende kan beregne din score for dig og samtidig vil gøre det lettere at lege videre med dine data senere (ved at indtaste alternative mål for skudlængden).

11. Udfør de eksperimenter Brownie Bee foreslår, og indtast de benyttede forsøgsindstillinger og din score under ”Data points”. Husk også at logge den faktiske skudlængde i Excel-arket. Efter du har indtastet resultatet af dit 5. forsøg, dobbelttjekker du at ”Number of suggested experiments” står på 1, hvorefter du trykker på ”Run”. Nu dukker der en række grafer op som plotter modellens forståelse af systemet (se figuren nedenfor), og modellen fortæller dig desuden hvor den tror at systemets optimum befinder sig. Bemærk at dette tal er meget usikkert i starten.

    

12. Fortsæt optimeringen indtil du får en observation inden for 10-20 cm af dit mål. Tryk på Run mens din Xi-værdi stadig er stor, notér dig hvad modellen foreslår, og lav så Xi om til en lav værdi (1-5) og tryk på Run igen. Du skulle nu gerne opleve at det næste foreslåede forsøg ligger ganske tæt på din bedste observation indtil videre eller tæt på modellens ”Expected minimum”. Udfør dette nye foreslåede forsøg og overvej om du mener optimeringen er slut.

13. Hvis der er tid til overs, kan du med fordel sætte dig et andet mål for forsøget ved at ændre mål-tallet i Excel-arket, slette alle datapunkter efter de første fem og redigere scoren for de fem første punkter via det lille blyant-ikon. Husk at acceptere ændringerne med fluebenet bagefter. Herefter kan du optimere katapulten igen til dit nye valg af skudlængde.

14. Eksperimentet (opsætning og data) kan gemmes ved brug af ”Download” knappen. Dette henter en .json-fil ned på din computer, som kan læses ind på den første side af Brownie Bee (punkt 1). Det er også muligt at gå ind i denne fil (hvis man åbner den med Notepad eller lignende) og ændre direkte i fx grænser eller data. Du kan også redigere filen direkte (og ændre f.eks. faktorgrænserne) ved at klikke på versionsnummeret over "RUN"-knappen, som afslører muligheden for at vise en editor på hjemmesiden, se nedenfor. Bemærk, at det er meget nemt at lave fejl hvorved filen bliver korrupt, hvis du ikke er forsigtig!