AERO / AI PROCESDESIGNER / GATE 1

AI modelkvalitet: Qwen3.5 og Tev1

Kontrolleret dansk benchmark af struktureret procesudtræk og DCR klassifikation. Udelukkende indlejrede syntetiske testcases, lokal Ollama og én kørsel pr. case. Der sendes ingen testdata til cloud AI eller en projektbackend.

1. Lokal forbindelse og modeller

Sikkerhed: Brug kun denne isolerede testside med kendt kildekode. Den offentlige HTTPS origin må ikke få bredere lokal adgang end nødvendigt. Behold Ollama på 127.0.0.1. Ingen private dokumenter skal indsættes. Testen er ikke en produktionsapp.

Ikke kontrolleret endnu.

2. Qwen3.5 4B: udtræk

Ni korte danske procescases. Modellen skal finde aktiviteter, roller, evidenslinjer og de fem DCR relationstyper, undlade usikre relationer og levere gyldig JSON. Facit sendes ikke til modellen.

Ikke kørt.

3. Tev1 4B: klassifikation

Otte cases med én entydig eller bevidst uafklaret relationskategori. Tev1 vurderes via sin dokumenterede /v1/systemone grænseflade og choice. Dette er ikke en generativ udtrækstest.

Ikke kørt.

4. Diagnostik

Rapporten indeholder status, facitmatch, modelvalg, tidsforbrug og fejltyper. Ingen dokumenttekst, adgangstokens eller rå modelforslag kopieres.

Ingen test udført.

Begrænsninger

  1. Facit er syntetisk og skabt til denne undersøgelse. Ni og otte cases kan ikke estimere generel modelpræcision.
  2. Qwen og Tev1 løser forskellige opgaver. Deres samlede score må ikke sammenlignes som samme type præcision.
  3. Valgfordelingens confidence fra Tev1 er ikke sandsynligheden for, at svaret er korrekt.
  4. Normaliseret tekst fra PDF/DOCX, fuld kildeintegritet, lang dokumentkontekst, produktionsperformance og datakontrakt 1.2 er ikke del af denne prøve.
  5. En enkelt kørsel måler ikke stabilitet på tværs af gentagelser, maskiner eller modeller.
  6. Når testene er afsluttet, bør midlertidige Ollama origin tilladelser ryddes op, hvis de ikke længere bruges.

Testversion 0.1. Ingen eksterne JavaScript biblioteker eller runtime storage. Browser: Chrome.