AI-systemAI system — 20262026

Dansk TegnsprogDanish Sign Language

Desktop-app der genkender danske tegnsprogstegn i realtid fra webcam, med indbygget dataindsamling og træning af modellen.Desktop app that recognises Danish sign language letters from a webcam in real time, with built-in data collection and model training.

NøglepunkterHighlights

  • 01 MediaPipe Hands og FaceMesh giver en 195-dimensioneret vektor pr. frame, normaliseret efter håndstørrelse og positionMediaPipe Hands and FaceMesh produce a 195-dimension vector per frame, normalised for hand size and position
  • 02 PyTorch-LSTM over 20-frames-sekvenser med resampling, så korte og lange tegn kan bruge samme modelPyTorch LSTM over 20-frame sequences with resampling, so short and long signs share one model
  • 03 Top-3 forslag, confidence threshold og majority-vote-smoothing over de sidste framesTop-3 suggestions, confidence threshold and majority-vote smoothing over the last frames
  • 04 Optag nye tegn som .npy-sekvenser i appen og træn en ny versioneret model med ét scriptRecord new signs as .npy sequences in the app and train a new versioned model with one script
  • 05 Scraper og offline landmark-udtræk brugt til at bootstrap datasættet med ca. 2.800 kildeklipScraper and offline landmark extraction used to bootstrap the dataset with roughly 2,800 source clips

Dansk Tegnsprog er en desktop-app, der læser danske tegnsprogstegn fra et webcam og viser, hvilket bogstav der bliver vist, i realtid. Appen henter landmarks for op til to hænder med MediaPipe Hands og 22 punkter omkring munden med FaceMesh, fordi flere tegn afhænger af mundstillingen. Hver frame normaliseres omkring håndled og næse og skaleres efter håndens størrelse, så inputtet ikke afhænger af, hvor langt fra kameraet man sidder.

Modellen er en LSTM i PyTorch, der ser 20 frames ad gangen. Sekvenser resamples til fast længde, så både korte og lange tegn kan bruges med samme model, og hvert træningseksempel spejles for at gøre modellen uafhængig af, hvilken hånd der bruges. I UI’et kan man justere confidence threshold, sekvenslængde og smoothing, og appen viser top-3 forslag, så det er tydeligt, når modellen er i tvivl.

Vektoren rummer begge hænder og 22 mundpunkter samtidig, så to-hånds tegn og mundstilling kan indgå på lige fod med håndbevægelsen. Begge dele er afprøvet under udviklingen - fx “hus”, der tegnes med begge hænder - men den trænede model og videoen dækker håndalfabetet med én hånd, fordi det er det, datasættet er trænet på.

Datasættet startede med et scraper-modul, der hentede kildeklippene fra tegnsprog.dk, hvorefter landmarks blev udtrukket offline. Optagelsen af egne tegn er bygget ind i appen: man skriver en label, trykker optag og får en .npy-sekvens, som træningsscriptet samler op og gemmer som en ny modelversion. Kildevideoerne er ikke en del af repoet, da de ikke må videredistribueres - scraperen kan køres lokalt for at genskabe datasættet.

Danish Sign Language is a desktop app that reads Danish sign language letters from a webcam and shows which letter is being signed, in real time. It pulls landmarks for up to two hands with MediaPipe Hands and 22 points around the mouth with FaceMesh, since several signs depend on mouth shape. Each frame is normalised around the wrist and nose and scaled by hand size, so the input does not depend on how far from the camera you sit.

The model is a PyTorch LSTM that looks at 20 frames at a time. Sequences are resampled to a fixed length so short and long signs can use the same model, and every training example is mirrored to make the model independent of which hand is used. The UI lets you adjust the confidence threshold, sequence length and smoothing, and shows the top-3 suggestions so it is clear when the model is in doubt.

The vector holds both hands and 22 mouth points at once, so two-handed signs and mouth shape can count alongside hand movement. Both were tested during development - for example the sign for house (“hus”), which uses both hands - but the trained model and the video cover the finger alphabet signed with one hand, because that is what the dataset is trained on.

The dataset started with a scraper module that downloaded source clips from tegnsprog.dk, after which landmarks were extracted offline. Recording your own signs is built into the app: type a label, hit record and you get a .npy sequence that the training script picks up and saves as a new model version. The source videos are not part of the repository since they may not be redistributed - the scraper can be run locally to recreate the dataset.