Hand Landmarker używa pakietu dwóch modeli: model wykrywania dłoni i model wykrywania punktów orientacyjnych dłoni. Model wykrywania dłoni lokalizuje dłonie na obrazie wejściowym, a model wykrywania punktów orientacyjnych dłoni identyfikuje określone punkty orientacyjne dłoni na przyciętym obrazie dłoni zdefiniowanym przez model wykrywania dłoni.
Wiązka modelu punktów orientacyjnych dłoni wykrywa lokalizację 21 punktów kluczowych dla kostek dłoni w oznaczonych regionach. Model został wytrenowany na około 30 tysiącach rzeczywistych obrazów, a także na kilku wyrenderowanych syntetycznych modelach dłoni nałożonych na różne tła.
Ponieważ uruchomienie modelu wykrywania dłoni jest czasochłonne, w trybie wideo lub strumienia na żywo, Hand Landmarker używa ramki ograniczającej zdefiniowanej przez model punktów orientacyjnych dłoni w jednej klatce, aby zlokalizować obszar dłoni dla kolejnych klatek. Hand Landmarker ponownie uruchamia model wykrywania dłoni tylko wtedy, gdy model punktów orientacyjnych dłoni nie identyfikuje już obecności dłoni lub nie śledzi dłoni w ramce. Zmniejsza to liczbę przypadków, w których uruchamiany jest model wykrywania dłoni.