더 나은 AR을 위해 제스처 인식을 소비자 가젯에 통합한 Doublepoint

Doublepoint는 제스처 인식 기술을 가전 제품 및 기타 하드웨어에 통합하기 위해 330만 달러를 모금했습니다.

CEO인 Ohto Pentikinen은 GamesBeat와의 인터뷰에서 핀란드에 본사를 둔 이 회사의 기술 이면에 있는 아이디어는 사람들이 학습 곡선 문제가 없는 증강 현실 및 기타 목적을 위해 하드웨어 장치를 사용하는 것을 더 간단하게 만드는 것이라고 말했습니다.

이 기술은 Android 스마트워치에 이미 있는 센서를 사용하여 단순히 손가락을 모으는지 여부를 감지할 수 있습니다. 이 회사는 그러한 미세 제스처를 매우 정확하게 감지할 수 있으며 가상 현실 헤드셋과 같은 장치에 사용되는 카메라보다 훨씬 저렴하다고 말했습니다. (실제로 Meta Quest Professional VR 헤드셋에는 움직임을 감지하는 카메라가 10개 있습니다.)

사람들은 상당히 저렴한 장치를 만들 수 있다고 Pentikinen은 말했습니다.

Doublepoint는 5월 31일부터 6월 2일까지 캘리포니아주 산타클라라에서 열리는 Augmented World Expo USA 2023에서 공식적으로 기술을 선보일 예정입니다. 회사는 이 기술을 다른 사람들에게 라이선스할 계획입니다.

3년 동안 은밀하게 활동한 Doublepoint는 AR 헤드셋과 같은 다양한 Google Android 기반 하드웨어 장치와 함께 작동하는 소프트웨어 플랫폼에 대한 특허를 출원 중입니다.

자금은 핀란드와 유럽 전역의 다양한 엔젤 투자자와 설립된 VC에서 나왔습니다. Doublepoint 투자자에는 FOV Ventures, Superangel VC, Superhero Capital, Sune Alstrup, Timo Rein, Enterprise Finland 등이 포함됩니다. Doublepoint에는 현재 핀란드, 스웨덴, 독일 및 영국에 총 11명의 직원이 있습니다.

작동 원리

GamesBeat와의 인터뷰에서 CTO Jamin Hu는 Doublepoint가 현재 터치 기반 미세 제스처, 표면 상호 작용 등을 정확하게 감지하는 고도로 발전된 머신 러닝 알고리즘을 제공하고 있다고 말했습니다.

손가락을 함께 두드리면 집게손가락과 엄지손가락을 함께 두드리면 탭으로 등록됩니다. 하지만 여기서 중요한 점은 실제로 터치하지 않고 속이려고 할 때가 아니라 실제로 손가락을 함께 터치할 때만 등록된다는 것입니다. Iit는 다양한 물체에 대한 서로 다른 손가락의 터치 순간을 감지합니다. 그리고 충실도는 맞춤형 하드웨어가 있는지 여부에 따라 달라집니다.

이 기술은 크리에이터가 핀치라고 생각할 수 있는 가장 단순하고 보편적인 제스처를 지원합니다. 그들은 어떤 손 방향에서도 작동하기 위해 노력할 필요가 없도록 설계했습니다. 즉, 많은 수의 제스처를 외울 필요가 없으며 주의를 기울일 필요가 없습니다.

이는 모두 일반 스마트 워치 센서와 임베디드 중앙 처리 장치(CPU)의 최소 컴퓨팅 주기를 사용하여 수행됩니다. 플랫폼은 IMU(관성 측정 장치)를 사용하여 움직임을 감지합니다. 이러한 센서는 매우 저렴합니다.

따라서 스마트워치의 경우 관성 측정 장치만 있으면 됩니다. 이는 모든 스마트워치에 초기 측정 단위가 있기 때문에 모든 스마트워치가 가능하다는 것을 의미한다고 Hu는 말했습니다.

또한 생체 음향 센서를 사용합니다. 전반적으로 손목의 지형과 움직임에 따라 변화하는 방식을 감지할 수 있습니다.

예를 들어 테이블을 누르면 손목 아래쪽의 힘줄이 변형되는 것을 볼 수 있다고 Hu는 말했습니다.

장치의 손 위치와 움직임은 손목 밴드, 반지, 레이더, LIDAR 및 카메라를 비롯한 다양한 방법으로 측정할 수 있습니다. Doublepoint는 처음에 기성품 스마트 워치와 XR 장치에 초점을 맞추었지만 가장 간단한 방법으로 가장 성가신 입력 문제를 해결하는 것을 목표로 한다고 Hu는 말했습니다.

이것은 움직임, 위치 및 미세 진동을 감지하기 위해 스마트 손목 밴드의 매우 민감한 기계 기반 센서를 사용하여 수행됩니다.

그들은 터치만 감지하고 다른 것은 감지하지 않는 알고리즘을 설계하는 것이 어렵다는 것을 발견했습니다. 테이블을 만지거나 주변의 물건을 잡거나 일상 생활을 계속할 때 우발적으로 트리거되어서는 안 됩니다. 특히 손가락을 모을 때만 반응해야 합니다.

Doublepoint를 사용하면 값비싼 광학 카메라나 LIDAR 센서가 필요하지 않습니다. Doublepoints 손목 밴드 기반 기술은 다른 광학 기반 솔루션보다 훨씬 간단하고 훨씬 저렴하며 훨씬 강력한 제품을 만질 때만 발생하는 진동에 초점을 맞추고 있다고 Hu는 말했습니다.

알고리즘 프로그래밍 솔루션 외에도 이 회사는 터치 감지 전용 및 최적화된 맞춤형 하드웨어 디자인을 제공할 계획입니다. Doublepoint는 기존 스마트워치를 실제 입력 장치로 전환하고 회사 웹 사이트에서 다운로드로 제공하는 무료 Contact SDK를 제공합니다.

처음에는 XR 장치뿐만 아니라 Google Android Put on OS 기반 스마트 워치의 제스처 지원에 중점을 둔 Doublepoint는 물리적 근육 모니터링을 사용하여 작동하며 컴퓨터 비전 센서가 필요하지 않습니다. Doublepoint는 현재 프로덕션에 이산 및/또는 촉각 입력 방법이 없기 때문에 Android 기반 AR의 입력 문제로 시작되었습니다.

파트너는 회사의 알고리즘에 라이선스를 부여하고 이를 스마트워치에 포함할 수 있습니다. 일단 내장되면 알고리즘은 시계 OS에서 계속 실행되고 블루투스를 통해 필요한 제스처 이벤트를 적절한 헤드셋으로 전송합니다.

태생

Pentikinen은 이전에 부동산 기술 회사를 설립했으며 중학교 때부터 Hu를 알고 있습니다. Hu는 클래식 교육을 받은 피아니스트이자 생의학 엔지니어입니다. 회사는 손목 밴드로 공중에서 메시지를 입력하는 방법을 발명한 덕분에 시작되었습니다.

Hu는 자신의 무의식적인 손가락 경련을 읽는 방법을 알아내려고 할 때 이 기술을 연구하기 시작했습니다. 그런 다음 실제 물체를 만질 때 인간을 측정하는 개념으로 바뀌었습니다.

Pentikinen은 “우리는 처음에 Port 6이라는 은밀한 이름으로 Doublepoint를 설립하여 경쟁자들이 추측하도록 하고 제스처 지원 AR 장치에만 초점을 맞췄습니다.”라고 말했습니다. 그 이후로 우리는 스마트 워치와 XR에서 준비되고 열성적인 시장을 찾았고 마침내 우리의 생산 이름, 전체 자금 조달 및 전체 임무를 공개했습니다. 우리는 가장 최근의 자본 유입과 우리 팀, 기술 및 비전에 대한 최고의 자신감에 대해 VC에게 매우 감사합니다.

다른 리더로는 개발자인 Eemil Visakorpi가 있습니다. 그는 이전에 Aalto University의 Quantum Computing Group에서 연구원으로 근무했습니다. ML 엔지니어인 Lauri Tuominen도 있습니다. 그는 이전에 기계 학습을 전문으로 하는 Nokia Bell Labs에서 근무했습니다.

고문에는 Sune Alstrup이 포함됩니다. Meta가 인수한 안구 추적 회사인 Eye Tribe를 공동 설립했습니다. 또 다른 사람은 Bang & Olufsen의 최고 디자인 책임자인 Miklu Silvanto입니다. 그리고 이전에 Meta의 엔지니어링 파트너십 선임 이사였던 Markku Mkelinen.

앞으로의 길

Doublepoint는 이스라엘 기반 Wearable Gadgets 및 대만 기반 Coolsotech와 가장 자주 비교됩니다. Apple의 소문난 혼합 현실 헤드셋이 이러한 기술을 사용할 수 있는지 묻는 질문에 Doublepoint는 아직 확인된 것이 없지만 지금까지 가장 신뢰할 수 있는 공개 소스를 기반으로 제스처 인식이 곧 출시될 헤드셋에 대한 Apple의 관심이 높은 것으로 보입니다.

Doublepoint는 실제로 출시되기 때문에 아직 고객에 대해 이야기하지 않습니다. 일부 경쟁사들은 자체적으로 커스텀 하드웨어를 만들고 있고, 애플 자체도 스마트워치용 인식 기술인 보조 터치를 만들고 있다.

Pentikinen은 현재 이 제스처 인식을 위한 소프트웨어 기반 솔루션을 제공하고 모든 사람에게 라이선스를 부여할 유일한 회사라고 말했습니다.

게임의 경우 애플리케이션이 꽤 흥미로워질 수 있습니다. 내부에 전자 장치가 없는 3D 인쇄가 가능한 홈브류 컨트롤러를 만들 수 있습니다. 여기서 손가락 터치를 감지할 수 있는 센서로 스티커를 만들 수 있습니다. 따라서 5달러로 자신만의 게임 컨트롤러를 만들 수 있습니다. Nintendos Labo 판지 장치를 연상시킵니다.

VR 장치에 관해서는 스마트워치만 있으면 되고 헤드셋에 추가할 것이 없다고 Hu는 말했습니다.