새로운 Apple 특허로 MR 환경에서 다양한 사용자의 손짓을 해석할 수 있는 XR 헤드셋 시선 제어 시스템 공개

2023년 5월 유럽 특허청은 기술적으로 하나 이상의 디스플레이 생성 구성 요소와 컴퓨터 생성 경험을 제공하는 하나 이상의 입력 장치가 있는 컴퓨터 시스템과 관련된 Apple의 특허 출원서를 발표했습니다. 하나 이상의 디스플레이를 통한 가상 현실 및 혼합 현실 경험.실용적인 측면에서 Apple의 특허는 시선 추적 시스템의 시선 입력을 사용하여 AR/VR/MR/XR 환경에서 사용자가 볼 개체를 제어하거나 이동하기 위해 다양한 손 제스처를 사용하는 기능을 Apple의 미래 XR 헤드셋 사용자에게 제공하는 데 중점을 둡니다. 헤드셋의 카메라는 깊이 매핑을 사용하여 손 동작을 구별합니다.

Apple은 특허 배경에서 최소한 일부 가상 요소(예: 애플리케이션, 증강 현실 환경, 혼합 현실 환경 및 가상 현실 환경)를 포함하는 환경과 상호 작용하기 위한 방법 및 인터페이스가 번거롭고 비효율적이며 제한적이라고 지적합니다.

예를 들어 가상 객체와 관련된 작업을 수행하는 데 피드백이 충분하지 않은 시스템, 증강 현실 환경에서 원하는 결과를 달성하기 위해 일련의 입력이 필요한 시스템, 가상 객체 조작이 복잡하고 지루하며 오류가 발생하기 쉬운 시스템이 있습니다. , 사용자에게 상당한 인지적 부담을 주고, 가상/증강 현실 환경에 대한 사용자 경험을 저하시킵니다. 또한, 이러한 방법은 필요 이상으로 시간이 오래 걸리므로 에너지를 낭비하게 된다. 후자의 고려 사항은 배터리로 작동되는 장치에서 특히 중요합니다.

일부 실시예에서, 컴퓨터 시스템은 사용자의 손 움직임 동안 유지되는 그립 유형 또는 손 자세에 기초하여 사용자의 손 움직임을 구별할 수 있습니다. 그립의 유형이나 손 자세는 각 손의 손가락 위치, 각 손의 방향, 그립을 구성하는 손의 수, 그립을 구성하는 손의 상대적 위치 및 방향에 따라 구별됩니다. 위 항목 중 2개 이상을 조합한 것 등

일부 실시예에서, 목적지 위치 또는 앵커 위치가 선택되면, 이동 가능한 가상 객체가 목적지 위치 또는 앵커 위치에 존재하는 경우, 컴퓨터 시스템은 사용자의 손 움직임을 3개의 객체에 대해 가상 객체를 이동하라는 요청으로 인식합니다. 사용자의 손(들)이 손 움직임 동안 제1 유형의 그립에 있는 경우 차원 환경(및 사용자의 가상 위치 또는 3차원 환경의 현재 표시된 뷰의 관점에 상대적); 컴퓨터 시스템은 사용자의 손(들)이 첫 번째 유형과 다른 두 번째 유형의 그립에 있는 경우 가상 객체에 대해(및 3차원 환경에 대해) 시점을 이동하라는 요청으로 사용자의 손 움직임을 인식합니다. 그립의.

특허 그림에서. 아래의 도 2에서는 사용자를 위한 CGR 경험을 관리하고 조정하도록 구성된 컴퓨터 시스템의 컨트롤러를 설명하는 블록 다이어그램을 볼 수 있습니다. 아래의 컨트롤러 #110에는 소프트웨어, 펌웨어 및/또는 하드웨어의 적절한 조합이 포함되어 있습니다. 도 7A-7D는 네비게이션 타겟을 선택하고 물리적인 손 제스처에 따라 네비게이션 타겟으로 네비게이션하는 것을 도시한다.

아래 Apple의 특허 그림 7E/F/H/I는 3차원 환경(및 시점)을 기준으로 가상 객체를 선택적으로 이동하거나 3차원 환경(및 3차원 환경 내의 모든 가상 객체)을 기준으로 시점을 이동하는 방법을 보여줍니다. 차원 환경) 일련의 사용자 입력 중에 유지되는 사용자의 손 그립을 기반으로 합니다.

Apple의 발명품은 2023년 5월 24일 유럽에 제출된 163페이지 특허에 자세히 설명되어 있습니다. 제공된 풍부한 세부 정보에 대해 더 깊이 알고 싶은 개발자와 괴짜라면 유럽 특허 번호 EP4182799를 확인하세요.