다행히도, 기계 학습이 모바일에서 할 수 있는 것은 많습니다. 특히 사용자와 함께 모든 곳을 여행하고, 사용자의 움직임과 주변을 감지할 수 있으며, 사용자의 연락처, 사진 및 통신을 모두 포함하는 기기에서 사용할 수 있는 고유한 데이터 소스를 생각할 때 그렇습니다. 머신러닝은 애플리케이션을 더 스마트하게 만들 수 있습니다.
모바일에서 기계 학습에 사용할 수 있는 데이터 입력 유형은 크게 카메라, 텍스트, 음성 및 활동 데이터 등 4가지입니다.
카메라: 카메라에 의해 캡처된 사진과 비디오를 분석 또는 증강하거나 라이브 카메라 피드를 사용하여 사진 및 비디오의 물체, 얼굴 및 랜드마크를 탐지하고, 이미지 내의 필기 및 인쇄 텍스트를 인식하며, 사진을 사용하여 검색하고, 모션 및 포즈를 추적하고, 제스처 인식, 사진 및 비디오의 감정 단서 이해, 이미지 향상 및 이미지 제거퍼펙션, 시각적 콘텐츠 자동 태그 및 분류, 특수 효과 및 필터 추가, 명시적 콘텐츠 탐지, 내부 공간의 3D 모델 작성, 증강현실 구현.
텍스트: 의미나 문장 구조를 파악하기 위해 사용자가 작성하거나 받은 텍스트를 분류하거나 분석, 다른 언어로 번역, 지능적인 철자 수정 구현, 텍스트 요약, 주제와 정서 탐지, 대화 UI와 챗봇 작성.
음성: 받아쓰기, 번역 또는 시리 유형의 지시사항을 텍스트로 변환하고 비디오의 자동 자막을 구현합니다.
활동: 사용자의 활동을 장치의 자이로스코프, 가속도계, 자력계, 고도계 및 GPS에 의해 감지된 대로 분류합니다.
모바일에서의 추론의 이점:
1.
응답 시간 단축: HTTP 요청을 보내는 것보다 응답성이 높기 때문에 실시간 추론이 가능해 사용자 환경을 개선할 수 있습니다.
2.
사용자 개인 정보 보호에도 유용합니다. 사용자의 데이터는 처리를 위해 백엔드 서버로 전송되지 않으며 장치에 남아 있습니다.
3.
개발자가 서버 및 전기 요금을 지불할 필요가 없으므로 비용이 더 저렴합니다. 사용자가 배터리 전원을 사용하여 비용을 지불합니다. 물론 이러한 특권을 남용하지 않기 때문에 모델을 최대한 효율적으로 실행하는 것이 중요합니다. 이 책에서는 모바일을 위한 머신러닝 모델을 최적화하는 방법에 대해 설명합니다.
On iOS
Apple의 웹 페이지에서는 다음과 같이 설명합니다. 기계 학습 전문가가 될 필요는 없어!
Apple은 특정 머신러닝 작업을 수행하기 위한 몇 가지 Swift 프레임워크를 제공합니다.
•
비전: 이미지에서 면과 면 랜드마크, 직사각형, 바코드 및 텍스트를 감지하고, 비디오를 통해 객체를 추적하며, 고양이/개 및 기타 여러 유형의 객체를 분류하는 등의 작업을 수행합니다.
또한 비전에서는 입력된 이미지의 서식을 올바르게 처리하여 코어 ML 이미지 모델을 보다 쉽게 사용할 수 있습니다.
•
자연 언어:
텍스트를 분석하여 언어, 언어 부분, 특정 사용자, 장소 또는 조직을 식별합니다.
•
사운드분석:
오디오 파형을 분석하고 분류합니다.
•
음성: 언어를 텍스트로 변환하고, 선택적으로 Apple의 서버 또는 기기 내 음성 인식기를 사용하여 답변을 검색합니다.
Apple은 오디오 지속 시간 및 일별 요청 수를 제한합니다.
•
시리킷: 점점 더 많은 인텐트 도메인(메시지, 목록 및 노트, 워크아웃, 결제, 사진 등)에서 인텐트 앱 확장을 구현하여 시리 또는 맵의 앱 서비스 요청을 처리합니다.
•
GameplayKit: 질문, 가능한 답변 및 그에 따른 조치를 포함하는 의사결정 트리를 평가한다.