CN107003385A - 以无线信号信息标记视觉数据 - Google Patents

以无线信号信息标记视觉数据 Download PDF

Info

Publication number
CN107003385A
CN107003385A CN201580067186.5A CN201580067186A CN107003385A CN 107003385 A CN107003385 A CN 107003385A CN 201580067186 A CN201580067186 A CN 201580067186A CN 107003385 A CN107003385 A CN 107003385A
Authority
CN
China
Prior art keywords
vision data
information
sender unit
wireless signal
mobile device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580067186.5A
Other languages
English (en)
Other versions
CN107003385B (zh
Inventor
艾曼·福齐·纳吉布
辉·赵
萨乌米特拉·莫汉·达斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107003385A publication Critical patent/CN107003385A/zh
Application granted granted Critical
Publication of CN107003385B publication Critical patent/CN107003385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0252—Radio frequency fingerprinting
    • G01S5/02521—Radio frequency fingerprinting using a radio-map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0252—Radio frequency fingerprinting
    • G01S5/02521—Radio frequency fingerprinting using a radio-map
    • G01S5/02524—Creating or updating the radio-map
    • G01S5/02525—Gathering the radio frequency fingerprints
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0252—Radio frequency fingerprinting
    • G01S5/02521—Radio frequency fingerprinting using a radio-map
    • G01S5/02524—Creating or updating the radio-map
    • G01S5/02525—Gathering the radio frequency fingerprints
    • G01S5/02526—Gathering the radio frequency fingerprints using non-dedicated equipment, e.g. user equipment or crowd-sourcing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

技术描述以移动装置的无线和传感器测量信息标记视觉数据。在一些实施方案中，额外元数据字段可用于以无线和/或传感器测量信息标记视觉数据。实施例还描述拓展由图像标准(例如，Exif)和视频格式(mediaObject元数据)规定的当前格式，以在所述元数据中包含无线和传感器测量结果。此外，传感器信息可包含气压计、磁力计和运动传感器(例如，加速度计、陀螺仪等)信息。所述移动装置可将所述经标记视觉数据发射到众包服务器。

Description

以无线信号信息标记视觉数据
技术领域
本发明大体上涉及启用基于位置的服务，且更具体地说，涉及用于启用基于位置的服务的基于机器的视觉数据获取和处理。
背景技术
对于移动装置，存在出于基于位置的服务而利用移动装置的位置固定的无数应用。举例来说，地图应用可基于移动装置的当前位置而选择适当的地图、方向、驾驶路线等。社交网络应用可以基于装置的位置而识别附近的其它用户。存在许多其它实例。用于获得移动装置的位置固定的不同技术可在不同条件下是适当的。在户外环境中，基于卫星的方法(即，全球导航卫星系统(GNSS))技术可以是合适的，这是因为移动装置可能够接收具有特定时间要求的基于卫星的定位信号。基于对此些卫星信号的接收，可计算移动装置的位置固定。然而，在一些情况下，基于卫星的方法对于移动装置不对足够数目个GNSS卫星具有直接视线的环境并不令人满意。此些环境包含室内环境、都市峡谷等。
一般来说，在本文中描述用于改善此些环境和其它解决方案中的位置检测的技术。
发明内容
本发明大体上涉及启用基于位置的服务，且更具体地说，涉及用于启用基于位置的服务的基于机器的视觉数据获取和处理。
技术描述以移动装置的无线和传感器测量信息标记视觉数据(例如，图像和/或视频数据)。在一些实施方案中，额外元数据字段可用于以无线和/或传感器测量信息标记视觉数据。一般来说，元数据描述与所述图像相关联的属性。举例来说，可交换图像文件格式(Exif)的元数据可包含文件的格式、用以捕获所述图像的装置、日期和时间、所述图像的分辨率、曝光、焦距、闪光等。
方面还描述拓展由图像标准(例如，Exif)和视频格式(mediaObject元数据)标准规定的当前格式，以在所述元数据中包含无线和传感器测量结果。无线信息的实例可包含(但不限于)无线广域网(WWAN)测量结果和Wi-Fi测量结果。Wi-Fi测量结果可包含RSSI和RTT测量结果。传感器信息可包含气压计、磁力计和运动传感器(例如，加速度计、陀螺仪等)信息。所述移动装置可将所述经标记视觉数据发射到众包服务器。
一种用于标记视觉数据的实例方法可包含：使用耦合到装置的相机来获取视觉数据；从至少一个信号发射装置接收至少一个无线信号；从所述至少一个无线信号导出包括与所述至少一个信号发射装置相关联的源识别信息的信息；以及以与所述至少一个信号发射装置相关联的所述信息标记所述视觉数据。可将所述经标记视觉数据发射到远程服务器，例如众包服务器。在一个实施例中，导出信息可进一步包含导出在所述装置处所测量的来自所述至少一个信号发射装置的所述至少一个无线信号的信号强度。在另一实施例中，导出信息进一步包含使用来自所述至少一个信号发射装置的所述至少一个无线信号导出往返时间。
所述至少一个信号发射装置可以是无线接入点，且所述源识别信息是媒体接入控制(MAC)地址。所述至少一个无线信号可以是Wi-Fi信号、非可听声、超声信号和不可见光线中的一者。在一个实施例中，所述信号发射装置可以是静止的。在另一实施例中，所述信号发射装置的位置可至少在所述至少一个无线信号由所述装置接收到时是未知的。所述视觉数据可在拒绝GNSS的环境中由所述相机获取。
在另一个例子中对所述视觉数据的所述标记可进一步包含气压计信息、磁力计信息和/或运动传感器信息。
所述视觉数据可以是图像或视频。在所述视觉数据是图像的一个例子中，所述视觉数据可包含于根据可交换图像文件格式(Exif)所格式化的图像文件中，且标记所述视觉数据包括包含与所述至少一个信号发射装置相关联的所述信息作为所述图像文件的元数据的部分。
一种实例装置可包含：相机，其经配置以获取视觉数据；存储器，其经配置以存储所述视觉数据；收发器，其经配置以从至少一个信号发射装置接收至少一个无线信号；以及处理器，其经配置以：从所述至少一个无线信号导出包括与所述至少一个信号发射装置相关联的识别信息的信息，并以与所述至少一个信号发射装置相关联的所述信息标记所述视觉数据。在一个实例中，所述收发器可经进一步配置以将所述经标记视觉数据以无线方式发射到远程服务器。
在一个实施方案中，与所述至少一个信号发射装置相关联的所述信息进一步包括来自所述至少一个信号发射装置的所述至少一个无线信号的信号强度和使用来自所述至少一个信号发射装置的所述至少一个无线信号的往返时间中的一或多者。
在一个实施方案中，所述至少一个信号发射装置是无线接入点，且来自所述信号发射装置的所述至少一个无线信号是Wi-Fi信号、非可听声、超声信号和不可见光线中的一者。所述视觉数据可在拒绝GNSS的环境中由所述相机获取。所述信号发射装置的位置可至少在接收到所述至少一个无线信号时是未知的。在一个实施方案中，所述处理器可经进一步配置以以气压计信息、磁力计信息和/或运动传感器信息中的一或多者标记所述视觉数据。
在一个实例中，所述视觉数据可包含于根据可交换图像文件格式(Exif)所格式化的图像文件中，且标记所述视觉数据包括包含与所述至少一个信号发射装置相关联的所述信息作为所述图像文件的元数据的部分。
一种实例设备可包含：用于使用耦合到所述设备的相机来获取视觉数据的装置；用于从至少一个信号发射装置接收至少一个无线信号的装置；用于从所述至少一个无线信号导出包括与所述至少一个信号发射装置相关联的源识别信息的信息的装置；以及用于以与所述至少一个信号发射装置相关联的所述信息标记所述视觉数据的装置。所述设备可将所述经标记视觉数据发射到远程服务器。在一个实例中，所述视觉数据可在拒绝GNSS的环境中由所述相机获取。
一种实例非暂时性计算机可读存储媒体，其中所述非暂时性计算机可读存储媒体包括可由处理器执行的指令，所述指令可包含用以进行以下操作的指令：使用耦合到装置的相机来获取视觉数据；从至少一个信号发射装置接收至少一个无线信号；从所述至少一个无线信号导出包括与所述至少一个信号发射装置相关联的源识别信息的信息；以及以与所述至少一个信号发射装置相关联的所述信息标记所述视觉数据。在某些方面中，所述非暂时性计算机可读存储媒体可进一步包含用以将所述经标记视觉数据以无线方式发射到远程服务器的指令。
前文已经相当广泛地概述了实例的特征和技术优点，以便使以下的具体实施方式可以得到更好理解。将在下文中描述额外特征和优点。所揭示的概念和特定实例可以容易地用作用于修改或设计用于实施本发明的相同目的的其它结构的基础。此些等效构造不脱离所附权利要求书的精神和范围。当结合附图考虑时，关于本发明的组织和操作方法的被认为是本文中所揭示的概念的特性的特征与相关联的优点一起将从以下描述得到更好理解。图中的每一者都仅出于说明和描述的目的提供，且并不提供为对权利要求书的限制的界定。
附图说明
借助于实例说明本发明的方面。参考图式提供以下描述，其中相同的参考标号始终用于指相同的元件。尽管本文中描述一或多种技术的各种细节，但是其它技术也是可能的。在一些情况下，以框图形式展示熟知结构和装置以便促进描述各种技术。
可参考说明书和图式的剩余部分来实现对由本发明提供的实例的性质和优点的进一步理解，其中贯穿若干图式使用相同参考标号来指相同组件。在一些情况下，子标签与参考标号相关联以表示多个类似组件中的一者。当在无说明书的情况下将参考标号与现有子标签进行参考时，参考标号是指所有此些类似组件。
图1是说明与实例操作环境的实施方案相关联的特征的示意图。
图2说明购物中心的热度图的简化实例视觉表示。
图3说明用于使位置与热度图上的位置的无线信息相关联的实例数据结构。
图4说明可配置以捕获视觉数据和与无线信号发射装置和/或运动传感器相关联的信息的实例移动装置。
图5说明根据本发明的某些方面的图像文件的实例数据结构。
图6说明根据本发明的某些方面的实施于移动装置中的实例模块的框图。
图7是说明用于执行本发明的一或多个说明性方面的方法的流程图。
图8说明根据本发明的某些方面的实施于众包服务器中的实例模块的框图。
图9说明根据本发明的某些方面的由移动装置获取的商店标志的实例。
图10说明存储于众包服务器处的购物中心的实例地图。
图11是说明用于根据本发明的一或多个说明性方面执行本发明的实施例的方法的流程图。
图12说明可在其中实施一或多个实施例的计算系统的实例。
具体实施方式
现将关于形成其一部分的附图来描述若干示意性实施例。虽然下文描述可实施本发明的一或多个方面的特定实施例，但是可使用其它实施例，且可在不脱离本发明的范围或所附权利要求书的精神的情况下进行各种修改。
对于移动装置，存在出于基于位置的服务而利用装置的位置固定的无数应用。举例来说，地图应用可基于移动装置的当前位置而选择适当的地图、方向、驾驶路线等。社交网络应用可以基于装置的位置而识别附近的其它用户。存在许多其它实例。用于获得移动装置的位置固定的不同技术可在不同条件下是适当的。在户外环境中，基于卫星的方法(即，全球导航卫星系统(GNSS))技术可以是合适的，这是因为移动装置可能够接收具有特定时间要求的基于卫星的定位信号。基于对此些卫星信号的接收，可计算移动装置的位置固定。然而，在一些情况下，基于卫星的方法对于移动装置不对足够数目个GNSS卫星具有直接视线的环境并不令人满意。此些环境可被称作拒绝GNSS的环境，且可包含室内环境(例如，购物中心、机场、体育馆等)和户外环境(都市峡谷等)。
在移动装置不对足够数目个卫星具有直接视线的此些拒绝GNSS的环境中，基于接入点(AP)的方法通常更适用于获得移动装置的位置固定。移动装置在已知位置处观测发送到AP和/或从AP发送的信号。可在移动装置处获得不同类型的测量结果，例如RSSI(接收信号强度指示)和RTT(往返时间)。移动装置可比较这些测量结果与使无线测量结果与用以确定装置的位置的位置(也被称作热度图)相关联的地图。在一个实例中，移动装置可因为移动装置所在的特定位置而从远程服务器(即，热度图服务器)下载热度图。
然而，产生具有不令人满意的卫星覆盖范围的无数位置的热度图并保持更新那些地图是一项具有挑战性的任务。举例来说，产生热度图可需要技术员手动地访问每个室内位置并产生位置处的无线测量结果与位置自身之间的映射。此外，当移除、添加或移动AP时，每一位置处的无线测量结果可能改变，从而使与热度图相关联的信息过时。定期更新热度图可需要技术员再访问室内位置并重新产生无线测量结果与位置之间的相关联。
本发明的实施例通常描述以移动装置的无线和传感器测量信息标记视觉数据(例如，图像和/或视频数据)。视觉数据可指包含视觉特征的图像和/或视频。视觉特征可指能够在商务中或以其它方式至少部分地基于其相对均匀表示或使用一致性而被识别或辨别的一或多个视觉要素。在一些实施方案中，额外元数据字段可用于以无线和/或传感器测量信息标记视觉数据。一般来说，元数据描述与所述图像相关联的属性。举例来说，可交换图像文件格式(Exif)的元数据可包含文件的格式、用以捕获图像的装置、日期和时间、图像的分辨率、曝光、焦距、闪光等。
实施例还描述拓展由图像标准(例如，Exif)和视频格式(mediaObject元数据)标准规定的当前格式，以在所述元数据中包含无线和传感器测量结果。无线信息的实例可包含(但不限于)无线广域网(WWAN)测量结果和Wi-Fi测量结果。Wi-Fi测量结果可包含RSSI和RTT测量结果。传感器信息可包含气压计、磁力计和运动传感器(例如，加速度计、陀螺仪等)信息。移动装置可将经标记视觉数据发射到众包服务器。
众包服务器从移动装置接收经标记视觉数据，且从图像识别一或多个视觉特征(例如，店面标志)并基于所识别特征而确定捕获图像的位置。也就是说，众包服务器执行基于图像的位置估计。举例来说，众包服务器116可从图像识别商店的店面标志(例如，JCrew)。众包服务器还可基于图像中的标志的定向、图像中的标志的形状和标志的大小而估计按什么角度捕获到图像和移动装置离标志的距离。以此方式，众包服务器基于图像中的可见特征而确定捕获图像的位置。
因为众包服务器知晓捕获到图像的大致位置，所以众包服务器从图像元数据提取无线(例如，Wi-Fi)测量结果并使那些无线测量结果与热度图200上的位置相关联。随着越来越多的装置在一段时间内发送具有无线测量结果的图像，众包服务器继续使热度图上的位置与无线测量结果相关联，并因此随时间推移改进且自动更新热度图。
在稍后时间点处，众包服务器可使热度图对各种移动装置可用。来自众包服务器的经更新和鲁棒性热度图使得移动装置能够基于由移动装置获取的无线测量结果和匹配无线测量结果与热度图而确定其位置。
与标记到图像的其它传感器相关联的信息也可是有帮助的。举例来说，在多层建筑物中，气压计读数可有助于确定建立中的移动装置捕获到图像的层级。
图1是说明与实例操作环境100的实施方案相关联的特征的示意图，操作环境100能够促进或支持对移动装置102的位置估计的一或多个过程或操作。应了解，可完全地、部分地、在各种通信网络或网络的组合(例如公共网络(例如，因特网、万维网)、私用网络(例如，内联网)、无线局域网(WLAN等)或类似者)的上下文中实施在本文中描述为非限制性实例的操作环境100。
还应注意，虽然描述提供与室内实施方案相关的实例的主题，但是本发明的实施例不限于室内实施方案。在某一实例场景中，本发明的实施例可以可在拒绝GNSS(或拒绝美国全球定位系统(GPS))的环境中操作。拒绝GNSS的环境可指使用GNSS卫星用于获得移动装置的位置固定可能不可能或可能不令人满意的任何环境。此些拒绝GNSS的环境不仅可包含室内环境，例如购物中心、机场、体育场等，而且可包含室外位置，例如都市峡谷、城市广场、圆形剧场、停车场、屋顶花园、中庭等，在这些环境中移动装置难以对充足的GNSS卫星具有视线来获得位置固定。
如所说明，操作环境100可包括(例如)一或多个卫星104、基地收发站106、无线信号发射装置108(在图1中为了易于说明而仅说明一个无线信号发射装置108，但是应理解，操作环境100可包含多个信号发射装置108且将通常包含至少一个无线信号发射装置108)等，以上各者能够根据一或多个通信协议而经由无线通信链路110与移动装置102通信。卫星104可与一或多个GNSS卫星定位系统(SPS)相关联，例如美国全球定位系统(GPS)、俄罗斯格洛纳斯系统、欧洲伽利略系统以及可利用来自卫星系统的组合的卫星的任何系统或在未来开发的任何卫星系统。虽然在描述一些实施例的过程中，为简单起见和说明目的而论述拒绝GPS或GNSS的环境，但是可在不脱离本发明的范围的情况下取代其它卫星定位系统。举例来说，基地收发站106、无线信号发射装置108等可具有相同或类似类型，或可取决于实施方案而表示不同类型的装置，例如接入点、无线电信标、蜂窝式基站、超微型小区或类似者。有时，举例来说，一或多个信号发射装置可能够发射以及接收无线信号。在一些示例中，无线信号发射装置108还可包含可配置发射信号(例如Wi-Fi信号、可听和非可听声和(可见和不可见)光线)的装置。
在一些情况下，一或多个基站收发器台106、信号发射装置108等可(例如)可操作地耦合到网络112，网络112可包括能够(例如)经由一或多个无线通信链路114提供合适或所要信息的一或多个有线或无线通信或计算网络。如将看见，仅说明一个可能实施方案，信息可包含(例如)使相关所关注地点(POI)与室内或类似所关注区域内的已知位置相关联的辅助信息和归因于这些POI的品牌特定视觉签名。有时，辅助信息可包含(例如)一或多个基地收发站106、无线信号发射装置108或类似者的标识或位置，以促进或支撑与操作环境100相关联的一或多个操作或过程。作为说明方式，可(例如)以数字地图、查询表、数学公式、合适模型、算法等形式提供辅助信息，这可至少部分地取决于应用、网络、环境或类似者。在一个实施方案中，网络112可能够促进或支持合适的计算平台或装置(例如移动装置102、一或多个基地收发站106、无线信号发射装置108、以及与操作环境100相关联的一或多个服务器)之间的通信。
在一些情况下，服务器可包含(例如)众包服务器116、热度图分布服务器118以及通常指示为120的一或多个其它服务器(例如，导航、信息、地图服务器等)，所述服务器能够促进或支持与操作环境100相关联的一或多个操作或过程。
在一些场景中，热度图分布服务器118可将热度图分布到在操作环境100中操作的移动装置102。在一些情况下，热度图自动地分布到进入由热度图分布服务器118支持的区的移动装置。在其它实施例中，移动装置102请求并下载移动装置正在其中抑或将在其中操作的区的适用热度图。在一个实例情境中，移动装置102可使用热度图以确定其在操作环境100中的位置。在一个实例实施方案中，移动装置102在已知位置处观测发送到信号发射装置(例如接入点)和/或从信号发射装置发送的信号。可在移动装置处获得不同类型的测量结果，例如RSSI和RTT。移动装置可比较这些测量结果与使无线测量结果与用以确定装置的位置的位置相关联的热度图。
本发明的实施例还描述用于使用众包来搜集信息以便使用众包服务器116来产生、更新并维持热度图的技术。众包服务器116可用于从多个移动装置收集信息并更新热度图。
图2说明购物中心的热度图的视觉表示的简化实例。热度图可由众包服务器116产生、维持并更新，并由热度图分布服务器118分布到移动装置102。热度图200可使得移动装置能够使用来自相邻信号发射装置的无线信号信息来确定其在拒绝GNSS的环境中的位置。在一个实施方案中，如图2中所展示，热度图200可使位置信息(例如地图上的坐标)与无线测量信息(例如与例如AP等信号发射装置108相关联的RSSI和RTT信息)相关联。在图2中，椭圆形圆圈(即，202、204)可各自表示与热度图200相关联的位置坐标。对于每个位置坐标，与位置坐标相关联的信息可包含与一或多个信号发射装置108相关联的位置和源识别信息。另外，在一些实施方案中，与位置相关联的信息还可包含与来自信号发射装置108的信号相关联的测量结果。在图3中进一步描述与热度图200上的每一位置坐标或节点相关联的信息的实例实施方案。在一个实施方案中，标记有‘X’标记(204)的椭圆形圆圈表示具有来自在过去从那些相应位置收集信息的一或多个移动装置的实际测量结果的位置，而不具有‘X’标记(202)的椭圆形圆圈可表示从相邻位置内插的数据。在一些情况下，借由实际测量结果的数目，热度图的总体准确性增大。
众包服务器116可产生、更新并维持若干拒绝GNSS的环境的此些热度图。在不同时间点处，众包服务器116可使热度图200对各种移动装置可用。自动地，抑或在从移动装置102请求之后，热度图分布服务器118可即刻将热度图分布到移动装置102。在一些情况下，热度图可在移动装置访问拒绝GNSS的环境之前或在移动装置102频繁访问拒绝GNSS的环境的情况下分布到移动装置。使来自众包服务器116和热度图分布服务器118的经更新和鲁棒性热度图对于移动装置可用，且所述热度图使得移动装置能够确定其位置，在拒绝GNSS的环境中尤其如此。
图3说明用于使位置与位置处所测量的实例无线信息相关联的实例数据结构。在一个实例中，在图2的热度图中被描绘为椭圆形圆圈的每一节点可包括使位置与接入点信息相关联的类似数据结构300。如图3中所展示，在给定位置XYZ 302处，热度图200可具有与四个不同信号接入点(AP)相关联的信息。与四个不同AP相关联的信息可包含由位置XYZ302处的一或多个代表性移动装置为四个AP中的每一者测量的RSSI和/或RTT信息。在替代性实施方案中，或除了RSSI和/或RTT测量结果以外，数据结构300还可包含可测量且与AP与定位于位置XYZ 302处的代表性移动装置之间的距离成比例而改变的任何信息。
在图3中，数据结构300具有表示为位置XYZ 302执行或内插的测量的四个AP的四个项。每一项可具有源识别字段和测量字段。举例来说，对于AP-1，第一项具有AP-1媒体接入控制(MAC)地址304和位置XYZ 302处的测量RSSI/RTT的代表性装置的AP-1的RSSI和/或RTT信息(框306)。类似地对于AP-2、AP-3和AP-4，第二项、第三项和第四项具有其相应MAC地址(308、312和316)和当从位置XYZ 302处的代表性移动装置所测量时的相应AP(310、314和318)的相应RSSI/RTT测量结果。
在图3中，MAC地址充当AP中的每一者的唯一源标识符。可在不脱离本发明的实施例的情况下使用充分地将若干AP(或其它信号发射装置)彼此区分的任何其它源标识符。举例来说，在一些实施例中，因特网协议(IP)地址可用于IP地址静态地被指派到装置的配置中。
图3描绘使用四个项在图2中所描绘的热度图中所表示的位置坐标或节点处的信息。本发明的实施例不限于四个项且可具有更多或更少项。在一些情况下，数据结构的项的数目可基于可用的AP的数目、AP的能力和对数据结构的大小的实施方案限制。此外，在一些实施例中，作为存储识别项和其相关联信号的测量结果(例如，RSSI/RTT)的若干信号的源识别信息的替代或补充，数据中的一些或全部可散列以产生位置的唯一指纹，其表示位置处所观测的各种信号特性的快照视图。
如本文中所描述，出于说明的目的，参看无线接入点而论述本发明的实施例。然而，可在不脱离本发明的实施例的情况下使用任何无线信号发射装置108。举例来说，在一些实施例中，无线信号发射装置108可包含例如光(可见和不可见)发射装置和声音(可听和非可听)发射装置等装置。举例来说，发光装置可包含荧光灯泡。荧光灯泡可发射具有可通常在环境中识别并区分荧光灯泡与其它荧光灯泡的充足唯一性的信息。举例来说，从各种灯泡发射的光的闪烁可由于制造过程而对于每一灯泡充分地相异，来大体上区分一个荧光灯泡与另一个荧光灯泡。在另一实施例中，可制造荧光灯泡以发射具有识别荧光灯泡的经编码信息的闪烁。闪烁可能不对人类眼睛明显，但移动装置102可经编程以观测此闪烁。此外，可使用在移动装置或任何其它合适的装置处所接收的光线的振幅(即，亮度、明度等)测量测量结果相对于灯泡与移动装置之间的距离的比例。
在大多数情况下，但不是所有情况下，信号发射装置可相对于地图上的位置坐标是静止的，因此提供在一段时间内一致的信息，且可用以产生位置的签名。
在一个实施方案中，热度图可不限于用于测量移动装置与信号发射装置之间的信号特性的特定类型的信号发射装置或技术。举例来说，对于拒绝GNSS的环境的热度图，热度图可包含与信号发射装置108的组合相关联的信息，组合例如AP、无线电信标、蜂窝式基站、超微型小区、荧光灯泡、光(可见和不可见)发射装置和声音(可听和非可听)发射装置。此外，甚至对于AP，可使用技术的组合(例如RTT和RSSI)来测量信号特性。在一些情况下，AP的能力可确定所使用的测量技术。对于包含较大变异的信号发射装置(例如AP、超声装置、灯泡)的热度图，关于信号发射装置的测量技术可展示甚至更大的变异，例如包含RTT、RSSI、光闪烁等。
上述图(图2和图3)描述热度图和存储在热度图的位置坐标处的相关联信息。然而，为无数拒绝GNSS的位置产生热度图并保持更新那些地图是一项具有挑战性的任务。举例来说，产生热度图可需要技术员手动地访问每个室内位置并产生位置处的无线测量结果与位置自身之间的映射。此外，当移除、添加或移动接入点时，每一位置处的无线测量结果可能改变，从而使与热度图相关联的信息过时。更新热度图可需要技术员再访问拒绝GNSS的位置并重新产生无线测量结果与位置之间的相关联。
如在下文进一步详细论述，在移动装置处，本发明的实施例通常描述以无线和传感器测量信息标记视觉数据(例如，图像和/或视频数据)。在一些实施方案中，额外元数据字段可用于以无线和/或传感器测量信息标记视觉数据。标记信息可发送到服务器，例如众包服务器116，其中众包服务器116可使用来自视觉数据的视觉特征和任选地包含于文件中的传感器信息导出捕获到图像的位置。众包服务器116可提取与无线信号发射装置相关联的信息，并使热度图上的位置坐标与相关于无线信号发射装置的信息相关联。
以信息标记视觉数据：
图4说明可配置以捕获视觉数据(例如图像和/或视频)并以与无线信号发射装置和/或运动传感器相关联的信息标记图像的实例移动装置。如图4中所展示，在给定时间点处，移动装置102的用户在具有移动装置102的购物中心400处。购物中心400可表示拒绝GNSS的环境，且可以是在一些方面中类似于图1中所论述的操作环境100。在图4中，在一个实施例中，移动装置102可通过收集关于信号发射装置108的数据并将所述数据发射到众包服务器116用于产生、更新并维持热度图来促进众包功能。在一个实施方案中，移动装置102可经预注册以代表众包服务器116收集数据。
如图4中所展示，购物中心400的操作环境具有若干品牌商店，并描绘贯穿购物中心所扩散的八个相异信号发射装置108a到108g，例如AP。带着收集众包服务器116的信息的目的或(例如)在与朋友访问购物中心并一起拍摄图片时随意地作为正常行动路线，移动装置102的用户可在购物中心内部时拍摄图片或视频。图片可无意中从场景捕获视觉特征，例如显要的商店标志。此些视觉特征可由众包服务器116稍后使用来确定捕获到视觉数据(图像和/或视频)的位置。
如图4中所展示，大致当获取视觉数据时，移动装置102从四个不同信号发射装置108a到108d接收信号。信号发射装置相对于移动装置102的位置可至少在获取视觉数据或从信号发射装置接收信号时是未知的。移动装置102确定四个信号发射装置中的每一者的源识别信息(例如，MAC地址)。此外，在一些实施方案中，移动装置还可确定信号发射装置108与移动装置102之间的信号的RSSI和/或RTT。源识别信息与信号的其它特性(例如RSSI和/或RTT)的组合可表示移动装置102的当前位置与信号发射装置之间的关系。类似于已在图3中描述的内容的若干此些关系(例如，MAC地址、RSSI/RTT)可形成移动装置102的位置的充分唯一的签名。
在一个实施例中，移动装置102可将与在由耦合到移动装置102相机拍摄的图像或视频时所获取的一或多个AP相关联的信息标记到与图像或视频相关联的所捕获视觉数据。在捕获到视觉数据时以与一或多个AP相关联的信息标记视觉数据在体现于视觉数据中的视觉信息与在捕获到视觉数据的情况下由移动装置102接收的信号之间形成强烈的时间和空间相关联。图5在下文描述以与无线信号相关联的信息标记视觉数据的一个实例实施例。
除了以与无线信号发射装置108相关联的信息标记视觉数据以外，移动装置102还可以传感器数据(例如来自一或多个气压计传感器、磁力计传感器或运动传感器的信息)标记视觉数据。以来自气压计传感器的信息标记视觉数据可有助于指示捕获到图像的海拔。类似地，以来自磁力计的信息标记视觉数据可有助于在捕获到图像时确定移动装置102的前进方向。此外，移动装置可包含运动传感器，例如可包含陀螺仪和加速度计的惯性传感器。以运动传感器标记视觉数据还可有助于在获取视觉数据时确定装置的位姿和由移动装置102经历的任何相对和绝对运动。
在一些情况下，以传感器信息标记视觉数据可包括以与传感器数据的读数相关联的增量或改变标记视觉数据。举例来说，在一些情况下，包含气压而非绝对气压的改变以确定用户已从购物中心的一个层级移动到购物中心的另一层级可以是有用的。类似地，对于陀螺仪，陀螺仪传感器读数的改变可更有助于从先前确定的位姿而非在所捕获到图像时的陀螺仪读数的绝对值确定相对旋转。
图5说明描绘以与信号发射装置和/或传感器相关联的信息标记使用相机所获取的视觉数据的图像/视频文件的实例数据结构。与信号发射装置相关联的信息可包含信号发射装置的源识别信息和无线和/或传感器测量信息。以与信号发射装置相关联的信息标记视觉数据可指将额外信息包含于图像/视频文件的元数据中。一般来说，元数据描述与图像/视频相关联的属性。举例来说，可交换图像文件格式(Exif)的元数据可包含文件的格式、用以捕获图像的装置、日期和时间、图像的分辨率、曝光、焦距、闪光等。
实施例还描述拓展由图像标准(例如，Exif)和视频格式(mediaObject元数据)标准规定的当前格式，以在元数据中包含与无线信号发射装置相关联的信息和传感器数据。无线信息的实例可包含(但不限于)无线广域网(WWAN)测量结果和Wi-Fi测量结果。Wi-Fi测量结果可包含RSSI和RTT测量结果。传感器信息可包含气压计、磁力计和运动传感器(例如，加速度计、陀螺仪等)信息。移动装置102可根据Exif图像的新扩展式标准而产生文件并将其存储。立刻，或在稍后时间点处，移动装置102可将具有经标记视觉数据的文件发射到众包服务器116。
图5说明展示图像数据504和具有图像数据的相关联元数据502的实例图像文件500。在图5中，根据本发明的某些实施例，元数据502描绘与耦合到信号发射装置和移动装置102的传感器相关联的额外信息。
在一个实施例中，信号发射装置可以是一或多个AP(虽然仅展示了一个AP的字段)。与AP相关联的源识别信息可以是MAC地址。与从信号发射装置(例如AP)接收的信号相关联的信息可以是RTT和/或RSSI测量结果。在一些实施例中，可基于AP的能力而选择测量结果的类型。举例来说，一些AP可能不支持RTT能力，且可替代地使用RSSI测量结果。在一些情况下，RTT和RSSI测量结果两者都可用以在界定移动装置102的位置处的信号特性的过程中提供额外信息。在一些实施方案中，AP的在使用中的信道或频率还可包含于图像文件500的元数据502中。
在一个实例中，其中用户使用耦合到移动装置102的相机拍摄图像，图像数据可存储为使用扩展式Exif标准的图像文件，如本文中所描述。在一个实例中，是国际标准组织(ISO)的部分的可扩展元数据平台(XMP)可用以界定并填充元数据的字段，例如MAC ID(例如1caa07c6e370)、RSSI(例如，-70dbm)和/或RTT(例如，0.0154msecond)。在另一实例(未展示)中，类似字段可用于标记视频文件(例如，mediaObject元数据)。
图6说明根据本发明的一个实施例的实施于移动装置102中的实例模块的框图。移动装置102可以是使用图12中描述的一或多个组件所实施的计算机装置。图6中所描述的模块可使用软件、固件、硬件或其其它组合予以实施。在一个实施例中，图6中所描述的模块中的一些可存储为计算机可读媒体600上的软件模块，计算机可读媒体600可以是任何磁性、电子、光学或其它计算机可读存储媒体。在一个实施方案中，计算机可读存储媒体可包含无线源标识符608、信号特性标识符模块610、数据编码器模块612、标记产生器模块614和文件产生器模块616。
用户可在拒绝GNSS的环境中使用耦合到移动装置102的一或多个相机模块602来获取视觉数据(即，拍摄图片或捕获视频)。在一个实例中，如图4中所展示，用户可在购物中心400中购物，同时还使用其移动装置102来拍摄图片或捕获视频。
数据编码器模块612可将视觉数据编码成标准格式，例如图像的标签图像文件格式(TIFF)或联合活动图像专家组(JPEG)或视频的电影图片专家组-4(MPEG4)或任何其它合适的格式。
大致地，当用户获取视觉数据时，耦合到移动装置102的无线收发器604可从一或多个信号发射装置接收一或多个无线信号。虽然仅在图6中说明一个收发器模块604，但是应理解，移动装置可包含可能够发射以及接收无线信号的一或多个无线收发器。在一些示例中，收发器模块604可包含可配置发射并接收信号(例如Wi-Fi信号、可听和非可听(例如，超声)声音和可见和不可见(例如，红外)光线)的组件。
取决于实施方案，无线信号发射装置可表示不同类型的装置，例如接入点、无线电信标、蜂窝式基站、超微型小区或类似者。举例来说，在一些实施例中，无线信号发射装置108可包含例如光(可见和不可见)发射装置和声音(可听和非可听)发射装置等装置。
无线源标识符模块608可从收发器604接收信息并从无线信号导出与信号发射装置相关联的源识别信息。举例来说，无线源标识符608模块可对从无线接入点接收的数据包的标头进行解码并导出MAC地址。MAC地址为接入点提供充分唯一的标识符。
信号特性标识符模块610可导出与来自信号发射装置的信号相关联的特性，所述特性可指示移动装置102相对于信号发射装置的相对定位。举例来说，信号特性标识符模块610可导出在装置处所测量的从至少一个信号发射装置接收的至少一个无线信号的信号强度(即，RSSI)。在另一实例中，信号特性标识符模块610可使用来自至少一个信号发射装置的至少一个无线信号导出往返时间(即，RTT)。
标记产生器模块614可使用来自信号发射装置中的每一者的无线源标识符模块608的源识别信息和来自信号特性标识符模块610的相关联RSSI、RTT或任何其它信号特性标识符来产生标记。产生标记可包括格式化关于信号发射装置的信息使得其可包含于文件的元数据中。
在一个实施例中，标记产生器模块614可任选地从来自传感器606模块中的一或多个传感器接收信息并使用所述信息来产生标记。传感器信息可包含气压计、磁力计和运动传感器(例如，加速度计、陀螺仪等)信息。在一些实施方案中，并入在标记中的传感器信息还可包含GNSS坐标(如果可用)或最后知晓的由GNSS导出的可有助于导出位置的粗略估计以供进一步处理的位置。
文件产生器模块616可从数据编码器模块612和标记产生器模块614接收输入并产生文件。在一个实施例中，对于图像数据，可通过包含来自数据编码器模块612的经编码数据(例如，JPEG或TIFF)和来自标记产生器模块614的标记来根据Exif标准而产生文件。
在产生文件之后，在一个实施例中，移动装置102还可将文件发射到远程服务器，例如众包服务器116。
图7是说明用于根据本发明的一或多个说明性方面执行本发明的实施例的方法的流程图。根据一或多个方面，本文中所描述的方法和/或方法框中的任一者和/或全部可由移动装置102(例如图1中所展示的移动装置102和/或图12中更详细地描述的装置)实施和/或实施于移动装置102中。在一个实施例中，由计算装置1200的处理器(例如处理器1210或另一处理器)实施下文关于图7描述如下的方法框中的一或多者。另外或替代地,本文中所描述的方法和/或方法框的任一者和/或全部可实施于计算机可读指令中,例如存储在计算机可读媒体(例如存储器1235、存储装置1225或另一计算机可读媒体)上的计算机可读指令。
在框702处，移动装置102的组件(例如耦合到移动装置102的相机)可从场景获取视觉数据。视觉数据可包含一或多个图像和/或视频剪辑。在一个实施例中，可在拒绝GNSS的环境中获取视觉数据。举例来说，用户可在室内位置(例如不对足够数目个GNSS卫星具有直接视线的购物中心)中拍摄图片。
在框704处，移动装置102的组件(例如收发器604(见图6))可从一或多个信号发射装置接收一或多个无线信号。
在框706处，移动装置102的组件(例如使用一或多个处理器的无线源标识符608(见图6))可从所接收无线信号导出包括与一或多个信号发射装置相关联的源识别信息的信息。举例来说，在信号发射装置是无线接入点的情况下，移动装置102的组件可通过从经由无线信号发射的数据包的标头导出MAC地址来确定无线信号的来源。
任选地，移动装置102的组件(例如信号特性标识符模块610(见图6))也可导出与来自信号发射装置的信号相关联的特性，所述特性可指示移动装置102相对于信号发射装置的相对定位。举例来说，信号特性标识符模块610可导出源自AP的信号的RSSI或RTT。
在框708处，移动装置102的组件以与一或多个信号发射装置相关联的信息标记视觉数据并产生文件。任选地，移动装置102的组件还可以来自传感器606中的一或多个传感器的信息标记视觉数据。传感器信息可包含气压计、磁力计和运动传感器(例如，加速度计、陀螺仪等)信息。在一个实施例中，可根据行业标准(例如Exif)而格式化文件，且标记视觉数据可指将信息包含为图像文件的元数据的部分。在一些实施方案中，并入在标记中的传感器信息还可包含GNSS坐标(如果可用)或由图像文件的接收方最后知晓的可有助于导出位置的粗略估计的GNSS导出位置。
在框710处，移动装置102的组件(例如收发器604)可将文件发射到远程服务器。
应了解，根据本发明的一实施例，图7中所说明的特定框提供在操作模式之间切换的特定方法。框的其它序列还可相应地在替代实施例中执行。举例来说，本发明的替代实施例可以不同顺序执行上文所概述的框。此外，可取决于特定应用而添加或移除额外框或框的变体。所属领域的技术人员将认识并理解过程的多个变化、更改和替代方案。
产生热度图
图8说明根据本发明的一个实施例的实施于众包服务器116中的实例模块的框图。众包服务器116可以是使用图12中描述的一或多个组件所实施的计算机装置。图8中所描述的模块可使用软件、固件、硬件或其其它组合实施。在一个实施例中，图8中所描述的模块中的一些可存储为计算机可读媒体800上的软件模块，计算机可读媒体800可以是任何磁性、电子、光学或其它计算机可读存储媒体。在一个实施方案中计算机可读存储媒体800可包含文件提取器804、视觉数据提取器808、信号信息提取器810、特征提取器814、位姿距离检测器812、位置确定器816、位置信号关联器818、热度图填充器820和传感器数据提取器806。
耦合到众包服务器116的收发器802可从一或多个移动装置接收信息，所述移动装置类似于参考先前图所论述的移动装置102。在一些示例中，收发器802可包含可配置以经由无线或有线发射发射并接收信号的组件。文件提取器804可从收发器802接收呈数据包形式的数据。在一个实施例中，文件提取器804可通过读取文件标头获得文件类型和大小或/和组合来自一或多个数据包的数据以重新产生文件来从数据提取文件。
一旦从发射媒体提取文件并将文件存储于存储器中，那么视觉数据提取器808提取视频信息，传感器数据提取器806提取传感器信息，且信号信息提取器810提取信号信息，例如信号源标识符、RSSI和/或RTT。在一个实施例中，视觉数据提取器808不仅可提取视觉数据，而且可在将数据呈现到特征提取器814模块之前使用已知技术来将视觉数据从一个格式解码成另一格式。特征提取器814模块从视觉数据提取器808接收视觉数据。特征提取器814模块提取关键点和/或与图像相关联的其它图像特征以(例如)在拒绝GNSS的环境中(例如)经由标志检测估计移动装置的位置。如本文所使用，“视觉特征”、“标志”、“视觉签名”、“品牌特定视觉签名”或“文本标记”可互换使用，且可指能够在商务中或以其它方式至少部分地基于其相对均匀表示或使用一致性而被识别或辨别的一或多个视觉要素。在一些情况下，标志可与在一或多个关注点(POI)(例如商店、咖啡店、零售商销售点、银行或类似者)处所提供的商品或服务相关联，以便区分此商品或服务与(例如)其它商品或服务，或指示此商品或服务的来源。有时，标志可与合适基础结构相关联，例如(例如)例如街道拐角、交叉点、建筑物或类似者等一或多个关注点处所提供的城市规划或运输相关基础结构。仅说明另一可能实施方案，标志还可表示合适的基础结构(例如建筑物外部(例如，门面、侧面、后面等)的特定部分)的特性。换句话说，在当前规范的上下文中，“标志”应被大体上解译，且可包括可经由(例如)可在拒绝GNSS的环境中促进位置检测的一或多个计算机视觉或类似方法(例如)以电子方式所识别的任何视觉要素。
作为说明方式，视觉特征可包括(例如)标志、商标、商品名、建筑物(例如，门面、店面等)的商业外观、招牌(例如，交通标志、街道名称、监管象形文字)、标识语或字标、符号、图标、纹章、徽章或类似者。在一些情况下，举例来说，可至少部分地基于标志相对于其形状、颜色、大小、文字、文字大小、视觉要素的放置或布置或类似者的使用均匀性或一致性而识别或辨别标志。有时，标志可包括(例如)动态标志，其意味着此标志的内容或上下文可取决于特定设定、日时间、季节、位置、光照条件、商品、服务或类似者而改变。举例来说但非限制，在一些情况下，品牌特定的视觉签名(例如 或类似者)可表示动态标志。应了解，动态标志的变化可或可不被视为不同标识，此可至少部分地取决于应用、环境、视觉特征提取技术、检测方法或类似者。当然，这些仅仅是与标志相关的实例，且所主张主题不限于此。图9说明由移动装置102从来自购物中心的某个有利位置获取的的商店标志的实例
特征提取器814利用一或多个信息源以从视觉数据检测关注地点(POI)或其它对象。在一个实施方案中，文件可另外标记有最后知晓的移动装置102获取图像的位置。举例来说，移动装置102可在用户进入拒绝GNSS的环境之前以使用GNSS信息导出的位置标记视觉数据。最后知晓的位置可使得众包服务器116能够使用最后知晓的位置来基于用户的大体位置的路线估计值而检索购物中心的地图。举例来说，使用最后知晓的移动装置102的位置，众包服务器116可使用众包服务器116处的购物中心的已存储地图来更易于匹配检测到的特征(例如由特征提取器814确定的标志(例如，))与来自购物中心的商店。存储于众包服务器116处的购物中心的实例地图可由图10说明。举例来说，地图信息可包括与识别一或多个结构特点(例如场所的墙壁、房间、门、过道、电梯、楼梯、梯子、地板、天花板等)的移动装置相关联的场所的数字地图(例如，楼层平面图等)。
在视觉辨别技术(例如用于购物中心中的基于视觉的定位的技术)的状况下，特征提取器814可比较测试图像(例如，店面图像)与图10中所展示的为地图存储以检测POI的已知参考图像的集合。参考图像可以是独立图像，或替代地参考图像可更一般地涉及对应于特定针对于购物中心的地图的标识、标准店面等的已知品牌特定视觉签名的集合，如图10中所展示。一般使用计算机视觉技术(例如，尺度不变特征变换(SIFT)算法或类似者)来执行检测。
位姿距离检测器812模块可经配置以使用1)来自图像自身的视觉特征和/或2)来自传感器数据提取器806模块的传感器信息来估计移动装置102的位姿和移动装置102相对于视觉特征的距离。举例来说，商店标志的形状和大小可在图像获取时指示移动装置102捕获标志的图像的方向和标志与移动装置102之间的距离。来自传感器数据提取器模块806的传感器信息也可有助于位姿和距离确定。举例来说，磁力计数据可有助于在视觉数据获取时确定移动装置102的前进方向。气压计数据可有助于确定从多层楼的购物中心的哪一层拍摄了图像。并且，运动传感器(例如加速度计和/或陀螺仪)可有助于在图像获取时确定移动装置102的定向或加强对移动装置102的定向的确定。
位置确定器816可在在使用相机获取视觉数据时确定移动装置的位置102的过程中使用来自特征提取器814模块和位姿距离检测器812模块的信息。特征提取器814模块可使用购物中心的数字地图来识别视觉特征。一旦提取并识别出视觉特征，那么可通过参考与购物中心的地图相关联的所存储数据来知晓视觉特征的实际大小。举例来说，众包服务器116可能已知晓店面标志的实际大小和位置。使用此信息，位姿距离检测器812模块可确定移动装置102相对于视觉特征的距离，这是因为所获取视觉特征的大小和视觉特征与移动装置102之间的距离成正比。位姿距离检测器812模块还可使用视觉特征的形状来确定移动装置102相对于视觉特征的位姿。举例来说，在图10中，可推导出从标志(其实际是矩形形状)的左前侧获取图像，这是因为标志在标志的左边边缘最长的情况下在视觉数据中成梯形形状可见。位置确定器816模块在使用视觉特征的位置(例如商店标志和移动装置102相对于商店标志的位姿和距离)在地图上获取视觉数据时确定移动装置102的位置。
位置信号关联器818模块接收移动装置102从位置确定器816获取视觉数据且从信号信息提取器810模块获取信号信息的位置坐标。在一个实施例中，信号信息提取器810提取与信号发射模块相关联的源识别信息和信号的特性，例如由文件提取器804模块提取的来自文件(元数据)的RSSI和/或RTT信息，并将信号信息提供到位置信号关联器818。位置信号关联器818在位置坐标与信号特性之间构建相关联。
热度图填充器820模块可取得位置坐标与来自位置信号关联器818模块的信号信息之间的相关联，并更新与购物中心的地图相关联的热度图。图2中所说明的热度图描绘经更新且稍后被提供到其它移动装置用于确定其在拒绝GNSS的环境中的位置的此热度图的一实例。
图8中所描述的系统说明接收以无线和/或传感器信息标记的视觉数据和更新与从一个移动装置102获取视觉数据的位置地图相关联的热度图的过程。类似地，众包服务器116可从若干移动装置接收经标记视觉数据并随时间从若干位置收集数据。借由来自若干移动装置的信息，存储于众包服务器处的热度图的准确性不断地提高且随时间被维持。
图11是说明用于根据本发明的一或多个说明性方面执行本发明的实施例的方法的流程图。根据一或多个方面，本文中所描述的方法和/或方法框中的任一者和/或全部可由计算机服务器(例如图12中更详细地描述的众包服务器116)实施和/或实施于计算机服务器中。在一个实施例中，由计算装置1200的处理器(例如处理器1210或另一处理器)实施下文关于图11描述如下的方法框中的一或多者。另外或替代地,本文中所描述的方法和/或方法框的任一者和/或全部可实施于计算机可读指令中,例如存储在计算机可读媒体(例如存储器1235、存储装置1225或另一计算机可读媒体)上的计算机可读指令。
在框1102处，移动装置102的组件(例如收发器802)从装置(例如移动装置102)接收视觉数据，其中以包括与至少一个信号发射装置相关联的源识别信息的信息标记视觉数据。视觉数据可包含图像数据或视频数据。对于图像数据，视觉数据可包含于根据可交换图像文件格式(Exif)所格式化的图像文件中，且标记视觉数据可包括包含与至少一个信号发射装置相关联的信息作为图像文件的元数据的部分。
在一个实施方案中，信号发射装置是无线接入点且源识别信息可以是无线接入点的MAC地址。信号发射装置的位置可至少在使用相机获取视觉数据时是未知的。
在一个实施例中，与至少一个信号发射装置相关联的信息可包含在装置处所测量的来自至少一个信号发射装置的至少一个无线信号的信号强度(即，RSSI)。在另一实施例中，与至少一个信号发射装置相关联的信息可包含使用来自至少一个信号发射装置的至少一个无线信号所导出的往返时间(即，RTT)。
此外，视觉数据可标记有气压计信息、磁力计信息和/或运动传感器信息。运动传感器可包含加速度计和陀螺仪。与装置相关联的此传感器信息可使得能够确定使用耦合到装置的相机来获取视觉数据的移动装置102的位置。举例来说，气压计信息可提供视觉数据由移动装置102获取的层级或高度。类似地，磁力计信息可在获取视觉数据时提供相机的前进方向。运动传感器可提供也可有助于在获取到视觉数据时确定移动装置102的位姿的额外定向信息。
在框1104处，移动装置102的组件(例如特征提取器814)从视觉数据识别至少一个视觉特征，如参考图8详细论述。
在框1106处，移动装置102的组件(例如位置确定器816)可基于从视觉数据识别至少一个视觉特征而确定获取到视觉数据所在的地图上的坐标。
在框1108处，移动装置102的组件(例如位置信号关联器818)可使地图上的坐标与相关联于至少一个信号发射装置的信息相关联。地图可用于拒绝GNSS的环境。
应了解，根据本发明的实施例，图11中所说明的特定框提供在操作模式之间切换的特定方法。框的其它序列还可相应地在替代实施例中执行。举例来说，本发明的替代实施例可以不同顺序执行上文所概述的框。此外，额外框或框的变体可取决于特定应用而添加或移除。所属领域的技术人员将认识并理解过程的多个变化、更改和替代方案。
图12说明并入有在实践本发明的实施例的过程中采用的装置的部分的实例计算装置。在本文中，如图12中所说明的计算装置可作为任何计算机化系统的部分并入。举例来说，计算装置1200可表示移动装置或服务器(例如，众包服务器)的组件中的一些。计算装置1200的实例包含(但不限于)台式计算机、工作站、个人计算机、超级计算机、视频游戏控制台、平板电脑、智能电话、笔记本电脑、上网本或其它便携式装置。图12提供计算装置1200的一个实施例的示意性说明，其可执行由如本文中所描述的各种其它实施例提供的方法和/或可充当主要计算装置、远程查询一体机/终端机、销售点装置、移动多功能装置、机顶盒和/或计算装置。图12仅意图提供各种组件的一般化说明，所述组件中的任一者或全部可在适当时利用。因此，图12大体上说明可如何以相对分离或相对更集成的方式实施个别系统元件。
展示计算装置1200，其包括可经由总线1205电耦合(或可在适当时以其它方式通信)的硬件元件。硬件元件可包含：一或多个处理器1210，包含(但不限于)一或多个通用处理器和/或一或多个专用处理器(例如数字信号处理芯片、图形加速处理器和/或类似者)；一或多个输入装置1215，其可包含(但不限于)一或多个相机1255、传感器1260、鼠标、键盘和/或类似者；以及一或多个输出装置1220，其可包含(但不限于)显示单元、打印机和/或类似者。传感器1260模块可包含气压计、磁力计和/或运动传感器，例如陀螺仪和加速度计。
计算装置1200可进一步包含以下各项(和/或与以下各项通信)：一或多个非暂时性存储装置1225，非暂时性存储装置1225可包括(但不限于)本地和/或网络可存取存储装置，和/或可包含(但不限于)磁盘驱动器、驱动阵列、光学存储装置、例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)等固态存储装置，其可以是可编程的、可快闪更新的和/或类似者。此些存储装置可经配置以实施任何适当数据存储，包含(但不限于)各种文件系统、数据库结构和/或类似者。
计算装置1200还可包含通信子系统1230。通信子系统1230可包含用于接收并发射数据的收发器1250或有线和/或无线媒体。通信子系统1230还可包含(但不限于)调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置和/或芯片组(例如，BluetoothTM装置、802.11装置、WiFi装置、WiMax装置、蜂窝式通信设施等)和/或类似者。通信子系统1230可准许与网络(例如，作为一个实例，下文所描述的网络)、其它计算装置和/或本文中所描述的任何其它装置交换数据。在许多实施例中，计算装置1200将进一步包括非暂时性工作存储器1235，工作存储器1235可包含如上文所描述的随机存取(RAM)或只读(ROM)装置。
计算装置1200可包括展示为当前位于工作存储器1235内的软件元件，包含操作系统1240、装置驱动器、可执行库和/或其它代码(例如一或多个应用程序1245)，所述代码可包括由各种实施例提供和/或可经设计以实施方法和/或对系统进行配置、由其它实施例提供的计算机程序，如本文中所描述。仅仅借助于实例，关于上文所论述的方法所描述的一或多个程序可实施为可由计算机(和/或计算机内的处理器)执行的代码和/或指令；在一方面中，此些代码和/或指令接着可用以配置和/或调适通用计算机(或其它装置)以根据所描述方法执行一或多个操作。
这些指令和/或代码的集合可存储在计算机可读存储媒体(例如上文所描述的存储装置1225)上。在一些情况下，存储媒体可并入于例如计算机系统1200的计算装置内。在其它实施例中，存储媒体可与计算装置(例如，可装卸式媒体，例如压缩光盘)分开，和/或提供于安装包中，使得存储媒体可用以对其上存储有指令/代码的通用计算机进行编程、配置和/或调适。这些指令可呈可由计算装置1200执行的可执行码的形式，和/或可呈源和/或可安装代码的形式，在计算装置1200上编译和/或安装于计算装置1200上(例如，使用多种通常可用编译程序、安装程序、压缩/解压缩公用程序等中的任一者)后，源和/或可安装代码即刻呈可执行码的形式。
可根据具体要求而作出实质性变化。举例来说，还可能使用定制硬件，和/或可将特定元件实施于硬件、软件(包含便携式软件，例如小程序等)或两者中。此外，可采用到类似于计算装置1200的其它计算装置(例如网络输入/输出装置)的连接。
一些实施例可采用计算装置(例如计算装置1200)来执行根据本发明的方法。举例来说，可以由计算装置1200响应于处理器1210执行工作存储器1235中所含有的一或多个指令的一或多个序列(其可以并入到操作系统1240和/或例如应用程序1245的其它代码中)来执行所描述方法的一些或全部程序。此些指令可以从另一计算机可读媒体(例如存储装置1225中的一或多者)而被读入到工作存储器1235中。仅举例来说，执行工作存储器1235中所含有的指令的序列可致使处理器1210执行本文中所描述的方法的一或多个程序。
如本文中所使用，术语“非暂时性计算机可读媒体”、“机器可读媒体”和“计算机可读媒体”是指参与提供致使机器以特定方式操作的数据的任何媒体。在使用计算装置1200所实施的实施例中，在将指令/代码提供到处理器1210以用于执行的过程中可能涉及各种计算机可读媒体，和/或各种计算机可读媒体可用以存储和/或携载此些指令/代码(例如，作为信号)。在许多实施方案中，计算机可读媒体是物理和/或有形存储媒体。此媒体可呈许多形式，包含(但不限于)非易失性媒体、易失性媒体和传输媒体。非易失性媒体包含(例如)光盘和/或磁盘，例如存储装置1225。易失性媒体包含(但不限于)动态存储器(例如，工作存储器1235)。传输媒体包含(但不限于)同轴电缆、铜线和光纤，包含包括总线1205的电线，以及通信子系统1230的各种组件(和/或通信子系统1230提供与其它装置的通信所凭借的媒体)。因此，传输媒体还可呈波的形式(包含(但不限于)无线电、声波和/或光波，例如在无线电波和红外线数据通信期间产生的那些波)。在替代实施例中，可使用事件驱动组件和装置(例如，相机)，其中可在模拟域中执行处理中的一些。
常见形式的物理和/或有形计算机可读媒体包含(例如)软性磁盘、柔性磁盘、硬盘、磁带或任何其它磁性媒体、CD-ROM、任何其它光学媒体、打孔卡、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或盒带、如下文所描述的载波，或计算机可从其读取指令和/或代码的任何其它媒体。
在将一或多个指令的一或多个序列携载到处理器1210用来执行的过程中可涉及各种形式的计算机可读媒体。仅举例来说，最初可将指令携载于远程计算机的磁盘和/或光盘上。远程计算机可以将指令加载到其动态存储器中并将指令作为信号经由传输媒体来发送以由计算装置1200接收和/或执行。根据本发明的各种实施例，可以呈电磁信号、声信号、光信号和/或类似者形式的这些信号全部是可以在上面对指令进行编码的载波的实例。
通信子系统1230(和/或其组件)通常会接收所述信号，且总线1205接着可能将信号(和/或由信号携载的数据、指令等)携载到工作存储器1235，处理器1210从所述工作存储器检索并执行指令。可任选地在由处理器1210执行之前抑或之后将由工作存储器1235接收的指令存储在非暂时性存储装置1225上。
上文所论述的方法、系统和装置是实例。各种实施例可以在适当时省略、取代或添加各种程序或组件。举例来说，在替代性配置中，所描述的方法可以不同于所描述的顺序来执行，和/或可添加、省略和/或组合各阶段。并且，可在各种其它实施例中组合关于某些实施例描述的特征。可以类似方式组合实施例的不同方面和元件。并且，技术演变，且因此许多元件是实例，其并不将本发明的范围限制于那些具体实例。
在描述中给出具体细节以提供对实施例的透彻理解。然而，可以在没有这些特定细节的情况下实施实施例。举例来说，在没有不必要的细节的情况下展示众所周知的电路、过程、算法、结构和技术以免混淆所述实施例。此描述仅提供实例实施例，且并不旨在限制本发明的范围、适用性或配置。实际上，实施例的前述描述将为所属领域的技术人员提供用于实施本发明的实施例的启迪性描述。可在不脱离本发明的精神和范围的情况下对元件的功能和布置进行各种改变。
并且，将一些实施例描述为以流程图或框图形式描绘的过程。虽然每一流程图或框图可能将操作描述为依序过程，但是许多操作可并行地或同时执行。此外，操作的顺序可重新布置。过程可具有不包含在图中的额外框。此外，可由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施所述方法的实施例。当以软件、固件、中间件或微码实施时，用以执行相关联任务的程序代码或代码段可存储在例如存储媒体等计算机可读媒体中。处理器可进行相关联的任务。
已描述若干实施例，可在不脱离本发明的精神的情况下使用各种修改、替代构造和等效物。举例来说，以上元件可仅仅是较大系统的组件，其中其它规则可以优先于本发明的应用或以其它方式修改本发明的应用。并且，可在考虑以上要素之前、期间或之后进行许多步骤。因此，以上描述不限制本发明的范围。

Claims (30)

1.一种用于标记视觉数据的方法，所述方法包括：
使用耦合到装置的相机来获取视觉数据；
从至少一个信号发射装置接收至少一个无线信号；
从所述至少一个无线信号导出包括与所述至少一个信号发射装置相关联的源识别信息的信息；以及
以与所述至少一个信号发射装置相关联的所述信息标记所述视觉数据。
2.根据权利要求1所述的方法，其进一步包括将所述经标记视觉数据以无线方式发射到远程服务器。
3.根据权利要求1所述的方法，其中导出信息进一步包括导出在所述装置处所测量的来自所述至少一个信号发射装置的所述至少一个无线信号的信号强度。
4.根据权利要求1所述的方法，其中导出信息进一步包括使用来自所述至少一个信号发射装置的所述至少一个无线信号导出往返时间。
5.根据权利要求1所述的方法，其中所述至少一个信号发射装置是无线接入点。
6.根据权利要求1所述的方法，其中所述源识别信息是媒体接入控制MAC地址。
7.根据权利要求1所述的方法，其中所述至少一个无线信号是Wi-Fi信号、非可听声、超声信号和不可见光线中的一者。
8.根据权利要求1所述的方法，其中所述视觉数据在拒绝GNSS的环境中由所述相机获取。
9.根据权利要求1所述的方法，其中所述至少一个信号发射装置是静止的。
10.根据权利要求1所述的方法，其中所述信号发射装置的位置至少在接收到所述至少一个无线信号时是未知的。
11.根据权利要求1所述的方法，其进一步包括以气压计信息标记所述视觉数据。
12.根据权利要求1所述的方法，其进一步包括以磁力计信息标记所述视觉数据。
13.根据权利要求1所述的方法，其进一步包括以运动传感器信息标记所述视觉数据。
14.根据权利要求1所述的方法，其中所述视觉数据是图像。
15.根据权利要求1所述的方法，其中所述视觉数据包含于根据可交换图像文件格式Exif所格式化的图像文件中，且标记所述视觉数据包括包含与所述至少一个信号发射装置相关联的所述信息作为所述图像文件的元数据的部分。
16.根据权利要求1所述的方法，其中所述视觉数据是视频。
17.一种装置，其包括：
相机，其经配置以获取视觉数据；
存储器，其经配置以存储所述视觉数据；
收发器，其经配置以从至少一个信号发射装置接收至少一个无线信号；以及
处理器，其经配置以：
从所述至少一个无线信号导出包括与所述至少一个信号发射装置相关联的识别信息的信息；以及
以与所述至少一个信号发射装置相关联的所述信息标记所述视觉数据。
18.根据权利要求17所述的装置，其中所述收发器经进一步配置以将所述经标记视觉数据以无线方式发射到远程服务器。
19.根据权利要求17所述的装置，其中与所述至少一个信号发射装置相关联的所述信息进一步包括来自所述至少一个信号发射装置的所述至少一个无线信号的信号强度和使用来自所述至少一个信号发射装置的所述至少一个无线信号的往返时间中的一或多者。
20.根据权利要求17所述的装置，其中所述至少一个信号发射装置是无线接入点。
21.根据权利要求17所述的装置，其中所述至少一个无线信号是Wi-Fi信号、非可听声、超声信号和不可见光线中的一者。
22.根据权利要求17所述的装置，其中所述视觉数据在拒绝GNSS的环境中由所述相机获取。
23.根据权利要求17所述的装置，其中所述信号发射装置的位置至少在接收到所述至少一个无线信号时是未知的。
24.根据权利要求17所述的装置，其中所述处理器经进一步配置而以气压计信息、磁力计信息和运动传感器信息中的一或多者标记所述视觉数据。
25.根据权利要求17所述的装置，其中所述视觉数据包含于根据可交换图像文件格式Exif所格式化的图像文件中，且标记所述视觉数据包括包含与所述至少一个信号发射装置相关联的所述信息作为所述图像文件的元数据的部分。
26.一种设备，包括：
用于使用耦合到所述设备的相机来获取视觉数据的装置；
用于从至少一个信号发射装置接收至少一个无线信号的装置；
用于从所述至少一个无线信号导出包括与所述至少一个信号发射装置相关联的源识别信息的信息的装置；以及
用于以与所述至少一个信号发射装置相关联的所述信息标记所述视觉数据的装置。
27.根据权利要求26所述的设备，其进一步包括用于将所述经标记视觉数据以无线方式发射到远程服务器的装置。
28.根据权利要求26所述的设备，其中所述视觉数据在拒绝GNSS的环境中由所述相机获取。
29.一种非暂时性计算机可读存储媒体,其中所述非暂时性计算机可读存储媒体包括可由处理器执行的指令,所述指令包括用以进行以下操作的指令：
使用耦合到装置的相机来获取视觉数据；
从至少一个信号发射装置接收至少一个无线信号；
从所述至少一个无线信号导出包括与所述至少一个信号发射装置相关联的源识别信息的信息；以及
以与所述至少一个信号发射装置相关联的所述信息标记所述视觉数据。
30.根据权利要求29所述的非暂时性计算机可读存储媒体，其进一步包括用于将所述经标记视觉数据以无线方式发射到远程服务器的指令。
CN201580067186.5A 2014-12-30 2015-11-19 以无线信号信息标记视觉数据 Active CN107003385B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/585,535 US20160188540A1 (en) 2014-12-30 2014-12-30 Tagging visual data with wireless signal information
US14/585,535 2014-12-30
PCT/US2015/061477 WO2016109049A1 (en) 2014-12-30 2015-11-19 Tagging visual data with wireless signal information

Publications (2)

Publication Number Publication Date
CN107003385A true CN107003385A (zh) 2017-08-01
CN107003385B CN107003385B (zh) 2020-05-22

Family

ID=54782823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580067186.5A Active CN107003385B (zh) 2014-12-30 2015-11-19 以无线信号信息标记视觉数据

Country Status (5)

Country Link
US (1) US20160188540A1 (zh)
EP (2) EP4343359A2 (zh)
JP (1) JP2018509671A (zh)
CN (1) CN107003385B (zh)
WO (1) WO2016109049A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582105B2 (en) 2014-12-30 2020-03-03 Qualcomm Incorporated Changing camera parameters based on wireless signal information
US9824481B2 (en) 2014-12-30 2017-11-21 Qualcomm Incorporated Maintaining heatmaps using tagged visual data
US10691314B1 (en) * 2015-05-05 2020-06-23 State Farm Mutual Automobile Insurance Company Connecting users to entities based on recognized objects
CN109784149B (zh) * 2018-12-06 2021-08-20 苏州飞搜科技有限公司 一种人体骨骼关键点的检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070073937A1 (en) * 2005-09-15 2007-03-29 Eugene Feinberg Content-Aware Digital Media Storage Device and Methods of Using the Same
CN102387466A (zh) * 2010-08-18 2012-03-21 三星电子株式会社 用于移动终端中的地理标记中的功率控制的设备和方法
CN102960035A (zh) * 2010-05-19 2013-03-06 诺基亚公司 扩展的指纹产生
US20140136098A1 (en) * 2012-11-14 2014-05-15 Navteq B.V. Automatic image capture
US20140153773A1 (en) * 2012-11-30 2014-06-05 Qualcomm Incorporated Image-Based Indoor Position Determination
US8818706B1 (en) * 2011-05-17 2014-08-26 Google Inc. Indoor localization and mapping

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971913B2 (en) * 2003-06-27 2015-03-03 Qualcomm Incorporated Method and apparatus for wireless network hybrid positioning
US8774767B2 (en) * 2007-07-19 2014-07-08 Samsung Electronics Co., Ltd. Method and apparatus for providing phonebook using image in a portable terminal
US9177210B2 (en) * 2007-10-30 2015-11-03 Hki Systems And Service Llc Processing container images and identifiers using optical character recognition and geolocation
US20120236173A1 (en) * 2011-03-17 2012-09-20 Telek Michael J Digital camera user interface which adapts to environmental conditions
US8560635B1 (en) * 2011-03-30 2013-10-15 Google Inc. User experience of content rendering with time budgets
US8803991B2 (en) * 2011-10-12 2014-08-12 Cisco Technology, Inc. Snapshot capture in video stream
US8787191B2 (en) * 2011-11-15 2014-07-22 Qualcomm Incorporated Method and apparatus for determining distance in a Wi-Fi network
US9121922B2 (en) * 2012-06-26 2015-09-01 Cambridge Silicon Radio Limited Access point location identification methods and apparatus based on absolute and relative harvesting
US9107178B2 (en) * 2012-12-24 2015-08-11 Intel Corporation Geo-location signal fingerprinting
US20140274114A1 (en) * 2013-03-14 2014-09-18 Qualcomm Incorporated Positioning based on signals injected into concealed infrastructure
US9154919B2 (en) * 2013-04-22 2015-10-06 Alcatel Lucent Localization systems and methods
US9769434B1 (en) * 2014-07-31 2017-09-19 Ca, Inc. Remote control of a user's wearable computing device in help desk applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070073937A1 (en) * 2005-09-15 2007-03-29 Eugene Feinberg Content-Aware Digital Media Storage Device and Methods of Using the Same
CN102960035A (zh) * 2010-05-19 2013-03-06 诺基亚公司 扩展的指纹产生
CN102387466A (zh) * 2010-08-18 2012-03-21 三星电子株式会社 用于移动终端中的地理标记中的功率控制的设备和方法
US8818706B1 (en) * 2011-05-17 2014-08-26 Google Inc. Indoor localization and mapping
US20140136098A1 (en) * 2012-11-14 2014-05-15 Navteq B.V. Automatic image capture
US20140153773A1 (en) * 2012-11-30 2014-06-05 Qualcomm Incorporated Image-Based Indoor Position Determination

Also Published As

Publication number Publication date
US20160188540A1 (en) 2016-06-30
EP3241036A1 (en) 2017-11-08
CN107003385B (zh) 2020-05-22
EP3241036B1 (en) 2024-03-20
EP4343359A2 (en) 2024-03-27
JP2018509671A (ja) 2018-04-05
WO2016109049A1 (en) 2016-07-07

Similar Documents

Publication Publication Date Title
US9824481B2 (en) Maintaining heatmaps using tagged visual data
CN107110949A (zh) 基于无线信号信息改变相机参数
CN103827634B (zh) 用于室内定位的徽标检测
CN104350524B (zh) 基于外围信息的姿势估计
US9476717B2 (en) Simultaneous localization and mapping by using Earth's magnetic fields
US9558559B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN104050177B (zh) 街景生成方法及服务器
US20130211718A1 (en) Apparatus and method for providing indoor navigation service
US10127667B2 (en) Image-based object location system and process
JP2017509939A (ja) 疎及び密マッピング情報を含むマップを生成するための方法及びシステム
CN106153047A (zh) 一种室内定位方法、装置及终端
EP2981945A1 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN107003385A (zh) 以无线信号信息标记视觉数据
EP3190581A1 (en) Interior map establishment device and method using cloud point
CN107407566A (zh) 基于vlc的矢量场指纹映射
US8724848B1 (en) Locating objects using indicia
JP6301779B2 (ja) センサ制御装置、センサ制御方法およびセンサ制御プログラム
CN106462244A (zh) 使用所辨识的对象校准传感器的方法和系统
CN112020630A (zh) 用于更新建筑物的3d模型的系统和方法
Peter et al. Versatile geo-referenced maps for indoor navigation of pedestrians
JP6384898B2 (ja) 経路案内システム、方法及びプログラム
CN108512888A (zh) 一种信息标注方法、云端服务器、系统、电子设备及计算机程序产品
Villarrubia et al. Hybrid indoor location system for museum tourist routes in augmented reality
Huang et al. Ubiquitous indoor vision navigation using a smart device
JP2022031896A (ja) コレクションシステム用の端末装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant