加入收藏 | 设为首页 | 会员中心 | 我要投稿 淮安站长网 (https://www.0517zz.com.cn/)- 数据开发、人脸识别、智能机器人、图像处理、语音技术!
当前位置: 首页 > 站长资讯 > 外闻 > 正文

Python爬虫必须掌握的概念

发布时间:2021-02-05 13:32:47 所属栏目:外闻 来源:互联网
导读:A-GNSS需要网络和手机都能接收GNSS信息。在A-GNSS中,网络可以根据终端当前所在的区域,确定所在区域上空的GNSS卫星,将这些信息提供给终端,从而终端可以根据这些信息缩小卫星搜索范围、缩短搜索时间,更快的完成可用卫星的搜索过程。终端快速获得自身的位

A-GNSS需要网络和手机都能接收GNSS信息。在A-GNSS中,网络可以根据终端当前所在的区域,确定所在区域上空的GNSS卫星,将这些信息提供给终端,从而终端可以根据这些信息缩小卫星搜索范围、缩短搜索时间,更快的完成可用卫星的搜索过程。终端快速获得自身的位置后再将位置信息发送到网络的定位服务中心可计算出更精准的位置。

A-GNSS可满足快速移动定位需求,但无法满足室内定位需求。

5G时代的定位需求

5G将使能各行各业的多样化应用,车联网、自动驾驶、智能制造、智慧物流、无人机、资产追踪等大量应用场景对定位能力要求更高,比如车联网中的车辆结队、主动避撞要求定位精度高达30厘米,且要求支持高速移动和超低时延的定位能力;远程操控无人机要求10-50厘米。同时,如资产追踪、无人AGV、AR/VR等大量应用集中在室内,卫星定位系统无法覆盖。因此,5G必须增强网络定位技术来提升定位精准度。

根据3GPP R16定义,5G定位能力必须满足以下最低要求:

  • 对于80%的终端,水平定位精度优于50米,垂直定位精度优于5米。
  • 端到端时延低于30秒。

对于要求严苛的商业用例,5G定位能力至少需满足以下要求:

  • 对于80%的终端,水平定位精度优于3米(室内)和10米(室外)。
  • 对于80%的终端,垂直定位精度优于3米(室内和室外)。
  • 端到端时延小于1秒。

5G定位技术
 

而机器学习一般采用Spark家族的Spark MLlib为技术底座。Spark MLlib内置了大量的常规算法包,如随机森林、逻辑回归、决策树等,可以满足大部分数据智能应用场景。

同时,数据中台不断进化,也逐渐融入AI能力。如人脸识别、以图搜图、智能客服等能力的实现就需要AI平台。目前较为成熟的AI平台有TensorFlow及PyTorch。为实现物体的检测和识别,可使用SSD、YOLO和ResNet等深度学习模型,而在人脸检测和识别中则主要使用MTCNN、RetinaNet和ResNet,人脸检索可使用Facebook开源的针对人脸检索的Faiss框架。

3. 数据存储层

数据存储层所有的存储引擎都基于Hadoop的HDFS分布式存储,从而达到数据多份冗余和充分利用物理层多磁盘的I/O性能。在HDFS上分别搭建Hive、HBase作为存储数据库,在这两个数据库的基础上再搭建Impala、Phoenix、Presto引擎。

  • Hive为大数据广泛使用的离线数据存储平台,用于存储数据中台的全量数据,在建模阶段可以使用Hive SQL、Spark SQL进行数据处理和建模。
  • HBase为主流的大数据NoSQL,适合数据的快速实时读写。在实时数据处理时,可将数据实时保存到HBase中,并且可以从HBase中实时读取数据,从而满足数据的时效性。
  • Impala可以对Hive、HBase等大数据数据库进行准实时的数据分析,能满足对分析结果速度有一定要求的场景。
  • Phoenix是构建在HBase上的一个SQL层,能让我们用标准的JDBC API而不是HBase客户端API来创建表、插入数据和对HBase数据进行查询。
  • Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询。Presto支持Hive、HBase、MySQL等多种关系型和大数据数据库的查询,并且支持join表。对于对接自助分析和统一数据服务的场景,可以通过Presto来统一访问具体存储的数据库,从而达到语法统一和数据源统一。

4. 数据服务层

数据服务层采用的技术与业务应用类似,主要基于开源Spring Cloud、Spring Boot等构建,使用统一的服务网关。

(编辑:淮安站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读