HBASE 二月 13, 2020

HBase基本操作

文章字数 8.5k 阅读约需 8 mins. 阅读次数 1000000

HBase shell的使用

HBase自带的shell是用JRuby(Java写的Ruby解释器)写的命令行的工具,是用ruby语言实现的,其shell脚本也是ruby实现的。
执行以下命令进入HBase...

查看全文

HBASE 二月 08, 2020

HBase Meta表与Root表

文章字数 1.1k 阅读约需 1 mins. 阅读次数 1000000

Meta表的作用

记录的信息:

  1. 数据的Rowkey在哪个Region的范围
  2. Region在哪个RegionServer上

(Region是HBase中分布式存储和负载均衡的最小单元)

Meta表的Rowkey

region所在的表名+region的StartKey+时间戳

这三者的MD5值也是HBase在HDFS上存储的region名字

Meta表的列族和列

表中最主要的Family:info

info里包含三个Column:regioninfo,server,serverstartcode...

查看全文

面经 二月 02, 2020

腾讯TEG云架构后台开发实习面经

文章字数 4.2k 阅读约需 4 mins. 阅读次数 1000000

offer: 后台开发实习工程师,在TEG云架构平台组负责NoSQL存储平台的研发,base深圳。

一面

  1. 自我介绍

  2. 问项目:

    • 旅游大数据项目:
      • 项目内容以及自己负责的部分
      • 为什么采用HBase存储数据
      • 在项目中对比过HBase和MySQL的性能表现吗
      • 基于HBase的时空数据索引是怎么设计的
      • 数据获取方式
      • 数据都存了哪些字段
      • 了解MySQL吗
    • 区块链项目:
      • 项目内容以及自己负责的部分
      • 怎么实现区块的互连
      • Merkle树构建方式
      • 集群通信怎么实现
      • 怎么实现一个节点向所有节点发消息
      • 数据怎么...
查看全文

数据库 十月 28, 2019

小谈NoSQL

文章字数 5.7k 阅读约需 5 mins. 阅读次数 1000000

提纲

  • NoSQL简介
  • NoSQL兴起的原因
  • NoSQL与关系数据库的比较
  • NoSQL的四大类型
  • NoSQL的三大基石
  • 从NoSQL到NewSQL数据库
  • 文档数据库MongoDB

NoSQL简介

从最初表示的“反SQL”运动,用新型的非关系型数据库取代关系型数据库,发展为现在表示关系和非关系型数据库各有优缺点彼此都无法互相取代,即“Not only SQL”。

通常,NoSQL数据库具有以下特点:

  • 灵活的可扩展性
  • 灵活的数据模型
  • 与云计算紧密融合

NoSQL兴起的原因

  • 关系数据库已经无法满...
查看全文

大数据 十月 28, 2019

时空大数据介绍-2

文章字数 2.2k 阅读约需 2 mins. 阅读次数 1000000

何谓时空大数据平台

​ 时空大数据平台是把各种分散的(点数据)和分割的(条数据)大数据汇聚到一个特定的平台上(时空数据或地理框架数据平台),通过数据多维融合和关联分析与数据挖掘,揭示事物的本质规律,对事物做出更加快捷、更加全面、更加精准和更加有效的研判和预判,从而使之发生持续的聚合效应。

“通用时空大数据平台+”模式

  • 通用时空大数据平台:

    “大数据”之“大”就在于将各种分散的数据彼此联系,由“点”而“线”,由“线”而“面”,由“面”而“层次”,以形成更完整的覆盖面,更清楚的理解事物的本质和未来的趋...

查看全文

大数据 十月 28, 2019

时空大数据介绍-1

文章字数 2.9k 阅读约需 3 mins. 阅读次数 1000000

从哲学层面看

​ 空间与时间一起构成运动着的物质存在的两种基本形式。空间指物质存在的广延性;时间指物质运动过程的持续性和顺序性。空间和时间具有客观性,同运动着的物质不可分割。没有脱离物质运动的空间和时间,也没有不在空间和时间中运动的物质。空间和时间也是相互联系的。现代物理学的发展,特别是相对论,证明空间和时间同运动着的物质的不可分割的联系。

从运动着的万事万物表达的层面看

  • 时间维(T)

    指地理信息随时间变化,具有时态性,需要有一个精确的时间基准。

  • 空间维(S-XYZ)

    指地理信息具有精确的...

查看全文
0%