语言
<< 返回文章列表

专业运维| In Memory的内部结构和实现机制

2017年12月22日
孙雪
1463

【云和恩墨,提供7*24最专业的数据恢复(Oracle,MySQL,SQL server)服务,致力于为您的数据库系统做最后一道安全防护!服务热线:010-59007017-7030】数据恢复|数据库运维|性能优化|安全保障|Oracle培训|MySQL培训


In-Memory简介:

In Memory特性的引入,主要是提高分析性业务的性能。如果数据库开启了In Memory 存储,则SGA中的数据管理会分为独立的两部分:存储在Buffer Cache中的行数据,和存储在In Memory Store中的列数据。


In Memory存储是通过初始化参数INMEMORY_SIZE来控制的,在默认情况下,INMEMORY_SIZE的值为0,表示未启动列式存储。



02

In Memory的开启和设置



如果需要开启列式存储,需要将INMEMORY_SIZE设置为至少100MB,设置的情况可以通过v$SGA 查询。在12.1版本中,IN-MEMORY的大小设置后,直接修改不生效,需要重启才可以。而从12.2开始,可以动态地修改INMEMORY_SIZE参数,使用以下SQL:

SQL> alter  system set  inmemory_size=10g;



修改inmemory_size需要满足两个条件:


在SGA中有足够的内存空间;

修改的inmemory_size的值至少比原来的值大128MB。




03

In Memory Store的内部结构



In Memory Store由两个主要的池组成,数据池(Data pool)和元数据池(Metadata pool)

image.png


其中数据池包含两类的数据单元,IMCU(In memory compression unit)和IMEU(In memory expression unit)。前者存放列数据,后者存放数据对应的表达式和用户定义的虚拟列。


一个IMCU中包含一个或多个CU(compression unit),每一个CU存储一个列。(注意,一个IMCU中的CU属于同一个对象)当一个CU被添加到IMCU中时,系统会自动创建一个索引并将其存储在IMCU header当中,用于检索。


image.png


SMU中主要存储元数据,同时包含Transaction Journal。



04

Transaction Journal的作用及行列数据一致的实现



由于IMCU中的数据是只读的,为了保证行数据和列数据的一致性,当发生DML操作时,数据库在修改Buffer Cache中的数据的同时,会将对应数据的rowid写入到SMU中,并将对应对象标记为stale属性。


而In Memory中的操作则会先访问SMU,如果发现要访问的对象被标记为stale,则会到Buffer Cache中寻找最新的数据,如果没有,则会继续访问IMCU获取数据。


基本示意图如下:

image.png



相关进程

1、In Memory coordinator process(IMCO);

2、其对应的slave进程 Wnnn(space management worker processes).




这两个进程的主要作用是完成In Memory Store的条目构建和重构。构建指的是将Buffer Cache中的行数据转换为列数据,进行压缩后存储到IMCU当中;而重构则是对部分IMCU中的数据再次进行更新的过程。



列数据重构的两种实现方式:

1)基于阈值的重构

由于事务的发生,SMU中的部分对象会被标记为stale属性,当属性为stale的对象占SMU的百分比达到一定的阈值,就会发生重构。


2)微重构

不考虑属性为stale的对象的比例,IMCO进程每两分钟会被唤醒一次,进行重构。