redis5.0源码学习笔记(3)内存管理

Tags:

Note:本文实际绑定的版本是branch5.0(2018-7-25)。

redis的内存分配机制不复杂,主要是看插件。

void *zmalloc(size_t size)

zmalloc是redis最常用的函数之一:

void *zmalloc(size_t size) {
    void *ptr = malloc(size+PREFIX_SIZE);

    if (!ptr) zmalloc_oom_handler(size); // out of memory 后的处理
#ifdef HAVE_MALLOC_SIZE
    update_zmalloc_stat_alloc(zmalloc_size(ptr));
    return ptr;
#else
    *((size_t*)ptr) = size;
    update_zmalloc_stat_alloc(size+PREFIX_SIZE);
    return (char*)ptr+PREFIX_SIZE;
#endif
}

HAVE_MALLOC_SIZE,2个点:

  • 标志是不是有zmalloc_size接口可以调用,zmalloc_size会返回这个ptr实际被分配的内存块大小
  • 看zmalloc.h,发现有这么些情况会定义HAVE_MALLOC_SIZE:USE_TCMALLOC、USE_JEMALLOC、APPLE平台、GLIBC

如果HAVE_MALLOC_SIZE定义了,那么PREFIX_SIZE为0;否则,PREFIX_SIZE是一个size_t或long long的长度。

PREFIX_SIZE显然是用来存内存块大小的,在zmalloc里的#else里能看到ptr被填入了size值,然后返回的是ptr+PREFIX_SIZE地址,这才是真正的数据块首地址。

update_zmalloc_stat_alloc是统计用。

zmalloc_default_oom

static void zmalloc_default_oom(size_t size) {
    fprintf(stderr, "zmalloc: Out of memory trying to allocate %zu bytes\n",
        size);
    fflush(stderr);
    abort();
}

缺省的oom处理函数,是要调用abort,让redis crash掉的。crash前会输出错误信息到stderr,告诉用户最后的请求是要分配多大的内存。

stat相关

#define update_zmalloc_stat_alloc(__n) do { \
    size_t _n = (__n); \
    if (_n&(sizeof(long)-1)) _n += sizeof(long)-(_n&(sizeof(long)-1)); \
    atomicIncr(used_memory,__n); \
} while(0)

#define update_zmalloc_stat_free(__n) do { \
    size_t _n = (__n); \
    if (_n&(sizeof(long)-1)) _n += sizeof(long)-(_n&(sizeof(long)-1)); \
    atomicDecr(used_memory,__n); \
} while(0)

用zmalloc_used_memory可以拿到used_memory的值。

zfree

void zfree(void *ptr) {
#ifndef HAVE_MALLOC_SIZE
    void *realptr;
    size_t oldsize;
#endif

    if (ptr == NULL) return;
#ifdef HAVE_MALLOC_SIZE
    update_zmalloc_stat_free(zmalloc_size(ptr));
    free(ptr);
#else
    realptr = (char*)ptr-PREFIX_SIZE;
    oldsize = *((size_t*)realptr);
    update_zmalloc_stat_free(oldsize+PREFIX_SIZE);
    free(realptr);
#endif
}

仔细看,是zmalloc的逆操作,没什么特别的。

zrealloc

void *zrealloc(void *ptr, size_t size) {
#ifndef HAVE_MALLOC_SIZE
    void *realptr;
#endif
    size_t oldsize;
    void *newptr;

    if (ptr == NULL) return zmalloc(size);
#ifdef HAVE_MALLOC_SIZE
    oldsize = zmalloc_size(ptr);
    newptr = realloc(ptr,size);
    if (!newptr) zmalloc_oom_handler(size);

    update_zmalloc_stat_free(oldsize);
    update_zmalloc_stat_alloc(zmalloc_size(newptr));
    return newptr;
#else
    realptr = (char*)ptr-PREFIX_SIZE;
    oldsize = *((size_t*)realptr);
    newptr = realloc(realptr,size+PREFIX_SIZE);
    if (!newptr) zmalloc_oom_handler(size);

    *((size_t*)newptr) = size;
    update_zmalloc_stat_free(oldsize);
    update_zmalloc_stat_alloc(size+PREFIX_SIZE);
    return (char*)newptr+PREFIX_SIZE;
#endif
}

realloc一个ptr,重新分配内存,这里并不能看出底层内存是怎么分配的,也因此代码很简单,只是做了oom和stat处理就没了。

第三方内存分配器

(未经授权禁止转载)
Written on July 27, 2018

写作不易,您的支持是我写作的动力!