聊聊Redis中的5種數(shù)據(jù)類型,看看能怎么應(yīng)用!

本篇文章帶大家了解一下redis中的5種數(shù)據(jù)類型,并看看怎么應(yīng)用,介紹一下redis實(shí)際應(yīng)用場(chǎng)景,希望對(duì)大家有所幫助!

聊聊Redis中的5種數(shù)據(jù)類型,看看能怎么應(yīng)用!

MySql+Memcached架構(gòu)的問(wèn)題

  實(shí)際MySQL是適合進(jìn)行海量數(shù)據(jù)存儲(chǔ)的,通過(guò)Memcached將熱點(diǎn)數(shù)據(jù)加載到cache,加速訪問(wèn),很多公司都曾經(jīng)使用過(guò)這樣的架構(gòu),但隨著業(yè)務(wù)數(shù)據(jù)量的不斷增加,和訪問(wèn)量的持續(xù)增長(zhǎng),我們遇到了很多問(wèn)題:

  1.MySQL需要不斷進(jìn)行拆庫(kù)拆表,Memcached也需不斷跟著擴(kuò)容,擴(kuò)容和維護(hù)工作占據(jù)大量開發(fā)時(shí)間。

  2.Memcached與MySQL數(shù)據(jù)庫(kù)數(shù)據(jù)一致性問(wèn)題。

  3.Memcached數(shù)據(jù)命中率低或down機(jī),大量訪問(wèn)直接穿透到DB,MySQL無(wú)法支撐。

  4.跨機(jī)房cache同步問(wèn)題。

  眾多NoSQL百花齊放,如何選擇

  最近幾年,業(yè)界不斷涌現(xiàn)出很多各種各樣的NoSQL產(chǎn)品,那么如何才能正確地使用好這些產(chǎn)品,最大化地發(fā)揮其長(zhǎng)處,是我們需要深入研究和思考的問(wèn)題,實(shí)際歸根結(jié)底最重要的是了解這些產(chǎn)品的定位,并且了解到每款產(chǎn)品的tradeoffs,在實(shí)際應(yīng)用中做到揚(yáng)長(zhǎng)避短,總體上這些NoSQL主要用于解決以下幾種問(wèn)題

  1.少量數(shù)據(jù)存儲(chǔ),高速讀寫訪問(wèn)。此類產(chǎn)品通過(guò)數(shù)據(jù)全部in-momery 的方式來(lái)保證高速訪問(wèn),同時(shí)提供數(shù)據(jù)落地的功能,實(shí)際這正是Redis最主要的適用場(chǎng)景。【相關(guān)推薦:Redis視頻教程

  2.海量數(shù)據(jù)存儲(chǔ),分布式系統(tǒng)支持,數(shù)據(jù)一致性保證,方便的集群節(jié)點(diǎn)添加/刪除。

  3.這方面最具代表性的是dynamo和bigtable 2篇論文所闡述的思路。前者是一個(gè)完全無(wú)中心的設(shè)計(jì),節(jié)點(diǎn)之間通過(guò)gossip方式傳遞集群信息,數(shù)據(jù)保證最終一致性,后者是一個(gè)中心化的方案設(shè)計(jì),通過(guò)類似一個(gè)分布式鎖服務(wù)來(lái)保證強(qiáng)一致性,數(shù)據(jù)寫入先寫內(nèi)存和redo log,然后定期compat歸并到磁盤上,將隨機(jī)寫優(yōu)化為順序?qū)懀岣邔懭胄阅堋?/p>

  4.Schema free,auto-sharding等。比如目前常見(jiàn)的一些文檔數(shù)據(jù)庫(kù)都是支持schema-free的,直接存儲(chǔ)json格式數(shù)據(jù),并且支持auto-sharding等功能,比如mongodb。

? ? ? ?Redis最適合所有數(shù)據(jù)in-momory的場(chǎng)景,雖然Redis也提供持久化功能,但實(shí)際更多的是一個(gè)disk-backed的功能,跟傳統(tǒng)意義上的持久化有比較大的差別,那么可能大家就會(huì)有疑問(wèn),似乎Redis更像一個(gè)加強(qiáng)版的Memcached,那么何時(shí)使用Memcached,何時(shí)使用Redis呢?

? ? ? ?如果簡(jiǎn)單地比較Redis與Memcached的區(qū)別,大多數(shù)都會(huì)得到以下觀點(diǎn):

? ? ?1 、Redis不僅僅支持簡(jiǎn)單的k/v類型的數(shù)據(jù),同時(shí)還提供list,set,zset,hash等數(shù)據(jù)結(jié)構(gòu)的存儲(chǔ)。
? ? ?2 、Redis支持?jǐn)?shù)據(jù)的備份,即master-slave模式的數(shù)據(jù)備份。
? ? ?3 、Redis支持?jǐn)?shù)據(jù)的持久化,可以將內(nèi)存中的數(shù)據(jù)保持在磁盤中,重啟的時(shí)候可以再次加載進(jìn)行使用。

  通過(guò)一張圖了解下Redis內(nèi)部?jī)?nèi)存管理中是如何描述這些不同數(shù)據(jù)類型的:

聊聊Redis中的5種數(shù)據(jù)類型,看看能怎么應(yīng)用!

  首先Redis內(nèi)部使用一個(gè)redisObject對(duì)象來(lái)表示所有的key和value,redisObject最主要的信息如上圖所示:type代表一個(gè)value對(duì)象具體是何種數(shù)據(jù)類型,encoding是不同數(shù)據(jù)類型在redis內(nèi)部的存儲(chǔ)方式,比如:type=string代表value存儲(chǔ)的是一個(gè)普通字符串,那么對(duì)應(yīng)的encoding可以是raw或者是int,如果是int則代表實(shí)際redis內(nèi)部是按數(shù)值型類存儲(chǔ)和表示這個(gè)字符串的,當(dāng)然前提是這個(gè)字符串本身可以用數(shù)值表示,比如:”123″ “456”這樣的字符串。

  這里需要特殊說(shuō)明一下vm字段,只有打開了Redis的虛擬內(nèi)存功能,此字段才會(huì)真正的分配內(nèi)存,該功能默認(rèn)是關(guān)閉狀態(tài)的。通過(guò)上圖我們可以發(fā)現(xiàn)Redis使用redisObject來(lái)表示所有的key/value數(shù)據(jù)是比較浪費(fèi)內(nèi)存的,當(dāng)然這些內(nèi)存管理成本的付出主要也是為了給Redis不同數(shù)據(jù)類型提供一個(gè)統(tǒng)一的管理接口,實(shí)際作者也提供了多種方法幫助我們盡量節(jié)省內(nèi)存使用,我們隨后會(huì)具體討論。

Redis支持5種數(shù)據(jù)類型:string(字符串),hash(哈希),list(列表),set(集合)及zset(sorted set:有序集合)。

  ①?string?是 redis 最基本的類型,你可以理解成與 Memcached 一模一樣的類型,一個(gè) key 對(duì)應(yīng)一個(gè) value。value其實(shí)不僅是String,也可以是數(shù)字。string 類型是二進(jìn)制安全的。意思是 redis 的 string 可以包含任何數(shù)據(jù)。比如jpg圖片或者序列化的對(duì)象。string 類型是 Redis 最基本的數(shù)據(jù)類型,string 類型的值最大能存儲(chǔ) 512MB。

  常用命令:get、set、incr、decr、mget等。

  應(yīng)用場(chǎng)景:String是最常用的一種數(shù)據(jù)類型,普通的key/ value 存儲(chǔ)都可以歸為此類,即可以完全實(shí)現(xiàn)目前 Memcached 的功能,并且效率更高。還可以享受Redis的定時(shí)持久化,操作日志及 Replication等功能。除了提供與 Memcached 一樣的get、set、incr、decr 等操作外,Redis還提供了下面一些操作:?

  • 獲取字符串長(zhǎng)度
  • 往字符串a(chǎn)ppend內(nèi)容
  • 設(shè)置和獲取字符串的某一段內(nèi)容
  • 設(shè)置及獲取字符串的某一位(bit)
  • 批量設(shè)置一系列字符串的內(nèi)容

  使用場(chǎng)景:常規(guī)key-value緩存應(yīng)用。常規(guī)計(jì)數(shù): 微博數(shù), 粉絲數(shù)。

  實(shí)現(xiàn)方式:String在redis內(nèi)部存儲(chǔ)默認(rèn)就是一個(gè)字符串,被redisObject所引用,當(dāng)遇到incr,decr等操作時(shí)會(huì)轉(zhuǎn)成數(shù)值型進(jìn)行計(jì)算,此時(shí)redisObject的encoding字段為int。

redis 127.0.0.1:6379> SET name "runoob" "OK"redis 127.0.0.1:6379> GET name "runoob"

  在以上實(shí)例中我們使用了 Redis 的?SET?和?GET?命令。鍵為 name,對(duì)應(yīng)的值為?runoob

  注意:一個(gè)鍵最大能存儲(chǔ)512MB。

  ②?Redis hash?是一個(gè)鍵值(key => value)對(duì)集合。Redis hash 是一個(gè) string 類型的 field 和 value 的映射表,hash 特別適合用于存儲(chǔ)對(duì)象。

  常用命令:hget,hset,hgetall 等。

  應(yīng)用場(chǎng)景:我們簡(jiǎn)單舉個(gè)實(shí)例來(lái)描述下Hash的應(yīng)用場(chǎng)景,比如我們要存儲(chǔ)一個(gè)用戶信息對(duì)象數(shù)據(jù),包含以下信息:

    用戶ID為查找的key,存儲(chǔ)的value用戶對(duì)象包含姓名,年齡,生日等信息,如果用普通的key/value結(jié)構(gòu)來(lái)存儲(chǔ),主要有以下2種存儲(chǔ)方式:

聊聊Redis中的5種數(shù)據(jù)類型,看看能怎么應(yīng)用!

    第一種方式將用戶ID作為查找key,把其他信息封裝成一個(gè)對(duì)象以序列化的方式存儲(chǔ),這種方式的缺點(diǎn)是,增加了序列化/反序列化的開銷,并且在需要修改其中一項(xiàng)信息時(shí),需要把整個(gè)對(duì)象取回,并且修改操作需要對(duì)并發(fā)進(jìn)行保護(hù),引入CAS等復(fù)雜問(wèn)題。

聊聊Redis中的5種數(shù)據(jù)類型,看看能怎么應(yīng)用!

    第二種方法是這個(gè)用戶信息對(duì)象有多少成員就存成多少個(gè)key-value對(duì)兒,用用戶ID+對(duì)應(yīng)屬性的名稱作為唯一標(biāo)識(shí)來(lái)取得對(duì)應(yīng)屬性的值,雖然省去了序列化開銷和并發(fā)問(wèn)題,但是用戶ID為重復(fù)存儲(chǔ),如果存在大量這樣的數(shù)據(jù),內(nèi)存浪費(fèi)還是非常可觀的。

    那么Redis提供的Hash很好的解決了這個(gè)問(wèn)題,Redis的Hash實(shí)際是內(nèi)部存儲(chǔ)的Value為一個(gè)HashMap,并提供了直接存取這個(gè)Map成員的接口,如下圖:

聊聊Redis中的5種數(shù)據(jù)類型,看看能怎么應(yīng)用!

    也就是說(shuō),Key仍然是用戶ID, value是一個(gè)Map,這個(gè)Map的key是成員的屬性名,value是屬性值,這樣對(duì)數(shù)據(jù)的修改和存取都可以直接通過(guò)其內(nèi)部Map的Key(Redis里稱內(nèi)部Map的key為field), 也就是通過(guò) key(用戶ID) + field(屬性標(biāo)簽) 就可以操作對(duì)應(yīng)屬性數(shù)據(jù)了,既不需要重復(fù)存儲(chǔ)數(shù)據(jù),也不會(huì)帶來(lái)序列化和并發(fā)修改控制的問(wèn)題,很好的解決了問(wèn)題。

    這里同時(shí)需要注意,Redis提供了接口(hgetall)可以直接取到全部的屬性數(shù)據(jù),但是如果內(nèi)部Map的成員很多,那么涉及到遍歷整個(gè)內(nèi)部Map的操作,由于Redis單線程模型的緣故,這個(gè)遍歷操作可能會(huì)比較耗時(shí),而另其它客戶端的請(qǐng)求完全不響應(yīng),這點(diǎn)需要格外注意。

  使用場(chǎng)景:存儲(chǔ)部分變更數(shù)據(jù),如用戶信息等。

  實(shí)現(xiàn)方式:上面已經(jīng)說(shuō)到Redis Hash對(duì)應(yīng)Value內(nèi)部實(shí)際就是一個(gè)HashMap,實(shí)際這里會(huì)有2種不同實(shí)現(xiàn),這個(gè)Hash的成員比較少時(shí)Redis為了節(jié)省內(nèi)存會(huì)采用類似一維數(shù)組的方式來(lái)緊湊存儲(chǔ),而不會(huì)采用真正的HashMap結(jié)構(gòu),對(duì)應(yīng)的value redisObject的encoding為zipmap,當(dāng)成員數(shù)量增大時(shí)會(huì)自動(dòng)轉(zhuǎn)成真正的HashMap,此時(shí)encoding為ht。

redis> HSET myhash field1 "Hello" field2 "World" "OK" redis> HGET myhash field1 "Hello" redis> HGET myhash field2 "World"

  實(shí)例中我們使用了 Redis?HMSET, HGET?命令,HMSET?設(shè)置了兩個(gè)?field=>value?對(duì), HGET 獲取對(duì)應(yīng)?field?對(duì)應(yīng)的?value。每個(gè) hash 可以存儲(chǔ) 232?-1 鍵值對(duì)(40多億)。

  ③?Redis list?列表是簡(jiǎn)單的字符串列表,按照插入順序排序。你可以添加一個(gè)元素到列表的頭部(左邊)或者尾部(右邊)。

  常用命令:lpush(添加左邊元素),rpush,lpop(移除左邊第一個(gè)元素),rpop,lrange(獲取列表片段,LRANGE key start stop)等。

  應(yīng)用場(chǎng)景:Redis list的應(yīng)用場(chǎng)景非常多,也是Redis最重要的數(shù)據(jù)結(jié)構(gòu)之一,比如twitter的關(guān)注列表,粉絲列表等都可以用Redis的list結(jié)構(gòu)來(lái)實(shí)現(xiàn)。

    List 就是鏈表,相信略有數(shù)據(jù)結(jié)構(gòu)知識(shí)的人都應(yīng)該能理解其結(jié)構(gòu)。使用List結(jié)構(gòu),我們可以輕松地實(shí)現(xiàn)最新消息排行等功能。List的另一個(gè)應(yīng)用就是消息隊(duì)列,
可以利用List的PUSH操作,將任務(wù)存在List中,然后工作線程再用POP操作將任務(wù)取出進(jìn)行執(zhí)行。Redis還提供了操作List中某一段的api,你可以直接查詢,刪除List中某一段的元素。

  實(shí)現(xiàn)方式:Redis list的實(shí)現(xiàn)為一個(gè)雙向鏈表,即可以支持反向查找和遍歷,更方便操作,不過(guò)帶來(lái)了部分額外的內(nèi)存開銷,Redis內(nèi)部的很多實(shí)現(xiàn),包括發(fā)送緩沖隊(duì)列等也都是用的這個(gè)數(shù)據(jù)結(jié)構(gòu)。

  Redis的list是每個(gè)子元素都是String類型的雙向鏈表,可以通過(guò)push和pop操作從列表的頭部或者尾部添加或者刪除元素,這樣List即可以作為棧,也可以作為隊(duì)列。?獲取越接近兩端的元素速度越快,但通過(guò)索引訪問(wèn)時(shí)會(huì)比較慢。

使用場(chǎng)景:

  消息隊(duì)列系統(tǒng):使用list可以構(gòu)建隊(duì)列系統(tǒng),使用sorted set甚至可以構(gòu)建有優(yōu)先級(jí)的隊(duì)列系統(tǒng)。比如:將Redis用作日志收集器,實(shí)際上還是一個(gè)隊(duì)列,多個(gè)端點(diǎn)將日志信息寫入Redis,然后一個(gè)worker統(tǒng)一將所有日志寫到磁盤。

  取最新N個(gè)數(shù)據(jù)的操作:記錄前N個(gè)最新登陸的用戶Id列表,超出的范圍可以從數(shù)據(jù)庫(kù)中獲得。

//把當(dāng)前登錄人添加到鏈表里 ret = r.lpush("login:last_login_times", uid) //保持鏈表只有N位 ret = redis.ltrim("login:last_login_times", 0, N-1) //獲得前N個(gè)最新登陸的用戶Id列表 last_login_list = r.lrange("login:last_login_times", 0, N-1)

比如微博:

  在Redis中我們的最新微博ID使用了常駐緩存,這是一直更新的。但是我們做了限制不能超過(guò)5000個(gè)ID,因此我們的獲取ID函數(shù)會(huì)一直詢問(wèn)Redis。只有在start/count參數(shù)超出了這個(gè)范圍的時(shí)候,才需要去訪問(wèn)數(shù)據(jù)庫(kù)。我們的系統(tǒng)不會(huì)像傳統(tǒng)方式那樣“刷新”緩存,Redis實(shí)例中的信息永遠(yuǎn)是一致的。SQL數(shù)據(jù)庫(kù)(或是硬盤上的其他類型數(shù)據(jù)庫(kù))只是在用戶需要獲取“很遠(yuǎn)”的數(shù)據(jù)時(shí)才會(huì)被觸發(fā),而主頁(yè)或第一個(gè)評(píng)論頁(yè)是不會(huì)麻煩到硬盤上的數(shù)據(jù)庫(kù)了。

redis 127.0.0.1:6379> lpush runoob redis (integer) 1 redis 127.0.0.1:6379> lpush runoob mongodb (integer) 2 redis 127.0.0.1:6379> lpush runoob rabitmq (integer) 3 redis 127.0.0.1:6379> lrange runoob 0 10 1) "rabitmq" 2) "mongodb" 3) "redis" redis 127.0.0.1:6379>

  列表最多可存儲(chǔ) 232?– 1 元素 (4294967295, 每個(gè)列表可存儲(chǔ)40多億)。

  ?Redis set是string類型的無(wú)序集合。集合是通過(guò)hashtable實(shí)現(xiàn)的,概念和數(shù)學(xué)中個(gè)的集合基本類似,可以交集,并集,差集等等,set中的元素是沒(méi)有順序的。所以添加,刪除,查找的復(fù)雜度都是O(1)。

  sadd 命令:添加一個(gè) string 元素到 key 對(duì)應(yīng)的 set 集合中,成功返回1,如果元素已經(jīng)在集合中返回 0,如果 key 對(duì)應(yīng)的 set 不存在則返回錯(cuò)誤。

  常用命令:sadd,spop,smembers,sunion 等。

  應(yīng)用場(chǎng)景:Redis set對(duì)外提供的功能與list類似是一個(gè)列表的功能,特殊之處在于set是可以自動(dòng)排重的,當(dāng)你需要存儲(chǔ)一個(gè)列表數(shù)據(jù),又不希望出現(xiàn)重復(fù)數(shù)據(jù)時(shí),set是一個(gè)很好的選擇,并且set提供了判斷某個(gè)成員是否在一個(gè)set集合內(nèi)的重要接口,這個(gè)也是list所不能提供的。

  Set 就是一個(gè)集合,集合的概念就是一堆不重復(fù)值的組合。利用Redis提供的Set數(shù)據(jù)結(jié)構(gòu),可以存儲(chǔ)一些集合性的數(shù)據(jù)。

  案例:在微博中,可以將一個(gè)用戶所有的關(guān)注人存在一個(gè)集合中,將其所有粉絲存在一個(gè)集合。Redis還為集合提供了求交集、并集、差集等操作,可以非常方便的實(shí)現(xiàn)如共同關(guān)注、共同喜好、二度好友等功能,對(duì)上面的所有集合操作,你還可以使用不同的命令選擇將結(jié)果返回給客戶端還是存集到一個(gè)新的集合中。

  實(shí)現(xiàn)方式:?set 的內(nèi)部實(shí)現(xiàn)是一個(gè) value永遠(yuǎn)為null的HashMap,實(shí)際就是通過(guò)計(jì)算hash的方式來(lái)快速排重的,這也是set能提供判斷一個(gè)成員是否在集合內(nèi)的原因。

  使用場(chǎng)景:

  ①交集,并集,差集:(Set)

//book表存儲(chǔ)book名稱 set?book:1:name????”The?Ruby?Programming?Language” set?book:2:name?????”Ruby?on?rail” set?book:3:name?????”Programming?Erlang” //tag表使用集合來(lái)存儲(chǔ)數(shù)據(jù),因?yàn)榧仙瞄L(zhǎng)求交集、并集 sadd?tag:ruby?1 sadd?tag:ruby?2 sadd?tag:web?2 sadd?tag:erlang?3 //即屬于ruby又屬于web的書? inter_list?=?redis.sinter("tag.web",?"tag:ruby")? //即屬于ruby,但不屬于web的書? inter_list?=?redis.sdiff("tag.ruby",?"tag:web")? //屬于ruby和屬于web的書的合集? inter_list?=?redis.sunion("tag.ruby",?"tag:web")

  ②獲取某段時(shí)間所有數(shù)據(jù)去重值

  這個(gè)使用Redis的set數(shù)據(jù)結(jié)構(gòu)最合適了,只需要不斷地將數(shù)據(jù)往set中扔就行了,set意為集合,所以會(huì)自動(dòng)排重。

sadd?key?member
redis?127.0.0.1:6379>?sadd?runoob?redis (integer)?1 redis?127.0.0.1:6379>?sadd?runoob?mongodb (integer)?1 redis?127.0.0.1:6379>?sadd?runoob?rabitmq (integer)?1 redis?127.0.0.1:6379>?sadd?runoob?rabitmq (integer)?0 redis?127.0.0.1:6379>?smembers?runoob 1)?"redis" 2)?"rabitmq" 3)?"mongodb"

  注意:以上實(shí)例中 rabitmq 添加了兩次,但根據(jù)集合內(nèi)元素的唯一性,第二次插入的元素將被忽略。集合中最大的成員數(shù)為 232?– 1(4294967295, 每個(gè)集合可存儲(chǔ)40多億個(gè)成員)。

  ⑤?Redis zset?和 set 一樣也是string類型元素的集合,且不允許重復(fù)的成員。

  zadd 命令:添加元素到集合,元素在集合中存在則更新對(duì)應(yīng)score。

  常用命令:zadd,zrange,zrem,zcard等

  使用場(chǎng)景:Redis sorted set的使用場(chǎng)景與set類似,區(qū)別是set不是自動(dòng)有序的,而sorted set可以通過(guò)用戶額外提供一個(gè)優(yōu)先級(jí)(score)的參數(shù)來(lái)為成員排序,并且是插入有序的,即自動(dòng)排序。當(dāng)你需要一個(gè)有序的并且不重復(fù)的集合列表,那么可以選擇sorted set數(shù)據(jù)結(jié)構(gòu),比如twitter 的public timeline可以以發(fā)表時(shí)間作為score來(lái)存儲(chǔ),這樣獲取時(shí)就是自動(dòng)按時(shí)間排好序的。和Set相比,Sorted Set關(guān)聯(lián)了一個(gè)double類型權(quán)重參數(shù)score,使得集合中的元素能夠按score進(jìn)行有序排列,redis正是通過(guò)分?jǐn)?shù)來(lái)為集合中的成員進(jìn)行從小到大的排序。zset的成員是唯一的,但分?jǐn)?shù)(score)卻可以重復(fù)。比如一個(gè)存儲(chǔ)全班同學(xué)成績(jī)的Sorted Set,其集合value可以是同學(xué)的學(xué)號(hào),而score就可以是其考試得分,這樣在數(shù)據(jù)插入集合的時(shí)候,就已經(jīng)進(jìn)行了天然的排序。另外還可以用Sorted Set來(lái)做帶權(quán)重的隊(duì)列,比如普通消息的score為1,重要消息的score為2,然后工作線程可以選擇按score的倒序來(lái)獲取工作任務(wù)。讓重要的任務(wù)優(yōu)先執(zhí)行。

  實(shí)現(xiàn)方式:Redis sorted set的內(nèi)部使用HashMap和跳躍表(SkipList)來(lái)保證數(shù)據(jù)的存儲(chǔ)和有序,HashMap里放的是成員到score的映射,而跳躍表里存放的是所有的成員,排序依據(jù)是HashMap里存的score,使用跳躍表的結(jié)構(gòu)可以獲得比較高的查找效率,并且在實(shí)現(xiàn)上比較簡(jiǎn)單。

zadd?key?score?member
redis?127.0.0.1:6379>?zadd?runoob?0?redis (integer)?1 redis?127.0.0.1:6379>?zadd?runoob?0?mongodb (integer)?1 redis?127.0.0.1:6379>?zadd?runoob?0?rabitmq (integer)?1 redis?127.0.0.1:6379>?zadd?runoob?0?rabitmq (integer)?0 redis?127.0.0.1:6379>?>?ZRANGEBYSCORE?runoob?0?1000 1)?"mongodb" 2)?"rabitmq" 3)?"redis"

各個(gè)數(shù)據(jù)類型應(yīng)用場(chǎng)景:

類型 簡(jiǎn)介 特性 場(chǎng)景
String(字符串) 二進(jìn)制安全 可以包含任何數(shù)據(jù),比如jpg圖片或者序列化的對(duì)象,一個(gè)鍵最大能存儲(chǔ)512M
Hash(字典) 鍵值對(duì)集合,即編程語(yǔ)言中的Map類型 適合存儲(chǔ)對(duì)象,并且可以像數(shù)據(jù)庫(kù)中update一個(gè)屬性一樣只修改某一項(xiàng)屬性值(Memcached中需要取出整個(gè)字符串反序列化成對(duì)象修改完再序列化存回去) 存儲(chǔ)、讀取、修改用戶屬性
List(列表) 鏈表(雙向鏈表) 增刪快,提供了操作某一段元素的API 1、最新消息排行等功能(比如朋友圈的時(shí)間線) 2、消息隊(duì)列
Set(集合) 哈希表實(shí)現(xiàn),元素不重復(fù) 1、添加、刪除、查找的復(fù)雜度都是O(1)? 2、為集合提供了求交集、并集、差集等操作 1、共同好友 2、利用唯一性,統(tǒng)計(jì)訪問(wèn)網(wǎng)站的所有獨(dú)立ip 3、好友推薦時(shí),根據(jù)tag求交集,大于某個(gè)閾值就可以推薦
Sorted Set(有序集合) 將Set中的元素增加一個(gè)權(quán)重參數(shù)score,元素按score有序排列 數(shù)據(jù)插入集合時(shí),已經(jīng)進(jìn)行天然排序 1、排行榜 2、帶權(quán)重的消息隊(duì)列

?Redis實(shí)際應(yīng)用場(chǎng)景

  Redis在很多方面與其他數(shù)據(jù)庫(kù)解決方案不同:它使用內(nèi)存提供主存儲(chǔ)支持,而僅使用硬盤做持久性的存儲(chǔ);它的數(shù)據(jù)模型非常獨(dú)特,用的是單線程。另一個(gè)大區(qū)別在于,你可以在開發(fā)環(huán)境中使用Redis的功能,但卻不需要轉(zhuǎn)到Redis。

  轉(zhuǎn)向Redis當(dāng)然也是可取的,許多開發(fā)者從一開始就把Redis作為首選數(shù)據(jù)庫(kù);但設(shè)想如果你的開發(fā)環(huán)境已經(jīng)搭建好,應(yīng)用已經(jīng)在上面運(yùn)行了,那么更換數(shù)據(jù)庫(kù)框架顯然不那么容易。另外在一些需要大容量數(shù)據(jù)集的應(yīng)用,Redis也并不適合,因?yàn)樗臄?shù)據(jù)集不會(huì)超過(guò)系統(tǒng)可用的內(nèi)存。所以如果你有大數(shù)據(jù)應(yīng)用,而且主要是讀取訪問(wèn)模式,那么Redis并不是正確的選擇。

  然而我喜歡Redis的一點(diǎn)就是你可以把它融入到你的系統(tǒng)中來(lái),這就能夠解決很多問(wèn)題,比如那些你現(xiàn)有的數(shù)據(jù)庫(kù)處理起來(lái)感到緩慢的任務(wù)。這些你就可以通過(guò)Redis來(lái)進(jìn)行優(yōu)化,或者為應(yīng)用創(chuàng)建些新的功能。在本文中,我就想探討一些怎樣將Redis加入到現(xiàn)有的環(huán)境中,并利用它的原語(yǔ)命令等功能來(lái)解決 傳統(tǒng)環(huán)境中碰到的一些常見(jiàn)問(wèn)題。在這些例子中,Redis都不是作為首選數(shù)據(jù)庫(kù)。

1、顯示最新的項(xiàng)目列表

  下面這個(gè)語(yǔ)句常用來(lái)顯示最新項(xiàng)目,隨著數(shù)據(jù)多了,查詢毫無(wú)疑問(wèn)會(huì)越來(lái)越慢。

SELECT?*?FROM?foo?WHERE?...?ORDER?BY?time?DESC?LIMIT?10

  在Web應(yīng)用中,“列出最新的回復(fù)”之類的查詢非常普遍,這通常會(huì)帶來(lái)可擴(kuò)展性問(wèn)題。這令人沮喪,因?yàn)轫?xiàng)目本來(lái)就是按這個(gè)順序被創(chuàng)建的,但要輸出這個(gè)順序卻不得不進(jìn)行排序操作。

  類似的問(wèn)題就可以用Redis來(lái)解決。比如說(shuō),我們的一個(gè)Web應(yīng)用想要列出用戶貼出的最新20條評(píng)論。在最新的評(píng)論邊上我們有一個(gè)“顯示全部”的鏈接,點(diǎn)擊后就可以獲得更多的評(píng)論。

? ? ? ?我們假設(shè)數(shù)據(jù)庫(kù)中的每條評(píng)論都有一個(gè)唯一的遞增的ID字段。我們可以使用分頁(yè)來(lái)制作主頁(yè)和評(píng)論頁(yè),使用Redis的模板,每次新評(píng)論發(fā)表時(shí),我們會(huì)將它的ID添加到一個(gè)Redis列表:

LPUSH?latest.comments?<id></id>

  我們將列表裁剪為指定長(zhǎng)度,因此Redis只需要保存最新的5000條評(píng)論:

LTRIM?latest.comments?0?5000

? ? ? 每次我們需要獲取最新評(píng)論的項(xiàng)目范圍時(shí),我們調(diào)用一個(gè)函數(shù)來(lái)完成(使用偽代碼):

FUNCTION?get_latest_comments(start,?num_items):?? ????id_list?=?redis.lrange("latest.comments",start,start+num_items?-?1)?? ????IF?id_list.length?<p style="text-align:left;">  這里我們做的很簡(jiǎn)單。在Redis中我們的最新ID使用了常駐緩存,這是一直更新的。但是我們做了限制不能超過(guò)5000個(gè)ID,因此我們的獲取ID函數(shù)會(huì)一直詢問(wèn)Redis。只有在start/count參數(shù)超出了這個(gè)范圍的時(shí)候,才需要去訪問(wèn)數(shù)據(jù)庫(kù)。我們的系統(tǒng)不會(huì)像傳統(tǒng)方式那樣“刷新”緩存,Redis實(shí)例中的信息永遠(yuǎn)是一致的。SQL數(shù)據(jù)庫(kù)(或是硬盤上的其他類型數(shù)據(jù)庫(kù))只是在用戶需要獲取“很遠(yuǎn)”的數(shù)據(jù)時(shí)才會(huì)被觸發(fā),而主頁(yè)或第一個(gè)評(píng)論頁(yè)是不會(huì)麻煩到硬盤上的數(shù)據(jù)庫(kù)了。</p><p><strong>2、刪除與過(guò)濾</strong></p><p style="text-align:left;">  我們可以使用LREM來(lái)刪除評(píng)論。如果刪除操作非常少,另一個(gè)選擇是直接跳過(guò)評(píng)論條目的入口,報(bào)告說(shuō)該評(píng)論已經(jīng)不存在。</p><pre class="brush:js;toolbar:false;">redis?127.0.0.1:6379&gt;?LREM?KEY_NAME?COUNT?VALUE

  有些時(shí)候你想要給不同的列表附加上不同的過(guò)濾器。如果過(guò)濾器的數(shù)量受到限制,你可以簡(jiǎn)單的為每個(gè)不同的過(guò)濾器使用不同的Redis列表。畢竟每個(gè)列表只有5000條項(xiàng)目,但Redis卻能夠使用非常少的內(nèi)存來(lái)處理幾百萬(wàn)條項(xiàng)目。

3、排行榜相關(guān)

  另一個(gè)很普遍的需求是各種數(shù)據(jù)庫(kù)的數(shù)據(jù)并非存儲(chǔ)在內(nèi)存中,因此在按得分排序以及實(shí)時(shí)更新這些幾乎每秒鐘都需要更新的功能上數(shù)據(jù)庫(kù)的性能不夠理想。

  典型的比如那些在線游戲的排行榜,比如一個(gè)Facebook的游戲,根據(jù)得分你通常想要:

    ?– 列出前100名高分選手

    ?– 列出某用戶當(dāng)前的全球排名

  這些操作對(duì)于Redis來(lái)說(shuō)小菜一碟,即使你有幾百萬(wàn)個(gè)用戶,每分鐘都會(huì)有幾百萬(wàn)個(gè)新的得分。

  模式是這樣的,每次獲得新得分時(shí),我們用這樣的代碼:

?ZADD?leaderboard??<score>??<username></username></score>

  你可能用userID來(lái)取代username,這取決于你是怎么設(shè)計(jì)的。

  得到前100名高分用戶很簡(jiǎn)單:ZREVRANGE leaderboard 0 99。

  用戶的全球排名也相似,只需要:ZRANK leaderboard

4、按照用戶投票和時(shí)間排序

  排行榜的一種常見(jiàn)變體模式就像Reddit或Hacker News用的那樣,新聞按照類似下面的公式根據(jù)得分來(lái)排序:

  score?=?points?/?time^alpha?

  因此用戶的投票會(huì)相應(yīng)的把新聞挖出來(lái),但時(shí)間會(huì)按照一定的指數(shù)將新聞埋下去。下面是我們的模式,當(dāng)然算法由你決定。

  模式是這樣的,開始時(shí)先觀察那些可能是最新的項(xiàng)目,例如首頁(yè)上的1000條新聞都是候選者,因此我們先忽視掉其他的,這實(shí)現(xiàn)起來(lái)很簡(jiǎn)單。

  每次新的新聞貼上來(lái)后,我們將ID添加到列表中,使用LPUSH + LTRIM,確保只取出最新的1000條項(xiàng)目。

  有一項(xiàng)后臺(tái)任務(wù)獲取這個(gè)列表,并且持續(xù)的計(jì)算這1000條新聞中每條新聞的最終得分。計(jì)算結(jié)果由ZADD命令按照新的順序填充生成列表,老新聞則被清除。這里的關(guān)鍵思路是排序工作是由后臺(tái)任務(wù)來(lái)完成的。

5、處理過(guò)期項(xiàng)目

  另一種常用的項(xiàng)目排序是按照時(shí)間排序。我們使用unix時(shí)間作為得分即可。

  模式如下:

    - 每次有新項(xiàng)目添加到我們的非Redis數(shù)據(jù)庫(kù)時(shí),我們把它加入到排序集合中。這時(shí)我們用的是時(shí)間屬性,current_time和time_to_live。

    - 另一項(xiàng)后臺(tái)任務(wù)使用ZRANGE…SCORES查詢排序集合,取出最新的10個(gè)項(xiàng)目。如果發(fā)現(xiàn)unix時(shí)間已經(jīng)過(guò)期,則在數(shù)據(jù)庫(kù)中刪除條目。

6、計(jì)數(shù)

  Redis是一個(gè)很好的計(jì)數(shù)器,這要感謝INCRBY和其他相似命令。

  我相信你曾許多次想要給數(shù)據(jù)庫(kù)加上新的計(jì)數(shù)器,用來(lái)獲取統(tǒng)計(jì)或顯示新信息,但是最后卻由于寫入敏感而不得不放棄它們。

  好了,現(xiàn)在使用Redis就不需要再擔(dān)心了。有了原子遞增(atomic increment),你可以放心的加上各種計(jì)數(shù),用GETSET重置,或者是讓它們過(guò)期。

  例如這樣操作:

INCR?user:<id>?EXPIRE?  user:<id>?60</id></id>

  你可以計(jì)算出最近用戶在頁(yè)面間停頓不超過(guò)60秒的頁(yè)面瀏覽量,當(dāng)計(jì)數(shù)達(dá)到比如20時(shí),就可以顯示出某些條幅提示,或是其它你想顯示的東西。

7、特定時(shí)間內(nèi)的特定項(xiàng)目

  另一項(xiàng)對(duì)于其他數(shù)據(jù)庫(kù)很難,但Redis做起來(lái)卻輕而易舉的事就是統(tǒng)計(jì)在某段特點(diǎn)時(shí)間里有多少特定用戶訪問(wèn)了某個(gè)特定資源。比如我想要知道某些特定的注冊(cè)用戶或IP地址,他們到底有多少訪問(wèn)了某篇文章。

  每次我獲得一次新的頁(yè)面瀏覽時(shí)我只需要這樣做:

SADD?page:day1:<page_id>?<user_id></user_id></page_id>

  當(dāng)然你可能想用unix時(shí)間替換day1,比如time()-(time()%3600*24)等等。

  想知道特定用戶的數(shù)量嗎?只需要使用

SCARD?page:day1:<page_id></page_id>

  需要測(cè)試某個(gè)特定用戶是否訪問(wèn)了這個(gè)頁(yè)面?

SISMEMBER?page:day1:<page_id></page_id>

8、實(shí)時(shí)分析正在發(fā)生的情況,用于數(shù)據(jù)統(tǒng)計(jì)與防止垃圾郵件等

  我們只做了幾個(gè)例子,但如果你研究Redis的命令集,并且組合一下,就能獲得大量的實(shí)時(shí)分析方法,有效而且非常省力。使用Redis原語(yǔ)命令,更容易實(shí)施垃圾郵件過(guò)濾系統(tǒng)或其他實(shí)時(shí)跟蹤系統(tǒng)。

9、Pub/Sub

  Redis的Pub/Sub非常非常簡(jiǎn)單,運(yùn)行穩(wěn)定并且快速。支持模式匹配,能夠?qū)崟r(shí)訂閱與取消頻道。

10、隊(duì)列

  你應(yīng)該已經(jīng)注意到像list push和list pop這樣的Redis命令能夠很方便的執(zhí)行隊(duì)列操作了,但能做的可不止這些:比如Redis還有l(wèi)ist pop的變體命令,能夠在列表為空時(shí)阻塞隊(duì)列。

  現(xiàn)代的互聯(lián)網(wǎng)應(yīng)用大量地使用了消息隊(duì)列(Messaging)。消息隊(duì)列不僅被用于系統(tǒng)內(nèi)部組件之間的通信,同時(shí)也被用于系統(tǒng)跟其它服務(wù)之間的交互。消息隊(duì)列的使用可以增加系統(tǒng)的可擴(kuò)展性、靈活性和用戶體驗(yàn)。非基于消息隊(duì)列的系統(tǒng),其運(yùn)行速度取決于系統(tǒng)中最慢的組件的速度(注:短板效應(yīng))。而基于消息隊(duì)列可以將系統(tǒng)中各組件解除耦合,這樣系統(tǒng)就不再受最慢組件的束縛,各組件可以異步運(yùn)行從而得以更快的速度完成各自的工作。

  此外,當(dāng)服務(wù)器處在高并發(fā)操作的時(shí)候,比如頻繁地寫入日志文件。可以利用消息隊(duì)列實(shí)現(xiàn)異步處理。從而實(shí)現(xiàn)高性能的并發(fā)操作。

11、緩存

  Redis的緩存部分值得寫一篇新文章,我這里只是簡(jiǎn)單的說(shuō)一下。Redis能夠替代memcached,讓你的緩存從只能存儲(chǔ)數(shù)據(jù)變得能夠更新數(shù)據(jù),因此你不再需要每次都重新生成數(shù)據(jù)了。

更多編程相關(guān)知識(shí),請(qǐng)?jiān)L問(wèn):Redis視頻教程!!

? 版權(quán)聲明
THE END
喜歡就支持一下吧
點(diǎn)贊6 分享