再见 MongoDB,你好 PostgreSQL(3)

最后,为了在所关心的各种项目之中达到平衡,我们决定使用PostgreSQL。但是,将整个平台从MongoDB迁移到一个截然不同的数据库并不是很容易的事。为了使转移工作简单化,我们将此过程分成了3个步骤:

搭建一个PostgreSQL数据库,并迁移数据的一个小子集。

更新所有依赖于MongoDB的应用程序,连同任何需要的重构,都用依赖于PostgreSQL的程序替代。

将产品数据迁移到新数据库上,然后部署新平台。

部分数据迁移

在考虑把所有数据迁移到新数据库之前,我们先迁移了一小部分数据来做测试。如果仅仅是迁移一小部分数据,就有非常多的麻烦的话,那么数据库迁移也就没什么意��了。

尽管有现成的工具可以利用,但还是有些数据(比如,列重命名,数据类型不一致)要做转换,对于这些数据我们自己开发了些工具。这些工具中,大部分都是Ruby写的一次性脚步,用于删除一些评论,整理数据编码,修正主键发生序列等等。

在测试开始阶段尽管有些数据上的问题,并没有出现大的会阻碍迁移的问题。例如,有些用户提交的数据没有完全按格式编码,导致这些数据被重新编码之前,不能被导入到新数据库。例外一个有意思的改变是,之前评论的数据存的是评论用的语言的名称(如“荷兰语”,“英语”等),现在改了存语言的编码,因为我们新的语义分析系统使用的是语言编码,而不再是语言名称。

更新应用

目前为止,花费时间最多的就是更新应用,尤其是那些严重依赖MongoDB聚合框架的应用。扔掉那少数几个遗留的Rails应用吧,光是测试就会花掉你几个星期的时间。更新应用的过程大致如下:

PostgreSQL的相关代码来替换掉MongoDB的驱动/设置模块的代码

运行测试

修复Bugs

反复运行测试,直到所有测试通过

对于非Rails应用,我们推荐使用 Sequel,对于Rails应用,我们现在还无法摆脱ActiveRecord(至少是现在)。Sequel是一个非常好的数据库工具集,它支持绝大多数(如果不是全部)我们想使用的PostgreSQL特性。相较于ActiveRecord,它基于DSL的query要强大的多,尽管可能耗时会有点长。

举个例子,假设你想计算有多少用户使用某种语言,并计算每种语言所占的比例(相对于整个集合)。纯粹的SQL查询语句如下所示:

SELECT locale,count(*) AS amount,
(count(*) / sum(count(*)) OVER ()) * 100.0 AS percentageFROM users
GROUP BY localeORDER BY percentage DESC;

在我们的例子中,将会产生以下输出(当使用PostgreSQL命令行界面时):

locale | amount |        percentage
--------+--------+--------------------------
 en    |  2779 | 85.193133047210300429000
 nl    |    386 | 11.833231146535867566000
 it    |    40 |  1.226241569589209074000
 de    |    25 |  0.766400980993255671000
 ru    |    17 |  0.521152667075413857000
        |      7 |  0.214592274678111588000
 fr    |      4 |  0.122624156958920907000
 ja    |      1 |  0.030656039239730227000
 ar-AE  |      1 |  0.030656039239730227000
 eng    |      1 |  0.030656039239730227000
 zh-CN  |      1 |  0.030656039239730227000
(11 rows)

Sequel允许你使用纯Ruby编写上面的查询,而不需要字符串分段(ActiveRecord经常需要):

star = Sequel.lit('*')User.select(:locale)
    .select_append { count(star).as(:amount) }
    .select_append { ((count(star) / sum(count(star)).over) * 100.0).as(:percentage) }
    .group(:locale)
    .order(Sequel.desc(:percentage))

如果你不喜欢使用“Sequel.lit(“*”)”,你也可以使用下面的语法:

User.select(:locale)
    .select_append { count(users.*).as(:amount) }
    .select_append { ((count(users.*) / sum(count(users.*)).over) * 100.0).as(:percentage) }
    .group(:locale)
    .order(Sequel.desc(:percentage))

虽然这可能有些冗长,但是上面的两种查询都使得它们更易于重用,而无需进行字符串连接。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/9d736be4646bbdba14026cab50a81511.html