开发笔记(24) : Lua State 间的数据共享
最近工作展开后， 我们一共有 10 名程序员在目前的项目上工作。我暂时没有和其他人有依赖关系的工作，最近一周在改进以前做的一些东西，在不修改接口的前提下，争取提供更高的性能，以及完成一些之前没完成的功能，为以后的扩展做准备。
最近值得一提的东西是：关于我们的共享储存的数据结构。
最早在设计的时候，是按多进程共享的需求来设计的。希望不同的进程可以利用共享内存来共享一组结构化数据。所以实现了这么一个东西 。这个东西实现的难点在于：一、共享内存不一定在不同进程间有相同的地址，所以不能在结构中用指针保持引用关系；二、不希望有太复杂的锁来保证并发读写的安全性。
后来，我们采用了 Erlang 做底层的框架。在同一台机器上，只有一个系统进程。所以，这个东西可以不必实现的这么复杂。我抽了三天实现，重新实现了一个。这次不考虑跨进程的问题，只在同一进程的不同线程中，让独立的 Lua State 可以访问同一份结构化数据。至于结构化数据支持到怎样的数据类型，我认为和 Lua 原有的 table 类型大致一致就可以了。
最后，就完成了这么一个东西。我认为到目前这个阶段，这个模块还是比较独立的，适合开源分享。以后的工作可能会和我们具体项目的模块整合在一起，还需要做一些修改，就不太适合公开了。有兴趣的同学可以在我的 github 上看到代码。https://github.com/cloudwu/lua-stable 。
这个模块分了两个层次的 API 。其一是一组 raw api ，其实是直接对 C 函数的调用，而数据结构也是纯粹的 C 结构。这样，不用 Lua 接口也可以访问。而 Lua 封装层也仅仅只是做了浅封装。尤其是不生成任何的 userdata ，直接用 lightuserdata 保存的指针即可。当我们需要在多线程，多个 Lua State 间共享数据时，只需要在一个写线程上的 State 中把结构创建出来，然后将指针想办法传递到另一个读线程上的 State 中。就可以利用这组 raw api 访问读取指针引用的 C 结构数据。这个读写过程是线程安全的。
我在实现这个 C 模块时，曾经想到过采用无锁算法。Atry 同学曾经留言问过，为什么我不实现一个无锁的 hash 表，比如 HAMT 。的确，我曾经考虑过，也花了整整一天实现纠结在实现细节上。为什么 Ctrie 在 Scala 上有不错的实现，但是没有一个好的 C/C++ 的版本？记得 2007 年的软件开发大会上，我听过 Andrei 演讲的 Lock-Free Data Structures 。C++ 实现无锁数据结构最繁琐的部分是什么？是在这么一个没有语言级的 GC 支持的语言中，那些临时副本如何正确的销毁的问题。这本是一个和数据结构实现无关的问题，但却用了最多精力去处理它。
简单说就是，当我们在修改数据结构中某个副本时，为了修改过程的原子性，我们需要复制一个副本出来，修改，然后利用 CAS 交换到主干上。这个过程中，其它读线程，可能引用老的版本，读完后就需要销毁掉过期的版本。在有 GC 机制的语言中这非常简单。但是在 C/C++ 这种手动管理内存的条件下，几乎变得不可能。对，我们可以用引用计数来管理。但难点在于引用记数本身需要放在对象上，那么改写引用值却需要获得对象本身先，这个变成了绕不过去的死结。在并发条件下，如果你不使用锁，那么获得对象指针后，到操作引用记数之间，无法确保对象不在那一刻被其它线程减少引用而销毁掉。
正确的做法是使用 Hazard pointer 。我记得那年我听 Andrei 用了两小时中几乎一半的时间讲解 Hazard pointer 的细节。要实现这个东西过于繁杂，代码量甚至超过原本要实现的数据结构的代码。所以最终我决定用一个简单的锁来保证正确的加减引用。
在提供了 raw api 后，我为了兼容之前的版本，提供了另一个更适合 Lua 程序员使用的版本。给这个 C 结构加上元信息让 Lua 可以识别。这样，在 Lua 里访问它可以更像一个 lua table ，且所有域必须事先严格定义出带类型的结构才允许使用。不至于在拼写错误的情况下不能立刻发现错误。也不会搞错每个字段的数据类型。
为了节省 Lua 中的内存，（在我前几个月实现的版本中，为每个对象而不是每类对象都绑定了独立的元表，将元信息绑定在元方法的 upvalue 中）我为每个类型生成了唯一的元表，绑定到 C 结构上。如果对效率敏感的话，可以考虑去掉这个元信息。既然有了元信息，还可以把字符串的键变换为数字键，提高 C 结构的访问效率。
最后，我给 array 形式的结构增加了显式的尺寸信息，让它用起来更舒服一些。
下一步，我想把前几天写的 原子字典 整合到上面来。有考虑过使用 STM 来实现这个东西，比如 David Xu 同学建议的 TinySTM 。还是有点担心引入太多的第三方库搞得过于复杂而放弃了。
另外，在 stable 模块中，我预留了 int64 的支持。在 64 位平台上，最高效的做法是使用 lightuserdata 来模拟 。因为这和平台相关，所以这部分的工作我就不放在开源版本里了。
btw, 在整合 int64 的过程中，发现 Lua 的 __eq 的元方法行为有点小怪异。对于 lightuserdata 是不触发这个元方法的，所以无法支持隐式的（number 到 lightuserdata）类型转换。
还有一小段代码值得介绍一下：
我们原本用来做线程间 RPC 调用的参数传递，依赖的是 Proto buffer 。但是，现在大量的数据交换是在同一台机器上。考虑到一个改进点是，直接把参数序列序列化到内存，变成一个指针传递到另一个线程，然后反序列化出来。这样会比 Proto Buffer 打包和解包略快一些，也不用定义额外的 proto 文件（但没有协议显式定义的过程未必全是好事）。
我实现了一个简单的 Lua 对象的序列化模块，可以把一个 Lua Value 序列化为一块二进制数据。因为它专门为 Lua 定制，所以会比通用的格式更高效一些。
Comments
@Toy
代码中只支持
case LUA_TNUMBER:
case LUA_TBOOLEAN:
case LUA_TSTRING:
case LUA_TLIGHTUSERDATA:
4种类型，要想支持table，需要修改代码
Posted by: west | (17) September 25, 2019 08:55 PM
@Toy
代码中只支持
static void
_set_value(lua_State *L, struct table * t, const char *key, size_t sz, int idx) {
int type = lua_type(L,idx);
int r;
switch(type) {
case LUA_TNUMBER:
r = stable_setnumber(t, key , sz , lua_tonumber(L,idx));
break;
case LUA_TBOOLEAN:
r = stable_setboolean(t, key, sz, lua_toboolean(L,idx));
break;
case LUA_TSTRING: {
size_t len;
const char * str = lua_tolstring(L,idx,&len);
r = stable_setstring(t, key, sz , str, len);
break;
}
case LUA_TLIGHTUSERDATA:
r = stable_setid(t, key, sz, (uint64_t)(uintptr_t)lua_touserdata(L,idx));
break;
default:
luaL_error(L,"Unsupport value type %s",lua_typename(L,type));
}
if (r) {
_error(L,key,sz,type);
}
}
4种类型，要想支持table，需要修改代码
Posted by: west | (16) September 25, 2019 08:54 PM
我将您的stable.h stable.c lua-stable.c 加到cocos2dx的项目中并注册，lua中测试testraw.lua的时候报错： Unsupport value type table，请问是什么原因呢？
Posted by: Toy | (15) July 9, 2015 11:57 AM
我将您的stable.h stable.c lua-stable.c 加到cocos2dx的项目中并注册，lua中测试testraw.lua的时候报错： Unsupport value type table，请问是什么原因呢？
Posted by: Toy | (14) July 9, 2015 11:57 AM
建议大家使用一下好笔头云笔记，不错！
Posted by: 好笔头业务云笔记 | (13) August 15, 2013 11:17 AM
@gamepdc
1. 这段代码应该没有问题.
2. 关于 skynet 的问题, 可以去 github 上讨论.
Posted by: Cloud | (12) May 8, 2013 11:01 AM
void
skynet_monitor_check(struct skynet_monitor *sm) {
if (sm->version == sm->check_version) {
if (sm->destination) {
skynet_context_endless(sm->destination);
skynet_error(NULL, "A message from [ :%08x ] to [ :%08x ] maybe in an endless loop", sm->source , sm->destination);
}
} else {
sm->check_version = sm->version;
}
}
应该是
if (sm->version == sm->check_version + 1)的时候为无限循环吧。
Posted by: gamepdc | (11) May 7, 2013 09:53 PM
test
Posted by: alert("test"); | (10) September 4, 2012 05:25 PM
写的很详细，有所收获，支持下！
Posted by: 明豪彩升 | (9) August 3, 2012 11:12 PM
请问如何在c中调用带有require 的lua脚本，能否给个例子？
Posted by: 路子 | (8) July 31, 2012 04:59 PM
sorry,
if 语句里的事务缺少一个stm_commit()调用来提交事务。
Posted by: David Xu | (7) July 30, 2012 05:57 PM
说到tinystm,它在stm_start()开始一个事务时返回的居然是sigjmp_buf.
注意你调用sigsetjmp()时，传递参数时，说明不要保存signal mask,否则将产生系统调用。
例如:
restart:
st = stm_start();
if ((code = sigsetjmp(st, 0)) == 0) {
stm_store(&p[0], 1);
stm_store(&p[1], 2);
// 或者发生了啥丑事：
// stm_abort(1);
} else {
事务被回滚，重新开始
printf("code: %d\n", code);
goto restart;
}
注意我传递给sigsetjmp的第二参数是0,不保存UNIX 信号掩码。
如果你想从UNIX信号处理函数里跳出来，那需要传递1. 但是我猜，你基本不会再UNIX信号函数里干复杂的事情。呵呵。
Posted by: David Xu | (6) July 30, 2012 05:53 PM
皇冠平台,时时彩平台,永利高平台,波音平台,金沙平台,皇马平台,广东快乐十分平台,太阳城平台,六仔平台提供全方位博彩类系统出租出售服务！www.pt5555.com 业务联系QQ：878989678
Posted by: 李D少 | (5) July 30, 2012 05:15 PM
支持！
Posted by: baohuams | (4) July 30, 2012 03:49 PM
默默看博客一年多，今天回复个。
Posted by: LiHong | (3) July 30, 2012 08:27 AM
云风做引擎啥时候能出游戏啊=-=
Posted by: 云淡依旧在 | (2) July 30, 2012 02:21 AM
看不懂，不过也得顶啊
Posted by: nciaer | (1) July 29, 2012 05:15 PM