« 全民大规模新冠检测方案的一些想法 | 返回首页 | 蒙皮数据的压缩 »

Lua binding 中正确的 callback

今天修了个 skynet 中的 bug :在 Lua 中重新设置 callback 函数会失效。

skynet 已经有 10 年的历史了,十年前,某些 lua 的惯用法我还不太熟悉。比如,如果一个 C 框架的接口设置了一个回调函数,如何将其 binding 到 Lua 函数上,我当初没有想到好的方法。

最为传统的方法是把 Lua callback function 放到 Lua 的注册表中。当 C 框架的 callback 发生时,在 C 版本的 callback 函数中去查找 Lua 注册表中的 callback function ,然后用 pcall 执行它。

几乎大部分 C 模块的 lua binding 都用这个方案来封装 callback 函数。但它有一个最大的问题:调用 lua callback function 时,Lua 的状态机 L 如何传递。

在处理 lua_State *L 时,大部分人把 L 看成是 Lua VM 对象,实则不然。L 其实是一个 Lua thread ,而非 VM 。如果你把 set callback 时的 L 记录在 C 结构中,甚至用一个全局变量记录下来,是绝对错误的用法。因为 Lua VM 中可以有任意个 Lua thread ,调用 set callback 可以发生在某个 coroutine 中,而它是 gc 对象,未必能存活到 callback 被触发的时候。

记录 lua VM 创建时的 L 稍微好一点,因为这个 L 指的是 Lua VM 的 mainthread ,至少没有生命期错乱的问题,它能和整个 VM 共存亡。但是,这个 mainthread 的当前状态未必和 callback 发生时的 Lua 上下文能对应上。

因为,C 代码触发 callback 时,C 调用栈的源头,未必就是 Lua 的 mainthread :很可能是在 Lua 的某个 thread/coroutine 中触发了 C 函数,进入了 C side ,然后 C 框架再触发的 callback 。此刻,mainthread 很可能出于某种挂起状态下。

举例来说:可能是在 lua mainthread 下 resume 了某个 coroutine ,这个 coroutine 进入了 C side ,然后触发了 lua callback function 。如果你拿出 Lua VM 的 mainthread 的 L 来用,它实际停留在 resume coroutine 处,Lua 栈状态处于挂起状态,直接使用它是非常不可靠的。至少,你必须用 lua_checkstack() 来保证 stack 的最小容量。

总而言之,lua_State *L 这个东西更像是 Lua 到 C 边界处的上下文,而非静态的对象,如果你跨越 Lua 和 C 的边界,不应该保留这个上下文。

如果有条件,不要在 C callback 中访问任何 lua VM 。尤其是 C framework 的 callback 若是跨越了系统线程,这就是必须的。最好的方法是把 C callback 的信息放到 C side 的队列中,然后提供一个 Lua function 可以拉取队列的数据以做处理。即:一切 Lua VM 都应在明确的时机、在明确的系统线程中运行。

但这个方案不适合 callback 有返回值的场合。

如果 C 的框架被设计成需要外部注入 callback 来获得某些用户定义的状态(注:我认为这样的框架属于不良设计)。那么应该考虑如何的方案来设计 Lua binding :

在实现 lua side 的 setcallback 接口时,应该生成一个 userdata ,包含一个用 lua_newthread() 构造的独立 thread 的 L 指针。并把 thread 对象绑定在该 userdata 的 uservalue 上。

把 lua 的 callback function 置入这个独立新的 thread 的 L 上。如有必要,还可以在 L 上置入 lua_pcall() 所需的 error 处理 handler 。

将这个 userdata 的 C 指针放到 C side ,用于 callback 调用。管理好这个 userdata 的生命期,保证它可以活到 C side 的 callback 触发之后。

当 C callback 发生时,利用 userdata 中保存的 L 和 Lua 交互。调用事先保存好的 function 切记使用 lua_pcall() 。因为 lua callback function 就在这个 L 的 stack 上,所以,它比从 Lua 注册表中读回 callback function 还要高效。

具体实际案例,可以参考 skynet 这次所作修改

Comments

@bywayboy
我在2009年认真的看过Lua的官方文档,官方的解释是这样,Lua是面向嵌入式应用的,一般的Lua代码片段不超过10000行,所以专门为了多线程,设置一种类似java多线程这汇总函数库,这违背了Lua语言的设计的初衷,用户如果想实现真正的多线程,可以使用Capi调用C++的STL多线程模板库,或者利用操作系统,比如HPux和AIX的本地多线程库来实现真正的多线程,说白了就是实现Lua的协程的后端部分。

@bywayboy
Lua的协程说白了就是类似Unix系统的时间片模式,在一个物理CPU的情况下,Unix系统把一秒钟分为1000份,CPU处理100个线程的时候,可以把10份分给一个线程,但是现在是多核CPU了,所以Lua的协程是可以事实上多线程执行的,这依赖操作系统和CPU的核心。

再callback的时候确保mainthread 不处于挂起状态还是可以做到的。lua的协程是非对称协程。
我们只要在 mainthread 中运行一个调度器就可以做到。两个步骤:
1. 设置 callback, 当前线程保存到调度器中, 并挂起当前线程。
2. 执行 callback, 通知调度器.我要回调了.

最后由执行于mainthread的调度器来负责完成resume的动作。
关于实现 ,在windows下可以用IOCP来实现调度器,在Linux下则可以用epoll。

我最近就在做类似的工作,利用lua的协程来实现使用同步io的方式来写服务器。

很多人,尤其是中国人把微软贬低的不值一提,事实上,在win95年代,在小内存机器上跑图形系统的这种抢占式多任务模式,在当时是最先进的软件技术,watcom这种编译器就是C语言编译器的变形体(x86平台),可以在win95~xp这个系统上高速的执行脚本和图形界面,后来魔兽世界的成功,捧红了Lua,事实上Lua就是watcom技术的延伸和拓展。

Unity3D内部cube的脚本执行效率很明显不如Lua效率高,这个网上应该有测试报告。

是这样,Lua的虚拟机,属于寄存器虚拟机,寄存器虚拟机的堆栈和列表都不能溢出,所以,Lua虚拟机设计了注册表,注册表首先判断CPU的L2缓冲的大小,函数注册表的函数总节数在一个时间片内绝对不能超过n*L2的存储空间,这里的n一般是是一个低于10的值,这样做是为了保证Lua高速执行。

整明白了,对比mainthread存注册表的方案; 这种省了找注册表的步骤,多了几个thread的开销。

Post a comment

非这个主题相关的留言请到:留言本