云风的 BLOG

我猜想，微软的新同学在重新设计 D3D12 的时候已经忘记了 COM 规范，也不清楚这个世界上还有 VC 以外的 C++ 编译器的存在。实现 D3D12.DLL 的时候，按 VC 的调用规范，当 API 返回一个结构体的时候，是把调用方在栈上预留出的返回结构的地址作为一个参数传入的。

所以，这个 API 其实本质上是这样的：

void ID3D12Device::GetAdapterLuid(LUID *)

而 gcc 呢，它会根据结构体的实际大小来优化调用。如果结构体小于等于 64bit ，就通过寄存器返回结果，而不会传入堆栈地址。在 gcc 上，这个 API 就只有一个参数，就是 this 指针了。按 64 位系统的函数调用规范，第一个和第二个参数分别通过 rcx 和 rdx 传递。用 gcc 生成的调用代码，调用方认为没有第二个参数，rdx 是无意义的。这里恰巧 rdx 也保存了 this 。而被调用方，也就是 d3d12.dll 的实现，认为第二个参数是有意义的，是返回结构的地址，结果就把返回数据写入了 *this 中，这里恰好是这个对象的虚表之所在，程序就这么挂了。

那么是否可以指定 gcc 不要对小结构体返回优化呢？

gcc 提供了参数 -fpcc-struct-return 。不过，即使设置了这个参数，gcc 的 ABI 依旧和 vc 的不一致。因为对于 gcc 来说，返回值的地址是第一个参数，而 vc 似乎放在了第二个，它把第一个参数留给了 this 。

在微软更新 sdk 前，怎么绕过这个问题呢？我写了一个辅助函数：

static inline LUID D3D12DeviceGetAdapterLuid(ID3D12Device *device) {
    typedef void (STDMETHODCALLTYPE  ID3D12Device::*GetAdapterLuid_f)(LUID *);
    LUID ret;
    (device->*(GetAdapterLuid_f)(&ID3D12Device::GetAdapterLuid))(&ret);
    return ret;
}

同样存在问题的 API 还有 ID3D12DescriptorHeap 等，我还没有一一核查。

更糟糕的问题存在于 ID3D12Resource::GetDesc 这个 API ，它也返回了一个结构体 D3D12_RESOURCE_DESC ，这个 API 居然在 d3dsdk 的 d3dx12.h 中的 inline 函数 UpdateSubresources 里被调用了。

也就是说，如果你不修改 d3dsdk 的 .h 文件，几乎无法解决这个 bug :(

我一开始想到一个 trick ，实现一个 proxy 类，把这个 GetDesc 函数重定义一下：

    static inline D3D12_RESOURCE_DESC ID3D12ResourceGetDesc(ID3D12Resource *res)
    {
        typedef void (STDMETHODCALLTYPE  ID3D12Resource::*GetDesc_f)(D3D12_RESOURCE_DESC *);
        D3D12_RESOURCE_DESC ret;
        (res->*(GetDesc_f)(&ID3D12Resource::GetDesc))(&ret);
        return ret;
    }

    struct D3D12ResourceProxy : public ID3D12Resource {
    D3D12ResourceProxy(ID3D12Resource *p) : m_ptr(p) {}
    virtual HRESULT STDMETHODCALLTYPE Map(UINT Subresource, const D3D12_RANGE *pReadRange, void **ppData) {
        return m_ptr->Map(Subresource, pReadRange, ppData);
    }
    virtual void STDMETHODCALLTYPE Unmap(UINT Subresource, const D3D12_RANGE *pWrittenRange) {
        m_ptr->Unmap(Subresource, pWrittenRange);
    }
    virtual D3D12_RESOURCE_DESC STDMETHODCALLTYPE GetDesc(void) {
        // return struct 重新定义
        return ID3D12ResourceGetDesc(m_ptr);
    }
    virtual D3D12_GPU_VIRTUAL_ADDRESS STDMETHODCALLTYPE GetGPUVirtualAddress( void) {
        return m_ptr->GetGPUVirtualAddress();
    }
    virtual HRESULT STDMETHODCALLTYPE WriteToSubresource(UINT DstSubresource, const D3D12_BOX *pDstBox, const void *pSrcData, UINT SrcRowPitch, UINT SrcDepthPitch) {
        return m_ptr->WriteToSubresource(DstSubresource, pDstBox, pSrcData, SrcRowPitch, SrcDepthPitch);
    }
    virtual HRESULT STDMETHODCALLTYPE ReadFromSubresource(void *pDstData,UINT DstRowPitch,UINT DstDepthPitch, UINT SrcSubresource, const D3D12_BOX *pSrcBox) {
        return m_ptr->ReadFromSubresource(pDstData,DstRowPitch,DstDepthPitch,SrcSubresource,pSrcBox);
    }
    virtual HRESULT STDMETHODCALLTYPE GetHeapProperties(D3D12_HEAP_PROPERTIES *pHeapProperties,D3D12_HEAP_FLAGS *pHeapFlags) {
        return m_ptr->GetHeapProperties(pHeapProperties,pHeapFlags);
    }
    virtual HRESULT STDMETHODCALLTYPE GetDevice(REFIID riid, void **ppvDevice) {
        return m_ptr->GetDevice(riid, ppvDevice);
    }
    virtual HRESULT STDMETHODCALLTYPE GetPrivateData(REFGUID guid, UINT *pDataSize, void *pData) {
        return m_ptr->GetPrivateData(guid,pDataSize,pData);
    }
    virtual HRESULT STDMETHODCALLTYPE SetPrivateData(REFGUID guid, UINT DataSize, const void *pData) {
        return m_ptr->SetPrivateData(guid, DataSize, pData);
    }
    virtual HRESULT STDMETHODCALLTYPE SetPrivateDataInterface(REFGUID guid, const IUnknown *pData) {
        return m_ptr->SetPrivateDataInterface(guid, pData);
    }
    virtual HRESULT STDMETHODCALLTYPE SetName(LPCWSTR Name) {
        return m_ptr->SetName(Name);
    }
    virtual ULONG AddRef() {
        return m_ptr->AddRef();
    }
    virtual HRESULT QueryInterface(REFIID riid, void **ppvObject) {
        return m_ptr->QueryInterface(riid, ppvObject);
    }
    virtual ULONG Release() {
        return m_ptr->Release();
    }

    private:
    ID3D12Resource *m_ptr;
    };

然后，在调用 UpdateSubresources 的地方修改一下，先把 ID3D12Resource * 转换为 &D3D12ResourceProxy(p) 再传进去。后来发现这样不行，因为在 UpdateSubresources 内部又调用了 ID3D12GraphicsCommandList::CopyTextureRegion ，它会接收 ID3D12Resource * 。而 ID3D12GraphicsCommandList::CopyTextureRegion 已经实现在 d3d12.dll 中，这样又会回到调用协议不一致的问题。

把 sdk 实现放在公开的 .h 中真是个糟糕的设计。