文摘
背景:最相關的隨機對照試驗(相關的)和薈萃分析研究影響修改(也稱為子群效應或交互)的幹預效果不同的另一個變量(如年齡、疾病嚴重程度)。評估的可信度明顯影響修改提出的挑戰;因此,我們開發了儀器評估修改影響分析的可信度(冰人)。
方法:開發冰人,我們建立了一個詳細的概念;確定候選人信譽考慮係統調查的文獻;與專家一起,執行一個共識研究識別關鍵因素和發展成儀器項目;基於反饋和改進儀器試驗調查,係統回顧作者和期刊編輯,申請的草稿冰人發表聲明的效果修改。
結果:最後的儀器由一組初步考慮,核心問題(薈萃分析5相關,8)與4回答選項,1可選擇項目額外的注意事項和評級公信力的視覺模擬量表從低到高。一篇手冊提供了依據,從文獻的詳細說明和示例。十七個潛在用戶測試冰人;他們的建議改進儀器的用戶友好性。
解釋:儀器評估修改影響分析的可信度提供了明確的指導人員,係統的評論者,期刊編輯和其他考慮索賠效果修改或解釋索賠由他人。
)的調查人員進行隨機對照試驗的薈萃分析相關的經常執行效果分析修改,評估幹預效果是否會隨另一個變量如年齡、疾病嚴重程度,或在一個薈萃分析,研究或研究。1- - - - - -14不同的術語;箱1提出了當前使用的替代方案。
術語的變化效果修改
同義詞效果修改
子群的影響
統計交互
適度
微分作用
異質性的治療效果
同義詞效應修飾符
子群變量
預測治療反應
主持人
調查人員有時使聲稱一個效果修改。文獻調查表明14% - -26%的相關和有潛在影響的薈萃分析強調至少1修改抽象或討論。4- - - - - -9,11
興趣的效果修改是可以理解的:如果患者不同特征對同一幹預的反應不同,整體效果估計是誤導對一些人來說,即使不是全部,病人。識別真正的變化影響存在的情況下是很重要的,和裁剪的概念治療病人具有巨大的吸引力。此外,分析影響修改成長的機會與越來越多的新開發的診斷和基因標記。
然而,錯誤的修改可能會影響最佳的病人護理的效果,和許多的效果修改後來被證明是虛假的。15- - - - - -24應用效果修改可能會導致傷害的錯誤主張通過政府的無效的治療或可能導致患者被拒絕有益的治療,可能會增加醫療費用。
大量的理論分析和仿真研究表明,影響的根本原因誤導性廣告修改機會:25即使對所有患者的治療效果是一樣的,檢查數量足夠大的候選人將不可避免地揭示一個明顯,但誤導,效果修改。其他原因導致虛假索賠包括選擇性報告,5,7缺乏背景知識和證據之前,5,7,26使用適當的統計分析和失敗。5,8,27- - - - - -29日
然而,一些修改,可能少數的影響1——將是正確的。因為大多數聲稱永遠不會接受複製來確定他們的真實性,利益相關者,包括衛生保健提供者,臨床調查,係統回顧作者,指導開發人員和期刊編輯,需要標準區分虛假和真實的說法。
方法學家首先提出信譽標準效果修改在1990年代早期。30.,31日從那時起,30組建議套3-21標準。25除了這些標準的變化,之前的設置表現不佳,導致歧義在他們的應用程序。25某些標準——例如,是否影響修飾符是少量測試之一32是主觀的,用戶可以受益於更詳細的指導。最重要的是,先前所有的套標準嚴格的開發過程或在發表前進行用戶測試。25
為了解決這些局限性,我們開發了儀器評估修改影響分析的可信度(冰人)。
方法
冰人的發展包括四個步驟:33,34澄清的範圍和測量儀器的概念;係統文獻調查識別現有儀器和候選人信譽標準;專家研究共識識別關鍵標準和設計工具;和正式的用戶測試。
概念
核心小組的成員(黨衛軍,G.H.G.,M.B.,X.S.,其,l。T.) began with the following concept:
影響修改意味著幹預的影響結果不同的水平的另一個變量。
新儀器的目的是幫助用戶評估的可信度聲稱效果修改存在(而不是聲稱效果修改缺席,這將需要不同的標準)。
影響改性是可信的,如果是不太可能的結果或偏見的機會。
我們還澄清說,病人的重要性不是信譽的一部分;影響改性主要是定義了一個協會之間的修飾符和幹預結果的因果效應(即。,修飾符之間的因果關係的存在,結果沒有必要要求是有效的);可以評估在任何規模和效果修改(例如,風險率或風險差異)。
目標用戶包括衛生保健提供者,審判人員,係統回顧作者、衛生技術評估從業者,期刊編輯,指導開發人員和衛生政策製定者。
相關的儀器將解決個人相關的和薈萃分析(包括聚合數據和個人參與者數據薈萃分析)。
的核心儀器將由不超過8 - 12問題保持應用程序的需求和認知負擔可控,並將為每個問題提供明確的回答選項。
反應條件時應不同應用到不同的改性效果。過於嚴格或寬鬆的標準沒有改變是無用的區分多從少可信的說法。
表達的儀器,應總結評估的整體信譽明顯效果修改。
係統的文獻調查
的目標係統的文獻調查,提出在一個單獨的出版物,25識別現有工具的可信度評估效果修改,候選人可信度標準和該領域的權威專家。基於全麵搜索期刊文章和教科書,我們確定了150名有資格的出版物,我們抽象(附錄1,可以在36個候選人標準www.cmaj.ca /查找/ 5 / doi: 10.1503 / cmaj.200077 /——/ DC1),之前30集的標準(沒有充分反映我們的概念)和40專家。25
共識的研究
輿論研究的目的是確定關鍵標準來評估的可信度影響修改要求和使用它們來開發一個用戶友好的工具。40專家指導委員會隨機的順序識別在文獻調查和邀請前18參與,其中9個同意,6拒絕,3沒有回應。最後一組包括15個成員國(核心組和9專家:隨機變數,C.H.S.,R.A.H.,j。,M.B.,G。J。米。G。V., I.J.D., W.S. and J.P.A.I.). The consensus study included elements of the Delphi method complemented by interactive video conferences.
第一步,創建了一個列表的36號候選人中確定標準的係統調查,他們的報告和報告依據的使用頻率(附錄2,可用www.cmaj.ca /查找/ 5 / doi: 10.1503 / cmaj.200077 /——/ DC1)。組的成員(不包括輪)獨立評級信譽評估每個標準的重要性從1(不重要)到7(非常重要)。他們還提供書麵建議降低標準,標準或添加新標準合並。第一次視頻會議,討論了重要度和確定了20國集團標準應該包括(其中一些我們後來的總和),應排除和8 8,被認為是可選的(附錄2)。
根據初始條件選擇,儀器的核心小組開發了一個初稿。起初,我們打算創建一個單一的儀器適用於個人相關,聚合數據薈萃分析和個別參與者的薈萃分析數據。因為一個版本被證明是過於複雜,集團決定創建單獨的版本相關的和薈萃分析(任何類型的)。我們起草了初步考慮,明確項目(每4回答選項),可選的注意事項和最後一項評估整體公信力的視覺模擬尺度。在可能的情況下,我們使用一種格式類似於其他研究評估工具,如Cochrane risk-of-bias工具35和分級的建議評估、開發和評估(年級)。36
我們舉行第二次視頻會議達成共識在儀器的總體結構,包括初步的考慮,核心項目和格式的整體評級。討論要點包括閾值(例如,選擇的問題p價值和數量分析)和可選考慮的框架。
在共識的最後部分的研究中,我們創建了一個詳細的手冊,提供,對於每一個項目,項目的重要性的詳細理由的可信度評估效果修改索賠(附錄3,可用www.cmaj.ca /查找/ 5 / doi: 10.1503 / cmaj.200077 /——/ DC1)(不包括候選項目的理由是提供在附錄2)。對於每個響應選項,我們尋求支持的例子從醫學文獻修改索賠產生影響。
整個共識研究中,我們定期傳閱討論的總結和更新版本的工具專家,邀請他們來提供意見。附錄2文檔主要發展。
用戶測試
用戶測試的目的是確定潛在用戶在應用冰人經曆的挑戰要求我們提供的效果修改。每個用戶收到一個隨機對照試驗的全文或薈萃分析中作者聲稱的效果修改,和草稿冰人和手冊。我們選擇17聲稱專門介紹變異在可能的可信度(4很低,5低,4溫和和4高,根據我們的判斷)和整個設計(9相關,4聚合數據薈萃分析和4個人參與者的薈萃分析數據)(附錄4,補充表S1,可用www.cmaj.ca /查找/ 5 / doi: 10.1503 / cmaj.200077 /——/ DC1)。
我們從三個來源:招募了17個潛在用戶相應的Cochrane綜述的作者(n= 7)的作者發表相關的(n= 5)和期刊編輯從個人網絡(n= 5)。用戶不同的關於性別、背景和熟悉效應的問題修改(附錄4,補充表S2)。我們繼續注冊用戶,直到他們沒有確定任何新儀器的主要限製。
2調查人員之一(輪或文獻采訪用戶後立即應用冰人。研究者隨後半結構式訪談指引,包括開放式問題(例如,“你的經驗是什麼當你應用第一項?”),並允許擴張出現在麵試的話題。麵試持續了25 - 70(平均37)分鍾視頻。麵試官轉錄采訪並提取改進的建議使用Dedoose軟件(www.dedoose.com)。我們更新後的儀器7、12歲和15歲的采訪,共識組完成之前和手動工具。用戶的評論和總結了產生的變化在附錄4中,補充表S3。
倫理批準
漢密爾頓集成研究倫理委員會批準了用戶測試研究。
結果
冰人的版本為個人相關的附錄5,薈萃分析提出了相關的附錄6(可用www.cmaj.ca /查找/ 5 / doi: 10.1503 / cmaj.200077 /——/ DC1)。材料,包括潛在的更新,也可以下載https://www.iceman.help。
調查人員所使用的工具可以執行相關的或薈萃分析規劃分析的效果修改;調查人員評估的可信度聲稱他們正在考慮;和那些批判性評估效果修改文獻中。
兩個版本開始一係列的初步考慮,冰人鏈接到一個特定的研究中,指定效果考慮修改要求和提醒用戶,冰人可能不適用於效應修飾符後測量隨機化(參見手冊(附錄3)更多細節)。
的版本相關的包括5個核心問題和薈萃分析,8核心問題(4問題重疊)(表1)。對於每一個核心問題,冰人提供4回答選項不同的措辭,但有相同的順序和邏輯:回答選項左邊表示肯定或可能降低信譽,和響應選項右邊表示可能或肯定增加可信度。我們包括響應選項“可能不”與“不清楚”覆蓋情況信息不足。
一個可選的問題允許額外的考慮,可以減少或增加可信度,例如敏感性分析的結果,劑量反應關係,很難確定或其他方麵的考慮,不相關或不普遍應用(見手冊(附件3)的例子)。
儀器包括一個整體信譽評估評價視覺模擬量表分為4個區域(非常低的信譽,信譽低,溫和的信譽和高可信度)。4地區大致對應的概率不到25%,-50%,25% 51% -75%,大於75%,分別修改真正存在的影響。幫助解釋,最後項目提供建議——而不是一個算法來判斷總體信譽。
手動(附錄3)提供了詳細的解釋,主要引用,實例為每個反應選項,建議用和表示,闡述概念的考慮。
解釋
使用一個係統的方法包括專家和潛在用戶,我們開發了冰人。儀器提供個人相關的版本和薈萃分析,短(5相關的核心項目,8薈萃分析)、結構(初步考慮,核心問題,綜合評分),並提供一個詳細的手冊。
冰人的好處之一是,它可以幫助減少過度依賴p互動價值在評估的可信度。的p數量不超過其他物品價值。而非單一閾值,回答選項是基於3個閾值,因此強調連續字符的概念。期望因此宣稱盡管邊緣效果修改可以合理可信p值,而聲稱隻基於非常低p值可能低可信度。
限製
可能限製冰人是,優化的可靠性,製定4回答選項需要規範的可信度閾值對的數量分析的研究,p價值和數量的候選人效應修飾符。這些閾值是任意的,專家們起初不同意特定的閾值,是否應該使用。特別有爭議的互動在我們組的閾值p值,盡管集團終於找到可接受的妥協(使用閾值為0.05,0.01和0.005)。也許讓用戶測試的研究沒有參與者提到問題選擇閾值,和那些評論讚賞他們的直言不諱。然而,一些用戶可能不同意所選閾值。
另一個潛在的缺陷是,核心問題可能不包括所有信譽考慮,經驗豐富的分析師認為相關的,尤其是對於複雜造型等分析連續效應修飾符37,38和數據驅動算法的子群的發現。39,40例如,一些分析師可能質疑統計模型的合理性基礎測試交互,26,41,42可能有不同的多個測試方法,43可能考慮3路或4路交互,誇張的大小影響修改正確嗎44也可能要考慮多方麵的效應修飾符之間的相關結構。45即使是這樣的用戶,冰人將提供一個有用的起點。例如,如果核心問題建議低或極低的信譽,不太可能的額外投資,更複雜的分析可以大幅提高了信譽;然而,如果核心問題建議適度的信譽,用戶可以使用冰人的可選項目將額外的考慮。
的一些性質冰人仍然不確定。我們計劃調查冰人的可靠性評級時應用不同的評級機構宣稱的效果修改。另一個懸而未決的問題是冰人評級的有效性。然而,我們不確定是否會有足夠的數據調查的有效性,如果我們考慮獨立複製的參考標準建立的信譽產生影響修改索賠。最近的一項分析表明,試圖複製效應在相關的修改結果是極其罕見的。24因此,我們邀請冰人用戶分享他們的評級與我們我們可以開始構建一個數據庫或多或少的修改和可靠的效果,在稍後的時間,可能評估的程度被複製。這也將允許更好的校準4可信度的區域整體可信性評估和相應的百分比範圍,我們建議。此外,我們將繼續評估冰人的表現在實踐中。我們邀請用戶報告困難或改進的建議考慮在未來修改的工具,通過聯係相應的作者。
結論
總之,“冰人”提供了一個係統地開發和徹底經受的儀器來判斷的可信度明顯效果修改。我們希望調查人員和相關的讀者和薈萃分析,和其他組織包括期刊編輯,會發現結構化的評估的可信度提出影響修改有幫助。
腳注
利益衝突:沒有宣布。
這篇文章已經被同行評議。
參與者:Stefan Schandelmaier馬提亞Briel,鑫太陽,邁克爾•沃爾什Lehana撒貝恩和戈登Guyatt構思。Stefan Schandelmaier和戈登Guyatt起草了手稿。所有作者修訂後的手稿至關重要的知識內容,最終版本發布批準,同意負責所有方麵的工作。
資助:Stefan Schandelmaier支持P300PB_16475從瑞士國家科學基金會的資助,戈特弗裏德和茱莉亞Bangerter-Rhyner基金會和Freiwillige Akademische法理社會巴塞爾。Issa Dahabreh支持方法研究獎我我和- 1306 - 03758 - 1502 - 27794研究所從以病人為中心的結果。
免責聲明:這個手稿的內容並不代表官方觀點的以病人為中心的結果研究所,其理事會或委員會的方法。
數據共享:所有相關數據除了參與者的名稱在用戶測試研究和記錄提供的麵試是在出版,附錄和相關出版物,由其他研究人員使用。額外的請求有關數據共享可能指向相應的作者。
- 接受2020年4月6日。