跳转到主要内容

技术和代码的文章

前面。Saf药物。Regul。,19January 2023
秒。先进的方法在药物警戒和药物
卷2 - 2022 | https://doi.org/10.3389/fdsfr.2022.1016042

一个开源平台整合新兴数据源支持多活跃的药物警戒

  • 应用生物科学研究所的研究和技术中心的事迹,塞萨洛尼基,希腊

出现了新的数据源,数据空间药物警戒(PV)过程可以使用大大扩大。然而,然而,当前可用的工具不广泛利用数据源之外自发报告系统收集个案安全报告(ICSRs)。本文提供了一个开源的平台使异构数据源的集成支持药品安全相关信息的分析。此外,比较研究的结果作为项目的一部分的试点阶段。数据源集成的形式四“工作区”:(a)个案安全Reports-obtained OpenFDA, (b)实际数据(RWD)—使用OMOP-CDM数据模型,通过Twitter (c)社交媒体数据采集,科学从PubMed literature-retrieved (d)。数据密集的分析是建立为每个工作区(例如,比例失调分析指标用于OpenFDA数据,OMOP-CDM数据的描述性统计和twitter数据流等)。在这些工作区,终端用户设置“调查场景”定义为Drug-Event组合(12月)。专业特性详细报告可用于支持报告监管目的,还提供“快速视图”方便使用,详细统计数据可能不需要和定性概述可用的信息可能是足够的(例如,临床环境)。介绍了平台的技术特点补充材料通过介绍一个例子“调查场景”。提出了平台是通过比较研究与评估EVDAS系统,由光伏专业人士。从比较研究,结果表明,确实有需要相关技术工具和最近画的能力来自异构数据源的数据是感激。然而,由最终用户不愿也概述了他们觉得技术改进和系统培训之前可能需要采用了软件。集成作为一个整体,得出这样一个平台在实际设置是微不足道的,需要培训和可用性方面付出了大量努力。

1介绍

药品不良反应(adr)成为一个主要的公共卫生问题,因为他们是一个重要的因果因素健康发病率和死亡率,也导致了巨大的医疗系统成本。adr估计导致住院时间增加为9.2±0.2天门诊和住院病人设置6.1±2.3天(胶木et al ., 2018)。此外,adr金融成本估计为住院病人设定范围从2851€€€9015,门诊174€8515 (胶木et al ., 2018)。同样的,在一项研究中关于生态系统在美国退伍军人事务,adr估计的成本从6951美元到29535美元(平均成本)(阿斯皮纳发表et al ., 2022)。

药物警戒(PV)被定义为“科学和活动有关的检测、评估、了解和预防不良反应或任何其他可能的与毒品有关的问题”(世界卫生组织,2002年)。目前的主要数据源用于光伏是所谓的“个人病例安全报告”(ICSRs)(也称为“黄牌”),自愿提交的医疗保健专业人士(学校)甚至患者通过“自发报告系统”(srs)或其他沟通渠道(有时与制药行业通过直接沟通)。通常,srs驻留在全国IT系统,例如,FDA不良事件报告系统(FAERS)由美国食品和药物管理局(FDA)在美国。在国家层面上收集的数据由乌普萨拉最终聚合VigiBase系统监测中心(WHO-UMC)、世界卫生组织合作国际药物监测中心(林奎斯特2008)。这些数据在统计上阐述了,通常是通过“比例失调分析”(DA)方法(Arnaud et al ., 2017)来识别潜在的PV”信号”。光伏信号定义为“信息来自一个或多个源(包括观察和实验),这表明一个新的潜在的因果关联,或一个新的方面的一个已知的协会之间的干预和一个事件或一组相关事件,要么不利,或有益的,被认为是足够的可能性来证明verificatory行动”(国际医学科学组织委员会,2010年)。潜在光伏信号的评估过程可以包括各个步骤(如信号检测、分流、验证等)。

尽管有实质性进展的“智能”和数据密集型技术范式,这些发展尚未广泛采用的PV日常活动。因此,人们越来越需要开发新工具旨在整合“智能”数据处理方法支持药品安全(Trifiro et al ., 2018;软化和Hobbiger, 2020)。此外,额外的数据来源的出现如生化数据库、电子健康记录(病历),保险索赔或其他“真实世界数据”(RWD)和社交媒体(侯赛因,2021;知识库工作组的观察健康数据科学和信息学(OHDSI)合作,2017年)导致相关研究计划(Natsiavas et al ., 2019 b;球et al ., 2022)。为此,机器学习(ML)算法也在调查中(李et al ., 2022;伊姆兰et al ., 2022),包括使用自然语言处理(NLP)阐述了识别ADR提到在电子医疗纪录/临床笔记或其他自由文本/非结构化数据。其他知识工程方法(例如,使用语义Web技术、本体和“推理”知识图表等)也在积极研究(Natsiavas et al ., 2019 b)。最近,需要利用人工智能在分布式RWD网络数据提供者的OHDSI生态系统也一直强调作为一个潜在的工作(黄et al ., 2022)。

沿着这些线路,药品安全集中组织积极调查这些新兴数据源的使用。表明,IMI WEB-RADR和WEB-RADR2项目的财团1调查使用社交媒体进行信号识别(施法者et al ., 2018)。除了研究,关注评估RWD, FDA已经开发了哨兵系统2包括临床数据和其他的RWD药物安全导向的活动和欧洲药品局(EMA)最近发起了一项称为达尔文欧盟®(教育津贴的网站,2022年)。然而,当前可用的软件工具大多是关注使用ICSRs和通常不参与数据源RWD和社交媒体。虽然研究项目积极调查使用EHR的一部分(如光伏信号管理过程具有显著的结果。,(Harpaz et al ., 2013;李et al ., 2014;Pacurariu et al ., 2015;Harpaz et al ., 2017;Tavares-Da-Silva et al ., 2020),不过,似乎有一个差距的相关软件工具的开发。

在本文中,我们介绍一个网络平台集ICSRs和新兴的数据源,即临床数据和社交媒体的使用科学出版物支持调查潜在的信号。的上下文中提出了平台开发一个名为PVClinical的项目3,旨在提供一个软件工具也适合使用光伏专家和学校在临床设置(Natsiavas et al ., 2019 a;Natsiavas et al ., 2020)。本文着重于表现的比较研究的结果在项目参与的背景下进行的光伏专家,并讨论了挑战的整合这些工具在日常光伏活动。

2方法和材料

2.1技术方法

PVClinical平台(可作为一个开源项目4)采用知识工程作为其主要的技术范式,使用资源描述框架(RDF),它的一个主要的数据表示形式5。更具体地说,引用条款的形式组织基于rdf的知识图表,使句法和语义互操作性,同时也使推理基于各自的概念结构和它们的语义(如超级-或子类关系),这一过程并不是可以在原始数据中可用non-RDF格式(如。,DrugBank6(Wishart et al ., 2018)数据以XML格式)。

更具体地说,两个广泛采用引用术语用于语义组织各自的信息,例如解剖治疗化学分类系统(WHO-ATC)7指药物,和医学词典管理活动(MedDRA)8指药物不良反应。WHO-ATC是一个分层的概念结构组织活性成分的器官或系统根据他们的行为和他们的药理。同样,MedDRA概念层次结构组织adr,广泛用作药品安全上下文的事实上的标准。基于这些主要术语,也使用其他数据源在各自的知识图(即。,DrugBankdata were used to retrieve drug information) in order to expand the relevant data space and include information useful to identify drugs (e.g., via synonyms, including commercial/brand names)9。的RDF版本MedDRA ATC是检索通过NCBO BioPortal (萨尔瓦多et al ., 2013)10检索,DrugBank的RDF版本使用Bio2RDF (卡拉汉et al ., 2013)转换脚本11,12

原始数据集成的语义注释这样的工具是一个典型的挑战,通常通过NLP解决方法包括至少一个命名实体识别(尼珥)的过程。平台,提出一个注释的方法并没有采用原始数据本身。平台,提供一个广泛的同义词列表包含在项目基于rdf的知识图构建基于DrugBank检索品牌等和定义良好的概念层次结构(例如,ATC, MedDRA等)收集同义词药物和药物不良反应。这同义词列表是用来识别毒品和ADR提到的原始数据并将它们映射到ATC MedDRA,主要的术语用来制定各自Drug-Event组合(DEC)场景和消除歧义有关条款。DEC-based场景的定义期间,多个ATC和MedDRA代码可以用来克服现有的潜在复杂性多种药物和ATC代码之间的联系。

作为数据管理是一个横切关注点,一些细节还提供了关于如何处理数据为每个数据源/工作区:

——FAERS数据:数据最初从常规FDA发布的XML文件检索,然后他们存储在一个非关系数据库,即。,MongoDB实例13。在这个过程中,最初的自由文本数据是在尼珥管道使用RxNorm识别毒品和药物不良反应和已经概述了知识图包含“同义词”。

——OMOP-CDM数据:OMOP-CDM数据(至少在原则上)(即他们的基本信息。,diagnosis and medication) already semantically annotated using the OHDSI vocabulary terms which are mapped in ATC and MedDRA (among other thesauri). The various fields of the OMOP-CDM which could contain “unstructured” information (e.g., clinical notes fields) were ignored. To facilitate pilot testing of the platform, synthetic clinical data from SynPuf database in OMOP-CDM format were also integrated.

- PubMed:知识的同义词识别图被用来检索相关论文使用各自的PubMed应用程序编程接口(API)。更具体地说,PubMed API用于检索论文包含DEC-related同义词在题目或摘要。

——Twitter:事实上,这是最具挑战性的数据源,因为人们经常使用俚语的语言,任何形式的缩写,标签等等。给出了知识图中包含同义词作为参数在Twitter流API调用来检索相关的tweets并将它们存储在MongoDB格式。例子tweet开采在试点研究有:

∘“我认为我们需要去我的舍曲林100毫克。我已经要求50毫克,但我应该在第二个我的每日剂量丙戊酸之前我会有100毫克(防止轻度躁狂的/躁狂发作),我小心翼翼的,因为它会损害肝脏。不得不这么做。(悲伤脸表情符号)”

∘“阅读最新的年报郭的药物治疗:丙戊酸在神经外科诱发肝损伤的风险:未来的嵌套病例对照研究https://t.co/UJBUIXt3fa

∘”@medical_xpress @BrJCancer。增加肝脏疾病的流行。丙戊酸对肝毒性有黑框警告,胰腺炎,胎儿异常丙戊酸可能对肝脏造成严重或危及生命的损伤,最有可能发生后前6个月的治疗。”

∘”@FirstPogMoThoin @felix_masibay丙戊酸做了很多伤害到肝脏;这是一个非常有害的药物对身体一般。”

2.2分析方法

在这些数据源、数据密集型web用户界面了,让用户通过交互式探索和深入分析,还基于其他开源软件组件(例如,提供的工具观察健康数据科学和信息学(OHDSI)倡议的社区14(Dimitriadis et al ., 2021),公开可用的网络分析应用程序使用openFDA数据15等等)。

- OpenFDA工作区:几个交互式分析部署,主要关注比例失调分析指标广泛用于支持决策过程的PV。这些方法包括计算报告比值比(ROR) (Rothman et al ., 2004;埃文斯et al ., 2001),比例报告比率(PRR) (埃文斯et al ., 2001)、变更点分析(CPA) (徐et al ., 2015)和其他用户交互功能。例如,“动态PRR”和“改变分析”观点描述PRR如何度量的发展随着时间的推移,一个贝叶斯和方差CPA方法16在各种视图PVClinical平台允许针对特定的时间窗口中值的识别,动态数据过滤、导航在其他潜在的不良反应报道在同一个ICSRs和数据出口(包括有关ICSR报告)一个excel文件格式。

——OHDSI工作区:OHDSI工作区,分析工具用于观察性研究是综合支持探索RWD来源,因为他们通常使用的环境中支持的阿特拉斯工具构建和OHDSI社区。为此,以下分析工具集成(Dimitriadis et al ., 2021)17:

∘“发病率”被定义为一个衡量的频率的一些事件,如疾病诊断或其他发病率,发生在指定的时间段。通常,发病率计算基于的比值(即“目标群体”。,the set of patients under investigation, e.g., all the patients of the hospital which the specific drug was administered to) and the “outcome cohort” (i.e., the set of patients which have been diagnosed with the respective adverse condition).

∘“群组特征”的过程被定义为从人水平协变量生成队列级别的描述性总结统计数据。

∘“药物暴露”描述了分布的人口暴露于一个特定的药物。

∘”条件发生“量化诊断的人口分布与相应的健康状况(疾病,副作用,副作用,等等)。

∘“队列通路”提供了一个聚合的事件序列(例如,诊断、治疗决策等)的病人已接受特定的药物(目标群体)。

- PubMed工作区:检索的论文可以显著的相关性与12月下的问题“选择”、“有”或“拒绝”。此外,论文可以通过出版日期过滤和注释。

——Twitter工作区:数据检索使用Twitter的API简单的关键字搜索和收集到的tweet,交互式可视化技术和简单NLP-like操作是用来识别标签,转发等。在用户界面方面,相关微博转发的次数的计数器给出一个时间表,使动态交互和过滤或按其平台的用户界面通过手动选择一个特定的时间或单击一个特定的计算(参见代码分析的一部分补充材料截图)。此外,热图可视化提出了大力强调任何twitter账户发布关于特定的12月和可能具有重要影响。最后,顶部标签可以检查在一个单独的streamgraph (Kakalou et al ., 2022)。

2.3设计的平台的使用途径

用户可以通过两个独立的路径(与系统交互图1):

(一)数据探索:这个途径通常被设计成利用光伏专业人士想分析大量的数据来支持监管行动的必要性。

——(b)个案管理:这个途径通常被设计成在临床使用的学校谁想决定是否一个特定的病人正在遭受一个ADR。

图1
www.雷竞技rebatfrontiersin.org

图1。PVClinical平台终端用户路径。

应该注意虽然也可以使用这些用法途径补充或互换多次单独光伏专业人士分析每个ICSR(步骤b。2和b.3)。同样,学校也需要访问更广泛的数据空间(如ICSRs, RWD等等)来支持他们的临床决策关于潜在的药物不良反应。

“数据浏览”途径可以3中概述的步骤:

——第一步:药物事件组合(DEC)定义为“调查场景”

——一步。2:the available data sources are explored

——一步。3:an overall aggregative report is produced for further use (e.g., regulatory or quality assurance purposes)

同样,“个案管理”途径,也有三个步骤:

——第一步:同样,“数据浏览”途径,12月“调查场景”的定义

步骤b。2:the questions defined in the “Liverpool’s algorithm” (加拉格尔et al ., 2011)回答

步骤b。3:based on the answers given in step b.2, the system provides a hint on whether there is an ADR for the specific individual case per se or not

基于早期的交互与潜在的终端用户,很明显,提出分析可能会太复杂,因此绝大non-PV专业人士,因此,平台还提供了简化的“快速视图”。“快速视图”旨在提供最直观的可用数据/数据,而“详细视图”总是可以提供完整的堆栈可用的分析和统计的措施。例如,开放FDA工作区中的“快速查看”不包括“贝叶斯改变点分析”。同样,OHDSI工作区中的“快速查看”只提供“发病率”和“群体特征”功能,留下了“药物接触”,“条件发生”和“群通路”分析的观点。

如果多个同义词的使用可能导致多个潜在的药物组合和/或不利影响,提出了关键字的所有潜在的组合和独立分析。例如,在一个场景,药物和5 5同义词同义词选择的不利影响,有5×5 = 12月25“双”的标识。对于每一对12月来说,所有相关的比例失调措施计算及相关分析。

2.3.1途径:数据探索

•步骤1:调查方案的定义

每次新的潜在光伏信号调查,一个新的“调查场景”被定义为12月,这可能是指多个药物或感兴趣的(不良)影响。

•步骤。2:Data exploration

每个数据源都有其独特的功能和特点,分别分析并相应地调整视图提供的平台。例如,尽管比例失调分析比率(例如,PRR、ROR等等)可能为ICSR数据高度相关,其使用在RWD目前正在接受调查,并没有(还)被广泛接受的统计指标。因此,“工作区”为每个数据源定义,导致共有四个数据密集型工作空间支持的调查潜在的信号,即。,the OpenFDA workspace enabling the interaction with ICSR data collected via FAERS, the OHDSI workspace enabling the use of data available in OMOP-CDM format, the PubMed workspace for the investigation of scientific publications and the Twitter workspace for social media posts.

•步骤。3:Reporting

产生一个总结报告,包含分析结果进行各种工作空间,包括相关数据,数据表和潜在的笔记。

2.3.2路径B:个案管理

•步骤1:调查方案的定义

“个案管理”通路始于12月相关的定义(步骤1是常见的路径和路径B)之间。

•步骤b。2:Questionnaire answering

用户回答“利物浦算法”的问题来评估一个潜在的ADR在个案基础上18(见预排的平台补充数据S8A-C)。这些问题集中在不良反应与药物管理局及其关系模式,如“dechallenge”过程相关的一个问题是“事件的改善在停止用药后或者剂量减少?”。

•步骤b。3:在dividual case hint

系统提供一个提示关于是否这种情况下指的是一种不良反应,基于结果的“利物浦算法”(加拉格尔et al ., 2011)。

2.4比较研究

为了识别差距并提出了系统的潜在好处在真实的环境中,进行了比较研究,旨在比较提出了平台和EVDAS系统提供的教育津贴。

EVDAS (EudraVigilance数据仓库和分析系统)是一个在线服务提供的EMA便于分析ICSRs收集在欧洲层面上,提供各种报告的格式显示数据,表和图。通常,数据输出聚合但EVDAS也能够评估个案报告的细节。作为一个整体,EVDAS提供分析工具与建造的ICSR PVClinical平台方面的数据分析(例如,确定报告drug-event组合的相关问题,深入到提交ICSR本身等等)。另一方面,这两个环境之间也有不同显著关于提供的分析,例如EVDAS平台不提供视图动态PRR或会计师。最后,应该注意的是,EVDAS只关注ICSRs,不包括任何其他类型的数据源。

比较研究是由“信号管理团队(SMT)”的合同研究组织(CRO)作为分包商支持光伏活动。总共4的SMT组成光伏专业人员进行研究在两个月的时间。根据标准操作程序(sop)相关光伏信号管理、三个调查场景,即。,case studies were created and implemented: (a) The first scenario focused on a commonly known adverse event presented during the use of an active substance for the treatment of a chronic disease, during a 6-monthly period (b) the second scenario investigated reports associated with an adverse event (AE) presented during the use of an advanced therapy medicinal product, during a 6-monthly period, and (c) the third scenario concentrated on an already identified, by the EMA Pharmacovigilance Risk Assessment Committee (PRAC), signal associated with an active substance.

评估开始探索EVDAS并持续与新开发平台的上下文PVClinical项目。CERTH的团队提供的SMT研究验证协议和问卷,旨在评估平台的可用性和用户满意度。调查的步骤过程可以概括如下:

——检查FDA ICSRs潜在的重复和识别潜在的不完整的报告

——彻底的审查有关FDA ICSRs(叙述,病史、年龄、伴随着)

——比较的文献收集的数据从PubMed)通过专门的文学工作区PVClinical平台和b) SMT的检查在PubMed网站上的文献

-全面评价的相关文献关于signal-at-hand数据

——详细审查和评估EVDAS ICSRs(除了场景# 3这是一个已经验证信号)

——完成信号与信号结果报告形式,根据内部CRO的安抚

-完成的比较调查问卷(见辅料表S1)。优先等级的比较调查问卷由7-rating规模(强烈喜欢目前可用的工具,喜欢,有点喜欢,更喜欢两个同样,有点喜欢,喜欢,强烈喜欢PVClinical平台)基于特定的因素;这些因素是:

o复杂性,

最佳时间阿,

o信心的决定,

感知到的数据质量,

用户体验,阿和

o总体偏好。

——综合报告包含结果和结论对于平台的有效性,可访问性和可用性。

值得注意的是,每个场景的结果进一步评估SMT如果呈现ROR大于1,至少在两个平台之一。最后,SMT提供详细的工作表(小时)为每个平台为了评估PVClinical平台的影响在减少调查时间的负担。

3的结果

在本节中,提出了终端用户的评价结果。应该注意的是,没有实际OMOP-CDM数据可以使用在评估过程中,评估OHDSI工作区被认为是超出了本文的范围19

3.1比较研究

表1我们现在每个场景的比较调查问卷的答案。

表1
www.雷竞技rebatfrontiersin.org

表1。问卷调查的结果比较。

表2我们提出的整体评估工具和相关PVClinical相比平台的工作空间的上下文中使用后CRO的安抚。

表2
www.雷竞技rebatfrontiersin.org

表2。每种方法的性能根据CRO的安抚。

表3下面我们目前的工作分配时间每任务场景。

表3
www.雷竞技rebatfrontiersin.org

表3。工作分配每个任务,场景和(SMT)小时专用平台。

3.2定性评价

作为一个整体,根据光伏专业人士讨论他们显然更喜欢使用EVDAS和他们目前使用的工具,主要是由于技术问题。然而,他们也明确承认的额外功能提出了平台,和报道,他们会高兴地迁移到它,只要在技术上更成熟和评价提供必要的教育材料/培训课程。在本节中总结的优点和缺点确定为每个工作区。

3.2.1 OpenFDA工作区

3.2.1.1优势

最终用户明确承认使用FAERS数据的价值评估过程。即使在欧洲光伏监管强调需要利用EudraVigilance数据(而不是通过FDA)数据,然而,食品及药物管理局是一个重要的和非常可靠的组织,因此,最终用户高度重视这些数据的集成光伏信号管理管道。

此外,OpenFDA工作空间的用户界面是相对较好接受为它提供了分析与EVDAS所提供的。

3.2.1.2弱点

然而,鉴于SMT团队用于处理EVDAS分析(图表等),有时他们似乎被新的图形和额外的统计度量OpenFDA工作区中可用。是否额外的分析可以被视为一种优势(部分),或作为整体验收的缺点/障碍是开放的解释的问题。

在数据管理方面,这一事实OpenFDA公开发布的数据延迟,不允许系统检索所需的最新信息是光伏专业人士进一步检测和验证一个潜在的信号。

最后,一些技术缺陷和需要更多的技术成熟度也指出。例如,SMT报道他们无法轻易识别和检索ICSRs在某些情况下。

3.2.2推特

3.2.2.1优势

Twitter非常积极接受SMT。用户普遍认为,社交媒体数据可以提供一个有价值的补充数据源支持光伏信号管理和用户界面也积极接受。用户还指出,除了提到公民/病人,药物不良反应的潜在的相关科学文献的转发也可以突出影响力的文学。

3.2.2.2弱点

没有建立统计指标广泛用于量化社会媒体文章的影响,因此,目前尚不清楚如何使用这些数据以量化的方式作为整个光伏管理过程的一部分。

3.2.3 PubMed

3.2.3.1优势

引文检索的数量在搜索PVClinical平台相比明显增大的结果通过PubMed web界面简单的搜索,也提供科学论文被评价为“重要”的整体信号分析过程,通过手动搜索已经错过了。这可能归因于使用同义词的查询扩展机制通过知识图生产。例如,第一个场景/ 12月评价比较研究的303篇论文通过直接/手动搜索和检索392篇论文通过使用PVClinical检索平台。额外的文件确认通过PVClinical平台,至少两人被评为重要的整个评估过程的信号。

3.2.3.2弱点

虽然有更多的结果可以被视为受益人,整个信号管理方法,仍然SMT指出,它还需要更多的时间来分析额外发现。此外,据SMT缓慢的响应时间,同时检索PubMed论文由于技术问题。

4讨论

RWD和其他新兴数据源被广泛认定为一个重要的数据源能够养活“学习医疗体系”的愿景,使更快和更丰富的临床决策过程的上下文之外(弗里德曼et al ., 2015;Dash et al ., 2022),他们可能也发挥了关键作用的药物警戒。为此,EMA最近宣布,它将更新其监管活动包括RWD直到2025年(Arlett et al ., 2021),因此,整合RWD通过软件工具旨在支持药品安全活动成为一个关键特性。

目前,可用的商业软件工具旨在支持光伏过程,包括从广泛建立工业供应商的产品(如Oracle25,ArisGlobal26等),不支持新兴数据源的集成,比如RWD。同样地,开放几乎(或打开)工具旨在支持光伏活动是建立在srs / ICSRs。EVDAS27和OpenFDA28突出的例子,它们有相同的限制不结合与RWD SRS数据。

4.1主要结果

添加更多的数据源之外ICSRs已被确定为一个有用的特性是他们可以互补支持光伏信号管理流程。然而,巨大的风险最终用户与大量的数据不能清楚地解释也被明确指出。

同理,需要澄清对如何使用这些新兴数据源作为日常光伏信号管理活动的一部分(例如,报告监管机构等),显然需要各自的光伏专业人员的培训。目前,尽管最终用户相信,这些数据源可能是有用的,但是,他们不知道如何使用它们作为他们的日常练习的一部分。

方法论的一个主要问题是缺乏统计措施被广泛接受的关于使用RWD PV。积极研究如何OMOP-CDM数据可以用于光伏(Arnaud et al ., 2017;Schuemie 2011;Yu et al ., 2019;Thurin et al ., 2020),不出所料利用比例失调的分析方法。然而,还没有一个被广泛接受的方法应该使用方法/统计指标,提出了平台是使用OMOP-CDM数据在一个相当通用的方式,基于软件组件的上下文中已建成OHDSI倡议。同样,尽管社交媒体广泛阐述,他们只能够支持光伏信号管理以辅助的方式(施法者et al ., 2018),因此,没有被广泛接受的统计度量发达(还)。

在技术方面,数据访问是一个关键。虽然OMOP-CDM可以是一个新兴的事实上的标准,可以作为一个参考数据模型来整合RWD,它还没有一个公认的数据模型。此外,ICSR数据访问也至关重要。当EMA和WHO-UMC聚合数据从不同的网站在世界各地,他们不公开可用。提出平台使用OpenFDA栈访问FAERS数据应该表扬他们免费提供,但是,提供的数据可在3个月季度fashion-published散货,导致显著的延迟“窗口”。这一事实OpenFDA公开发布的数据延迟,不允许PVClinical平台检索当前的信息是必要的专业人士进一步检测和验证一个潜在的信号。对于原始数据的语义注释,它也承认,复杂的NLP管道还可以提高整个过程。

4.2的限制和挑战

提出了平台计划达到技术准备5级29日的上下文中PVClinical项目。因此,也有各种技术、方法和可用性问题可以进一步阐述,这些问题可以被认为是阻碍最终用户验收。整合“智能”或数据密集在医疗环境中远非简单的工具(李et al ., 2020),为此,一些重要的接受和挑战方面对药品安全操作这些工具已经确定在项目的设计阶段(Gavriilidis et al ., 2021)。

最后,关于飞行员的方法有一定的局限性值得提及。试点测试上的终端用户参与项目合作伙伴,这可能影响他们的判断,因为他们不能被认为是“独立”。此外,使用合成的数据可以确定为一个潜在的限制。在PVClinical项目的背景下,真正的EHR数据也被转换为OMOP-CDM展示过程的可行性。然而,由于这个项目的目标是提供一个技术平台,而不是进行光伏研究中,这些“真正的”数据是不习惯在试点阶段的项目,也为了避免法律和行政的影响。

5的结论

我们最好的知识,提出了平台是一种新型的开源工具旨在整合ICSRs / SRS数据,OMOP-CDM数据、社交媒体和科学文献,使这些数据源的使用在一个统一的方式来促进潜在光伏信号的识别和管理。这个出版作为一个开源平台,使进一步的协作开发与开放研究的原则。诚然虽然比较研究的结果描述这样的工具可以提供的好处,不情愿的采用也强调,关于技术成熟,识别需要改进用户体验,还需要进一步光伏专业人士的教育而言,数据科学及其说明。

作为未来平台发展计划的一部分,调查潜在的替代用户交互模式来提高可用性是一个关键的目标。此外,使用更多的AI / ML模式和数据空间不断扩大的积极探索。新的潜在数据源也在接受调查,包括临床试验数据、综合光伏信号报告由药品安全组织(例如,通过OpenPVSignal模型(Natsiavas et al ., 2018))以及低层生化信息(例如,通路信息)。此外,更复杂的统计方法的集成,特别是关于OMOP-CDM数据支持光伏信号的评价管理也提出了未来的工作。最后,系统验证平台的,关于技术的鲁棒性,但也在PV操作流程的集成也计划。

数据可用性声明

公开的数据集和数据api被用于这项研究。这些数据可以在这里找到:1)FDA -FAERS数据:https://www.fda.gov/drugs/questions-and-answers-fdas-adverse-event-reporting-system-faers/fda-adverse-event-reporting-system-faers-public-dashboard2)Twitter数据:https://developer.twitter.com/en/docs/tutorials/consuming-streaming-data3)SynPuf数据:https://www.cms.gov/Research-Statistics-Data-and-Systems/Downloadable-Public-Use-Files/SynPUFs/DE_Syn_PUF4)PubMed API:https://www.ncbi.nlm.nih.gov/pmc/tools/developers/

作者的贡献

VD的领导软件开发平台他领导的代码编写OMOP-CDM工作区,报告工作空间和其他平台特性。SD撰写的代码OpenFDA工作区和PubMed工作区。交流导致OpenFDA工作空间的发展。GG是药理学家支持平台的设计,也导致项目试点阶段的设计。CK编写代码的Twitter的工作区。PB领导比较研究的过程。PN构思平台的概念,设计软件架构,协调整个项目。最后,要感谢作者的贡献Vassilis Koutkias在项目后期的概念定义。所有作者的文章和批准提交的版本。

资金

这项研究已经在由欧盟和希腊国家基金通过操作项目竞争力、创业与创新,在调用RESEARCH-CREATE-INNOVATE(项目代码:Τ1edk - 03789)。

确认

作者要感谢提供的见解PVClinical项目牵头的财团的成员在项目的设计和实现阶段,以下光伏专业人士的贡献从Pharmassist有限公司(https://www.pharmassist-cro.com/):亚历山德拉Falara Dafni Karioti,艾琳娜Polatidou和乔治·Ntelis。作者还想承认使用乔纳森·g·莱文的公开可用的代码的一部分OpenFDA工作区和使用OHDSI社区的软件栈的一部分OHDSI工作区。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

补充材料

本文的补充材料在网上可以找到:https://www.雷竞技rebatfrontiersin.org/articles/10.3389/fdsfr.2022.1016042/full补充材料

缩写

ADR药物不良反应;AE,不良事件;API,应用程序编程接口;注册会计师,改变点分析;阴极射线示波器、合同研究组织;哒,比例失调分析;12月,药物事件组合;电子健康档案、电子健康记录;EVDAS EudraVigilance数据仓库和分析系统;FAERS, FDA不良事件报告系统; FDA, Food and Drug Administration; HCP, Healthcare professional; ICSR, Individual Case Safety Report; MedDRA, Medical Dictionary for Regulatory Activities; NER, Named Entity Recognition; NLP, Natural Language Processing; OHDSI, Observational Health Data Sciences and Informatics; OMOP-CDM, Observational Medical Outcomes Partnership—Common Data Model; PRR, Proportional Reporting Ratio; PV, Pharmacovigilance; ROR, Reporting Odds Ratio; RWD, Real-World Data; SOP, Standard Operating Procedures; SMT, Signal Management Team; SRS, Spontaneous Reporting Systems; WHO-ATC, Anatomical Therapeutic Chemical classification system.

脚注

1IMI WEB-RADR和WEB-RADR2财团包括多个监管和药品安全集中组织,例如,英国药物和保健产品监管Agency-MHRA WHO-UMC,西班牙通讯社的记者诺拉德Medicamentos Y或含Sanitarios,克罗地亚Agencija咱Lijekove我Medicinske Proizvode LAREB设在荷兰。

2https://www.fda.gov/safety/fdas-sentinel-initiative:∼: textSentinel % 20 % 20 % 20 FDA的% 20国家、FDA % 20推出了% 20 % 20哨兵% 20倡议

3PVClinical项目的网站:https://pvclinical-project.eu/

4GitHub代码存储库:https://github.com/inab-certh/PVClinical

5遍PVClinical平台可以作为补充材料和演示视频中可以找到https://youtu.be/BJB4OPlKmUM

6DrugBank网站:https://go.drugbank.com/

7WHO-ATC分类网站:https://www.who.int/tools/atc-ddd-toolkit/atc-classification

8MedDRA术语网站:https://www.meddra.org/

9这些知识图是基于数据不免费,但他们与特定的使用许可,即。,MedDRA DrugBank跟自己的许可证。因此,虽然PVClinical平台的源代码是公开可用的,我们选择离开知识图的GitHub库。

10https://bioportal.bioontology.org/

11https://download.bio2rdf.org/files/release/3/drugbank/drugbank.html

12adr DrugBank原始数据包括信息来源的基础上提供的信息在药物的产品标签/传单。然而,这些信息并不是用于我们的平台作为主要用例细化,从而促进光伏信号,已经证实药物不良反应被认为是范围。应该澄清,DrugBank数据集成在我们知识图不用作ADR提供信息,但它只是用于方便的同义词的发现和查询空间扩张促进数据源的分析可以用来确定小说ADR信号,即。的数据来源阐述了工作区PVClinical平台

13从FAERS ICSRs也可以通过OpenFDA API。然而,OpenFDA API只支持特定类型的请求/查询,因此,选择在本地存储FAERS数据的解决方案。

14OHDSI倡议网站:https://www.ohdsi.org/

15web应用程序开发的开源库支持OpenFDA数据的分析:https://github.com/jonathanglevine/openfdashinyapps

16很多这些统计方法提供实现各自的代码直接由乔纳森·g·莱文的公开可用的源代码https://github.com/jonathanglevine/openfdashinyapps

17《OHDSIhttps://ohdsi.github.io/TheBookOfOhdsi/

18利物浦算法行为条件,应用一个“if - then - else”原理,指导终端用户之间的问题基于之前他/她的回答。精确的导航路径,最后回答问题算法的结果取决于在每一步中给出的答案。

19真正的医院数据转换为OMOP-CDM在项目评估的背景下提出了平台的可行性。然而,这些数据很敏感,他们不能与心脏按压共享终端用户由于法律和道德障碍,因此,他们不习惯在SMT的光伏系统的评估的专业人员。

20.本研究的情况是“阿仑单抗和巨细胞病毒”,这是一个已确定信号根据欧洲药品局(EMA)药物警戒风险评估委员会(进行)。

21自场景3聚焦于一个已确定药物警戒信号风险评估委员会(进行),只有PVClinical平台使用。

22手稿中已经解释了,比较研究是建立在标准操作规程应用于特定的作物。基于这些标准作业程式,他们定期评估潜在的ICSRs信号考虑6个月。在进行比较研究时(2021年末)没有数据可用的两个场景通过FDA XML下载。

23308年报告审核(449)由于技术系统错误。69年报告阿仑单抗是不确定为可疑的药物,而在239年报道(308)药品和不良反应之间的因果关系被确认。

24合并细胞发生在SMT显然没有分区所花费的时间的基础上相应类别放在桌子上

25https://www.oracle.com/industries/life-sciences/pharmacovigilance/

26https://www.arisglobal.com/lifesphere/fda-drug-safety-solution/?utm_source=pardot&utm_medium=email&utm_campaign=AGMKT-24&utm_content=button

27https://www.ema.europa.eu/en/human-regulatory/research-development/pharmacovigilance/eudravigilance/eudravigilance-system-overview

28https://open.fda.gov/

29日技术准备级别的定义:https://ec.europa.eu/research/participants/data/ref/h2020/wp/2014_2015/annexes/h2020-wp1415-annex-g-trl_en.pdf

引用

Arlett, P。,Kjaer, J., Broich, K., and Cooke, E. (2021). Real-world evidence in EU medicines regulation: Enabling use and establishing value.中国新药杂志。7 (7),681 - 695。doi: 10.1002 / cpt.2479

CrossRef全文|谷歌学术搜索

Arnaud M。,Bégaud, B., Thurin, N., Moore, N., Pariente, A., and Salvo, F. (2017). Methods for safety signal detection in healthcare databases: A literature review.当今专家。Saf药物。16,721 - 732。doi: 10.1080 / 14740338.2017.1325463

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

阿斯皮纳发表,s . L。Vu, M。,Moore, V., Jiang, R., Au, A., Bounthavong, M., et al. (2022). Estimated costs of severe adverse drug reactions resulting in hospitalization in the veterans health administration.JAMA Netw。开放5 (2),e2147909。doi: 10.1001 / jamanetworkopen.2021.47909

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

球,R。,和Gerald, D. P., (2022). Artificial intelligence” for pharmacovigilance: Ready for prime time?.Saf药物。45岁,429 - 438。doi: 10.1007 / s40264 - 022 - 01157 - 4

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

软化,。,和Hobbiger, S. F. (2020). Artificial intelligence, real-world automation and the safety of medicines.Saf药物。14日,1 - 8。doi: 10.1007 / s40264 - 020 - 01001 - 7

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

卡拉汉,。,Cruz-Toledo, J., and Dumontier, M. (2013). Ontology-based querying with Bio2RDF’s linked open data.J生物医学语义4 (1),S1。doi: 10.1186 / 2041 - 1480 - 4 - s1 - s1

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

施法者,O。,Dietrich, J., Kürzinger, M-L., Lerch, M., Maskell, S., Norén, G. N., et al. (2018). Assessment of the utility of social media for broad-ranging statistical signal detection in pharmacovigilance: Results from the WEB-RADR project.Saf药物。1 - 15,。doi: 10.1007 / s40264 - 018 - 0699 - 2

CrossRef全文|谷歌学术搜索

国际医学科学组织理事会(2010)。信号检测的实际方面药物警戒CIOMS工作组的报告八世。瑞士日内瓦:帮助。isbn: 9290360828。

谷歌学术搜索

破折号,D。,Gokhale, A., Patel, B. S., Callahan, A., Posada, J., Krishnan, G., et al. (2022). Building a learning health system: Creating an analytical workflow for evidence generation to inform institutional clinical care guidelines.:中国通知13 (1),315 - 21。doi: 10.1055 / s - 0042 - 1743241

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Dimitriadis诉K。Gavriilidis, G。I., and Natsiavas, P. (2021). Pharmacovigilance and clinical environment: Utilizing OMOP-CDM and OHDSI software stack to integrate EHR data.公众正愈合。Proc,米氏281年,555 - 559。doi: 10.3233 / SHTI210232

CrossRef全文|谷歌学术搜索

欧洲药品局(EMA), (2022)。数据分析和现实世界审讯网络(达尔文欧盟)。荷兰阿姆斯特丹:欧洲药品局https://www.ema.europa.eu/en/about-us/how-we-work/big-data/data-analysis-real-worldinterrogation-network-darwin-eu

欧洲药品局(EMA), (2022)。欧盟伊拉斯谟MC简约建立达尔文®协调。荷兰阿姆斯特丹:欧洲药品局的中心https://www.ema.europa.eu/en/news/initiation-darwin-eurcoordination-centre-advances-integration-real-world-evidence-assessment

埃文斯,美国J,沃勒,p . C,和戴维斯,美国(2001年)。使用比例从自发报告比率(PRRs)信号代药物不良反应报告。Saf Pharmacoepidemiol药物。10 (6),483 - 486。doi: 10.1002 / pds.677

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

食品和药物管理局(FDA), (2022)。FDA不良事件报告系统(FAERS)公共仪表板。美国马里兰州银泉:食品及药物管理局https://www.fda.gov/drugs/questions-and-answers-fdas-adverse-event-reporting-system-faers/fdaadverse-event-reporting-system-faers-public-dashboard

胶木,D。,Sultana, J., Cutroneo, P. M., Lucchesi, S., Angelica, R., Crisafulli, S., et al. (2018). The economic burden of preventable adverse drug reactions: A systematic review of observational studies.当今专家。Saf药物。17 (7),681 - 695。doi: 10.1080 / 14740338.2018.1491547

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

弗里德曼,c·P。鲁宾,J。、棕色、J。,Buntin, M., Corn, M., Etheredge, L., et al. (2015). Toward a science of learning systems: A research agenda for the high-functioning learning health system.j。地中海。Inf。Assoc。22 (1)43-50。doi: 10.1136 / amiajnl - 2014 - 002977

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

加拉格尔,r . M。Kirkham, J·J。梅森,j . R。鸟,k。,Williamson, P. R., Nunn, A. J., et al. (2011). Development and inter-rater reliability of the Liverpool adverse drug reaction causality assessment tool.PLoS One。6(12),28096年。doi: 10.1371 / journal.pone.0028096

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

我Gavriilidis, g。,Dimitriadis诉K。Jaulent, m . C。,和Natsiavas, P。(2021). Identifying actionability as a key factor for the adoption of ‘intelligent’ systems for drug safety: Lessons learned from a user-centred design approach.Saf药物。44(11),1165年。doi: 10.1007 / s40264 - 021 - 01103 - w

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Harpaz, R。,DuMouchel, W., Schuemie, M., Bodenreider, O., Friedman, C., Horvitz, E., et al. (2017). Toward multimodal signal detection of adverse drug reactions.j .生物医学。正无穷。76年,41-49。doi: 10.1016 / j.jbi.2017.10.013

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Harpaz, R。,Vilar, S., Dumouchel, W., Salmasian, H., Haerian, K., Shah, N. H., et al. (2013). Combing signals from spontaneous reports and electronic health records for detection of adverse drug reactions.j。地中海。Inf。Assoc。20岁,413 - 419。doi: 10.1136 / amiajnl - 2012 - 000930

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

侯赛因,r (2021)。大数据、药物安全性和药物警戒。j .制药。Pract政策。14 (1),48-50。doi: 10.1186 / s40545 - 021 - 00329 - 4

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

伊姆兰,M。,Bhatti, A., King, D. M., Lerch, M., Dietrich, J., Doron, G., et al. (2022). Supervised machine learning-based decision support for signal validation classification.药物Saf45(5),583年。doi: 10.1007 / s40264 - 022 - 01159 - 2

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Kakalou C。,Dimitsaki, S., Dimitriadis, V. K., and Natsiavas, P. (2022). Exploiting social media for active pharmacovigilance: The PVClinical social media workspace.学生健康抛光工艺通知290年,739 - 743。doi: 10.3233 / SHTI22017610.3233 / SHTI220176

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

知识库工作组的观察健康数据科学和信息学(OHDSI)协作(2017)。大规模的不良反应相关的治疗证据标准化(雷欧提斯):一个开放的可伸缩的系统连接药物警戒的证据与临床数据来源。j .生物医学。Semant。8 (1):11。doi: 10.1186 / s13326 - 017 - 0115 - 3

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

李,J-E。,Hwan Kim, J., Bae, J-H., Song, I., and Shin, J-Y. (2022). Detecting early safety signals of infliximab using machine learning algorithms in the Korea adverse event reporting system.科学报告12。doi: 10.1038 / s41598 - 022 - 18522 - z

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

李,r . C。,Asch, S. M., and Shah, N. H. (2020). Developing a delivery science for artificial intelligence in healthcare.NPJ数字。地中海。3 (1),107。doi: 10.1038 / s41746 - 020 - 00318 - y

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

李,Y。,Salmasian, H., Vilar, S., Chase, H., Friedman, C., and Wei, Y. (2014). A method for controlling complex confounding effects in the detection of adverse drug reactions using electronic health records.j。地中海。Inf。Assoc。21日,308 - 314。doi: 10.1136 / amiajnl - 2013 - 001718

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

林奎斯特,m (2008)。VigiBase,世卫组织全球ICSR数据库系统:基本事实。药物正。J。42 (5),409 - 419。doi: 10.1177 / 009286150804200501

CrossRef全文|谷歌学术搜索

Natsiavas, P。,Boyce, R. D., Jaulent, M-C., and Koutkias, V. (2018). OpenPVSignal: Advancing information search, sharing and reuse on pharmacovigilance signals via FAIR principles and semantic web technologies.前药物杂志9日,609年。doi: 10.3389 / fphar.2018.00609 /满的

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Natsiavas, P。,Gavriilidis, G., Linardaki, Z., Kolangi, G., Gkaliagkousi, E., Zamboulis, C., et al. (2020). Supporting active pharmacovigilance via IT tools in the clinical setting and beyond: Regulatory and management aspects研究卫生技术和信息。荷兰阿姆斯特丹:IOS的新闻。doi: 10.3233 / SHTI200565

CrossRef全文|谷歌学术搜索

Natsiavas, P。,Jaulent, M-C., and Koutkias, V. (2019). A knowledge-based platform for assessing potential adverse drug reactions at the point of care: User requirements and design.研究卫生技术和信息264年,1007 - 1011。doi: 10.3233 / SHTI190376

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Natsiavas, P。Malousi,。,Bousquet, C., Jaulent, M-C., and Koutkias, V. (2019). Computational advances in drug safety: Systematic and mapping review of knowledge engineering based approaches.前药物杂志10日,415年。doi: 10.3389 / fphar.2019.00415 /满的

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Pacurariu, a . C。,斯特劳斯,s M。Trifiro, G。,Schuemie, M. J., Gini, R., Herings, R., et al. (2015). Useful interplay between spontaneous ADR reports and electronic healthcare records in signal detection.药物Saf38 (12),1201 - 1210。doi: 10.1007 / s40264 - 015 - 0341 - 5

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Rothman k . J。道,S。,和Sacks, S. T. (2004). The reporting odds ratio and its advantages over the proportional reporting ratio.Pharmacoepidemiol药物Saf13 (8),519 - 523。doi: 10.1002 / pds.1001

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

萨尔瓦多,M。,Alexander, P. R., Musen, M. A., and Noy, N. F. (2013). BioPortal as a dataset of linked biomedical ontologies and terminologies in RDF.Semant。网络4 (3),277 - 284。doi: 10.3233 / sw - 2012 - 0086

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Schuemie, m . j . (2011)。药品安全信号检测方法在纵向观测数据库:lgp和豹。Pharmacoepidemiol药物Saf(3),292 - 299。doi: 10.1002 / pds.2051

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Tavares-Da-Silva F。Mahaux, O。,Van Holle, L., Haguinet, F., Seifert, H., and Stegmann, J. U. (2020). Post-marketing safety surveillance for the adjuvanted recombinant zoster vaccine: Methodology.Saf药物。43 (12),1223 - 1234。doi: 10.1007 / s40264 - 020 - 00989 - 2

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Thurin: H。,Lassalle, R., Schuemie, M., Pénichon, M., Gagne, J. J., Rassen, J. A., et al. (2020). Empirical assessment of case-based methods for drug safety alert identification in the French National Healthcare System database (SNDS): Methodology of the ALCAPONE project. Pharmacoepidemiol.药物Saf29 (9),993 - 1000。doi: 10.1002 / pds.4983

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Trifiro G。,Sultana, J., and Bate, A. (2018). From big data to smart data for pharmacovigilance: The role of healthcare databases and other emerging sources.Saf药物。41 (2),143 - 149。doi: 10.1007 / s40264 - 017 - 0592 - 4

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Wishart d S。,Feunang, Y. D., Guo, A. C., Lo, E. J., Marcu, A., Grant, J. R., et al. (2018). DrugBank 5.0: A major update to the DrugBank database for 2018.核酸Res46 (1),1074 - 1082。doi: 10.1093 / nar / gkx1037

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

Wong J。,Prieto-Alhambra, D., Rijnbeek, P. R., Desai, R. J., Reps, J. M., and Toh, S. (2022). Applying machine learning in distributed data networks for pharmacoepidemiologic and pharmacovigilance studies: Opportunities, challenges, and considerations.药物Saf45(5),493年。doi: 10.1007 / s40264 - 022 - 01158 - 3

《公共医学图书馆摘要》|CrossRef全文|谷歌学术搜索

世界卫生组织,(2002)。pharmacovogilance:安全的重要性