Google Cloud 在 HIMSS25 上推出新的 genAI 和视觉搜索技术
快速阅读: 《医疗保健 IT 新闻》消息，谷歌云在HIMSS25上发布了面向医疗保健的Vertex AI搜索新的人工智能功能，包括视觉问答和Gemini 2.0模型。这些功能允许医生通过分析图像和多种数据源更全面地了解患者健康状况，提高搜索速度和准确性。谷歌云通过严格测试、透明模型和与医疗提供者的合作确保这些工具的准确性和可信度。
谷歌云在HIMSS25上推出了其面向医疗保健的Vertex AI搜索的新生成式人工智能功能，包括新功能视觉问答（Visual Q&A），该功能可以搜索表格、图表和图片，并且Gemini 2.0现在也是其中的一个模型。面向医疗保健的Vertex AI搜索的新多模态搜索功能旨在帮助医疗机构为医生、护士及其他人员提供更全面的患者健康视图。面向医疗保健的Vertex AI搜索是谷歌云Vertex AI平台中的一个专业工具，它帮助开发者构建更好的辅助技术，用于从复杂的医疗数据中搜索和检索信息，如病历、医疗文件和其他医疗保健数据源。现在有了视觉问答和Gemini 2.0，搜索技术可以直接接收图像输入，例如表格、图表或图片，而不是先将图像转换成文本。例如，它可以接收一张显示患者脚部受伤位置的图表，以及患者填写的表单上的复选框，指示他们是否穿着治疗鞋或矫形插入物，以及其他表单上指示的症状。视觉问答还可以分析医疗表格，其中信息被输入到表格中——当这些信息是搜索的相关部分时，它会将其包含在临床医生的发现中。Gemini 2.0能够理解原生图像和音频输出以及高质量语音生成等功能。例如，一位医学研究人员可以输入大量的患者脑部MRI数据集。Gemini 2.0然后可以直接分析这些图像，识别可能被肉眼忽视的细微模式和异常，然后生成一份详细的报告总结这些发现。这使得对大型成像数据集的快速分析成为可能。
《医疗IT新闻》与谷歌云全球医疗总监阿希玛·古普塔进行了深入访谈。问：面向医疗保健的Vertex AI搜索的新生成式人工智能能力对医院和医疗系统意味着什么？答：新的生成式人工智能能力——视觉问答和Gemini 2.0——代表了医院和医疗组织如何访问、查看和使用关键患者信息的重要一步。它们使提供者更容易在患者的病历中找到信息，并且重要的是，比以前更完整地描绘出患者的健康状况。这两种新的生成式人工智能能力都是我们所说的多模态，这意味着它们可以从多样化的患者数据源中处理和整合信息——不仅仅是文本，还包括医学影像和基因信息。新的生成式人工智能能力——视觉问答和Gemini 2.0——代表了医院和医疗组织如何访问、查看和使用关键患者信息的重要一步。它们使提供者更容易在患者的病历中找到信息，并且重要的是，比以前更完整地描绘出患者的健康状况。这是有意义的，因为在医疗保健领域，近90%的医疗数据以图像形式存在，例如X光片和扫描。通过结合图像、患者历史、基因信息等数据，视觉问答和Gemini提供了患者健康的全面视图，不仅节省了提供者的时间，还帮助临床医生做出准确的诊断并设计个性化的治疗计划。新的生成式人工智能能力——视觉问答和Gemini 2.0——代表了医院和医疗组织如何访问、查看和使用关键患者信息的重要一步。它们使提供者更容易在患者的病历中找到信息，并且重要的是，比以前更完整地描绘出患者的健康状况。
问：视觉问答和Gemini 2.0技术如何使Vertex AI搜索提供更好的结果？答：视觉问答和Gemini 2.0通过改进提供者的输入过程和向提供者提供的输出来增强面向医疗保健的Vertex AI搜索的功能。视觉问答允许Vertex AI搜索直接分析医疗记录中常见的表格、图表和图片等图像。而不是将这些图像转换成文本，这可能会丢失重要的上下文，视觉问答理解图像本身所包含的信息。视觉问答和Gemini 2.0通过改进提供者的输入过程和向提供者提供的输出来增强面向医疗保健的Vertex AI搜索的功能。这意味着临床医生可以基于视觉医学内容进行搜索，从而获得更全面和相关的结果。Gemini 2.0通过提高处理多模态数据的能力（包括相同的视觉元素）来提供更快、更准确的答案，从而提高了搜索过程的速度和准确性。这意味着即使查询涉及复杂图像，临床医生也能更快、更准确地得到答案。
问：请详细说明Gemini 2.0的能力，并说明提供者如何利用它。答：想象一下，一位医生正在治疗一名有复杂医疗史的患者，包括多次成像扫描和实验室报告。医生需要快速了解特定健康状况的发展情况，包括成像扫描中的任何相关细节。借助Gemini 2.0支持的面向医疗保健的Vertex AI搜索，医生只需简单地提问：“展示患者过去六个月的血糖水平趋势，并突出显示最近腹部CT扫描中的任何关注区域。”Gemini 2.0然后可以快速分析实验室数据和图像数据，以提供全面的回答。例如，它可以显示带有标注的血糖水平图表，标注期间的不稳定期，以及标记过的CT扫描版本，突出潜在的关注区域。这使医生能够快速获取关键信息——节省时间并帮助他们做出最明智的治疗决策。
问：谷歌云如何确保医院和医疗系统用户对其最新的生成式人工智能能力的信任，即他们可以信任生成式人工智能的准确性？答：在医疗保健领域，准确性和可信度至关重要。在谷歌云，我们致力于为客户提供最高标准的服务，保障患者利益。为了确保准确性和建立客户的信任，我们采取以下方法。我们使用多样化的数据集和基准对我们的模型进行严格的测试和验证。这包括客观结构化临床考试（OSCE）模型等措施，用于评估模型的临床推理能力。我们努力使我们的AI模型尽可能透明和可解释。这有助于用户理解模型得出答案的过程，建立信任并促进更好的人类监督。我们在整个开发和部署过程中与医疗保健提供者和组织密切合作。这确保了我们的AI工具符合实际临床需求，并达到最高准确性和可靠性标准。我们持续监控我们的AI模型的性能，并积极寻求用户的反馈以确定改进的领域。这种方法确保我们的AI工具随着时间推移保持准确和可靠。我们致力于负责任地开发和部署AI，重点关注公平性、隐私性和安全性。我们积极参与医疗保健AI行为准则和团结一致等倡议，确保我们的AI工具符合最高伦理标准。支持HIPAA合规的安全和合规措施已深深融入我们的基础设施、安全设计和产品中。因此，医疗客户可以在其中安全存储、分析健康信息，并从中获取洞察，无需担心底层基础设施。AI正在重塑医疗保健格局。通过遵循这些做法，我们旨在构建医疗保健提供者可以信赖的准确和可靠的AI解决方案，最重要的是，有益于患者护理。
(以上内容均由Ai生成)
