Multimodal and Crossmodal applications The new way to interact
example
介绍
随着我们寻找更有效的相互交流和共享信息方式，多模态和跨模态应用变得越来越流行。沟通的方式有很多种，每种方式都有自己的优缺点。比如说，口语对于快速传达信息非常有效，但我们很难理解口音重或者和我们说不同语言的人。书面语言更精确，但阅读大量文本可能会很慢而且乏味。
这就是多模态和跨模态出现的地方！
什么是多模态和跨模态应用？
多模态应用允许我们通过利用每种方式的优势来结合不同的模态。例如，我们可以在对话中同时使用口语和书面语言，以确保我们相互理解。我们还可以使用图片或视频等作为视觉辅助工具，来帮助解释仅用文字难以描述的事物。
跨模态应用针对的是来自不同模态（如视觉和听觉）的输入和输出。它通过使用一种感官的信息来增强另一种感官，使用户体验比传统应用更上一层楼。比如说，我们可以通过触摸的方式来帮助我们理解在触觉地图或盲文文本中看到的内容。我们还可以使用声音来帮助我们定位环境中的事物，一般通过声纳或雷达来完成。
它们与传统的交互方式有何不同？
多模态与跨模态应用与传统交互的不同，体现在以下几点上：
- 它们支持输入和输出模态以任意方式进行排列组合，包括但不限于音频、视频和文本，从而创造更全面的用户体验。
- 由于使用多种模态输入和输出信息，因而提高了准确性、精确度，以及可用性。
- 由于能够同时使用多种模态，因而提高了效率。
- 由于能够以任意组合使用多种模态，因而提高了灵活性。
开发多模态和跨模态应用存在哪些挑战？
虽然多模态和跨模态应用提供了许多好处，但仍然需要考虑如下挑战：
- 缺乏此类系统的设计模式。目前尚不清楚应该如何一致地表征、计算、存储和传输不同模态的数据；以及如何在不同工具之间切换。
- 缺乏用于开发多模态和跨模态应用的工具和框架，没有一个可以包含多种模态的标准数据结构。
- 多模态和跨模态应用的开发可能会更加复杂，因为需要考虑如何在应用中组合不同的模态。
- 多模态和跨模态应用可能更难测试，因为需要确保模态正常运转并且用户体验是正面的。
开始🚀
为了克服构建跨模态和多模态应用的挑战，可以利用 Jina 生态系统中的产品作为应用的构建模块：
- 一个适用于所有数据类型的标准数据结构，即DocArray（也称为非结构化数据的数据结构）。它能够像传统数据结构对文本数据一样轻松地存储和处理多种数据类型。
- 可复用的代码片段可以作为Jina Hub的Executor轻松接入任何应用。
- 使用Jina，可以获得即时的数据处理流水线，以将概念验证提升为生产级应用。可以专注于用例并处理其余部分。
- 不要担心托管基础设施。当使用 Jina 构建时，可以通过JCloud使用几行额外的代码轻松地将应用托管在云上。
额外资源✨
如果不知道如何编码，仍然可以在终端上使用Jina NOW构建复杂的搜索应用。过程有三个步骤👉
输入一些命令→加载数据/选择配置→获取应用
