CN102349040B - 用于包括基于表面的触觉效果的界面的系统和方法 - Google Patents

用于包括基于表面的触觉效果的界面的系统和方法 Download PDF

Info

Publication number
CN102349040B
CN102349040B CN201080011746.2A CN201080011746A CN102349040B CN 102349040 B CN102349040 B CN 102349040B CN 201080011746 A CN201080011746 A CN 201080011746A CN 102349040 B CN102349040 B CN 102349040B
Authority
CN
China
Prior art keywords
touch
haptic effect
actuator
place
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080011746.2A
Other languages
English (en)
Other versions
CN102349040A (zh
Inventor
君·曼扭尔·克鲁斯-赫南德斯
丹尼·A·格兰特
阿利·莫达雷斯
安德鲁·格斯林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/696,893 external-priority patent/US9746923B2/en
Priority claimed from US12/697,037 external-priority patent/US9927873B2/en
Priority claimed from US12/697,042 external-priority patent/US10564721B2/en
Priority claimed from US12/697,010 external-priority patent/US9874935B2/en
Priority claimed from US12/696,900 external-priority patent/US9696803B2/en
Priority claimed from US12/696,908 external-priority patent/US10007340B2/en
Priority to CN201510772201.8A priority Critical patent/CN105425959A/zh
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN102349040A publication Critical patent/CN102349040A/zh
Application granted granted Critical
Publication of CN102349040B publication Critical patent/CN102349040B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H02N2/06—Drive circuits; Control arrangements or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Abstract

描述了用于包括基于表面的触觉效果的界面的系统和方法。一种描述的系统包括：传感器，该传感器被配置成当对象接触触摸表面时，检测触摸区域中的触摸。触摸表面可以对应于显示区域或者可以对应于计算设备或与计算设备对接的外设的非显示表面。该系统可以进一步包括：与处理器通信并且耦合至触摸表面的致动器，该致动器被配置成输出触觉效果；以及处理器，该处理器被配置成选择要生成的触觉效果。可以基于触摸的位置并且识别通过该触摸提供的输入手势和/或在映射至在触摸处或触摸附近的触摸区域中的位置的地点处在图形用户界面中显示的内容来选择触觉效果。触觉效果可以提供纹理，模仿障碍物，和/或调节表面的摩擦系数。

Description

用于包括基于表面的触觉效果的界面的系统和方法
相关申请的交叉引用
本专利申请要求于2009年3月12日提交的标题为“LocatingFeaturesUsingaFrictionDisplay”的美国临时专利申请No.61/159,482的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2009年11月17日提交的标题为“SystemandMethodforIncreasingHapticBandwidthinanElectronicDevice”的美国临时专利申请No.61/262,041的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2009年11月17日提交的标题为“FrictionRotaryDeviceforHapticFeedback”的美国临时专利申请No.61/262,038的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“SystemsAndMethodsForProvidingFeaturesInAFrictionDisplay”的美国实用新型专利申请No.12/696,893的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“SystemsAndMethodsForFrictionDisplaysAndAdditionalHapticEffects”的美国实用新型专利申请No.12/696,900的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“SystemsAndMethodsForInterfacesFeaturingSurface-BasedHapticEffects”的美国实用新型专利申请No.12/696,908的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“SystemsAndMethodsForATextureEngine”的美国实用新型专利申请No.12/697,010的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“SystemsAndMethodsForUsingTexturesInGraphicalUserInterfaceWidgets”的美国实用新型专利申请No.12/697,037的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“SystemsAndMethodsForUsingMultipleActuatorsToRealizeTextures”的美国实用新型专利申请No.12/697,042的优先权，通过引用的方式将其全部内容合并于此。
背景技术
触摸使能设备正日益流行。例如，移动和其他设备可以配置有触摸敏感显示器，使得用户可以通过触摸敏感显示器的多个部分来提供输入。作为另一示例，与显示器分离的触摸使能表面可以用于输入，诸如触控板、鼠标或其他设备。
例如，用户可以触摸被映射至屏幕上图形用户界面(GUI)的显示器或表面的一部分，诸如按钮或控件(control)。作为另一示例，可以提供手势，诸如，一个或多个触摸的序列、跨过表面的拖拽、或由设备感测到的其他可识别模式。虽然触摸使能显示器和其他基于触摸的界面大大增强了设备功能性，但是仍然存在缺陷。例如，即使在屏幕上显示键盘，习惯于物理键盘的用户在使用触摸使能设备时也可能不具有相同的体验。
发明内容
本发明的实施例可以提供包括基于表面的触觉效果的触摸使能设备，触觉效果包括但不限于纹理的改变、触摸表面的摩擦系数的改变、和/或触摸表面上的边界或障碍物的模仿。通过使用这样的特征，设备可以更加用户友好，并且可以提供整体上更激发兴趣的用户体验。
在一个实施例中，一种系统，包括：传感器，该传感器被配置成当对象接触触摸表面时检测触摸区域中的触摸，触摸区域被映射至图形用户界面的显示区域。触摸表面可以对应于显示区域或者可以对应于计算设备或与计算设备对接的外设的非显示表面。
该系统可以进一步包括与处理器通信并且耦合至触摸表面的致动器，该致动器被配置成输出触觉效果。该系统可以包括与致动器和传感器通信的一个或多个处理器，处理器被配置成基于标识触摸的位置和以下中的至少一个来选择要生成的触觉效果：(a)识别由触摸提供的输入手势或者(b)在被映射至触摸处或附近的触摸区域中的位置的显示区域中的地点处显示在图形用户界面中的内容。处理器可以命令致动器在触摸发生的同时生成所选择的触觉效果，从而提供纹理，模仿障碍物或者边界，和/或提供调节后的显示器的摩擦系数。这些效果可以使用用于提供触觉效果(包括但不限于振动触觉效果)的一个或多个致动器和/或使用以受控方式改变显示器的摩擦系数的致动器来实现。
提及这些说明性实施例并不是为了限制或定义本主题的范围，而是提供帮助其理解的示例。在具体实施方式中讨论了说明性实施例，并且在此提供了进一步的描述。通过检查本说明书和/或通过实施所要求的主题的一个或多个实施例可以进一步理解通过多种实施例提供的优点。
附图说明
在说明书的其余部分中更特别地阐述全部和允许的公开。说明书对以下附图作出参考。
图1A示出了用于提供基于表面的触觉效果的说明性系统。
图1B示出了在图1A中所示的系统的一个实施例的外部视图。
图1C图示了在图1A中所示的系统的另一实施例。
图2是图示可以在一些实施例中用于选择触觉效果的像素200的阵列的视图。
图3是示出用于给界面提供基于表面的触觉效果的说明性方法的流程图。
图4A是图示包括包括触觉使能显示器的计算设备的系统的外部视图的视图。
图4B示出了图4A的设备的横截面图。
图4C至图4D提供了当处理器被配置成响应于识别翻页输入手势而选择触觉效果时，图4A的设备中的图形用户界面的示例。
图5A至图5B中的每个图示了包括包括触摸表面并且与分离显示器对接的计算设备的系统。
具体实施方式
现在对多种和可选示意性实施例和附图详细地作出参考。每个示例都通过解释提供，并且不作为限制。对本领域技术人员将显而易见的是，可以作出修改和改变。例如，如作为一个实施例的一部分所图示或描述的特征可以在另一个实施例中使用，以产生还有的进一步实施例。因此，本公开意在包括落入所附权利要求及其等同物的范围内的修改和变体。
使用可变摩擦界面的设备的说明性示例
本发明的一个说明性实施例包括计算系统，诸如，iPod便携式音乐设备或iPhone移动设备(两者都可以从美国加利福尼亚州的库珀蒂诺的苹果公司得到)或者Zune(R)便携式设备(可以从华盛顿的雷蒙德的微软公司得到)。计算系统可以包括和/或可以与一个或多个传感器通信，诸如加速计、以及用于确定相对于在该示例中与设备的屏幕相对应的显示区域的触摸的地点的传感器(例如，光学的、电阻的或电容的)。
当用户与设备交互时，一个或多个致动器被用于提供触觉效果。例如，当用户跨过设备移动手指时，屏幕的摩擦系数可以基于手指的位置、速度、和/或加速度而变化。根据摩擦如何变化，用户可以感知特征和/或纹理。作为特定示例，摩擦可以变化，使得用户感知与屏幕上按钮的边缘相对应的凸起、边界或其他障碍物。如在以下进一步详细论述的，使摩擦系数变化可以以任何数量的方式用于给用户提供反馈。
用于提供基于表面的触觉效果的说明性系统
图1A示出了用于提供基于表面的触觉效果的说明性系统100。特别地，在该示例中，系统100包括包括经由总线106与其他硬件对接的处理器102的计算设备101。内存104包括配置计算设备的操作的程序组件，其可以包括任何合适的有形(并且非瞬时)计算机可读介质，诸如，RAM、ROM、EEPROM等。在该示例中，计算设备101进一步包括一个或多个网络接口设备110、输入/输出(I/O)接口组件112、以及附加存储器114。
网络设备(多个)110可以表示促进网络连接的任何组件。示例包括但不限于有线接口，诸如以太网、USB、IEEE1394；和/或无线接口，诸如IEEE802.11、蓝牙、或用于访问蜂窝电话网络的无线电接口(例如，用于访问CDMA、GSM、UMT、或其他移动通信网络的收发器/天线)。
I/O组件112可以用于促进到诸如一个或多个显示器、键盘、鼠标、扬声器、麦克风和/或用于输入数据或输出数据的其他硬件的设备的连接。存储器114表示非易失性存储器，诸如磁性、光学、或在设备101中包括的其他存储介质。
系统100进一步包括触摸表面116，其在该示例中被整合到设备101中。触摸表面116表示被配置成感测用户的触觉输入的任何表面。一个或多个传感器108被配置成当对象与触摸表面接触时检测触摸区域中的触摸并且通过处理器102来提供用于使用的合适数据。可以使用任何合适数量、类型或配置的传感器。例如，电阻和/或电容传感器可以被嵌入触摸表面116中并且用于确定触摸的地点和其他信息，诸如压力。作为另一示例，光学传感器可以用于确定触摸位置。
在该示例中，与处理器102通信的致动器118耦合至触摸表面116。在一些实施例中，致动器118被配置成输出响应于触觉信号而改变触摸表面的摩擦系数的触觉效果。另外地或替代地，致动器118可以提供以受控方式移动触摸表面的触觉效果。一些触觉效果可以利用耦合至设备的壳体的致动器，并且一些触觉效果可以顺序地和/或一起使用多个致动器。例如，摩擦系数可以通过使表面以不同频率振动而变化。变化的不同组合/顺序可以用于模仿纹理的感觉。
虽然在此示出单个致动器118，但是实施例可以使用相同或不同类型的多个致动器来改变触摸表面的摩擦系数。例如，在一些实施例中使用压电致动器，以以超声频率垂直地和/或水平地转移一些或所有触摸表面116。在一些实施例中，诸如偏心转动惯量电动机和线性谐振致动器的多个致动器可以单独或一起使用，以提供不同纹理、摩擦变化和其他触觉效果。致动器的其他示例包括电活性聚合物、形状记忆合金、静电、和磁致伸缩致动器。
转向内存104，描述示例性程序组件124、126和128以说明在一些实施例中如何将设备配置成提供可变摩擦显示器。在该示例中，检测模块124配置处理器102，以经由传感器(多个)108监控触摸表面116来确定触摸的位置。例如，模块124可以对传感器108进行采样，以便跟踪触摸的存在或不存在，并且如果触摸存在，则随着时间跟踪触摸的地点、路径、速度、加速度、压力和/或其他特性。
触觉效果确定模块126表示分析关于触摸特性的数据以选择要生成的触觉效果的程序组件。例如，在一些实施例中，包括一个或多个触摸的序列的输入手势可以被识别并且与一个或多个触觉效果相关。作为另一示例，触摸表面116的一些或所有区域可以被映射至图形用户界面。可以基于触摸的地点来选择不同的触觉效果，以便通过改变触摸表面116的摩擦来模仿特征的存在，使得当在界面中看到该特征的相应表示时，“感觉到”该特征。然而，即使在界面中没有显示相应元素(例如，即使没有显示边界，如果界面中的边界交叉，则也可以提供触觉效果)，可以经由触摸表面116来提供触觉效果。
触觉效果生成模块128表示使处理器102生成触觉信号和将触觉信号传送至致动器(多个)118，以至少当触摸发生时生成所选择的触觉效果的程序设计。例如，生成模块128可以访问存储的波形或命令，以发送至致动器118。作为另一示例，触觉效果生成模块128可以接收期望的摩擦系数，并且利用信号处理算法来生成合适信号以发送至致动器(多个)118。作为进一步示例，期望的纹理可以与用于被发送至一个或多个振动触觉致动器的纹理和合适波形的目标坐标一起被指示，以生成表面(和/或其他设备组件)的合适移位，以提供纹理。
根据计算系统的特定配置，触摸表面可以覆盖或不覆盖(或者另外对应于)显示器。在图1B中，示出了计算系统100B的外部视图。计算设备101包括将触摸表面和设备的显示器组合的触摸使能显示器116。触摸表面可以对应于显示器外部或者实际显示器组件之上的一层或多层材料。
在该示例中，基于在图形用户界面130中显示的文本的内容来选择触觉效果。特别地，如界面元件132所指示的，“寻找”命令已经被用于触发搜索查询。触觉效果可以被选择，以在被映射至与所搜索到的内容相对应的用户界面中的位置的触摸区域中的位置处生成触觉效果。在该示例中，触摸表面被直接映射至显示区域，并且因此当所搜索到的内容(词语“patent”)被定位时，在界面130中强调词语“patent”，如在134、136和138处示出的。
根据本主题的多个方面，设备101的处理器(处理)可以选择合适触觉效果，使得当用户在134、136和/或138处或附近触摸屏幕116时，改变屏幕的摩擦系数。例如，这可以允许用户使用他或她的手指“浏览”文本，并且通过较高(或较低)摩擦系数或与其他显示的内容不同的纹理来触觉上强调感兴趣的文本。还可以创建更复杂的效果；例如，可以使用设备101的一个或多个致动器来生成强调词语周围的边界或纹理。
如上所述，触摸表面不需要覆盖显示器。图1C图示了触摸使能计算系统100C的另一示例。在该示例中，计算设备101包括触摸表面116，其被映射至在与设备101对接的计算系统120中包括的显示器122中的提供的图形用户界面。例如，计算设备101可以包括鼠标、触控板、或其他设备，而系统120可以包括桌上型或膝上型计算机、机顶盒(例如，DVD播放器、DVR、有线电视盒)、或另一计算系统。作为另一示例，触摸表面116和显示器122可以包括在同一设备中，诸如包括显示器122的膝上型计算机中的触摸使能触控板。
是否与显示器或其他整合，在此的示例中的2-D矩形触摸表面的描述并不意指是限制性的。其他实施例包括弯曲或不规则触摸使能表面，其进一步被配置成提供基于表面的触觉效果。
返回图1C，在该示例中，在响应于经由触摸表面116输入的用户手势进行选择的处理中，用户界面包括文本内容(词语“检查(Examination)”)。特别地，第一部分140基于手指146通过触摸表面116的区域150的移动而被强调。当选择了该词语时，手指146将移动至在148处示出的位置，同时在图形用户界面中，词语的部分142和144被强调。
响应于手势和/或基于词语的内容可以提供触觉效果。例如，如区域150、152和154的不同交叉晕线所指示的，当词语被强调时，可以改变表面116的摩擦系数。在一些实施例中，所选文本或其他项的内容被用于确定触觉效果。
例如，摩擦可以基于所选文本的“高度地图”改变，并且矮字母(“e”、“r”)具有低高度，并且较高字母(诸如，“l”、“f”)具有较高高度。频率变换可以用于找到词语的频率内容；替代地，字母之间的距离可以用于确定用于词语的“感觉”。作为另一示例，可以简单地基于选择来调节摩擦，诸如当达到词语、短语或其他单位的端部时，摩擦增加；这可以帮助用户避免选择邻近内容的不期望部分。当然，词语之间的边界可以通过标识空间来识别，而本领域中已知的语法分析(例如，分析上下文、用法)可以用于识别短语。
在该示例中，基于左到右强调描述了文本选择。基于表面的文本效果可以与其他类型的选择动作相关联。例如，用户可以通过在原点处触摸并且然后将第二对象向外拖动来拉盒子，并且两个点表示边界框的对角。在选择进行的同时和/或在选择完成之后，可以提供诸如改变摩擦或纹理的触觉效果。另外地或替代地，当选择了区域时，与所选择的区域相对应的触摸区域的部分可以具有不同纹理或摩擦系数。作为另一示例，可以通过边界或周长(例如，触觉点击、弹出、或摩擦变化以标识何时触摸跨过所选择的区域中或之外)在触觉上指示所选择的区域。
用于确定要提供的触觉效果的说明性方法
图2是图示在一些实施例中可以用于基于将检测到的触摸映射至一个或多个像素位置来选择要提供的触觉效果的像素200的阵列的视图。例如，阵列200可以包括具有与每个像素相关联的一个或多个值的位图或其他图像文件，并且该值(多个)被用于确定如何提供触觉效果。该示例示出可相对小数量的像素；实践中，阵列可以包括成千上万个像素。
在一些实施例中，由触摸表面限定的触摸区域内的触摸的位置可以被返回，并且然后被转换为一个或多个像素地址。与像素地址(多个)相关联的一个或多个值可以被访问并且用于驱动触觉设备(包括一个或多个可变摩擦设备)的致动器(多个)。例如，每个像素地址都可以与强度值相关联，强度值与驱动压电致动器的幅度相关。作为更复杂的示例，每个像素地址可以与三个强度值(即，RGB)相关联。在一些实施例中，这三个强度值中的每个可以与不同致动器强度相关联。作为另一示例，一些值可以指定强度，并且其他值指定操作的持续时间。作为进一步示例，不同像素强度值可以与不同的期望纹理或用于驱动致动器以模仿单一纹理的组件相关。更进一步，可以使用多层RGB图像文件，并且每层对应于特定致动器。
在该示例中，第一多个像素202与强度值相关联并且形成“块”，而第二多个像素204形成不同图案。不同图案可能基于对象如何遇到(encounter)图案而导致不同效果。例如，从顶部移动到底部的对象可能遇到由图案202引起的摩擦的第一改变并且然后是由图案204引起的不同变化；以相反顺序(即，底部到顶部)遇到的相同图案可以模仿完全不同的感觉。
触摸表面和图形用户界面之间的映射可以是绝对的或者可以缩放的。例如，在一些实施例中，触摸地点直接与一个或多个相应像素地址相关，并且相关联的值在选择触觉效果中用于驱动致动器(多个)。在其他实施例中，考虑触摸地点和速度。例如，实际触摸地址可以在图案202之上，但是可以与指示朝向图案202的运动的矢量相关联，并且因此图案202中的像素的值被用于及时驱动致动器，用于要适当进行的触觉效果。
图3是示出用于给界面提供基于表面的触觉效果的说明性方法300的流程图。框302表示确定触摸区域中的触摸的位置。例如，处理器可以利用嵌入或查看触摸使能显示器或表面中的一个或多个传感器来跟踪表面上的触摸的位置。基于触摸的当前和/或过去位置，可以确定与映射至触摸区域的图形用户界面的交互。基于该交互，可以选择一种或多种触觉效果，诸如改变触摸表面的摩擦和/或其他效果。
在该示例中，在框304和312处识别交互，其中，该方法在304处首先确定是否指示了手势。诸如基于跨过屏幕的挥扫(swipe)方向和长度、图案中的不连续触摸的序列、或者另一可识别交互，手势可以被识别为一个或多个触摸的序列或者触摸的图案。在该示例中，如果手势被识别，则流程移动至框306，其表示确定与该手势相关联的期望触觉效果。
例如，在手势正在进行的同时，基于由设备的处理器执行的图案识别，“Z”形触摸轨迹可以被识别为一种类型的输入手势。在手势正在进行的同时和/或在手势完成之后，一种或多种触觉效果可以与可对指示要输出的效果的处理器进行访问的数据中的“Z”手势相关联。例如，数据可以提供给表面，以当手势接近完成时呈现纹理或摩擦的改变。另外地或替代地，在手势被识别以便确认手势的输入之后，纹理或显示器的摩擦系数可以改变。
如果在框304处手势未被识别，则流程移动至框312，其中，该方法估计在触摸的位置处或附近是否存在基于GUI的特征。如在此所论述的，多种特征可以呈现在被映射至触摸表面的图形用户界面中，并且特征可以与触觉效果相关联。特征可以对应于或可以不对应于在图形用户界面中实际显示的内容。框312表示确定一个或多个这样的特征是否是在所触摸的地点处或所触摸的地点附近，并且框314表示确定与该特征相对应的一种或多种触觉效果。
例如，基于触摸的速度的用于触摸的当前像素地点和/或投影的像素地点可以与指定用于多种像素位置的触觉效果的位图进行比较。基于触觉效果(多个)，合适触觉信号可以被访问/生成，以提供在位图中指定的输出。
作为另一示例，触摸的当前或投影的地点可以与标识GUI特征(诸如，控件、纹理内容、边界等)的地点的数据进行比较。然后，如果在该地点处标识出GUI特征，则可以访问使一种或多种触觉效果与该特征相关联的数据。例如，处理器可以跟踪触摸的地点，并且确定触摸是在被映射至图形用户界面中的特定控件(例如，按钮)的触摸区域中的位置处或靠近该位置。然后，处理器可以查阅界面元素的列表来确定与该按钮相关联的触觉效果(例如，纹理、摩擦变化)，并且基于该触觉效果而采取进一步措施以生成触觉效果。
在该示例中，框306和314通向框308，其表示访问或生成一个或多个触觉信号，以生成所选择的触觉效果(多个)。例如，处理器可以访问在内存中存储的并且与特定触觉效果相关联的驱动信号。作为另一示例，信号可以通过访问存储的算法和输入与效果相关联的参数来生成。例如，算法可以输出用于在基于幅度和频率参数来生成驱动信号中使用的数据。作为另一示例，触觉信号可以包括被发送至致动器以由致动器进行解码的数据。例如，致动器本身可以对指定诸如幅度和频率的参数的命令做出响应。
框310表示将触觉信号传送至致动器(多个)以生成期望的效果(多个)。例如，如果要提供模拟驱动信号，则处理器可以利用板上D/A转换器来创建信号。如果将数字命令提供给致动器，则可以通过处理器的I/O总线来生成合适的消息。可以在触摸的点和/或其他地方感觉到触觉效果。例如，如果提供两个手指输入手势，则可以响应于识别第二手指的移动来改变在第一手指处的纹理/摩擦系数。
在一些实施例中，即使在没有选择的触觉效果的情况下，基线触觉信号也可以被发送至致动器(多个)，以生成环境触觉效果，以便增强设备可以产生的潜在效果的范围。因此，传送触觉信号可以包括向致动器发送“停止”命令、“零”或最小信号、或另一信号，以根据情况减小强度。
作为一个示例，诸如，压电致动器的特定致动器的使用可以允许触摸表面的摩擦系数的减小，但是不允许摩擦系数的增加。为了提供选项的范围，可以提供基线信号，使得触摸表面的“普通”摩擦级别低于当静态时触摸表面具有的摩擦系数。因此，可以相对于基线而不是静态值来定义触觉效果。如果最大摩擦是期望的，则“零”信号可以被发送至压电致动器，以停止表面的移动。
基于表面的触觉效果可以采用任何合适的形式。例如，一些触觉效果可以包括触摸表面的摩擦的变化——一些部分可以提供“刮刀”或“打磨机”。作为另一示例，可以使用振动触觉效果，诸如振动或一系列振动。振动触觉效果和/或摩擦的变化可以用于模仿不同特征的感觉，诸如边界或障碍物。例如，可以通过摩擦的增加来模仿边界或边缘，并且如果边界交叉(在一些实例中)，则摩擦减小。
振动触觉效果和/或摩擦的变化可以另外地或替代地用于模仿各种纹理。关于纹理的生成和使用的附加详情可以在以上参考的并且标题分别为“SystemsandMethodsforaTextureEngine”(代理卷号IMM354(51851-383720))、“SystemsandMethodsforUsingMultipleActuatorstoRealizeTextures”(代理卷号No.IMM355(51851-383719))和“SystemsandMethodsforUsingTexturesinGraphicalUserInterfaceWidgets”(代理卷号No.IMM356(51851-383718))的美国专利申请No.12/697,010、No.12/697,042和No.12/697,037中找到。例如，可以提供不同的摩擦的图案或振动的图案，以模仿纹理的感觉，诸如砖块、岩石、沙子、草、皮毛、多种织物类型、水、磨拉石、和其他流体、皮革、木头、冰、蜥蜴皮肤、金属、以及其他纹理图案。当“危险”纹理是期望的时，还可以使用不类似于真实世界纹理的其他纹理，诸如，高幅度振动触觉或其他反馈。
虽然在该示例中，替代地考虑框304和312，但是在一些实施例中，一种方法可以考虑在还估计在被映射至具有一个或多个触觉特征的GUI的一部分的地点处触摸是否发生的同时，手势是否正在进行。
界面行为的附加说明性实施例
图4A是图示包括包括触摸使能显示器402的计算设备401的系统400的外部视图的视图。图4B示出了设备401的横截面图。设备401可以与图1A的设备101类似地配置，尽管为了清楚的目的，在该视图中未示出诸如处理器、内存、传感器等的组件。
如在图4B中可以看出的，设备401包括多个致动器418和附加致动器422。致动器418-1可以包括被配置成将垂直力给予显示器402的致动器，而418-2可以横向移动显示器402。在该示例中，致动器直接耦合至显示器，但是应当理解，致动器可耦合至另一触摸表面，诸如显示器402的顶部上的材料层。附加致动器422可以耦合至包含设备401的组件的壳体。在图4A至图4D的示例中，显示器402的区域对应于触摸区域，但是这些原理可应用于与显示器完全分离的触摸表面。
在一个实施例中，致动器418每个都包括压电致动器，而附加致动器422包括偏心旋转质量致动器、线性谐振致动器、或另一压电致动器。致动器422可以被配置成响应于来自处理器的触觉信号而提供振动触觉效果。振动触觉效果可以结合基于表面的触觉效果来利用和/或用于其它目的。
在一些实施例中，致动器418-1和418-2中的任一个或两者可以包括除压电致动器之外的致动器。另外地，示出了单个致动器422，尽管多个其它致动器可以耦合至设备401的壳体和/或其他致动器4422可以耦合至别处。设备401也可以包括在不同地点处耦合至触摸表面的多个致动器418-1/418-2。
返回至图4A，在420处示出图形用户界面，以包括一般化特征430。在该示例中，基于由手指426向下朝向位置428的移动表示的触摸的位置，选择了用于输出的触觉效果。特别地，如在图4B中可以看出的，致动器418-1、418-2和/或422被提供有合适的触觉信号，以提供如在432、434和436处指示的基于表面的触觉反馈。由于致动器导致不同交叉晕线意在表示触摸表面的不同“感觉”。例如，432、434和436可以表示生成期望的触觉效果的触摸表面的纹理或摩擦系数的变化。在一个实施例中，可以通过使第一区域432具有较高摩擦，然后第二区域434具有较低摩擦，并且第三区域436具有较高摩擦来模仿盒子的感觉。
图4C-图4D提供了当处理器被配置成响应于识别翻页输入手势而选择触觉效果时，图形用户界面424的示例，并且当提供手势时，触觉效果被选择以在翻页输入手势的方向上改变触摸表面。图4C示出了第一界面状态424-1，其中，手指438触摸大量页面440的屏幕上表示。
如图4D中的442处所示，手指已经提供了右到左输入手势。在该示例中，计算设备401的软件配置处理器，以将从页脚开始的右到左轨迹识别为翻页输入手势。因此，界面移动至状态424-2，其中，页脚提升，并且下一页在444处可见。另外地，当手势正在进行(和/或在手势被识别之后)，可以提供基于表面的触觉效果。例如，当手指438从右到左移动时，可以改变触摸表面的摩擦系数(例如，通过增加)以模仿翻页的感觉。作为另一示例，可以提供一系列摩擦改变，或者一个或多个纹理改变可以发生。
图5A-图5B每个都图示了包括包括触摸表面502的计算设备501的系统500。可以与图4和图1的设备401和101类似地配置计算设备501。在这些示例中，触摸表面502与包括被映射至触摸区域的图形用户界面的显示器分离。分离的显示器504在图5A-图5B中示出并且与设备501对接。
例如，设备501可以表示与显示器504对接的计算设备，诸如，具有与触摸表面相对应的嵌入式触控板的膝上型计算机。作为另一示例，计算设备501本身可以是外围设备，其包括触摸表面502、致动器、和通过与设备501对接的计算设备命令的合适的处理电路。在任何事件中，将理解，在图5A-图5B中论述的原理同样可应用于触摸表面对应于显示器或显示器之上的材料的实施例。另外地，当然，当触摸表面与显示器分离(例如，鼠标上的触摸表面、计算机触控板等)时，可以使用这些原理。
转向图5A，在该示例中，设备501的处理器被配置成：响应于识别指示屏幕上内容项目从第一地点移动到第二地点的手势，选择触觉效果。图形用户界面506包括窗口508和510。元件512可以表示文件、文件夹、或可以在屏幕上操纵的其他元件。这些元件每个都映射至在由触摸表面502限定的触摸区域中在508′、510′和512′处示出的各个地点。用户可以将手指或其他对象置于512′和触摸表面502处或附近。该输入可以被识别为项目512的选择。在一些实施例中，区域512′可以具有与项目512的内容或身份相关联的不同纹理或其他触觉效果。
为了将项目512移动至窗口510，用户可以跨过与界面506中的窗口508和510的边界相对应的边界514′和516′拖动触摸表面502。如果第二地点(在该示例中，为窗口510)对应于受保护区域(例如，系统或其他安全文件夹)，则当边界516′靠近或交叉时，可以提供合适的基于表面的触觉效果。作为另一示例，如果元件512表示受保护文件，则触觉效果可以提供在边界514′处或附近。例如，摩擦系数可以显著地增加，以阻止移动到窗口508之外和/或窗口510之内。作为另一示例，与其他未受保护元件(未示出)相比，当移动从区域512′开始时，可以通过区域512′处的特定纹理或特定高摩擦系数来指示元件512的状态。
图5B图示了处理器被配置成基于在被映射至触摸的位置处或附近的触摸区域中的位置的地点处在图形用户界面中显示的控件来选择触觉效果的示例。另外地，示出了基于附加内容的触觉效果。
特别地，图形用户界面520包括显示内容的第一部分522和包括屏幕上控件的第二部分524。在该示例中，内容部分522包括具有主要道路526、次要道路528、以及目的地530的地图。控制部分524包括滑块532和按钮534和536。可以使用任何合适的图形控制元件，包括但不限于复选框、单选按钮、下拉菜单、折叠菜单、刻度盘等。
图形用户界面520被映射至触摸表面502的区域。在该示例中，触摸表面502被图示成提供多种基于表面的触觉效果。虽然同时示出，但是将理解，当触摸在包含效果的区域处或附近时，通过交叉晕线指示的多种触觉效果将由设备501来提供。
如在538处所示，触摸区域被映射至内容部分522的部分包括边界538。边界可以包括纹理或摩擦变化，以帮助指示被映射至内容部分522的这个部分的边缘。另外，在544和546处提供表面效果，以标识主要道路526和次要道路528。
例如，不同类型的道路和其他地图特征可以具有不同纹理或摩擦级别。作为另一示例，可以在内容部分522中显示屏幕上路线。与偏离该路线的道路相对应的部分相比，触摸表面502被映射至该路线的部分可以具有不同摩擦或纹理。例如，用户能够通过跟随低摩擦部分544和546追踪该路线，并且经过地点548摩擦增加。作为预期的目的地的位置548可以具有唯一摩擦或纹理。
触摸表面502包括表示可以用于朝向触摸区域被映射至控制部分524的部分引导用户的触觉效果。例如，部分550可以包括较低摩擦系数，以允许到控件的轻松路径。
如在552A、552B和552C处所示，当滑块532的值增加时，提供不同的触觉效果。例如，当滑块向上或向下移动时，摩擦级别可以改变。作为另一示例，按钮534和536可以包括由不同纹理表示的或者由摩擦变化模仿的不同边界区域。在一些实施例中，按钮534和536的纹理或摩擦基于按钮的值或状态而变化。还可以提供除了纹理和/或摩擦之外的触觉效果。例如，当用户向按钮移动/从按钮移动时，可以提供触觉弹出或振动。
基于表面的效果的其他说明性实施例
以上示例被提供用于说明目的并且不意在是限制性的。以下论述了基于表面的触觉效果的附加示例。
在一些实施例中，基于表面的效果独立于到图形用户界面的映射被提供。例如，触摸表面可以用于提供输入，以在图形用户界面中呈现的三维环境中操纵图形元件。可以提供不同纹理，以指示不同控件或运动——例如，在触摸表面中沿着x轴的第一纹理(或摩擦)可以指示3-D环境中的x-y平面中的转化，而沿着x轴的第二纹理(或摩擦)可以指示3-D环境的x-z平面中的转换。作为另一示例，可以通过沿着触摸表面的多个接触点改变纹理或摩擦来指示3-D环境中的对象的操纵。
作为进一步示例，不同纹理可以用于指示不同类型的控制动作。例如，在计算机辅助设计(CAD)或3-D环境中，当在该环境中移动元件或对象时，可以提供第一纹理，而当视图改变但是元件/对象不移动时，提供第二纹理。
更进一步地，实施例包括与绘图或其他输入相关联的纹理的改变。例如，在设计应用中，不同刷子或其他工具可以具有相应的纹理。当改变刷子尺寸时，可以通过给不同纹理提供每个刷子尺寸和/或通过将刷子纹理映射至触摸区域的较大部分来“感觉到”刷子尺寸。
实施例包括根据本主题的纹理、摩擦、和/或其他触觉效果的使用，以便指示文件或文档的内容。例如，用户界面可以包括时间线选择机构(例如，滑块)，其包括基于表面的触觉效果。例如，音频文件可以被分析用于一个或多个特性(例如，音量)和被映射至特性(例如，用于不同音量的不同纹理、摩擦级别等)的基于表面的触觉效果。当用户与选择机构交互时，可以提供不同的触觉效果(例如，当遇到增加的音量的部分时，滑块感觉不同)。
作为另一示例，基于表面的触觉效果可以结合游戏使用。例如，美国专利申请公开No.2008/0064499描述了具有娱乐场所和其他游戏的触觉效果的使用，通过引用的方式将其全部内容合并于此。除了或代替在此描述的效果，可以使用基于表面的触觉效果，诸如，当播放卡时的不同摩擦/纹理，游戏工具(例如，轮盘、骰子等)经由触摸表面交互和/或指示结果或游戏规则(例如，当用户前进时的不同纹理，用于指示在游戏中何时进行禁止移动的不同摩擦值等)。
总体考虑
在此的“适于”或“配置成”的使用意味着不阻止适于或被配置成执行附加任务或步骤的开放式和包含语言。另外，“基于”的使用意味着开放式和包含，这是因为“基于”一个或多个记载的条件或值的处理、步骤、计算或其他动作实际上可以基于超过所记载的那些的附加条件或值。在此包括的标题、列表和编号仅用于更容易地解释，并且不意味着是限制性的。
根据本主题的多个方面的实施例可以在数字电子电路中、在计算机硬件、固件、软件中或者在前述结合中实现。在一个实施例中，计算机可以包括一个或多个处理器。处理器包括或能够对计算机可读介质进行访问，计算机可读介质诸如耦合至处理器的随机存取存储器(RAM)。处理器执行在内存中存储的计算机可执行程序指令，诸如执行包括传感器采样例程、触觉效果选择例程、以及产生信号以生成上述所选择的触觉效果的合适程序设计的一个或多个计算机程序。
这样的处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、以及状态机。这样的处理器可以进一步包括可编程电子器件，诸如PLC、可编程中断控件(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电可编程只读存储器(EPROM或EEPROM)、或其他类似设备。
这样的处理器可以包括或可以与可以存储指令的介质(例如，有形计算机可读介质)通信，当由处理器执行指令时，可以使处理器执行如由处理器执行或辅助的在此所述的步骤。计算机可读介质的实施例可以包括但不限于能够向诸如网络服务器中的处理器的处理器提供计算机可读指令的所有电子、光学、磁性或其他存储设备。介质的其他示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有光学介质、所有磁带或其他磁性介质、或计算机处理器可以从其读取的任何其他介质。而且，多种其他设备可以包括计算机可读介质，诸如路由器、专用或公共网络、或其他传输设备。处理器和描述的处理可以是一个或多个指令，并且可以通过一个或多个指令来散布。处理器可以包括用于执行在此所述的一种或多种方法(或方法的多个部分)的代码。
虽然已经关于其特定实施例详细地描述了本主题，但是将理解，本领域技术人员在获得前述理解时可以容易地产生对这样的实施例的替换、变化以及等同物。因此，应当理解，本公开被呈现用于举例而不是限制的目的，并且不排除对本主题的这样的修改、变化和/或添加的包含，这对于本领域普通技术人员来说将很容易是显而易见的。

Claims (20)

1.一种系统，包括：
传感器，所述传感器被配置成当对象接触触摸表面时，检测触摸区域中的触摸，所述触摸区域被映射至图形用户界面的显示区域；
致动器，所述致动器与处理器通信并且耦合至所述触摸表面，所述致动器被配置成响应于触觉信号而输出触觉效果；以及
处理器，所述处理器与致动器和传感器通信，所述处理器被配置成：
基于标识所述触摸的位置以及与在所位置处的像素相关联的强度值和以下中的至少一个来选择要生成的触觉效果：(a)识别通过所述触摸提供的输入手势或者(b)在被映射至所述触摸处或附近的所述触摸区域中的位置的所述显示区域中的地点处在所述图形用户界面中显示的内容，以及
在所述触摸发生的同时将触觉信号传送至所述致动器，以生成所选择的触觉效果，以提供所述触摸表面的调节后的摩擦系数。
2.根据权利要求1所述的系统，其中，所述致动器包括压电致动器。
3.根据权利要求1所述的系统，其中，所述处理器被配置成：基于在映射至所述触摸的位置处或附近的所述触摸区域中的位置的地点处在所述显示区域中显示的文本的内容，选择触觉效果。
4.根据权利要求1所述的系统，其中，所述处理器被配置成：响应于搜索查询，强调在所述图形用户界面中显示的内容，并且其中，所述触觉效果被选择，以在被映射至所述强调的内容处或附近的所述显示区域中的位置的所述触摸区域中的位置处生成触觉效果。
5.根据权利要求1所述的系统，其中，所述处理器被配置成：基于在被映射至所述触摸的位置处或附近的所述触摸区域中的位置的地点处在所述图形用户界面中显示的控件，选择触觉效果。
6.根据权利要求1所述的系统，其中，所述处理器被配置成：响应于识别翻页输入手势来选择触觉效果，当提供所述手势时，所述触觉效果被选择以在所述翻页输入手势的方向上改变摩擦。
7.根据权利要求1所述的系统，其中，所述处理器被配置成：响应于识别指示屏幕上内容项目从第一地点移动到第二地点的手势，选择触觉效果。
8.根据权利要求1所述的系统，进一步包括显示器，所述显示器包括多个像素并且限定所述显示区域，所述显示器被配置成至少部分地基于显示信号来输出图像，
其中，所述触摸表面对应于所述显示器或者所述显示器之上的材料，以及
其中，所述处理器被配置成输出所述显示信号。
9.根据权利要求1所述的系统，进一步包括：第二致动器，所述第二致动器被配置成响应于来自所述处理器的触觉信号来提供触觉效果。
10.一种方法，包括：
跟踪触摸表面上的触摸的地点，所述地点相对于被映射至图形用户界面的触摸区域被跟踪；
基于所述触摸的所述地点，标识与所述图形用户界面的交互；
基于所述交互来选择要生成的触觉效果，其中，基于标识所述触摸的位置以及与在所位置处的像素相关联的强度值来选择要生成的触觉效果；以及
命令至少一个致动器生成所选择的触觉效果，所述触觉效果包括所述触摸表面的摩擦系数的调节。
11.根据权利要求10所述的方法，其中，所述交互包括调节屏幕上控件，并且所述触觉效果基于所述屏幕上控件的值来选择。
12.根据权利要求10所述的方法，其中，所述交互包括触摸在被映射至包含特征的所述图形用户界面的一部分的地点处或附近的表面，所述特征与所述触觉效果相关联。
13.根据权利要求12所述的方法，其中，所述特征包括在响应于搜索命令而强调的所述界面中的文本或图形元件。
14.根据权利要求12所述的方法，其中，所述特征包括图形或文本内容。
15.根据权利要求12所述的方法，其中，所述特征包括在所述图形用户界面中的边界。
16.根据权利要求10所述的方法，其中，所述交互包括输入手势。
17.根据权利要求16所述的方法，其中，所述触觉效果在所述输入手势期间提供。
18.根据权利要求16所述的方法，其中，所述触觉效果在所述输入手势之后提供。
19.根据权利要求1所述的系统，其中所述触摸表面的摩擦系数的调节包括增加所述触摸表面的摩擦系数。
20.根据权利要求10所述的方法，其中所述触摸表面的摩擦系数的调节包括增加所述触摸表面的摩擦系数。
CN201080011746.2A 2009-03-12 2010-03-11 用于包括基于表面的触觉效果的界面的系统和方法 Expired - Fee Related CN102349040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510772201.8A CN105425959A (zh) 2009-03-12 2010-03-11 用于包括基于表面的触觉效果的界面的系统和方法

Applications Claiming Priority (19)

Application Number Priority Date Filing Date Title
US15948209P 2009-03-12 2009-03-12
US61/159,482 2009-03-12
US26204109P 2009-11-17 2009-11-17
US26203809P 2009-11-17 2009-11-17
US61/262,038 2009-11-17
US61/262,041 2009-11-17
US12/697,037 US9927873B2 (en) 2009-03-12 2010-01-29 Systems and methods for using textures in graphical user interface widgets
US12/697,042 US10564721B2 (en) 2009-03-12 2010-01-29 Systems and methods for using multiple actuators to realize textures
US12/697,010 2010-01-29
US12/697,010 US9874935B2 (en) 2009-03-12 2010-01-29 Systems and methods for a texture engine
US12/697,037 2010-01-29
US12/696,893 2010-01-29
US12/696,900 US9696803B2 (en) 2009-03-12 2010-01-29 Systems and methods for friction displays and additional haptic effects
US12/696,908 2010-01-29
US12/697,042 2010-01-29
US12/696,900 2010-01-29
US12/696,893 US9746923B2 (en) 2009-03-12 2010-01-29 Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US12/696,908 US10007340B2 (en) 2009-03-12 2010-01-29 Systems and methods for interfaces featuring surface-based haptic effects
PCT/US2010/026900 WO2010105006A1 (en) 2009-03-12 2010-03-11 Systems and methods for interfaces featuring surface-based haptic effects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510772201.8A Division CN105425959A (zh) 2009-03-12 2010-03-11 用于包括基于表面的触觉效果的界面的系统和方法

Publications (2)

Publication Number Publication Date
CN102349040A CN102349040A (zh) 2012-02-08
CN102349040B true CN102349040B (zh) 2015-11-25

Family

ID=73451206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080011746.2A Expired - Fee Related CN102349040B (zh) 2009-03-12 2010-03-11 用于包括基于表面的触觉效果的界面的系统和方法

Country Status (5)

Country Link
EP (2) EP3467624A1 (zh)
JP (1) JP6148820B2 (zh)
KR (4) KR101796888B1 (zh)
CN (1) CN102349040B (zh)
WO (1) WO2010105006A1 (zh)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US8954115B2 (en) * 2011-04-28 2015-02-10 Fujitsu Limited Method and apparatus for informing a user through haptic signals
US10108288B2 (en) 2011-05-10 2018-10-23 Northwestern University Touch interface device and method for applying controllable shear forces to a human appendage
WO2012154960A2 (en) 2011-05-10 2012-11-15 Northwestern University A touch interface device and method for applying controllable shear forces to a human appendage
JP5689362B2 (ja) * 2011-05-23 2015-03-25 株式会社東海理化電機製作所 入力装置
WO2012177719A2 (en) 2011-06-21 2012-12-27 Northwestern University Touch interface device and method for applying lateral forces on a human appendage
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
DE112013002412T5 (de) 2012-05-09 2015-02-19 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche zum Bereitstellen von Rückmeldung für das Wechseln von Aktivierungszuständen eines Benutzerschnittstellenobjekts
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
EP2847660B1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
DE112013002409T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Anzeige zusätzlicher Informationen in Reaktion auf einen Benutzerkontakt
AU2013259630B2 (en) 2012-05-09 2016-07-07 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to gesture
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
AU2013259642A1 (en) 2012-05-09 2014-12-04 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
US20180364864A9 (en) 2012-05-10 2018-12-20 Tanvas Corporation Electronic controller haptic display with simultaneous sensing and actuation
US20130311881A1 (en) * 2012-05-16 2013-11-21 Immersion Corporation Systems and Methods for Haptically Enabled Metadata
US20140002336A1 (en) * 2012-06-27 2014-01-02 Greg D. Kaine Peripheral device for visual and/or tactile feedback
EP2703947B1 (de) * 2012-08-27 2019-02-27 Siemens Aktiengesellschaft Bedieneinrichtung für ein technisches System
CN103677705A (zh) * 2012-09-21 2014-03-26 北京网秦天下科技有限公司 一种显示装置及其显示方法
US20140139451A1 (en) * 2012-11-20 2014-05-22 Vincent Levesque Systems and Methods For Providing Mode or State Awareness With Programmable Surface Texture
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
KR101580685B1 (ko) * 2012-12-26 2015-12-30 신성수 3차원 햅틱 구현 방법 및 이를 이용한 디스플레이 기기
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
US9880623B2 (en) * 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
WO2014117384A1 (en) * 2013-02-01 2014-08-07 Intel Corporation Techniques for image-based search using touch controls
KR102048015B1 (ko) * 2013-02-22 2019-11-25 삼성전자주식회사 배경 이미지의 질감을 반영하여 사용자 입력을 표시하는 방법 및 장치
US9547366B2 (en) * 2013-03-14 2017-01-17 Immersion Corporation Systems and methods for haptic and gesture-driven paper simulation
US9939900B2 (en) * 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9274603B2 (en) * 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
US10120447B2 (en) 2013-06-24 2018-11-06 Northwestern University Haptic display with simultaneous sensing and actuation
US9729730B2 (en) * 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
WO2016038676A1 (ja) * 2014-09-09 2016-03-17 三菱電機株式会社 触感制御システムおよび触感制御方法
US20160246375A1 (en) * 2015-02-25 2016-08-25 Immersion Corporation Systems And Methods For User Interaction With A Curved Display
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
CN104881233B (zh) * 2015-05-15 2019-03-15 广东小天才科技有限公司 触控界面中的滑动控制方法和装置
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
KR102512840B1 (ko) * 2015-10-15 2023-03-22 삼성전자주식회사 실행 화면 레코딩 방법 및 그 방법을 처리하는 전자 장치
KR102530469B1 (ko) * 2016-01-08 2023-05-09 삼성전자주식회사 전자 장치 및 이의 제어 방법
JP6992045B2 (ja) * 2016-07-22 2022-01-13 ハーマン インターナショナル インダストリーズ インコーポレイテッド 触覚誘導システム
US10147460B2 (en) * 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
CN111566594A (zh) * 2017-11-15 2020-08-21 可口可乐公司 具有触觉反馈触摸即可倾倒用户界面的分配器
FR3076017B1 (fr) * 2017-12-21 2020-10-30 Commissariat Energie Atomique Dispositif surfacique offrant une deformation localisee amelioree
CN108803925A (zh) * 2018-05-24 2018-11-13 上海闻泰信息技术有限公司 触屏效果的实现方法、装置、终端和介质
JP6781236B2 (ja) * 2018-11-16 2020-11-04 株式会社デンソーテン 操作装置
US11158220B2 (en) 2018-12-10 2021-10-26 Universal City Studios Llc Interactive animated protection window with haptic feedback system
WO2023126664A1 (en) * 2021-12-29 2023-07-06 Bosch Car Multimedia Portugal S.A System and method for providing a web browser online user interface with haptic feedback for an automotive setting
EP4270157A1 (en) * 2022-04-28 2023-11-01 eBay, Inc. Replacing physicality

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1748350A2 (en) * 2005-07-28 2007-01-31 Avago Technologies General IP (Singapore) Pte. Ltd Touch device and method for providing tactile feedback

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
JP3949912B2 (ja) * 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
JP3929881B2 (ja) * 2001-12-04 2007-06-13 独立行政法人科学技術振興機構 皮膚感覚提示装置
JP4434609B2 (ja) * 2002-03-29 2010-03-17 株式会社東芝 表示入力システム
FI20022282A0 (fi) * 2002-12-30 2002-12-30 Nokia Corp Menetelmä vuorovaikutuksen mahdollistamiseksi elektronisessa laitteessa ja elektroninen laite
JP2004265281A (ja) * 2003-03-04 2004-09-24 Univ Nihon 振動応答型タッチパネル
JP3856774B2 (ja) * 2003-08-29 2006-12-13 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声出力装置、情報入力装置、ファイル選択装置、電話機、及びそのプログラムと記録媒体
DE10340188A1 (de) * 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
US20060209037A1 (en) 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
WO2006042309A1 (en) * 2004-10-08 2006-04-20 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
US8677274B2 (en) * 2004-11-10 2014-03-18 Apple Inc. Highlighting items for search results
US7440947B2 (en) * 2004-11-12 2008-10-21 Fuji Xerox Co., Ltd. System and method for identifying query-relevant keywords in documents with latent semantic analysis
JP2006163206A (ja) * 2004-12-09 2006-06-22 Ntt Docomo Inc 触覚提示装置
JP2006228151A (ja) * 2005-02-21 2006-08-31 Tokai Rika Co Ltd タッチ式入力装置
US8405618B2 (en) * 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
JP4811206B2 (ja) * 2006-09-12 2011-11-09 トヨタ自動車株式会社 入力装置
CN104656900A (zh) 2006-09-13 2015-05-27 意美森公司 用于游戏厅游戏触觉的系统和方法
CN101506758A (zh) * 2006-09-27 2009-08-12 诺基亚公司 触觉型触摸屏
JP2009003867A (ja) * 2007-06-25 2009-01-08 Panasonic Electric Works Co Ltd 表示装置およびコンピュータ・プログラム
JP5406188B2 (ja) * 2007-08-20 2014-02-05 クアルコム，インコーポレイテッド 高度な語彙外単語の拒否
US8209321B2 (en) * 2007-08-31 2012-06-26 Microsoft Corporation Emphasizing search results according to conceptual meaning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1748350A2 (en) * 2005-07-28 2007-01-31 Avago Technologies General IP (Singapore) Pte. Ltd Touch device and method for providing tactile feedback

Also Published As

Publication number Publication date
KR101946986B1 (ko) 2019-02-13
EP3467624A1 (en) 2019-04-10
KR20160126091A (ko) 2016-11-01
KR101796888B1 (ko) 2017-11-10
EP2406702B1 (en) 2019-03-06
WO2010105006A1 (en) 2010-09-16
JP2012520521A (ja) 2012-09-06
KR101670109B1 (ko) 2016-10-27
KR20170126028A (ko) 2017-11-15
EP2406702A1 (en) 2012-01-18
CN102349040A (zh) 2012-02-08
JP6148820B2 (ja) 2017-06-14
KR20110130472A (ko) 2011-12-05
KR20190015624A (ko) 2019-02-13

Similar Documents

Publication Publication Date Title
CN102349040B (zh) 用于包括基于表面的触觉效果的界面的系统和方法
CN105425959A (zh) 用于包括基于表面的触觉效果的界面的系统和方法
KR101885740B1 (ko) 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
CN102349041B (zh) 用于摩擦显示和附加触觉效果的系统和方法
JP2012520521A5 (zh)
US20120249475A1 (en) 3d user interface control
US9747018B2 (en) Apparatus and method for controlling object
US9423932B2 (en) Zoom view mode for digital content including multiple regions of interest
US20110109577A1 (en) Method and apparatus with proximity touch detection
CN105353877A (zh) 用于摩擦显示和附加触觉效果的系统和方法
CN106125973A (zh) 用于在摩擦显示器中提供特征的系统和方法
CN105074616A (zh) 用户接口和相关的方法
KR20170118864A (ko) 곡면형 디스플레이와의 사용자 상호작용을 위한 시스템들 및 방법들
CN104299460A (zh) 提供立体图形学习功能的电子装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: California, USA

Applicant after: Immersion Corp.

Address before: California, USA

Applicant before: IMMERSION Corp.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: IMMERSION CORP. TO: YIMEISEN CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

CF01 Termination of patent right due to non-payment of annual fee