CN102349042A - 用于在图形用户界面小部件中使用纹理的系统和方法 - Google Patents

用于在图形用户界面小部件中使用纹理的系统和方法 Download PDF

Info

Publication number
CN102349042A
CN102349042A CN2010800119059A CN201080011905A CN102349042A CN 102349042 A CN102349042 A CN 102349042A CN 2010800119059 A CN2010800119059 A CN 2010800119059A CN 201080011905 A CN201080011905 A CN 201080011905A CN 102349042 A CN102349042 A CN 102349042A
Authority
CN
China
Prior art keywords
texture
viewing area
haptic effect
signal
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800119059A
Other languages
English (en)
Inventor
君·曼扭尔·克鲁斯-赫南德斯
丹尼·A·格兰特
阿利·莫达雷斯
安德鲁·格斯林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/697,037 external-priority patent/US9927873B2/en
Priority claimed from US12/697,042 external-priority patent/US10564721B2/en
Priority claimed from US12/697,010 external-priority patent/US9874935B2/en
Priority claimed from US12/696,900 external-priority patent/US9696803B2/en
Priority claimed from US12/696,893 external-priority patent/US9746923B2/en
Priority claimed from US12/696,908 external-priority patent/US10007340B2/en
Application filed by Immersion Corp filed Critical Immersion Corp
Priority to CN201610531685.1A priority Critical patent/CN106200955B/zh
Publication of CN102349042A publication Critical patent/CN102349042A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H02N2/06—Drive circuits; Control arrangements or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Abstract

公开了用于在图形用户界面小部件中使用纹理的系统和方法。例如，一种公开的系统包括：一种系统，包括：致动器，被配置为接收触觉信号，并且至少部分地基于该触觉信号来输出触觉效果，触觉效果被配置为模拟纹理；触摸敏感接口，被配置为检测用户交互并且输出接口信号；以及处理器，与致动器和触摸界面进行通信，处理器被配置为：接收接口信号；接收包括限定显示区域的多个像素的显示信号；确定与限定显示区域的第一部分的第一组像素相关联的第一纹理；确定与限定显示区域的第二部分的第二组像素相关联的第二纹理；以及传送触觉信号，触觉信号被配置为使得所述致动器：输出第一触觉效果，第一触觉效果被配置为在用户交互与显示区域的第一部分相关联时模拟第一纹理，并且输出第二触觉效果，第二触觉效果被配置为在用户交互与显示区域的第二部分相关联时模拟第二纹理。

Description

用于在图形用户界面小部件中使用纹理的系统和方法
相关申请的交叉引用
本专利申请要求在2009年3月12日提交的标题为“LocatingFeatures Using a Friction Display”的美国临时专利申请No.61/159,482的优先权，其全部内容通过引用并入这里。
本专利申请要求在2009年11月17日提交的标题为“System andMethod for Increasing Haptic Bandwidth in an Electronic Device”的美国临时专利申请No.61/262,041的优先权，其全部内容通过引用并入这里。
本专利申请要求在2009年11月17日提交的标题为“Friction RotaryDevice for Haptic Feedback”的美国临时专利申请No.61/262,038的优先权，其全部内容通过引用并入这里。
本专利申请要求在2010年1月29日提交的标题为“Systems AndMethods For Providing Features In A Friction Display”的美国实用新型专利申请No.12/696,893的优先权，其全部内容通过引用并入这里。
本专利申请要求在2010年1月29日提交的标题为“Systems AndMethods For Friction Displays And Additional Haptic Effects”的美国实用新型专利申请No.12/696,900的优先权，其全部内容通过引用并入这里。
本专利申请要求在2010年1月29日提交的标题为“Systems AndMethods For Interfaces Featuring Surface-Based Haptic Effects”的美国实用新型专利申请No.12/696,908的优先权，其全部内容通过引用并入这里。
本专利申请要求在2010年1月29日提交的标题为“Systems AndMethods For A Texture Engine”的美国实用新型专利申请No.12/697,010的优先权，其全部内容通过引用并入这里。
本专利申请要求在2010年1月29日提交的标题为“Systems AndMethods For Using Textures In Graphical User Interface Widgets”的美国实用新型专利申请No.12/697,037的优先权，其全部内容通过引用并入这里。
本专利申请要求在2010年1月29日提交的标题为“Systems AndMethods For Using Multiple Actuators To Realize Textures”的美国实用新型专利申请No.12/697,042的优先权，其全部内容通过引用并入这里。
技术领域
本发明一般地涉及触觉反馈，并且更具体地涉及用于在图形用户界面小部件中使用纹理的系统和方法。
背景技术
在过去几年中，包含触摸屏和触觉反馈的装置的使用以指数增长。这些装置被用作便携组织器、电话、音乐播放器和游戏系统。当触觉技术改善时，装置可以包含配置为模拟纹理的触觉效果。因此，需要用于在图形用户界面小部件中使用纹理的系统和方法。
发明内容
本发明的实施例提供了用于在图形用户界面小部件中使用纹理的系统和方法。例如，在一个实施例中，一种用于在图形用户界面小部件中使用纹理的系统包括：致动器，该致动器被配置为接收触觉信号，并且至少部分地基于触觉信号来输出触觉效果，触觉效果被配置为模拟纹理；触摸敏感接口，该触摸敏感接口被配置为检测用户交互并且输出接口信号；以及处理器，该处理器与致动器和触摸敏感接口进行交互，该处理器被配置为：接收接口信号；接收包括限定显示区域的多个像素的显示信号；确定与限定显示区域的第一部分的第一组像素相关联的第一纹理；确定与用于限定显示区域的第二部分的第二组像素相关联的第二纹理；以及传送触觉信号，该触觉信号被配置为使得致动器：输出第一触觉效果，该第一触觉效果被配置为在用户交互与显示区域的第一部分相关联时模拟第一纹理；以及输出第二触觉效果，该第二触觉效果被配置为在用户交互与显示区域的第二部分相关联时模拟第二纹理。
这些说明性实施例被描述而不限制或限定本发明，而是提供有助于本发明理解的示例。在提供本发明的进一步说明的具体实施方式中讨论了说明性实施例。可以通过查看本说明书来进一步理解由本发明的各个实施例提供的优点。
附图说明
当参考附图阅读下面的具体实施方式时，可以更好地理解本发明的这些和其他特征、方面和优点，其中：
图1是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的框图；
图2是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的图示；
图3a和图3b是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的图示；
图4是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的方法的流程图；
图5是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的图示；
图6是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的另一个图示；
图7是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的另一个图示；
图8是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的另一个图示；
图9是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的另一个图示；
图10是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的另一个图示；
图11是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的另一个图示；
图12是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的另一个图示；以及
图13是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的另一个图示。
具体实施方式
本发明的实施例提供了用于在图形用户界面小部件中使用纹理的系统和方法。
用于在图形用户界面小部件中使用纹理的系统的说明性实施例
本发明的一个说明性实施例包括消息发送装置，诸如移动电话。在说明性实施例中，消息发送装置包括三星触觉电话(SCH-W420)，其配备有Immersion公司的TouchSense
Figure BPA00001434119600041
3000、TouchSense
Figure BPA00001434119600042
4000或TouchSense
Figure BPA00001434119600043
5000振动触觉反馈系统，该反馈系统先前被称为Immersion公司的VibeTonz
Figure BPA00001434119600044
振动触觉反馈系统。在其他实施例中，可以利用不同的消息发送装置和触觉反馈系统。
该说明性消息发送装置包括显示器、扬声器、网络接口、存储器和与这些元件中的每一个进行通信的处理器。该说明性消息发送装置还包括触摸敏感接口和致动器，该二者都与处理器进行通信。触摸敏感接口被配置为感测与消息发送装置的用户交互，并且该致动器被配置为输出触觉效果。该说明性消息发送装置可以进一步包括操纵性客体特征(manipuladum)，该操纵性客体特征被配置为检测用户交互，并且向处理器传送与用户交互相关联的接口信号。
在该说明性消息发送装置中，显示器被配置为对用户显示图形用户界面。该图形用户界面可以包括虚拟对象，诸如图标、按钮或虚拟键盘。该说明性消息发送装置进一步包括安装显示器上的触觉敏感接口，诸如触摸屏。触摸敏感接口允许用户与在图形用户界面中显示的虚拟对象进行交互。例如，在一个实施例中，图形用户界面可以包括虚拟键盘。在这样的实施例中，触摸敏感接口允许用户触摸在虚拟键盘上的键来输入与该键相关联的字母数字字符。该功能可以用于键入消息，或以其他方式与在图形用户界面中的对象进行交互。
在该说明性消息发送装置中，处理器被配置为确定触觉效果，并且相配置为输出触觉效果的致动器传送与触觉效果相对应的触觉信号。在该说明性消息发送装置中，该触觉效果模拟用户在触摸敏感接口的表面上感觉到的纹理。所模拟的纹理可以与在显示器上示出的用户界面相关联。例如，显示器可以示出包括岩石形状的图标。在这样的实施例中，处理器可以确定被配置为模拟在触摸敏感接口的表面上的岩石的纹理的触觉效果。然后，处理器向被配置为输出触觉效果的致动器传送触觉信号。当致动器接收到触觉信号时，它将以配置为使得触摸敏感接口的表面近似岩石纹理的频率来输出触觉效果，诸如振动。在该说明性实施例中，处理器可以实现触觉映射，以确定触觉效果。例如，在说明性实施例中，处理器可以接收显示信号，该显示信号包括多个像素，每个像素与一种颜色相关联。例如，在说明性实施例中，显示信号中的每个像素可以与颜色红色、绿色或蓝色相关联，并且可以进一步与每种颜色的强度相关联。在说明性实施例中，处理器向每种颜色指配触觉值，并且进一步指配与每种颜色的强度相关联的触觉强度。然后，处理器向配置为输出触觉效果的致动器传送包括触觉值和触觉强度的触觉信号。
在说明性实施例中，处理器可以进一步基于外部触发来确定触觉效果。例如，在说明性实施例中，处理器被配置为接收来自触摸敏感接口的接口信号，该触摸敏感接口被配置为检测用户交互。然后，在说明性实施例中，处理器至少部分地基于接口信号来确定触觉效果。例如，处理器可以至少部分地基于接口信号来修改触觉值或触觉强度。在该说明性实施例中，如果触摸敏感接口检测到高速或高压用户交互，则处理器确定较高强度的触觉效果。
该说明性消息发送装置可以输出用于多个目的的触觉效果。例如，在一个实施例中，触觉效果可以用作处理器已经接收到与用户交互相关联的接口信号的确认。例如，图形用户界面可以包括按钮，并且触摸敏感接口可以检测与按下按钮相关联的用户交互，并且向处理器传送接口信号。作为响应，处理器可以确定触觉效果以确认接收到接口信号。在这样的实施例中，触觉效果可以使得用户感觉到在触摸敏感接口的表面上的纹理。在该说明性实施例中，处理器还可以进一步确定用于其他目的的触觉效果。例如，说明性消息发送装置可以输出纹理，以向用户警告在显示器上的边界或者输出纹理作为在显示器的表面上的诸如图标的对象的标识。
该说明性示例被给出以对读者介绍在此描述的一般主题。本发明不限于该示例。下面的部分描述了用于在图形用户界面小部件中使用纹理的系统和方法的各种其他非限定性实施例和示例。
用于在图形用户界面小部件中使用纹理的说明性系统
现在参考附图，其中，在几个附图，相同的附图标记指示相同的元件，图1是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的框图。如图1中所示，系统100包括消息发送装置102，诸如移动电话、便携式数字助理(PDA)、便携式媒体播放器、便携式计算机、便携式游戏装置或某种其他移动装置。在一些实施例中，消息发送装置102可以包括膝上型、平板、台式PC或其他类似的装置。在其他实施例中，消息发送装置可以包括用于与PC或某种其他装置一起使用的外部监视器。消息发送装置102包括处理器110，处理器110与网络接口112、触摸敏感接口114、显示器116、致动器118、扬声器120和存储器122进行通信。
处理器110被配置为执行存储在存储器122中的计算机可执行程序指令。例如，处理器110可以执行用于消息收发或用于生成触觉反馈的一个或多个计算机程序。处理器110可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)或状态机。处理器110可以进一步包括可编程电子装置，诸如可编程逻辑控制器(PLC)、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电子可编程只读存储器(EPROM或EEPROM)或其他类似的装置。
存储器122包括存储指令的计算机可读介质，该指令在由处理器110执行时使得处理器110执行诸如在此所述的各种步骤。计算机可读介质的实施例可以包括但不限于能够向处理器110提供计算机可读指令的电子、光、磁性或其他存储装置或传输装置。介质的其他示例包括但不限于，软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有光学介质、所有磁带或其他磁性介质、或计算机处理器可以从其进行读取的任何其他介质。另外，各种其他装置可以包括计算机可读介质，诸如路由器、专用或公用纹理或其他传输装置。处理器110和所描述的处理可以在一个或多个结构中，并且可以分布在一个或多个结构中。
处理器110与网络接口112进行通信。网络接口112可以包括移动通信的一个或多个方法，诸如红外线、无线电、Wi-Fi或蜂窝网络通信。在其他变体中，网络接口112包括有线网络接口，诸如以太网。消息发送装置102可以被配置为通过诸如蜂窝网络和/或因特网的网络来与其他装置(未示出)交换消息或虚拟消息对象。在装置之间交换的消息的实施例可以包括语音消息、文本消息、数据消息或其他形式的数字消息。
处理器110还与一个或多个触摸敏感接口114进行通信。在一些实施例中，触摸敏感接口114可以包括触摸屏或触摸板。例如，在一些实施例中，触摸敏感接口114可以包括安装在显示器上的触摸屏，该显示器被配置为接收显示信号并且向用户输出图像。在其他实施例中，触摸敏感接口114可以包括光学传感器或另一种传感器。在一个实施例中，触摸敏感接口可以包括LED检测器。例如，在一个实施例中，触摸敏感接口114可以包括安装在显示器116的一侧上的LED手指检测器。在一些实施例中，处理器与单个触摸敏感接口114进行通信，在其他实施例中，处理器与诸如第一触摸屏和第二触摸屏的多个触摸敏感接口进行通信。触摸敏感接口114被配置为检测用户交互，并且基于用户交互，向处理器110传送信号。在一些实施例中，触摸敏感接口114可以被配置为检测用户交互的多个方面。例如，触摸敏感接口114可以检测用户交换的速度和压力，并且将该信息并入到接口信号中。
在图1中所示的实施例中，处理器110还与显示器116进行通信。处理器110可以被配置为生成要在显示器116上示出的用户界面的图示，然后向显示器116传送包括该图形再现的显示信号。在其他实施例中，显示器116被配置为接收来自另一个装置的显示信号。例如，在一些实施例中，显示器116可以包括外部显示器，诸如计算机监视器。显示器116被配置为接收显示信号，并且输出与该显示信号相关联的图像。在一些实施例中，显示信号可以包括vag、hdmi、svga、视频、s视频或本领域中公知的其他类型的显示信号。在一些实施例中，显示器116包括平面屏幕显示器，诸如液晶显示器(LCD)或等离子屏幕显示器。在其他实施例中，显示器116包括阴极射线管(CRT)或本领域中公知的其他类型的显示器。在其他实施例中，显示器116可以包括触摸敏感接口114，例如，显示器116可以包括触摸屏LCD。在其他实施例中，显示器116可以包括柔性屏幕或柔性显示器。例如，在一些实施例中，显示器116可以包括在其表面下安装的触觉基板。在这样的实施例中，显示器116由柔性材料构成，并且响应于从处理器110接收到的信号，该柔性基板弯曲，在显示器116的表面上形成脊、槽或其他特征。在一些实施例中，触觉基板可以包括等离子致动器、压电致动器、电活性聚合物、微电机系统、形状记忆合金、流体网格或充气单元。
在一些实施例中，处理器110接收与和在显示器116上所示的图形用户界面的交互相关联的来自触摸敏感接口114的信号。例如，在一个实施例中，触摸敏感接口114可以包括触摸屏，并且在显示器116上的图形用户界面可以包括虚拟键盘。在这样的实施例中，当用户与覆盖虚拟键盘的键中的一个的触摸屏的一部分进行交互时，该触摸屏将向处理器110发送与那个用户交互相对应的接口信号。基于接口信号，处理器110将确定用户按下了在虚拟键盘上的键中的一个。该功能允许用户与在显示器116上的其他图标和虚拟对象进行交互。例如，在一些实施例中，用户可以轻弹触摸屏以移动虚拟球或转动虚拟旋钮。
如图1中所示，处理器110还与执行系统进行通信，该执行系统包括一个或多个致动器118、用于每个致动器的悬挂系统以及用于每个致动器的电源和控制接线。在一些实施例中，消息发送装置102包括多于一个的执行系统。处理器110被配置为确定触觉效果，并且向致动器118传送与该触觉效果相对应的触觉信号。在一些实施例中，触觉效果包括在显示器116的表面、触摸敏感接口114或消息发送装置102的外壳上感觉到的振动触觉纹理。在一些实施例中，确定触觉效果可以包括一系列计算来确定触觉效果。在其他实施例中，确定触觉效果可以包括访问查找表，以确定适当的触觉效果。在其他实施例中，确定触觉效果可以包括查找表和算法的组合。
在一些实施例中，确定触觉效果可以包括触觉映射。在这样的实施例中，确定触觉效果可以包括将显示信号映射到致动器。例如，显示信号可以包括多个像素，每个像素与一种颜色相关联。在这样的实施例中，每个像素可以与颜色红色、绿色或蓝色相关联；每种颜色可以进一步与诸如强度1-8的强度相关联。在这样的实施例中，确定触觉效果可以包括对每种颜色指配触觉效果。在一些实施例中，触觉效果可以包括操作的方向和强度，例如，在一个实施例中，触觉信号可以被配置为使得旋转致动器以一半的功率来顺时针旋转。在一些实施例中，操作的强度可以与颜色的强度相关联。一旦处理器110确定了触觉效果，则它传送包括触觉效果的触觉信号。在一些实施例中，处理器110可以仅向在显示信号中的一些像素指配触觉效果。例如，在这样的实施例中，触觉效果可以仅与显示信号的一部分相关联。
在一些实施例中，处理器110可以利用触觉映射来确定触觉效果，并且然后向显示器116输出显示信号。在其他实施例中，处理器110可以使用触觉映射来确定触觉效果，并且然后不向显示器116传送显示信号。在这样的实施例中，显示器116可以在致动器118输出触觉效果的同时保持暗或关断。例如，在这样的实施例中，处理器110可以接收来自与消息发送装置102相关联的数字相机的显示信号。在一些实施例中，为了保存电池能量，用户可以去激活显示器116。在这样的实施例中，处理器可以利用触觉映射来在显示器的表面上向用户提供模拟纹理的触觉效果。该纹理可以用于在相机聚焦时或者在某种其他事件已经出现时警告用户。例如，处理器110可以使用面部识别软件来确定在显示器116上的位置处模拟纹理的触觉效果，如果显示器116被激活，则该纹理与面部相关联。
在一些实施例中，处理器110可以至少部分地基于用户交互或触发来确定触觉效果。在这样的实施例中，处理器110接收来自触摸敏感接口114的接口信号，并且至少部分地基于该接口信号来确定触觉效果。例如，在一些实施例中，处理器110可以基于由触摸敏感接口114检测的用户交互的位置来确定触觉效果。例如，在一个实施例中，处理器110可以确定模拟用户在显示器116上触摸的虚拟对象的纹理的触觉效果。在其他实施例中，处理器110可以至少部分地基于接口信号来确定触觉效果的强度。例如，如果触摸敏感接口114检测到高压用户交互，则处理器110可以确定高强度触觉效果。在另一个实施例中，如果触摸敏感接口114检测到低压用户交互，则处理器110可以确定低强度触觉效果。在其他实施例中，处理器110可以至少部分地基于用户交互的速度来确定触觉效果的强度。例如，在一个实施例中，处理器110可以在触摸敏感接口114检测到低速用户交互时确定低强度触觉效果。在其他实施例中，处理器110可以确定没有触觉效果，除非它接收到来自触摸敏感接口114的与用户交互相关联的接口信号。
一旦处理器110确定了触觉效果，则它向致动器118传送与触觉效果相关联的触觉信号。致动器118被配置为接收来自处理器110的触觉信号，并且生成触觉效果。致动器118可以是例如压电致动器、电机、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、质量偏心旋转电机(ERM)或线性共振致动器(LRA)。在一些实施例中，致动器118可以包括多个致动器，诸如ERM和LRA。
在本发明的一些实施例中，由致动器118生成的触觉效果被配置为模拟用户在触摸敏感接口114或显示器116的表面上感觉到的纹理。该纹理可以与在显示器116上所示的图形用户界面相关联。例如，显示器116可以示出包括岩石形状的图标。在这样的实施例中，处理器110可以确定被配置为在触摸敏感接口114的表面上模拟岩石的纹理的触觉效果。然后，处理器110将向输出触觉效果的致动器118传送与该触觉效果相关联的触觉信号。例如，当致动器118接收到触觉信号时，它可以以配置为使得触摸敏感接口的表面包括岩石的纹理的频率来输出振动。在其他实施例中，致动器118可以被配置为以使得显示器116或触摸敏感接口114的表面包括水、冰、皮革、沙子、碎石、雪、皮肤、皮毛或某种其他表面的纹理的频率来输出振动。在一些实施例中，可以在消息发送装置102的不同部分上，例如在其外壳上，输出触觉效果。在一些实施例中，致动器118可以输出被配置为同时输出多种纹理的多种振动。例如，致动器118可以输出被配置为使得显示器116的表面包括沙子的纹理的振动，并且致动器118还可以被配置为输出被配置为使得用户感到在沙子中的岩石的纹理的另外的振动。
在一些实施例中，在图1中未示出，消息发送装置102可以包括多个致动器。在包括两个或更多的致动器的实施例中，每个致动器可以同时输出不同的触觉效果，因此提高了可获得的触觉效果的丰富性。例如，每个致动器可以输出被配置为模拟不同纹理的不同的频率或类型的触觉效果。在一些实施例中，用户可以在消息发送装置102上同时但是在不同的位置处感觉到这些纹理。例如，在一个实施例中，第一致动器可以输出被配置为模拟第一图标上的纹理的第一触觉效果，同时，第二致动器可以输出被配置为模拟第二图标上的第二纹理的第二触觉效果。在这样的实施例中，用户可以感觉到在第一图标上的第一纹理，并且同时，感觉到在第二图标上的第二纹理。在其他实施例中，两个致动器可以被配置为输出独立的触觉效果，该独立的触觉效果在被组合时被配置为模拟单个纹理。而且，在一些实施例中，在图1中未示出，消息发送装置102可以包括多个显示器。在一些实施例中，每个显示器可以与多于一个的致动器相关联。在这样的实施例中，用户可以与显示器中的一个进行交互，并且在另一个显示器上感觉到对应的触觉效果。
处理器110可以处于许多原因而确定触觉效果。例如，在一些实施例中，处理器110可以输出与在显示器116上所示的对象的纹理相对应的触觉效果。在这样的实施例中，显示器可以示出多个对象，并且处理器可以在用户从对象向对象移动他的/她的手指时确定不同的触觉效果，因此针对每个对象模拟不同纹理。在一些实施例中，触觉效果可以用作处理器110已经接收到与用户交互相关联的信号的确认。例如，在一个实施例中，图形用户界面可以包括按钮，并且触摸敏感接口114可以检测与按下按钮相关联的用户交互。当触摸敏感接口114向处理器110传送与用户交互相关联的接口信号时，处理器110可以确定用于确认接口信号的接收的触觉效果。在这样的实施例中，触觉效果可以使得用户感觉到在触摸敏感接口114的表面上的纹理。例如，处理器可以输出模拟沙子的纹理的触觉效果，以确认处理器110已经接收到用户输入。在其他实施例中，处理器可以确定不同的纹理，例如水、冰、油、岩石或皮肤的纹理。在一些实施例中，触觉效果可以用于不同的目的，例如，向用户警告显示器116上的边界或者向用户提供关于在显示器116上的图像的触觉信息。例如，在一些实施例中，显示器116上的每个图标可以包括不同的纹理，并且当用户从一个图像向另一个移动其手指时，处理器将确定模拟每个图标的纹理的触觉效果。在其他实施例中，当用户手指从触摸一个图标移动到触摸显示器的背景时，处理器可以改变纹理，因此向用户警告他/她不再触摸图标。
如图1中所示，处理器110还与扬声器120进行通信。扬声器120被配置为接收来自处理器110的音频信号，并且将其输出给用户。在一些实施例中，音频信号可以与由致动器118输出的触觉效果或由显示器116输出的图像相关联。在其他实施例中，音频信号可能不与触觉效果或图像相对应。
在一些实施例中，在图1中未示出，处理器110可以进一步包括一个或多个传感器，诸如GPS传感器、成像传感器、加速计、位置传感器、旋转速度传感器、光传感器、相机、麦克风或某种其他类型的传感器。传感器可以被配置为检测在加速度、倾斜度、惯性或位置上的改变。例如，消息发送装置102可以包括加速计，该加速计被配置为测量消息发送装置的加速度。传感器被配置为向处理器110传送传感器信号。
传感器信号可以包括与消息发送装置102的位置、移动、加速度或“拉动(jerk)”(即加速度的导数)相关联的一个或多个参数。例如，在一个实施例中，传感器可以生成和传送包括多个参数的传感器信号，每个参数与沿着或围绕一个测量到的平移或旋转轴的移动相关联。在一些实施例中，传感器输出处理器110被编程为解释以指示沿着一个或多个轴的移动的电压或电流。
在一些实施例中，处理器110将接收传感器信号，并且确定它应当激活虚拟工作空间，并且将在X、Y或Z方向上的消息发送装置102的感测的移动解释为与在虚拟工作空间“内”的虚拟移动相对应。然后，用户可以通过在虚拟工作空间内做手势来在虚拟工作空间中移动装置102以选择功能或文件。例如，通过在虚拟工作空间内在功能上在Z轴上移动消息发送装置102。在一些实施例中，用户可以在虚拟工作空间内使用手势来修改由消息发送装置102输出的触觉效果。
图2是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的图示。图2包括消息发送装置200，诸如移动电话、PDA、便携式媒体播放器、便携式游戏装置或移动计算机。消息发送装置200被配置为通过诸如蜂窝网络或因特网的网络来发送和接收信号，诸如语音邮件、文本消息和其他数据消息。消息发送装置200可以包括无线网络接口和/或有线网络接口(图2中未示出)。虽然装置200在图2中被示为手持式消息发送装置，但是其他实施例可以包括不同的装置，诸如视频游戏系统和/或个人计算机。
又如图2中所示，消息发送装置200包括外壳202和显示器216。在一些实施例中，显示器216可以包括LCD显示器。在其他实施例中，显示器216可以包括等离子显示器或本领域中公知的其他类型的显示器。显示器216被配置为接收显示信号，并且输出与该显示信号相关联的图像。在一些实施例中，显示信号可以包括vga、hdmi、svga、视频、s视频或本领域中公知的其他类型的显示信号。在图2中所示的实施例中，显示器216包括有纹理的球204。显示器216还包括纹理选择图标206。纹理选择图标206包括岩石、沙子和水。
仍然参考图2，消息发送装置200进一步包括操纵性客体特征(manipulandum)214。在图2中所示的实施例中，操纵性客体特征214包括滚球和按钮。消息发送装置200还包括触摸敏感接口218。在图2中所示的实施例中，触摸敏感接口包括位于显示器216上的触摸屏。在一些实施例中，显示器216和触摸屏可以包括单个集成组件，诸如触摸屏显示器。
操纵性客体特征214和触摸敏感接口218被配置为检测用户交互，并且向处理器传送与用户交互相对应的接口信号。在一些实施例中，用户交互与在显示器216上所示的图形用户界面相关联。在这样的实施例中，处理器接收接口信号，并且至少部分地基于该接口信号，修改显示器216上的图形用户界面。例如，在图2中所示的实施例中，用户可以使用操纵性客体特征214或触摸敏感接口218来选择纹理选择图标206中的一个。一旦用户已经选择了用于有纹理的球204的纹理，其在显示器上的外观就可以改变以与该纹理相对应。例如，如果用户选择沙子纹理图标，则处理器将确定当用户与有纹理的球204进行交互时使得用户感觉到沙子纹理的触觉效果。或者，在另一实施例中，如果用户选择岩石纹理图标，则处理器可以确定当用户与有纹理的球204进行交互时使得用户感觉到岩石纹理的触觉效果。
消息发送装置200进一步包括致动器，该致动器被配置为接收触觉信号，并且输出触觉效果(在图2中未示出)。在一些实施例中，触觉效果包括由消息发送装置200的用户感觉到的振动触觉纹理。处理器110被配置为确定触觉效果，并且向致动器传送与触觉效果相对应的触觉信号。在一些实施例中，确定触觉效果可以包括执行一系列计算。在其他实施例中，确定触觉效果可以包括访问查找表。在其他实施例中，确定触觉效果可以包括使用查找表和算法的组合。一旦处理器110确定了触觉效果，则它向致动器传送与触觉效果相关联的触觉信号。致动器接收来自处理器110的触觉信号，并且输出触觉效果。用户可以经由显示器216的表面或通过消息发送装置200的某个其他部分，例如经由操纵性客体特征214或外壳202来感觉触觉效果。
在图2中所示的实施例中，显示器216包括有纹理的球204。当用户与有纹理的球204进行交互时，处理器将确定在显示器216的表面上模拟有纹理的球204的纹理的触觉效果。例如，有纹理的球可以包括沙子的纹理。在这样的实施例中，处理器可以确定模拟沙子的粗糙沙砾的感觉的触觉效果。在一些实施例中，处理器可以修改当用户在有纹理的球204的表面上移动他们的手指时的该触觉效果，以便于模拟在沙子上移动的纹理。
图3a是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的图示。图3a包括消息发送装置300，诸如移动电话、PDA、便携式媒体播放器、便携式游戏装置或移动计算机。消息发送装置300被配置为通过诸如蜂窝网络或因特网的网络来发送和接收包括消息的信号，该消息例如语音邮件、文本消息和其他数据消息。消息发送装置300可以包括无线网络接口和/或有线网络接口(在图3a中未示出)。虽然装置300在图3a中被图示为手持式消息发送装置，但是其他实施例可以包括不同的装置，诸如视频游戏系统和/或个人计算机。
如图3a中所示，消息发送装置300包括显示器316。显示器316被配置为接收显示信号，并且至少部分地基于显示信号来输出图像。消息发送装置300进一步包括处理器(在图3a中未示出)，该处理器被配置为向显示器316传送显示信号。消息发送装置300进一步包括安装在显示器316上的触摸敏感接口314。触摸敏感接口314被配置为检测用户交互，并且向处理器传送与用户交互相对应的接口信号。显示器316包括两个图标302和304。当用户与图标302和304中的一个进行交互时，触摸敏感接口314将检测用户交互，并且向处理器传送对应的接口信号。基于该接口信号，处理器可以确定用户已经打开了链接到图标中的一个的文件或执行了本领域中公知的某个其他动作。
如图3a中所示，图标302和304中的每一个包括纹理。在所示的实施例中，图标302包括砖块的纹理，并且图标304包括岩石的纹理。在其他实施例中，可以使用不同的纹理，例如，沙子、水、油、草、皮毛、皮革、冰、木头的纹理或本领域中公知的某种其他纹理。当在图3a中被示出为手指306的用户与关联于每个图标的显示器316的一部分进行交互时，处理器将确定被配置为模拟该图标的纹理的触觉效果。然后，处理器将向被配置为输出触觉效果的致动器(在图3a中未示出)输出与触觉效果相关联的信号。例如，在图3a中所示的实施例中，当用户与关联于图标302的显示器的一部分进行交互时，处理器将确定与砖块的纹理相关联的触觉效果。该触觉效果可以被表征为当用户的手指306在砂浆上移动时用高功率脉冲标注的随机信号。在其他实施例中，可以使用其他触觉效果来模拟可以与显示器316上所示的图像相对应的不同的纹理。
图3b是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的图示。在图3b中所示的实施例中，确定触觉效果包括将显示信号映射到致动器。在图3b中所示的实施例包括显示器350的放大部分。显示器350被配置为接收来自处理器的显示信号。显示信号包括每一个与颜色和该颜色的强度相关联的多个像素。显示器350接收该显示信号，并且输出与显示信号相关联的图像。在图3b中所示的实施例中，显示器350的放大部分包括6个像素：351、352、353、354、355和356。每个像素与颜色和范围为1-10的该颜色的强度相关联。例如，像素355与颜色绿色和在10中的颜色强度3相关联。因此，显示器350将在像素355的位置处以强度3输出颜色绿色。
在图3b中所示的实施例中，处理器至少部分地基于显示信号和从安装在显示器350(在图3b中未示出)上的触摸敏感接口接收到的接口信号来确定触觉效果。例如，在图3b中所示的实施例中，处理器使用显示信号来使触觉效果与每一个像素相关联或“映射”。例如，在图3b中所示的实施例中，处理器可以确定每种颜色的不同频率触觉效果。处理器可以进一步将每个像素的触觉效果的强度与每个像素的颜色的强度相关联。例如，处理器可以确定具有强度8的像素也具有触觉强度8。当处理器接收到与在显示器上的像素之上的用户交互相关联的接口信号时，处理器将输出与用户正在交互的像素相关联的触觉信号。该触觉效果被配置为使得用户在显示器的表面上感觉到纹理。
例如，在图3b中所示的实施例中，处理器可以确定蓝色像素与敲击触觉效果相关联，红色像素与脉动振动相关联，并且绿色像素与点击触觉效果相关联。在这样的实施例中，当触摸敏感接口检测到用户的手指已经通过像素351时，处理器将确定具有强度1的敲击。然后，当用户的手指在像素352上移动时，处理器将确定具有强度5的脉动振动。而且，当用户的手指继续在显示器350上移动到像素353时，处理器可以确定具有强度3的点击效果。
这些触觉效果被配置为使得当用户在显示器350的表面上移动他的/她的手指时用户在显示器350的表面上感觉到纹理。在一些实施例中，消息发送装置可以包括多个致动器。在这样的实施例中，处理器可以被配置为确定向哪个致动器输出触觉信号。例如，在一个实施例中，消息发送装置可以包括被配置为输出不同强度的触觉效果的两个致动器。在这样的实施例中，处理器可以确定第一致动器应当输出具有小于3的强度的所有触觉效果，并且第二致动器应当输出具有大于或等于3的强度的所有触觉效果。在其他实施例中，每种颜色被映射到特定致动器。例如，在这样的实施例中，第一致动器可以输出与颜色蓝色相关联的所有触觉效果，第二致动器可以输出与颜色红色相关联的所有触觉效果，并且第三致动器可以输出与颜色绿色相关联的所有触觉效果。在其他实施例中，消息发送装置可以实现颜色、强度、触觉效果和致动器的不同组合，以在显示器的表面上模拟各种纹理。
用于在图形用户界面小部件中使用纹理的方法
图4是相对于在图1中所示的装置所述的根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的方法的流程图。如图4中所示，当处理器110接收到包括限定显示区域402的多个像素的显示信号时，方法400开始。显示信号可以包括vga、hdmi、svga、视频、s视频或本领域中公知的其他类型的显示信号。显示信号可以包括图形用户界面或消息发送装置经由显示器116向用户显示的其他图像。在一些实施例中，显示区域可以包括本领域中公知的标准显示大小，例如，480像素x 320像素。在其他实施例中，显示区域可以更大或更小。
然后，触摸敏感接口114向处理器110传送接口信号，处理器110接收接口信号404。在一些实施例中，触摸敏感接口114可以包括触摸屏或触摸板。例如，在一些实施例中，触摸敏感接口114可以包括安装在被配置为接收显示信号并且向用户输出图像的显示器上的触摸屏。在其他实施例中，触摸敏感接口114可以包括按钮、开关、鼠标、滚轮、滚球或本领域中公知的某种其他类型的物理装置界面。在一些实施例中，处理器110与单个触摸敏感接口114进行通信。在其他实施例中，处理器110与诸如触摸屏和滚球的多个触摸敏感接口114进行通信。触摸敏感接口114被配置为检测用户交互，并且基于该用户交互，向处理器110传送信号。在一些实施例中，触摸敏感接口114可以被配置为检测用户交互的多个方面。例如，触摸敏感接口114可以检测用户交互的速度和压力，并且将该信息并入接口信号内。在一些实施例中，触摸敏感接口114能够检测多触摸。
接下来，处理器110确定与限定显示区域406的第一部分的第一组像素相关联的第一纹理。由第一组像素限定的显示区域的一部分可以限定在图形用户界面中的对象，诸如文本、图像或图标。在一些实施例中，处理器110将确定与对象的特性相关联的纹理。例如，如果该对象包括文本，则处理器110可以确定诸如“l”的高字母的粗纹理和用于诸如“o”的短字母的较软的纹理。在另一个实施例中，处理器110可以基于与图标相关联的文件的内容来确定纹理。例如，处理器110可以确定用于包含比用户限定的数据量更多的文件的粗纹理和用于包含比该量更少的文件的较软纹理。第一纹理可以包括本领域中公知的许多纹理中的一个，例如，钢、冰、皮毛、皮肤、皮革、沙子、砂纸、岩石、雪、水或油的纹理。或者，在一些实施例中，处理器110可以确定第一纹理不包括纹理。
然后，处理器110确定与限定显示区域408的第二部分的第二组像素相关联的第二纹理。在一些实施例中，显示区域的第二部分可以包括显示区域的第一部分没有占用的所有显示区域。在其他实施例中，显示区域的第二部分可以包括图形用户界面中的特定对象，例如，文本、图或图标。在其他实施例中，第二部分可以包括第一部分没有占用的区域的一些子集。在一些实施例中，处理器110将确定第二纹理与对象的特性相关联。第二纹理可以包括本领域中公知的许多纹理中的一个，例如，钢、冰、皮毛、皮肤、皮革、沙子、砂纸、岩石、雪、水或油的纹理。在一些实施例中，处理器110可以确定第二纹理与第一纹理类似或相同。或者，在一些实施例中，处理器110可以确定第二纹理不包括纹理。
在一些实施例中，处理器110可以实现触觉映射以确定第一和第二触觉效果。在这样的实施例中，处理器110可以将显示信号映射到一个或多个致动器。在一些实施例中，将显示信号映射到致动器包括：至少部分地基于显示信号来确定在显示器上的各个位置处的触觉效果。例如，显示信号可以包括多个像素，每个像素与一种颜色相关联。在这样的实施例中，处理器110可以通过对显示信号中的每种颜色指配触觉值来确定触觉效果。然后，处理器110至少部分地基于触觉值来确定触觉效果。在一些实施例中，处理器110可以仅对显示信号中的一些像素指配触觉值。例如，在这样的实施例中，触觉效果可以仅与显示信号的一部分相关联。
在一些实施例中，处理器110可以至少部分地基于用户交互或触发来确定第一触觉效果和第二触觉效果。在这样的实施例中，处理器110接收来自触摸敏感接口114的接口信号，并且至少部分地基于该接口信号来确定触觉效果。例如，在一些实施例中，处理器110可以基于从触摸敏感接口114接收到的接口信号来确定不同强度的触觉效果。例如，如果触摸敏感接口114检测到高压用户交互，则处理器110可以确定高强度触觉效果。在另一个实施例中，如果触摸敏感接口114检测到低压用户交互，则处理器110可以确定低强度触觉效果。
接下来，处理器110向被配置为接收触觉信号和输出触觉效果410的触摸敏感接口218传送触觉信号。触摸敏感接口218可以是例如压电致动器、电机、电磁致动器、音圈、线性共振致动器、形状记忆合金、电活性聚合物、螺线管、质量偏心旋转电机(ERM)或线性共振致动器(LRA)。触觉效果可以包括本领域中公知的几种触觉效果中的一个，例如，振动、敲击、蜂鸣、颠簸或扭动消息发送装置。在一些实施例中，触觉信号被配置为使得致动器118输出模拟纹理的触觉效果。在一些实施例中，如果处理器110确定用户交互与显示区域的第一部分相关联，则纹理包括第一纹理。在其他实施例中，如果处理器110确定用户交互与显示区域的第二部分相关联，则纹理包括第二纹理。在一些实施例中，处理器110可以至少部分地基于从触摸敏感接口114接收到的接口信号来确定用户交互的位置。在其他实施例中，处理器110可以基于另一个因素来确定用户交互的位置，该另一个因素例如是从传感器或诸如鼠标、滚轮或滚球的操纵性客体特征或传感器接收到的传感器信号。
最后，显示器116接收显示信号，并且至少部分地基于显示信号输出图像。在一些实施例中，显示器116包括平面屏幕显示器，诸如液晶显示器(LCD)或等离子屏幕显示器。在其他实施例中，显示器116包括阴极射线管(CRT)或本领域中公知的其他类型的显示器。在其他实施例中，显示器116可以包括触摸敏感接口114，例如，显示器116可以包括触摸屏LCD。在一些实施例中，处理器110被配置为生成要在显示器116上示出的用户界面的图形再现，然后向显示器116传送包括该图形再现的显示信号。在其他实施例中，显示器116被配置为接收来自另一个装置的显示信号。例如，在一些实施例中，显示器116可以包括外部显示器，诸如计算机监视器。
用于在图形用户界面小部件中使用纹理的各个实施例的说明
图5是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的图示。图5包括系统500，该系统500包括消息发送装置502。消息发送装置502包括显示器516。显示器516被配置为向用户显示图形用户界面。而且，被配置为检测用户交互的触摸敏感接口被安装在显示器516上。触摸敏感接口允许用户与显示器516中示出的图形用户界面进行交互，例如允许用户输入文本，选择对象或执行本领域中公知的其他操作。在图5中所示的实施例中，系统500包括手持装置。在其他实施例中，系统500可以包括较大的装置，例如膝上型或台式计算机或在信息亭中的显示器。在一些实施例(在图5中未示出)中，系统500可以进一步包括诸如鼠标、滚轮或滚球的操纵性客体特征，其允许用户与在显示器516上的图形用户界面进行交互。
如图5中所示，显示器516显示文本504。显示器516进一步在文本504的一部分上显示选择框506，其指示用户已经选择了文本504内的文本506的一部分。在一些实施例中，用户可能已经例如通过轻击与文本相关联的显示器516的一部分来突出显示在选择框506中的文本。在其他实施例中，文本编辑程序可能例如在轨迹的一部分改变功能时已经自动地突出显示框506中的文本。在这样的实施例中，选择框506可以包括用户对于现有文本文件的编辑。
消息发送装置502进一步包括致动器(在图5中未示出)，该致动器被配置为输出被配置为模拟纹理的触觉效果。在一些实施例中，用户可以在装置502的外壳上感觉到纹理。在其他实施例中，用户可以在显示器516的表面上感觉到纹理。例如，在一些实施例中，当用户触摸与选择框506相关联的显示器516的一部分时，致动器可以输出被配置为模拟纹理的触觉效果。而且，在这样的实施例中，致动器可以被配置为在用户触摸不与选择框506相关联的显示器516的一部分时输出模拟不同纹理的触觉效果。例如，当用户与选择框506进行交互时，致动器可以输出模拟沙子的纹理的触觉效果。而且，当用户与显示器516的剩余部分进行交互时，致动器可以输出模拟水的纹理的触觉效果。在其他实施例中，致动器可以输出被配置为模拟不同纹理的触觉效果。在一些实施例中，用户可以指配要与选择框506相关联的纹理以及要与显示器516的剩余部分相关联的另一个纹理。
在一些实施例中，纹理可以与在选择框506内的文本相关联。例如，在一些实施例中，致动器可以在用户与诸如“l”的高字母进行交互时输出粗纹理，并且在用户与诸如“a”的短字母进行交互时输出软纹理。在另一个实施例中，致动器可以在用户与大写字母进行交互时输出粗纹理，并且当用户与小写字母进行交互时输出较软的纹理。在其他实施例中，纹理可以与其他因素相关联，该其他因素例如字体、字体大小、文本的长度或单个字的长度。
在一些实施例中，消息发送装置502可以包括多于一个的致动器。在这样的实施例中，这些致动器可以组合地使用以生成触觉效果。例如，当组合每个致动器的触觉效果时，它们可以形成模拟纹理的单个触觉效果。在其他实施例中，消息发送装置502可以分别使用致动器。例如，第一致动器可以在用户与关联于选择框506的显示器516的一部分进行交互时输出第一触觉效果，并且第二致动器可以在用户与显示器516的剩余部分进行交互时输出第二触觉效果。
图6是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的图示。图6包括系统600，系统600类似于上面的系统500。如在图6中所示，消息发送装置602包括位于触摸敏感接口下的显示器616。在一些实施例(在图6中未示出)中，系统600可以进一步包括诸如鼠标、滚轮或滚球的操纵性客体特征，其允许用户与显示器616上的图形用户界面进行交互。
如图6中所示，显示器616包括文本604。显示器616进一步包括突出显示的文本606，该文本606在图6中所示的实施例中包括词“parents”的两个实例。在一些实施例中，用户可以例如通过轻击与要突出显示的文本相关联的显示器616的位置来选择该文本。在其他实施例中，文本编辑程序可以已经自动地被突出显示例如为文本编辑程序的搜索功能的一部分的文本606。在这样的实施例中，突出显示的文本606可以包括在文本文件中的搜索项的每一个实例。
消息发送装置602进一步包括致动器(在图6中未示出)，该致动器被配置为输出被配置为模拟纹理的触觉效果。在一些实施例中，用户可以在显示器616的表面上感觉到该纹理。例如，在一些实施例中，当用户触摸与突出显示的文本606相关联的显示器616的一部分时，致动器可以输出被配置为模拟纹理的触觉效果。而且，在这样的实施例中，致动器可以被配置为在用户触摸不与突出显示的文本606相关联的显示器616的一部分时输出模拟不同的纹理的触觉效果。例如，当用户与突出显示的文本606进行交互时，致动器可以输出模拟草地的纹理的触觉效果。而且，当用户与显示器616的剩余部分进行交互时，致动器可以输出模拟冰的纹理的触觉效果。这样的实施例可以使得用户能够在不观看文档的情况下迅速地确定在文件内的搜索项的所有位置。在其他实施例中，致动器可以输出被配置为模拟不同纹理的触觉效果。在一些实施例中，用户可以指配要与突出显示的文本606相关联的纹理以及要与显示器616的剩余部分相关联的另一个纹理。在一些实施例中，消息发送装置602可以包括多于一个的致动器，如在此与系统500相关地所述。
图7是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的图示。图7包括系统700，其类似于上面的系统500。如图7中所示，消息发送装置702包括位于触摸敏感接口下的显示器716。在一些实施例(在图7中未示出)中，系统700可以进一步包括诸如鼠标、滚轮或滚球的操纵性客体特征，其允许用户与在显示器716上的图形用户界面进行交互。
如图7中所示，显示器716包括数字小键盘704。纹理键706在数值小键盘704内，纹理键706在图7中所示的实施例中是数值5。在其他实施例中，不同的键可以包括纹理键706，例如，用户可以将任何键指配为纹理键。而且，在其他实施例中，数字小键盘704可以包括不同类型的小键盘，例如QWERTY键盘或本领域中公知的某种其他键盘。
消息发送装置702进一步包括致动器(在图7中未示出)，该致动器被配置为输出被配置为模拟纹理的触觉效果。在一些实施例中，用户可以在显示器716上感觉到该纹理。例如，在一些实施例中，当用户触摸与纹理键706相关联的显示器716的一部分时，致动器可以输出被配置为模拟纹理的触觉效果。在这样的实施例中，当用户触摸数字小键盘704的其他部分时，致动器可以不输出纹理。在其他实施例中，致动器可以被配置为在用户与数字小键盘704的其他部分进行交互时输出不同的纹理，但是当用户与显示器716的其他部分进行交互时不输出任何纹理。这样的实施例可以允许用户在不观看显示器716的情况下迅速地确定他的/她的手指在数字小键盘704上的位置。
在一些实施例中，消息发送装置702可以被配置为输出被配置为模拟与在数字小键盘704上的每个按键相关联的独特纹理的更复杂的触觉效果。例如，在一些实施例中，消息发送装置702可以输出被配置为模拟在数字小键盘704上的每一个按钮的边缘的触觉效果。在一些实施例中，这些触觉效果可以包括模拟在每个按键上的四边的振动。在一些实施例中，触觉效果可以进一步被配置为模拟每个按钮的深度或表面特征。在一个实施例中，触觉效果可以被配置为模拟不良好地平坦的键，例如略凹的键。该功能可以使得用户能够将一个键与另一个进行区分，并且可以进一步允许用户将键的中心与键的边缘进行区分。在一些实施例中，可以应用类似的功能以在诸如全QWERTY键盘的较大键盘上模拟纹理。在一些实施例中，消息发送装置702可以包括多于一个的致动器，如在此关于系统500描述的。
图8是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的图示。图8包括系统800，系统800与上面的系统500类似。如图8中所示，消息发送装置802包括位于触摸敏感接口下的显示器816。在一些实施例(在图8中未示出)中，系统800可以进一步包括诸如鼠标、滚轮或滚球的操纵性客体特征，其允许用户与在显示器816上的图形用户界面进行交互。
如图8中所示，显示器816包括文件夹804、806、808和810，其每一个包含在消息发送装置802的硬盘驱动器上的文件。如图8中所示，文件夹806和808都包括纹理，而文件夹804和810不包括纹理。在一些实施例中，用户可以创建另外的文件夹，并且对那些文件夹指配纹理。在其他实施例中，用户可以移除文件夹。因此，具有或没有纹理的文件夹的许多组合是可能的。在一些实施例中，文件夹804、806、808和810可以包括具有对可以在消息发送装置802上运行的应用的链接的图标。
消息发送装置802进一步包括致动器(在图8中未示出)，该致动器被配置为输出被配置为模拟纹理的触觉效果。在一些实施例中，用户可以在显示器816的表面上感觉到该纹理。例如，在一些实施例中，当用户触摸与文件夹806相关联的显示器816的一部分时，致动器可以输出被配置为模拟纹理的触觉效果。在这样的实施例中，当用户触摸与文件夹804相关联的显示器816的一部分时，致动器可以不输出纹理。而且，在这样的实施例中，当用户触摸与文件夹808相关联的显示器816的一部分时，致动器可以输出被配置为模拟不同纹理的不同触觉效果。在一些实施例中，当用户与不与文件夹804、806、808和810之一相关联的显示器816的其他部分进行交互时，致动器可以被配置为输出不同的纹理。这样的实施例可以允许用户在不观看显示器816的情况下迅速地确定他/她正在触摸哪个文件夹。
在一些实施例中，消息发送装置802可以基于与文件夹相关联的文件来确定纹理。例如，在一些实施例中，文件夹808可以包括音频文件。在这样的实施例中，消息发送装置802可以基于音频文件的类型来确定纹理，该音频文件的类型例如在文件是硬岩石时是粗纹理，并且在文件正常时是软纹理。在另一个示例中，消息发送装置可以基于在文件夹中的文件的属性来确定纹理。例如，文件夹806可以包括保护或只读的文件，而文件夹808可以包括可修改的音频文件。在这样的实施例中，消息发送装置802可以在用户与文件夹806进行交互时确定粗纹理，并且在用户与文件夹808进行交互时确定温和或软的纹理。在其他实施例中，与文件夹相关联的不同因素可以用于确定触觉效果，该不同的因素例如文件夹大小、文件夹的内容、文件夹的时间、文件夹的标题、文件或文件夹的创建者或本领域中公知的某个其他因素。在一些实施例中，消息发送装置802可以包括多于一个的致动器，如在此关于系统500所述的。
图9是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的图示。图9包括系统900，其类似于上面的系统500。如图9中所示，消息发送装置902包括位于触摸敏感接口之下的显示器916。在一些实施例(在图9中未示出)中，系统900可以进一步包括诸如鼠标、滚轮或滚球的操纵性客体特征，其允许用户在显示器916上与图形用户界面进行交互。
如图9中所示，显示器916包括对三维对象904的二维渲染。三维对象904的一侧包括有纹理侧906。在其他实施例中，三维对象904可以包括不同形状。在一些实施例中，用户可以以计算机辅助的设计程序用诸如球体或三角形的不同形状来绘制对象。而且，在其他实施例中，用户可以对三维对象904的其他侧指配纹理。在其他实施例中，显示器916可以包括具有有纹理侧的多个组合的多个三维对象。例如，在一些实施例中，显示器916可以包括三维对象904的多个视图。在这样的实施例中，每个视图可以包括不同的纹理。消息发送装置902进一步包括致动器(在图9中未示出)，该致动器被配置为输出被配置为模拟纹理的触觉效果。在一些实施例中，用户可以在显示器916的表面上感觉到该纹理。例如，在一些实施例中，当用户触摸与有纹理侧906相关联的显示器916的一部分时，致动器可以输出被配置为模拟纹理的触觉效果。在这样的实施例中，当用户触摸三维对象904的其他部分时，致动器可以不输出纹理。在其他实施例中，当用户与不与三维对象904相关联的显示器916的一部分进行交互时，致动器可以被配置为输出不同的纹理。在其他实施例中，消息发送装置902可以在用户旋转或移动三维对象904时输出纹理。这样的实施例可以允许用户在不观看显示器916的情况下迅速地确定在显示器916上示出三维对象904的哪个视图。在一些实施例中，消息发送装置902可以包括多于一个的致动器，如在此关于系统500所述的。
图10是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的图示。图10包括系统1000，其类似于上面的系统500。如图10中所示，消息发送装置1002包括位于触摸敏感接口之下的显示器1016。在一些实施例(在图10中未示出)中，系统1000可以进一步包括诸如鼠标、滚轮或滚球的操纵性客体特征，其允许用户与在显示器1016上的图形用户界面进行交互。
如图10中所示，显示器1016包括用于简单的计算机辅助设计程序的图形用户界面。显示器1016进一步包括对三维对象1004的二维渲染。显示器1016进一步包括线选择框1006。线选择框1006包括三个线图标1008、1010和1012，它们具有越来越大的线粗度。在其他实施例中，三维对象1004可以包括不同的形状。例如，用户可以绘制不同形状的对象，诸如球体或平行四边形。而且，在其他实施例中，除了线选择框1006之外，计算机辅助设计程序可以包括被配置为控制不同功能的不同框，例如，形状选择框、文本输入框、阴影选择框或被配置为修改本领域中公知的某个其他特征的框。
消息发送装置1002进一步包括致动器(在图10中未示出)，该致动器被配置为输出被配置为模拟纹理的触觉效果。在一些实施例中，用户可以在显示器1016的表面上感觉到该纹理。例如，在一些实施例中，当用户触摸与线选择框1006相关联的显示器1016的一部分时，致动器可以输出被配置为模拟纹理的触觉效果。在一些实施例中，消息发送装置1002可以输出被配置为模拟与用户选择的线的粗度相关联的纹理的触觉效果，该纹理例如是用于粗线1008的粗纹理和用于细线1012的软纹理。在一些实施例中，消息发送装置1002可以在用户绘制对象时输出触觉效果。在其他实施例中，消息发送装置1002可以仅当用户选择线时输出触觉效果。在其他实施例中，消息发送装置1002可以在用户与三维对象1004进行交互时输出触觉效果，并且在用户与显示器1016的其他部分进行交互时不输出触觉效果。在一些实施例中，消息发送装置1002可以包括多个致动器，如在此关于系统500所述的。
图11是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的图示。图11包括系统1100，其类似于上面的系统500。如图11中所示，消息发送装置1102包括位于触摸敏感接口之下的显示器1116。在一些实施例(在图11中未示出)中，系统1100可以进一步包括诸如鼠标、滚轮或滚球的操纵性客体特征，其允许用户在显示器1116上与图形用户界面进行交互。
如图11中所示，显示器1116包括用于读取文本文件的界面，该界面包括滚动条轨迹1104、滚动条1106和文本1108。在图11中所示的实施例中，用户可以沿着滚动条轨迹1104上下移动滚动条1106，以便于滚动到文本1108的不同部分。在一些实施例中，用户可以轻击滚动条轨迹1104的一部分，以便于将滚动条1106和文本1108移动到与在滚动条轨迹1104上的那个点相关联的部分。在其他实施例中，滚动条轨迹1104和滚动条1106可以包括不同的外观或执行不同的功能。例如，在一些实施例中，滚动条轨迹1104和滚动条1106可以位于显示器1116的顶部或底部，并且允许用户水平地移动显示器。在其他实施例中，滚动条轨迹1104和滚动条1106可以用于控制不同类型的用户界面，例如，绘制应用、web浏览应用、电子邮件应用或本领域中公知的某个其他的应用。
消息发送装置1102进一步包括致动器(在图11中未示出)，该致动器被配置为输出被配置为模拟纹路的触觉效果。在一些实施例中，用户可以在显示器1116的表面上感觉到该纹理。例如，在一些实施例中，当用户触摸与滚动条1106相关联的显示器1116的一部分时，致动器可以输出被配置为模拟纹理的触觉效果。在这样的实施例中，当用户触摸滚动条轨迹1104的一部分时，致动器可以不输出不同的纹理。而且，在一些实施例中，致动器可以输出当用户沿着滚动条轨迹1104移动滚动条1106时改变的纹理。例如，在一些实施例中，致动器可以输出被配置为模拟当用户进一步向下移动滚动条轨迹1104下时变粗的纹理的触觉效果。这样的实施例可以允许用户在不用观看显示器1116的情况下，或不从读取文本1108分心的情况下迅速地确定在滚动条轨迹1104上的他的/她的手指的位置。在一些实施例中，消息发送装置1102可以包括多于一个的致动器，如在此关于系统500所述的。
图12是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的图示。图12包括系统1200，其类似于上面的系统500。如图12中所示，消息发送装置1202包括位于触摸敏感接口之下的显示器1216。在一些实施例(在图12中未示出)中，系统1200可以进一步包括诸如鼠标、滚轮或滚球的操纵性客体特征，其允许用户与在显示器1216上的图形用户界面进行交互。
如图12中所示，显示器1216包括用于映射应用或全球定位系统(GPS)接收器的图形用户界面。图形用户界面包括路由1204、目的地1206和沿着或接近路由1204的几个建筑物1208、1210和1212。在一些实施例中，路由1204可以比图5中所示长得多。例如，在一些实施例中，路由1204可能需要几个屏幕来被整体地示出。因此，可以细分路由1204使得在任何一个时间示出仅路由1204的一部分。在其他实施例中，在图形用户界面中可以示出路径点和本领域中已知的其他项目。
消息发送装置1202进一步包括致动器(在图12中未示出)，该致动器被配置为输出被配置为模拟纹理的触觉效果。在一些实施例中，用户可以在显示器1216的表面上感觉到该纹理。例如，在一些实施例中，当用户触摸与目的地1206相关联的显示器1216的一部分时，致动器可以输出被配置为模拟纹理的触觉效果。在这样的实施例中，当用户触摸显示器1216的其他部分时，致动器可以不输出纹理。因此，纹理可以允许用户迅速地确定在显示器1216上的目的地1206的位置。在其他实施例中，图形用户界面的另外的特征可以包括纹理。例如，路由1204可以包括纹理。在这样的实施例中，用户可以在显示器1216的表面上移动他的/她的手指，并且当手指触摸路由1204时感觉到纹理。
在其他实施例中，消息发送装置1202可以沿着用户的路由自动地对其他建筑物指配纹理。例如，在一些实施例中，消息发送装置可以对特定类型的建筑物指配纹理，该特定类型的建筑物例如是所有的加油站、饭馆或医院。在一个实施例中，建筑物1208可以包括医院，建筑物1210可以包括购物商场，并且建筑物1212可以包括加油站。在这样的实施例中，用户可以搜索加油站。作为该搜索的一部分，用户可以进入搜索菜单，该搜索菜单允许用户沿着他的/她的路由对所有的加油站指配纹理。然后，用户可以使他的/她的手指在显示器1216的表面上行进以找到加油站。当用户触摸显示器1216时，他/她感觉到与建筑物1212相关联的显示器1216的一部分，并且知道那是加油站。在其他实施例中，界面的不同部分可以与纹理相关联。例如，在一个实施例中，沿着路由1204的一个或多个转弯可以与纹理相关联。在另一个实施例中，沿着路由1204的一个或多个路点可以与纹理相关联。
在一些实施例中，消息发送装置1202可以包括多于一个的致动器，如在此关于系统500所述的。
图13是根据本发明的一个实施例的用于在图形用户界面小部件中使用纹理的系统的图示。图13包括系统1300，其类似于上面的系统500。如图13中所示，消息发送装置1302包括位于触摸敏感接口之下的显示器1316。在一些实施例(在图13中未示出)中，系统1300可以进一步包括诸如鼠标、滚轮或滚球的操纵性客体特征，其允许用户与在显示器1316上的图形用户界面进行交互。
如图13中所示，显示器1316包括用于社会联网应用的页面。显示器1316进一步包括图片框1304、名称框1306、状态框1308和纹理框1310。图片框1304被配置为允许用户在他的/她的社会联网页面上粘贴图片。在图13中所示的实施例中，用户还没有粘贴图片或保护社会页面，使得不在用户的网络中的用户不能访问图片框1304。名称框1306被配置为允许用户粘贴他们的姓名或某个其他的标识特性。在图13中所示的实施例中，名称框1306包括文本“John Doe′s Social Page”。在其他实施例中，用户可以粘贴其他信息，例如政治背景、联系信息、性别或关系状态。状态框1308被配置为允许用户或用户的朋友向用户的社会联网页面粘贴状态更新。在一些实施例中，这些更新可以包括文本更新、图像更新、视频更新或纹理更新。在图13中所示的实施例中，状态更新框1308包括两个更新。首先，它包括纹理更新“John Doeis ready for the weekend”。其次，它包括纹理更新1310。
消息发送装置1302进一步包括致动器(在图13中未示出)，该致动器被配置为输出被配置为模拟纹理的触觉效果。在一些实施例中，用户可以在显示器1316的表面上感觉到该纹理。例如，在图13中所示的实施例中，纹理更新1310包括木板的纹理。当用户或对于用户的社会联网页面的访问者触摸纹理更新1310时，消息发送装置1302输出被配置为模拟木板的纹理的触觉效果。在其他实施例中，纹理更新1310可以包括不同的纹理，诸如油、沙子、水、草地、皮毛、皮肤、蜥蜴皮、皮革、砂纸、砖块或岩石的纹理。在一些实施例中，用户可以将与他们当前心情相关联的纹理粘贴到他们自己的社会联网页面。在其他实施例中，用户可以将纹理粘贴到朋友的页面作为给他们的朋友的礼物或消息。在其他实施例中，用户可以使纹理与社会联网页面的其他部分相关联。例如，在一些实施例中，用户可以将纹理粘贴到图片、消息、状态或社会联网页面的某个其他部分。
在一些实施例中，消息发送装置1302可以包括多于一个的致动器，如在此与系统500相关地所述。
用于在图形用户界面小部件中使用纹理的系统和方法的优点
存在用于在图形用户界面小部件中使用纹理的系统和方法的许多优点。例如，用于在图形用户界面小部件中使用纹理的系统和方法对移动装置增加了先前未使用的触觉效果。该新的效果为用户提供了在不观看装置的显示器的情况下从装置接收信息的新的途径。例如，用于在图形用户界面小部件中使用纹理的系统和方法可以允许用户向不同的图标、按钮或他们的显示器的其他小部件指配不同的纹理。因此，用户能够在不必观看图标的情况下确定他们在触摸哪个图标。这可以提高装置的可用性，并且可以使得装置更有益于视觉受损者。它也可以提高还没有被用户先前利用的不同类型的应用的采用率，用户经常在诸如行走或驾驶的分心的情况下使用移动装置。
而且，用于在图形用户界面小部件中使用纹理的系统和方法可以在不使用户从其他任务分心的情况下向用户提供更多的信息。因此，它可以计算用户错误的可能性。例如，如果用户正在使用用于在图形用户界面小部件中使用纹理的系统和方法，则他们不太可能碰到错误的图标或按下错误的键。该功能可以用于提高用户满意度和提高包含用于在图形用户界面小部件中使用纹理的系统和方法的技术的采用率。
一般考虑
在此使用“被适配为”或“被配置为”指开放和包含性的语言，该语言不排除被适配或配置为执行另外的任务或步骤的装置。另外，“基于”的使用在下述方面表示是开放和包含性的：“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作可以实际上基于除了所述的那些之外的另外的条件或值。在此包括的标题、列表和编号仅用于容易描述，并且不意味着是限制性的。
可以在数字电子电路、计算机硬件、固件、软件或前述部分的组合中实现根据本主题的各方面的实施例。在一个实施例中，计算机可以包括一个或多个处理器。处理器可以包括或访问计算机可读介质，诸如耦合到处理器的随机存取存储器(RAM)。处理器执行存储在存储器中的计算机可执行程序指令，诸如执行一个或多个计算机程序，所述一个或多个计算机程序包括传感器采样例程、触觉效果选择例程和用于产生信号以生成如上所述的所选择的触觉效果的适当程序。
这样的处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和状态机。这样的处理器可以进一步包括可编程电子装置，诸如PLC、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电子可编程只读存储器(EPROM或EEPROM)或其他类似的装置。
这样的处理器可以包括介质或可以与介质进行通信，该介质例如是有形计算机可读介质，可以存储指令，该指令在由处理器执行时可以使得处理器执行在此描述为由处理器执行或辅助的步骤。计算机可读介质的实施例可以包括但不限于能够向诸如在web服务器中的处理器的处理器提供计算机可读指令的所有的电子、光学、磁性或其他存储装置。介质的其他示例包括但是不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有的光学介质、所有的磁带或其他磁性介质或计算机处理器可以从其读取的任何其他介质。而且，各种其他装置可以包括计算机可读介质，诸如路由器、专用或公共网络或其他传输装置。所述的处理器和处理可以在一个或多个结构中，并且可以分布在一个或多个结构上。处理器可以包括用于执行在此所述的方法的一个或多个(或方法的部分)的代码。
虽然已经关于本发明的特定实施例详细描述了本主题，但是可以明白，本领域内的技术人员在获得上述内容的理解时可以容易地得到这样的实施例的替代、改变和等同内容。因此，应当理解本公开被提供用于示例性目的，而不是限制性目的，并且不排除对本主题包含对于本领域内的普通技术人员容易清楚的这样的修改、改变和/或增加。

Claims (23)

1.一种系统，包括：
致动器，所述致动器被配置为接收触觉信号，并且至少部分地基于所述触觉信号来输出触觉效果，所述触觉相关被配置为模拟纹理；触摸敏感接口，所述触摸敏感接口被配置为检测用户交互并且输出接口信号；以及
处理器，所述处理器与所述致动器和所述触摸界面进行通信，所述处理器被配置为：
接收所述接口信号；
接收包括限定显示区域的多个像素的显示信号；
确定与限定所述显示区域的第一部分的第一组像素相关联的第一纹理；
确定与限定所述显示区域的第二部分的第二组像素相关联的第二纹理；以及
传送触觉信号，所述触觉信号被配置为使得所述致动器：
输出第一触觉效果，所述第一触觉效果被配置为在所述用户交互与所述显示区域的所述第一部分相关联时模拟所述第一纹理，以及
输出第二触觉效果，所述第二触觉效果被配置为在所述用户交互与所述显示区域的所述第二部分相关联时模拟所述第二纹理。
2.根据权利要求1所述的系统，其中，所述第一纹理和所述第二纹理的每一个至少部分地基于所述显示信号。
3.根据权利要求1所述的系统，其中，所述纹理是振动触觉效果。
4.根据权利要求1所述的系统，其中，所述纹理包括沙子、草地、砖块、岩石、皮肤、织物或皮毛的纹理。
5.根据权利要求1所述的系统，其中，所述致动器包括：线性共振致动器、质量偏心旋转致动器、形状记忆合金、电活性聚合物、复合压电致动器或压电致动器。
6.根据权利要求1所述的系统，其中，所述显示区域的所述第一部分包括边界，并且所述显示区域的所述第二部分包括不包括所述边界的像素。
7.根据权利要求1所述的系统，其中，所述显示区域的所述第一部分包括路由，并且所述显示区域的所述第二部分包括全球定位系统界面。
8.根据权利要求1所述的系统，其中，所述显示区域的所述第一部分包括目的地，并且所述显示区域的所述第二部分包括全球定位系统界面。
9.根据权利要求1所述的系统，其中，所述显示区域的所述第一部分包括在社会联网页面上的位置，并且所述显示区域的所述第二位置包括所述社会联网页面的剩余部分。
10.根据权利要求1所述的系统，其中，所述显示区域的所述第一部分包括滚动条，并且所述显示区域的所述第二部分包括不包括所述滚动条的像素。
11.根据权利要求10所述的系统，其中，所述处理器被配置为确定在所述滚动条移动时在所述显示区域的所述第一部分中的不同纹理。
12.根据权利要求1所述的系统，其中，所述显示区域的所述第一部分包括文本，并且所述显示区域的所述第二部分包括所述显示区域的剩余部分。
13.根据权利要求1所述的系统，其中，所述显示区域的所述第一部分包括至少部分地基于所述接口信号确定的所述显示区域的一部分，并且所述显示区域的所述第二部分包括所述显示区域的剩余部分。
14.根据权利要求1所述的系统，其中，所述显示区域的所述第一部分包括图标，并且所述显示区域的所述第二部分包括所述显示区域的剩余部分。
15.根据权利要求14所述的系统，其中，所述图标包括绘制工具。
16.根据权利要求14所述的系统，其中，所述图标包括文件夹。
17.根据权利要求16所述的系统，其中，至少部分地基于所述文件夹的内容来确定所述第一纹理。
18.根据权利要求1所述的系统，进一步包括与所述处理器进行通信的显示器，所述显示器被配置为接收所述显示信号，并且至少部分地基于所述显示信号来输出图像。
19.根据权利要求18所述的系统，其中，在所述显示器的表面上输出所述第一纹理和所述第二纹理。
20.一种用于输出纹理的方法，包括：
接收显示信号，所述显示信号包括限定显示区域的多个像素；
接收来自被配置为检测用户交互并且输出接口信号的触摸敏感接口的接口信号；
确定与限定所述显示区域的第一部分的第一组像素相关联的第一纹理；
确定与限定所述显示区域的第二部分的第二组像素相关联的第二纹理；以及
向致动器传送触觉信号，所述致动器被配置为接收所述触觉信号，并且输出触觉效果，所述触觉信号被配置为使得所述致动器：
在所述用户交互与所述显示区域的所述第一部分相关联时输出第一触觉效果，所述第一触觉效果被配置为模拟所述第一纹理，以及
在所述用户交互与所述显示区域的所述第二部分相关联时输出第二触觉效果，所述第二触觉效果被配置为模拟所述第二纹理。
21.根据权利要求20所述的方法，进一步包括：接收所述显示信号，并且至少部分地基于所述显示信号来输出图像。
22.根据权利要求21所述的方法，其中，在所述显示器的表面上输出所述第一方法和所述第二触觉效果。
23.一种系统，包括：
致动器，所述致动器被配置为接收触觉信号，并且至少部分地基于所述触觉信号来输出触觉效果，所述触觉效果被配置为模拟纹理；
触摸敏感接口，所述触摸敏感接口被配置为检测用户交互并且输出与所述用户交互相关联的接口信号；以及
处理器，所述处理器与所述致动器和所述触摸界面进行通信，所述处理器被配置为：
接收所述接口信号；
接收包括限定显示区域的多个像素的显示信号；
至少部分地基于所述显示信号和所述接口信号来确定第一纹理，所述第一纹理与限定所述显示区域的第一部分的第一组像素相关联；
至少部分地基于所述显示信号和所述接口信号来确定第二纹理，所述第二纹理与限定所述显示区域的第二部分的第二组像素相关联；以及
传送触觉信号，所述触觉信号被配置为使得所述致动器：
输出第一触觉效果，所述第一触觉效果被配置为在所述用户交互与所述显示区域的所述第一部分相关联时模拟所述第一纹理，以及
输出第二触觉效果，所述第二触觉效果被配置为在所述用户交互与所述显示区域的所述第二部分相关联时模拟所述第二纹理；以及
显示器，所述显示器被配置为接收所述显示信号，并且至少部分地基于所述显示信号来输出图像，并且其中，在所述显示器的表面上输出所述第一触觉效果和所述第二触觉效果。
CN2010800119059A 2009-03-12 2010-03-11 用于在图形用户界面小部件中使用纹理的系统和方法 Pending CN102349042A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610531685.1A CN106200955B (zh) 2009-03-12 2010-03-11 用于在图形用户界面小部件中使用纹理的系统和方法

Applications Claiming Priority (19)

Application Number Priority Date Filing Date Title
US15948209P 2009-03-12 2009-03-12
US61/159,482 2009-03-12
US26204109P 2009-11-17 2009-11-17
US26203809P 2009-11-17 2009-11-17
US61/262,038 2009-11-17
US61/262,041 2009-11-17
US12/697,037 US9927873B2 (en) 2009-03-12 2010-01-29 Systems and methods for using textures in graphical user interface widgets
US12/697,042 US10564721B2 (en) 2009-03-12 2010-01-29 Systems and methods for using multiple actuators to realize textures
US12/697,010 2010-01-29
US12/697,010 US9874935B2 (en) 2009-03-12 2010-01-29 Systems and methods for a texture engine
US12/697,037 2010-01-29
US12/696,893 2010-01-29
US12/696,900 US9696803B2 (en) 2009-03-12 2010-01-29 Systems and methods for friction displays and additional haptic effects
US12/696,908 2010-01-29
US12/697,042 2010-01-29
US12/696,900 2010-01-29
US12/696,893 US9746923B2 (en) 2009-03-12 2010-01-29 Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US12/696,908 US10007340B2 (en) 2009-03-12 2010-01-29 Systems and methods for interfaces featuring surface-based haptic effects
PCT/US2010/026905 WO2010105010A1 (en) 2009-03-12 2010-03-11 Systems and methods for using textures in graphical user interface widgets

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610531685.1A Division CN106200955B (zh) 2009-03-12 2010-03-11 用于在图形用户界面小部件中使用纹理的系统和方法

Publications (1)

Publication Number Publication Date
CN102349042A true CN102349042A (zh) 2012-02-08

Family

ID=73451207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800119059A Pending CN102349042A (zh) 2009-03-12 2010-03-11 用于在图形用户界面小部件中使用纹理的系统和方法

Country Status (5)

Country Link
EP (1) EP2406705B1 (zh)
JP (1) JP5694204B2 (zh)
KR (5) KR102086980B1 (zh)
CN (1) CN102349042A (zh)
WO (1) WO2010105010A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104571688A (zh) * 2013-10-22 2015-04-29 苹果公司 用于模拟材料的触摸表面
CN106104426A (zh) * 2014-03-21 2016-11-09 意美森公司 用于基于力的对象操纵和触觉检测的系统、方法和计算机可读介质
CN106575146A (zh) * 2014-08-20 2017-04-19 塔祺拉姆公司 用于发送触摸消息的系统和方法
CN107209550A (zh) * 2014-10-02 2017-09-26 Dav公司 控制装置和用于机动车辆的方法
CN107615213A (zh) * 2015-04-21 2018-01-19 意美森公司 蚀刻输入的动态呈现
US10073527B2 (en) 2009-03-12 2018-09-11 Immersion Corporation Systems and methods for providing features in a friction display including a haptic effect based on a color and a degree of shading
CN108628444A (zh) * 2012-11-20 2018-10-09 意美森公司 提供具有可编程表面纹理的模式或状态意识的系统和方法
CN108897424A (zh) * 2012-11-20 2018-11-27 意美森公司 用于带有触觉效果的模拟物理交互的系统和方法
CN109683717A (zh) * 2013-01-24 2019-04-26 意美森公司 用于触觉装置中的三维浮凸的摩擦调制
CN110096172A (zh) * 2013-03-15 2019-08-06 意美森公司 具有表面触觉感觉的用户接口装置
CN110446998A (zh) * 2017-03-28 2019-11-12 坦瓦斯股份有限公司 用于渲染触觉反馈的多速率处理设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10503255B2 (en) * 2010-12-02 2019-12-10 Immersion Corporation Haptic feedback assisted text manipulation
US20130227409A1 (en) * 2011-12-07 2013-08-29 Qualcomm Incorporated Integrating sensation functionalities into social networking services and applications
EP2859478B1 (en) 2012-06-03 2016-11-02 Maquet Critical Care AB Breathing apparatus and method for user interaction therewith
WO2015016210A1 (ja) * 2013-08-01 2015-02-05 株式会社ニコン 電子機器、および電子機器の制御プログラム
US9710063B2 (en) * 2014-07-21 2017-07-18 Immersion Corporation Systems and methods for determining haptic effects for multi-touch input
US10147460B2 (en) * 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
JP6620137B2 (ja) * 2017-11-06 2019-12-11 マケ クリティカル ケア エービー 呼吸装置、及び該装置とのユーザー相互作用の方法
JP7383226B2 (ja) 2019-09-26 2023-11-20 Ｔｏｐｐａｎホールディングス株式会社 触覚情報生成プログラム、触覚情報入力装置、および、触覚情報通信システム
KR20230171760A (ko) 2022-06-14 2023-12-21 경희대학교 산학협력단 햅틱 텍스처 생성 장치와 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050057528A1 (en) * 2003-09-01 2005-03-17 Martin Kleen Screen having a touch-sensitive user interface for command input
EP1748350A2 (en) * 2005-07-28 2007-01-31 Avago Technologies General IP (Singapore) Pte. Ltd Touch device and method for providing tactile feedback
US20080068348A1 (en) * 1998-06-23 2008-03-20 Immersion Corporation Haptic feedback for touchpads and other touch controls

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912660A (en) * 1997-01-09 1999-06-15 Virtouch Ltd. Mouse-like input/output device with display screen and method for its use
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US20060209037A1 (en) 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
WO2006042309A1 (en) 2004-10-08 2006-04-20 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
WO2008085487A1 (en) * 2006-12-27 2008-07-17 Immersion Corporation Virtual detents through vibrotactile feedback
KR101348721B1 (ko) * 2007-09-03 2014-01-08 엘지전자 주식회사 휴대 단말기 및 그 휴대 단말기의 터치 인식 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080068348A1 (en) * 1998-06-23 2008-03-20 Immersion Corporation Haptic feedback for touchpads and other touch controls
US20050057528A1 (en) * 2003-09-01 2005-03-17 Martin Kleen Screen having a touch-sensitive user interface for command input
EP1748350A2 (en) * 2005-07-28 2007-01-31 Avago Technologies General IP (Singapore) Pte. Ltd Touch device and method for providing tactile feedback

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073527B2 (en) 2009-03-12 2018-09-11 Immersion Corporation Systems and methods for providing features in a friction display including a haptic effect based on a color and a degree of shading
US10747322B2 (en) 2009-03-12 2020-08-18 Immersion Corporation Systems and methods for providing features in a friction display
CN108897424A (zh) * 2012-11-20 2018-11-27 意美森公司 用于带有触觉效果的模拟物理交互的系统和方法
CN108628444A (zh) * 2012-11-20 2018-10-09 意美森公司 提供具有可编程表面纹理的模式或状态意识的系统和方法
CN109683717A (zh) * 2013-01-24 2019-04-26 意美森公司 用于触觉装置中的三维浮凸的摩擦调制
CN110096172A (zh) * 2013-03-15 2019-08-06 意美森公司 具有表面触觉感觉的用户接口装置
CN104571688B (zh) * 2013-10-22 2017-11-07 苹果公司 用于模拟材料的触摸表面
CN104571688A (zh) * 2013-10-22 2015-04-29 苹果公司 用于模拟材料的触摸表面
CN106104426B (zh) * 2014-03-21 2020-04-03 意美森公司 用于基于力的对象操纵和触觉检测的系统、方法和计算机可读介质
CN106104426A (zh) * 2014-03-21 2016-11-09 意美森公司 用于基于力的对象操纵和触觉检测的系统、方法和计算机可读介质
CN106575146A (zh) * 2014-08-20 2017-04-19 塔祺拉姆公司 用于发送触摸消息的系统和方法
CN107209550A (zh) * 2014-10-02 2017-09-26 Dav公司 控制装置和用于机动车辆的方法
CN107615213A (zh) * 2015-04-21 2018-01-19 意美森公司 蚀刻输入的动态呈现
CN110446998A (zh) * 2017-03-28 2019-11-12 坦瓦斯股份有限公司 用于渲染触觉反馈的多速率处理设备
CN110446998B (zh) * 2017-03-28 2023-09-05 坦瓦斯股份有限公司 用于渲染触觉反馈的多速率处理设备

Also Published As

Publication number Publication date
KR101869809B1 (ko) 2018-06-22
WO2010105010A1 (en) 2010-09-16
KR20180069135A (ko) 2018-06-22
KR101658261B1 (ko) 2016-09-22
KR20190061095A (ko) 2019-06-04
KR101985159B1 (ko) 2019-05-31
JP2012520522A (ja) 2012-09-06
JP5694204B2 (ja) 2015-04-01
EP2406705A1 (en) 2012-01-18
KR101761082B1 (ko) 2017-07-24
EP2406705B1 (en) 2017-10-04
KR20110130471A (ko) 2011-12-05
KR102086980B1 (ko) 2020-03-09
KR20170087960A (ko) 2017-07-31
KR20160111533A (ko) 2016-09-26

Similar Documents

Publication Publication Date Title
CN102349042A (zh) 用于在图形用户界面小部件中使用纹理的系统和方法
JP6463795B2 (ja) グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
US10775895B2 (en) Systems and methods for multi-pressure interaction on touch-sensitive surfaces
CN101779188B (zh) 用于提供用户界面的系统和方法
WO2021143805A1 (zh) 一种微件处理方法以及相关装置
KR20150068330A (ko) 터치 입력의 압력 상태에 따라 동작하는 전자 장치 및 그 방법
CN106959814A (zh) 一种虚拟键盘的显示方法、装置及终端
CN101198925A (zh) 用于触敏输入设备的手势
CN102349038A (zh) 用于纹理引擎的系统和方法
CN102362246A (zh) 用于使用多个致动器实现纹理的系统和方法
KR20170057823A (ko) 에지 스크린을 통한 터치 입력 방법 및 전자 장치
KR20190002525A (ko) 눈멀거나 시각적으로 손상된 사람용 컴퓨팅 장치의 멀티미디어 관리용 가제트
KR20160018269A (ko) 디바이스 및 디바이스의 제어 방법
CN107037874A (zh) 重压和移动手势
CN110231910A (zh) 一种控制方法及终端设备
KR20070103268A (ko) 휴대용 단말의 사용자 입력 장치
CN107015736A (zh) 一种按键处理方法和装置、一种用于按键处理的装置
KR20110128220A (ko) 터치패드를 구비한 단말에서의 연산방법
KR20150051766A (ko) 사운드를 출력하는 전자 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: American California

Applicant after: IMMERSION CORPORATION

Address before: American California

Applicant before: Immersion Corp

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: IMMERSION CORP. TO: YIMEISEN CO., LTD.

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120208