var str="1.tom:'what's your name.' 1.汤姆：“你的名字是什么？”";
str.match(/[a-z]+[\-\']?[a-z]*/ig);
// ["tom", "what's", "your", "name"]

更新
不包含这个需要分两步实现，负向预查做不到，会干掉wath'但会保留s这种结果。

var str="1.tom:'what's your name.' 1.汤姆：“你的名字是什么？”";
str.replace(/[a-z]+[\-|\']+[a-z]+/ig, '').match(/([a-z]+)/ig);
// ["tom", "your", "name"]

我建议你先把带符号的单词一起搜出来之后再来过滤一次，

var str = "1.tom:'what's your name.' 1.汤姆：“你的名字是什么？”";
var m = str.match(/[a-z\-']+/ig);
console.log(m);
var result = (m || []).filter(function(word) {
    return !word.match(/[^a-z]/);
});

console.log(result);

由于js没有回顾零宽断言，你的需求似乎无法实现，不然可以用(?<=[^-'a-z]|^)[a-z]+(?=[^-'a-z]|$)

在js里可以加一步处理得到结果

(" "+str).match(/(?:[^-'a-z])[a-z]+(?=[^-'a-z])/ig).map(str => str.slice(1));

可以用正则多次过滤