Частичный поиск в HashMap

Да, HashMap не подходит для этого. Как сказал Божо, правильным будет Trie.

С помощью встроенных инструментов Java TreeMap (или любая SortedMap, на самом деле) можно было бы использовать:

public <V> SortedMap<String, V> filterPrefix(SortedMap<String,V> baseMap, String prefix) {
    if(prefix.length() > 0) {
        char nextLetter = prefix.charAt(prefix.length() -1) + 1;
        String end = prefix.substring(0, prefix.length()-1) + nextLetter;
        return baseMap.subMap(prefix, end);
    }
    return baseMap;
}

Вывод будет даже отсортирован по ключу.

Вот пример использования:

SortedMap<String, String> nameNum = new TreeMap<String, String>();
// put your phone numbers

String prefix = ...;
for(Map.Entry<String,String> entry : filterPrefix(nameNum, prefix).entrySet()) {
    System.out.println(entry);
}

Если вы хотите, чтобы ваш префиксный фильтр не зависел от различий в регистре, используйте подходящий компаратор для вашей карты (например, Collator с подходящей настройкой силы или String.CASE_INSENSITIVE_ORDER).

Для этого требуется структура данных Trie. См. этот вопрос для Java-реализации. Я использовал это.

Поместите все это в MultiMap (или просто сохраните список как значение в вашем HashMap). Для "Браун" хранить:

"B"->["Brown"]
"BR"->["Brown"]
"BRO"->["Brown"]

Если вы позже добавите «Брэдли»:

"B"->["Brown", "Bradley"]
"BR"->["Brown", "Bradley"]
"BRO"->["Brown"]
"BRA"->["Bradley"]

и т.д...

затем есть еще одна карта, чтобы сопоставить «Браун» или «Брэдли» с номером телефона.

Удалите все значения, которые не содержат ключевую часть:

yourMap.keySet().removeIf(key -> !key.contains(keyPart));

Или регулярное выражение:

yourMap.keySet().removeIf(key -> !key.matches(".*keyPart.*"));

Или фильтровать поток и собирать на новую карту:

yourMap.entrySet().stream().filter(e -> e.getKey().contains(keyPart)).collect(Collectors.toMap(e -> e.getKey(), e -> e.getValue()));

Использование многокарты guava упростит ваше решение.

Ключ - первая буква имени, значение - Collection, содержащее всю пару имя-телефон, имя которой начинается с ключа (первой буквы).

Пример:

    public void test(){
      //firstLetter -> list of name-phone pair
      Multimap<String, Pair> mMap =  ArrayListMultimap.create();

      put(mMap, "Brown",  "+1236389023");
      put(mMap, "Bob",    "+1236389023");
      put(mMap, "Harmer", "+1236389023");
      put(mMap, "Harris", "+1236389023");
      put(mMap, "Hawken", "+1236389023");
      put(mMap, "Hosler", "+1236389023");

      //Test
      System.out.println(mMap.get("H"));
   }

   void put(Multimap<String, Pair> mMap, String name, String phone){
      mMap.put(name.substring(0,1), new Pair(name, phone));
   }

   public static class Pair{
      String name;
      String phone;

      public Pair(String name, String phone) {
         this.name = name;
         this.phone = phone;
      }

      @Override
      public String toString() {
         return "Pair [name="+name+", phone="+phone+"]";
      }

}