Para personalizar el filtro, debe definir el atributo filterMatchMode como "custom" y utilizar el atributo filterFunction="miFiltro" donde se define la función javascript que se usa en la busqueda del filtro, como se explica en la documentación de Primefaces (451).
En este caso, personalizo el filtro para ignorar los acentos y los caracteres especiales que están contenidos (igual que hace el atributo filterMatchMode="contains").
file.xhtml
<p:selectCheckboxMenu filter="true" filterMatchMode="custom" filterFunction="contains" value="#{controllerBean.id}">
<f:selectItems value="#{controllerBean.list}"/>
</p:selectCheckboxMenu>
file.js
function contains(itemLabel, filterValue) {
return itemLabel.includes(filterValue) || specialCharacters(itemLabel).includes(filterValue);
}
function specialCharacters(input){
var c=input.toLowerCase();
c = c.replace(new RegExp("\\s", 'g'),"");
c = c.replace(new RegExp("[àáâãäå]", 'g'),"a");
c = c.replace(new RegExp("æ", 'g'),"ae");
c = c.replace(new RegExp("ç", 'g'),"c");
c = c.replace(new RegExp("[èéêë]", 'g'),"e");
c = c.replace(new RegExp("[ìíîï]", 'g'),"i");
c = c.replace(new RegExp("[òóôõö]", 'g'),"o");
c = c.replace(new RegExp("œ", 'g'),"oe");
c = c.replace(new RegExp("[ùúûü]", 'g'),"u");
c = c.replace(new RegExp("[ýÿ]", 'g'),"y");
return c;
}
De esta manera se realizará la búsqueda con o sin acento.
La publicación original a esta cuestión la publiqué en el foro de Stackoverflow en inglés, se puede consultar aquí:
https://stackoverflow.com/questions/52514786/filter-custom-in-selectonelistbox-or-selectonemenu-to-ignore-accents-or-special/52514787#52514787
Esta solución vale para cualquier componente de primefaces similar que use filtro de búsqueda, por ejemplo un selectCheckboxMenu, selectOneListbox o selectOneMenu
filterFunction
y ahi tratar la búsqueda.