Index Blob size in Params Issue

[diegomonteiro]

In Postgresql when system call impressionist to register access, we get error:

ActiveRecord::StatementInvalid (PG::ProgramLimitExceeded: ERROR: index row size 3560 exceeds btree version 4 maximum 2704 for index "poly_params_request_index"
DETAIL: Index row references tuple (672,2) in relation "impressions".
HINT: Values larger than 1/3 of a buffer page cannot be indexed.
Consider a function index of an MD5 hash of the value, or use full text indexing.

Example Request:
Impression Create (3.3ms) INSERT INTO "impressions" ("impressionable_type", "user_id", "controller_name", "action_name", "request_hash", "ip_address", "session_hash", "referrer", "params", "created_at", "updated_at") VALUES ($1, $2, $3, $4, $5, $6, $7, $8, $9, $10, $11) RETURNING "id" [["impressionable_type", "StandProduct"], ["user_id", 8], ["controller_name", "stand_products"], ["action_name", "create"], ["request_hash", "f630291a10751a14d101c8024e5440242e5f21379ce7f4130d952a8801405fd3"], ["ip_address", "177.141.122.167"], ["session_hash", "69cf1ce21f78300b97d3ba938c564773"], ["referrer", "http://51.79.101.206/stand_products/new"], ["params", "--- !ruby/hash:ActiveSupport::HashWithIndifferentAccess\nauthenticity_token: "/Buv8kDcz+ToQzPVYRar3lQRwbKewL9BWfUNEYTOI9PJHNNRyNOnbAquC76uF+RbN86UulB/6YM+nqsMrgMI5g=="\nstand_product: !ruby/hash:ActiveSupport::HashWithIndifferentAccess\n name: Aplicacao em Mineracao de Zinco\n stand_id: '25'\n video: ''\n description: "As plantas de mineração e de tratamento enfrentam um grande desafio,\n impulsionado principalmente pelo acúmulo de água do subsolo e das minas durante\n a produção. O descarte dessas águas pode ser problemático em função de seu alto\n teor de sólidos em suspensão. Este problema, comum ao setor, foi resolvido em\n uma mina de zinco na Rússia com o auxílio de centrífugas e decanters da Flottweg.\r\nA\n empresa processa minério de cobre, zinco e sulfato por métodos de mineração a\n céu aberto e subterrâneos e produz mais de 65% (dois terços) da concentração de\n zinco da Rússia.\r\nAs atividades desta planta devem ser realizadas da maneira\n mais ecologicamente correta possível. A situação ecológica da região, notadamente\n seu terreno acidentado e condições climáticas difíceis, nem sempre são convidativas\n em termos ambientais. De fato, o terreno e o clima podem ser problematicamente\n ameaçadores, uma realidade que acabou por causar a modernização da planta de zinco\n e de suas instalações de tratamento de água residual, a um custo de mais de 10\n milhões (US$ 11,1 milhões).\r\nO investimento de capital foi necessário para a\n aquisição de 16 sedimentadores de concreto verticais. Durante a fase de inicialização\n do projeto, a Mina enfrentaria diversos problemas, incluindo:\r\n•\tUm baixo grau\n de clarificação da água neutralizada durante a remoção do lodo com hidróxidos\n metálicos do esgoto e sua transferência para o reservatório\r\n•\t“Supercrescimento”\n intenso dos depósitos de gesso na água tratada e de lodo nas várias tubulações,\n assim como dentro das plantas de tratamento de água residual e nos dutos de saída\r\n•\tUma\n baixa taxa de purificação para os sulfatos e sólidos em suspensão\r\nPara enfrentar\n esses desafios, a empresa acabou decidindo que sua melhor alternativa seria a\n realização de uma pesquisa ativa sobre as tecnologias mais modernas que poderiam\n ser implementadas no tratamento de água residual e nas plantas de mineração e\n de tratamento. Foi uma longa pesquisa, que durou vários anos. Ela também levou\n à criação de uma parceria entre a Uchalinsky GOK JSC e a Flottweg.\r\nComo parte\n dessa parceria, a Flottweg recebeu a incumbência de resolver o problema do depósito\n de lodo após a neutralização da água do subsolo e das minas a uma taxa de 1.500–1.800\n m3/dia, além de gerar volumes adicionais de água operacional. Após realizar diversos\n testes, os engenheiros da planta determinaram que o equipamento da Flottweg seria\n o mais adequado para as tarefas operacionais fundamentais a serem realizadas.\r\nForam\n escolhidas centrífugas para a aplicação, fáceis de operar e que exigiam pouquíssimo\n suporte técnico em comparação com outras tecnologias de desidratação. Estes e\n outros benefícios acabaram por auxiliar a empresa em sua decisão. De fato, a Uchalinsky\n GOK JSC escolheu as centrífugas da Flottweg devido às vantagens inegáveis que\n elas poderiam fornecer, se contrastadas com as de nossos competidores, principalmente:\r\n•\tmenor\n necessidade de espaço para o equipamento\r\n•\tconstrução fechada\r\n•\tum aumento\n na quantidade de produtos úteis a serem extraídos\r\n•\tintervalos maiores entre\n as manutenções\r\n•\ttempo de parada mínimo\r\n•\tausência de necessidade de consumíveis\n adicionais ou de equipamento auxiliar\r\nComo parte do projeto, foram instalados\n dois decanters C7E-4/454 HTS da Flottweg. Os resultados foram positivos e óbvios.\n Em um curto prazo, eles ajudaram a reduzir a quantidade de resíduo reciclável\n e de custos com o descarte em quatro a oito vezes, melhorando simultaneamente\n a qualidade dos efluentes, cheios de metais pesados.\r\n“Antes do lançamento dos\n dois primeiros decanters, havia problemas com a tecnologia. Estes problemas foram\n solucionados com sucesso pelos equipamentos da Flottweg. Como resultado, compramos\n um terceiro equipamento e planejamos incorporar equipamentos adicionais da Flottweg\n em nossas operações.” \r\nNo momento, dois decanters C7E estão operacionais. A\n instalação de um terceiro recém foi concluída. Levando em conta o volume de água\n do subsolo e das minas produzido, os equipamentos da Flottweg processam de 50–80\n m3/h de lodo, juntamente com 1.500 m3/dia de água purificada recuperável.\r\n“Os\n equipamentos da Flottweg realizaram o trabalho com sucesso, o que me dá a confiança\n para recomendá-los a outros profissionais do nosso setor que passem por desafios\n empresariais semelhantes.”\r\n"\n imagens:\n - !ruby/object:ActionDispatch::Http::UploadedFile\n tempfile: !ruby/object:Tempfile\n unlinked: false\n mode: 194\n tmpfile: &1 !ruby/object:File {}\n opts:\n :perm: 384\n delegate_dc_obj: *1\n original_filename: APLICAÇÃO EM MINERAÇÃO DE ZINCO.png\n content_type: image/png\n headers: !binary |-\n Q29udGVudC1EaXNwb3NpdGlvbjogZm9ybS1kYXRhOyBuYW1lPSJzdGFuZF9wcm9kdWN0W2ltYWdlbnNdW10iOyBmaWxlbmFtZT0iQVBMSUNBw4fDg08gRU0gTUlORVJBw4fDg08gREUgWklOQ08ucG5nIg0KQ29udGVudC1UeXBlOiBpbWFnZS9wbmcNCg==\nbanner_position: '0.0'\nbanner_image: APLICAÇÃO EM MINERAÇÃO DE ZINCO.png\nbanner_proportion: '1.2'\ncommit: Salvar\n"], ["created_at", "2020-10-16 17:59:24.889279"], ["updated_at", "2020-10-16 17:59:24.889279"]]
D, [2020-10-16T14:59:24.898999 #515829] DEBUG -- : [cd712316-c2f3-4401-8813-0d6677e23fed] (0.3ms) ROLLBACK

[jr180180]

Ran into a similar issue with passing base64 images through a POST request. I put together a commit that allows you to nullify specific values for keys. Just set the keys in an array and override the params_keys_for_values_to_remove method.